В технологической сфере существует нарратив, предполагающий централизацию: данные перемещаются в облачные вычисления, вычисления происходят там, результаты возвращаются обратно. Для компаний облачной инфраструктуры этот нарратив удобен. Для компаний, фактически создающих системы ИИ, которые должны работать надежно, быстро и безопасно в реальных условиях, этот нарратив становится все более ограничивающим.
Периферийные вычисления — перенос вычислительных мощностей ближе к месту генерации данных и принятия решений — не новы. Новым является их срочность. Сочетание требований к ИИ в реальном времени, регулирования конфиденциальности, ограничений пропускной способности сети и растущей сложности IoT и автономных систем делает периферийные вычисления не нишевым архитектурным выбором, а центральным требованием для целых категорий приложений.
Я внимательно наблюдаю за этим сдвигом через NexaTech Ventures, поскольку он представляет собой один из наиболее значительных архитектурных переходов в технологической инфраструктуре со времен перехода к облачные вычисления.
Где облачная архитектура даёт сбой
Облачные вычисления были построены на предположении, которое оказалось верным для первых двух десятилетий интернета: дешевле передавать данные к центральным вычислительным ресурсам, чем распределять вычисления по сети. Для большинства веб-приложений — поиска, социальных сетей, электронной коммерции — это остается верным. Но для расширяющегося набора приложений это предположение разрушается.
Рассмотрим автономные транспортные средства. Самоуправляемый автомобиль принимает критически важные для безопасности решения за миллисекунды на основе данных датчиков. Отправка необработанных данных датчиков в удаленный облачный сервис, ожидание ответа и получение решения обратно не только неэффективны; это принципиально неработоспособно. Задержка неприемлема, и требование к надежности не может быть выполнено. Вычисления должны происходить на самом транспортном средстве, в реальном времени, с использованием локальной обработки.
Или рассмотрим приложения с регулированием конфиденциальности в здравоохранении или финансовых услугах. GDPR и аналогичные нормативные акты все чаще требуют, чтобы конфиденциальные персональные данные обрабатывались в определенных юрисдикциях и при определенных мерах безопасности. Потоковая передача медицинских данных или деталей финансовых транзакций в облачный сервис в другой стране, даже для законного анализа, создает проблемы с соблюдением требований, которые делают централизованную обработку юридически и операционно рискованной.
Или рассмотрим производство на заводском цехе. Производственное предприятие, генерирующее терабайты данных датчиков от производственного оборудования, не может реалистично передавать все это в облачный сервис для анализа. Стоимость пропускной способности непомерно высока, задержка для корректировок процессов в реальном времени неприемлема, а риск операционной устойчивости слишком высок. Вычисления должны происходить локально.
Это не периферийные случаи. Это основные категории развивающихся приложений. И архитектура облачные вычисления по своей конструкции плохо подходит для всех них.
Необходимый технический сдвиг
Периферийный ИИ требует иной технической архитектуры, чем облачный ИИ. Модели машинного обучения должны быть меньше, эффективнее и оптимизированы для устройств с ограниченными ресурсами. Конвейеры вывода должны быть устойчивы к периодическому сетевому подключению. Модель безопасности должна работать для распределенных систем, а не централизованных центров обработки данных. Механизмы обновления и версионирования должны эффективно и безопасно передавать изменения тысячам или миллионам периферийных устройств.
Это сложные проблемы, и они требуют иных подходов, чем разработка облачного ИИ. Компании, решающие их, не являются компаниями облачные вычисления; это новые компании, создающие инфраструктуру ИИ, оптимизированную для периферии.
Несколько технических трендов сходятся, чтобы сделать этот переход возможным. Методы сжатия и квантования моделей быстро улучшаются, позволяя сложным моделям ИИ работать на периферийных устройствах с минимальными вычислительными ресурсами. Специализированное оборудование — TPU, NPU и другие ускорители ИИ — становится доступным в периферийных устройствах, обеспечивая необходимые вычислительные возможности. Появляются открытые стандарты для периферийного развертывания, разрушающие привязку к проприетарным платформам.
В NexaTech Ventures мы поддерживаем компании в трех категориях инфраструктуры периферийного ИИ. Во-первых, платформы оптимизации и развертывания моделей, которые берут крупные модели ИИ и сжимают их для периферийного выполнения. Во-вторых, движки периферийного вывода, оптимизированные для распределенного выполнения с низкой задержкой. В-третьих, системы оркестрации периферии, которые управляют развертыванием, обновлениями и мониторингом рабочих нагрузок ИИ в распределенной периферийной инфраструктуре.
Позиция Европы
Инфраструктурное преимущество Европы в периферийных вычислениях незаметно, но реально. Континент вложил значительные средства в телекоммуникационную инфраструктуру и развертывание 5G, что обеспечивает сетевую пропускную способность и подключение с низкой задержкой, необходимые для периферийных вычислений. Европейское регулирование защиты данных, далекое от того, чтобы быть недостатком, стимулирует спрос на решения периферийных вычислений, которые сохраняют конфиденциальные данные локально.
Что еще важнее, европейские производственный, автомобильный и промышленный секторы стимулируют реальный спрос на периферийный ИИ. Немецким автомобильным компаниям нужен периферийный ИИ для автономных транспортных средств. Итальянским производителям нужны периферийные вычисления для точного производства. Голландскому сельскому хозяйству нужен периферийный ИИ для систем точного земледелия. Это создает благоприятный цикл, где спрос стимулирует инвестиции в инфраструктуру периферийного ИИ, что привлекает таланты и капитал, что улучшает возможности технологии, что стимулирует дальнейшее внедрение.
Американский нарратив периферийных вычислений в настоящее время доминируют облачные компании, пытающиеся расширить свои платформы до периферии. AWS, Google Cloud и Azure предлагают периферийные услуги. Но это принципиально облакоцентричные архитектуры с добавленной периферией. Трансформационная архитектура периферийного ИИ создается компаниями, которые начинают с предположения, что вычисления происходят на периферии, а облако является исключением, а не правилом.
Инвестиционный случай
Периферийные вычисления и периферийный ИИ представляют собой структурный сдвиг в способе развертывания и работы программного обеспечения. Это не временный тренд или нишевый рынок. Это фундаментальный архитектурный переход, движимый реальными техническими требованиями, которые облачные вычисления не могут удовлетворить.
Инвестиционная возможность находится на нескольких уровнях. На уровне инфраструктуры компании, создающие периферийно-оптимизированные платформы ИИ и инструменты развертывания, создают устойчивое конкурентное преимущество. На уровне приложений компании, которые переархитектурируют свое программное обеспечение для периферийного выполнения — автономные транспортные средства, промышленные системы, медицинские устройства — достигнут преимуществ производительности и надежности, которые будет трудно вытеснить.
В NexaTech Ventures мы ищем компании периферийного ИИ, которые понимают как технические требования, так и операционные проблемы. Лучшие компании не просто оптимизируют алгоритмы; они создают полные системы для периферийного развертывания, включая мониторинг, безопасность, управление обновлениями и операционную поддержку.
Переход от централизованного облака к распределенным периферийным вычислениям представляет собой самый значительный инфраструктурный переход в технологии со времен миграции в облако. Компании, которые позиционируют себя на ранней стадии этого перехода, построят значительные и защищенные бизнесы.
Скотт Дилан является основателем NexaTech Ventures. Он пишет о технологической инфраструктуре, ИИ и инвестициях в глубокие технологии. Подробнее на scottdylan.com.
