Британский стартап в сфере ИИ под названием Lumai представил серию серверов Lumai Iris для инференса, основанных на оптических вычислениях. Эти устройства предназначены для обработки в реальном времени больших языковых моделей (LLM) с миллиардами параметров. В линейку Lumai Iris входят серверы Nova, Aura и Tetra. Модель Lumai Iris Nova уже доступна для тестирования гиперскейлерами, облачными платформами, корпоративными клиентами и научно-исследовательскими институтами.
По заявлению Lumai, применение Lumai Iris позволяет ускорить выполнение задач инференса за счёт использования света вместо кремниевых технологий. Оптическая вычислительная система от Lumai обеспечивает более быстрый инференс, повышенную эффективность работы и снижение энергопотребления до 90 % по сравнению с традиционными архитектурами, при этом она более экологична, чем обычные системы на базе GPU. Однако технические подробности об оптических ИИ-ускорителях пока не разглашаются.
Источник изображений: Lumai
Компания отметила, что спрос на вычисления для ИИ смещается с обучения моделей в сторону крупномасштабного инференса, когда модели применяются в реальных приложениях. По мере роста объёмов вычислительных задач центры обработки данных сталкиваются с серьёзными ограничениями по энергопотреблению и масштабируемости, с которыми традиционные кремниевые архитектуры справляются с трудом. В компании заявили, что серия Iris призвана решить проблемы энергопотребления и стоимости ИИ-инфраструктуры за счёт повышения производительности на киловатт.
Традиционные кремниевые архитектуры сталкиваются с фундаментальными физическими ограничениями в плане масштабируемости, энергопотребления и тепловой эффективности. Каждое новое поколение кремниевых чипов даёт лишь небольшие улучшения, но требует значительно больше энергии и ресурсов для масштабирования. «По мере того как отрасль переходит в эру инференса, мы одновременно пересекаем порог посткремниевой эры, — заявил Сяньсинь Го (Xianxin Guo), генеральный директор и соучредитель Lumai. — Переходя от электронно-фотонной вычислительной парадигмы к чисто фотонной, Lumai может обеспечить увеличение производительности на порядок при значительной экономии энергии».
Компания Lumai подчеркнула, что оптические вычисления способны существенно повысить продуктивность при обработке задач, связанных с искусственным интеллектом. Разработанная на базе исследований Оксфордского университета технология оптических вычислений Lumai применяет свет в трёхмерной среде, тогда как традиционные чипы функционируют в двухмерном пространстве. За счёт использования масштабного пространственного параллелизма одновременно выполняется миллионы операций, что обеспечивает низкую стоимость и высокую пропускную способность токенов при решении вычислительных задач с высоким потреблением ресурсов.
Технология Lumai также продемонстрировала свою результативность на этапе предварительного заполнения дезагрегированных архитектур инференса, обрабатывая токены с максимальной производительностью и масштабируемостью. Iris Nova выполняет инференс в реальном времени моделей Llama 8B и 70B с помощью гибридного процессора. Его гибридная архитектура объединяет цифровую обработку для управления системой и программным обеспечением с оптическим тензорным движком для основных математических вычислений. Такой метод обеспечивает бесшовную интеграцию серверов в центры обработки данных.
Источник:
