Британский стартап в сфере ИИ под названием Lumai представил линейку серверов для инференса Lumai Iris, основанную на оптических вычислениях. Эти устройства предназначены для работы в реальном времени с большими языковыми моделями (LLM), содержащими миллиарды параметров. В серию Lumai Iris входят серверы Nova, Aura и Tetra. Модель Lumai Iris Nova уже доступна для тестирования гиперскейлерам, облачным платформам, предприятиям и исследовательским институтам.
По заявлению Lumai, применение Lumai Iris позволяет ускорить выполнение задач инференса за счёт использования света вместо традиционной обработки на кремнии. Оптическая вычислительная система от Lumai обеспечивает более быстрый инференс, повышенную эффективность выполнения и снижение энергопотребления до 90 % по сравнению с классическими архитектурами. Кроме того, такие системы являются более экологичными, нежели традиционные решения на базе GPU. Однако технические характеристики оптических ИИ-ускорителей пока остаются нераскрытыми.
Источник изображений: Lumai
Компания отметила, что спрос на вычислительные мощности для ИИ смещается с обучения моделей в сторону крупномасштабного инференса, когда модели применяются в реальных приложениях. По мере роста объёмов вычислительных задач центры обработки данных сталкиваются с серьёзными ограничениями по энергопотреблению и масштабируемости, с которыми традиционные кремниевые архитектуры справляются с трудом. В Lumai заявили, что серия Iris призвана решить проблемы энергопотребления и стоимости ИИ-инфраструктуры за счёт повышения производительности на киловатт.
Классические кремниевые архитектуры сталкиваются с фундаментальными физическими ограничениями в плане масштабируемости, энергопотребления и тепловой эффективности. Каждое новое поколение кремниевых чипов даёт лишь незначительные улучшения, но при этом требует существенно больше энергии и средств для масштабирования. «По мере перехода отрасли в эру инференса мы одновременно пересекаем порог посткремниевой эры, — заявил Сяньсинь Го (Xianxin Guo), генеральный директор и соучредитель Lumai. — Переходя от электронно-фотонной вычислительной парадигмы к полностью фотонной, Lumai может обеспечить увеличение производительности на порядок при значительной экономии энергии».
Компания Lumai заявила, что оптические вычисления способны существенно повысить эффективность обработки задач искусственного интеллекта. Разработанная на базе исследований Оксфордского университета, технология оптических вычислений Lumai применяет свет в трёхмерной среде, в то время как стандартные чипы функционируют в двухмерном пространстве. За счёт массового пространственного параллелизма одновременно выполняется множество операций, что обеспечивает низкую стоимость и высокую пропускную способность токенов при решении ресурсоёмких вычислительных задач.
Кроме того, технология Lumai продемонстрировала свою результативность на этапе предварительного заполнения дезагрегированных архитектур инференса, обрабатывая токены с максимальной производительностью и возможностью масштабирования. Iris Nova выполняет инференс моделей Llama 8B и 70B в реальном времени с помощью гибридного процессора. Его гибридная архитектура объединяет цифровую обработку для управления системой и программным обеспечением с оптическим тензорным движком для выполнения ключевых математических расчётов. Такой подход позволяет бесшовно интегрировать серверы в центры обработки данных.
Источник:
