Стартап Majestic Labs объявил о запуске сервера нового поколения Prometheus, который призван преодолеть так называемую «стену памяти» в современных ИИ-системах, работающих с моделями, содержащими огромное количество параметров. Сообщается, что Prometheus способен обеспечить производительность, равную нескольким стойкам традиционных серверов, при этом сокращая энергопотребление и общую стоимость эксплуатации.
Majestic Labs вышла из скрытого режима (Stealth) в ноябре прошлого года. Стартап подчёркивает, что в современных ИИ-системах существует разрыв между объёмом и производительностью памяти и вычислительными возможностями ускорителей. Majestic Labs предлагает решить эту проблему за счёт внедрения новой архитектуры, которая предполагает разделение памяти и вычислительных ресурсов. Речь идёт об использовании специализированных ИИ-ускорителей и блоков быстрой памяти, объём которой в рамках одного сервера может достигать 128 Тбайт.
Источник изображения: Majestic Labs
В состав Prometheus входят проприетарные чипы AI Processing Units (AIU) под названием Ignite. Они объединяют CPU-ядра на базе Arm с векторными и тензорными движками RISC-V. При этом используется единое пространство памяти. Заявляется поддержка популярных фреймворков, таких как PyTorch, vLLM и OpenAI Triton, что позволяет запускать существующие рабочие нагрузки без необходимости изменения кода.
По утверждению Majestic Labs, платформа Prometheus способна работать с ИИ-моделями, имеющими огромные контекстные окна и триллионы параметров. При этом отсутствуют фрагментация и узкие места, характерные для традиционных ИИ-серверов. Среди областей применения называются смешанные экспертные системы, ИИ-агенты, графовые нейронные сети и другие.
Источник:
