Фирма d-Matrix представила стоечную систему SquadRack, предназначенную для пакетного вывода данных с минимальными задержками. Как заявляет производитель, это первая в мире разработка подобного рода. В создании продукта участвовали инженеры из Arista, Broadcom и Supermicro.
За основу SquadRack взята серверная платформа Supermicro X14 AI. Судя по опубликованным материалам, используется конфигурация SYS-522GA-NRT, поддерживающая два процессора Intel Xeon 6900 (Granite Rapids) и 24 модуля оперативной памяти DDR5-8800. Система располагает 24 фронтальными отсеками для накопителей SFF формата U.2/U.3 (NVMe). Конструкция выполнена в форм-факторе 5U.
В системе SquadRack применяются ускорители d-Matrix Corsair. Их архитектура построена на адаптированных ячейках SRAM для вычислений непосредственно в памяти (DIMC), обеспечивающих пропускную способность порядка 150 Тбайт/с. По заверениям разработчиков, система демонстрирует рекордную производительность при выполнении ИИ-выводов: скорость обработки достигает 2,4 Петафлопс при 8-битных вычислениях. Дополнительно используются IO-карты d-Matrix JetStream, распределяющие нагрузки при инференсе. Одна карта способна обслуживать до четырёх модулей Corsair, обеспечивая сетевую задержку всего 2 микросекунды.
Источник изображения: d-Matrix
Конфигурация SquadRack также включает PCIe-коммутаторы Broadcom для масштабирования внутри одного узла. Связь между узлами организуется через коммутаторы Arista Leaf Ethernet, подключённые к картам JetStream. Используется программный стек d-Matrix Aviator.
В единую стойку можно установить до восьми блоков SquadRack, что позволяет с исключительной скоростью обрабатывать ИИ-модели объёмом до 100 миллиардов параметров. Общая архитектура поддерживает масштабирование до сотен узлов, распределённых по нескольким серверным стойкам.
Источник:
