Занимая ведущие позиции в области вычислительной инфраструктуры для ИИ, компания Nvidia развивает свои платформы комплексно. Вместе с ускорителями нового поколения Vera Rubin она представила ряд дополнительных аппаратных компонентов.
Источник изображений: Nvidia
Согласно официальному пресс-релизу, платформа Vera Rubin задаёт новые стандарты для агентского искусственного интеллекта. В настоящее время запущено в серийное производство семь новых чипов Nvidia, предназначенных для эффективного масштабирования так называемых ИИ-фабрик. В этот список входят графические процессоры Rubin, центральные процессоры Vera, коммутаторы NVLink 6, сетевые адаптеры ConnectX-9 SuperNIC, специализированные процессоры BlueField-4 и Ethernet-коммутаторы Spectrum-6, а также процессоры Groq для ускорения инференса у ИИ-агентов, созданные на основе технологий поглощённого стартапа с тем же названием. Как отмечается в материалах компании, вместе они функционируют как единый ИИ-суперкомпьютер, ускоряя разработку специализированных технологий на всех этапах жизненного цикла ИИ-систем.
Основатель и CEO Nvidia Дженсен Хуанг (Jensen Huang) отметил, что выход платформы Vera Rubin знаменует собой поворотный момент в развитии агентского ИИ, поскольку она позволит развернуть инфраструктуру беспрецедентного масштаба. Руководители OpenAI и Anthropic в своих комментариях, как и ожидалось, высоко оценили анонс, подчеркнув его важность для всей индустрии искусственного интеллекта. Благодаря этому разработчики ИИ-моделей получат возможность совершенствовать их значительно быстрее по сравнению с использованием аппаратуры предыдущего поколения.
Архитектура современных центров обработки данных, как отмечает Nvidia, переходит на модульный принцип, где каждый готовый блок включает всё для гибкого наращивания вычислительных ресурсов в условиях возрастающей сложности задач. Заказчики имеют возможность комбинировать эти модули в соответствии со своими уникальными потребностями. Так, в стойке Vera Rubin NVL72 размещаются 72 GPU Rubin и 36 CPU Vera, связанные высокоскоростной шиной NVLink 6 и сетевыми адаптерами ConnectX-9 SuperNIC, а также специализированные процессоры BlueField-4, берущие на себя сетевые операции и разгружающие центральные процессоры. В сравнении с платформами поколения Blackwell, системы Vera Rubin позволяют обучать сложные модели, используя вчетверо меньше графических ускорителей. При выполнении задач вывода (инференса) энергоэффективность Vera Rubin в пересчёте на пропускную способность возрастает до десяти раз, а стоимость обработки одного токена снижается десятикратно. Масштабирование кластеров на базе стоек NVL72 осуществляется с помощью сетей Quantum-X800 InfiniBand и Spectrum-X Ethernet.
Центральные процессоры Vera, по заявлению Nvidia, демонстрируют высокую производительность в reinforcement learning и агентских ИИ-задачах. Компания предлагает конфигурации с объединением до 256 таких процессоров в одной стойке, оборудованной жидкостным охлаждением. Взаимодействие с остальными компонентами кластера осуществляется через сети Spectrum-X. По сравнению с традиционными CPU, на которые ссылается производитель, процессоры Vera выполняют ИИ-операции на 50% быстрее.
Специализированные чипы Groq 3 LPX обеспечивают минимальную задержку при работе с агентскими ИИ-нагрузками. В рамках платформы Vera Rubin они в сочетании с другими компонентами увеличивают пропускную способность инференса до 35 раз на мегаватт потребляемой мощности, а потенциальная доходность от использования моделей с триллионом параметров возрастает десятикратно. Одна стойка включает 256 чипов LPU, оснащённых 128 ГБ встроенной памяти SRAM, с пропускной способностью до 640 ТБ/с. В составе платформы Vera Rubin чипы LPU достигают оптимальной эффективности по скорости, энергопотреблению и использованию памяти. Стойки LPX станут доступны клиентам Nvidia во второй половине текущего года.
Стойка BlueField-4 STX ориентирована на унификацию адресного пространства графических процессоров в пределах кластера. Это ускоряет обработку кэшированных данных при инференсе до пяти раз при значительном росте энергоэффективности в сравнении с классическими архитектурами. Решение создаёт единое контекстное пространство для всего кластера, что ускоряет взаимодействие с ИИ-агентами и улучшает масштабируемость ИИ-сервисов.
Стойка Spectrum-6 SPX специально предназначена для высокоскоростной передачи данных через интерфейс Ethernet. В её составе могут использоваться как коммутаторы Spectrum-X Ethernet, так и, в зависимости от требований системы, коммутаторы Nvidia Quantum-X800 InfiniBand. Благодаря применению кремниевой фотоники и передовой чиповой интеграции, эффективность обмена данными повышается пятикратно, а уровень надёжности в сравнении с классическими модульными решениями возрастает в десять раз.
