Компания Akamai, специализирующаяся на облачных технологиях, сообщила о заказе «тысяч» ускорителей для искусственного интеллекта с целью расширения своей глобальной распределённой облачной сети. Установка новых процессоров позволит сформировать унифицированную и оптимизированную ИИ-платформу для выполнения распределённых операций вывода данных в инфраструктуре Akamai. Как отмечает провайдер, это закладывает основу для «физического» и «агентного» ИИ, где критически важны мгновенные решения. Ранее уже был представлен проект Akamai Inference Cloud.
По словам Akamai, в то время как крупные облачные игроки наращивают мощности для обучения ИИ, их компания сфокусировалась на запросах новой эры — эры инференса. Централизованные ИИ-фабрики играют ключевую роль в создании моделей, однако для их широкого практического применения требуется децентрализованная «нервная система». Внедрение архитектуры NVIDIA Blackwell в распределённую сеть, как ожидается, откроет возможность для взаимодействия ИИ с «физическим» миром непосредственно на местах — например, с автономными системами доставки, интеллектуальными электросетями, роботизированной хирургией, системами предотвращения мошенничества и т.д. — без географических и стоимостных ограничений, присущих традиционным облачным решениям.
Интеграция ускорителей Blackwell обеспечит следующие возможности:
- стабильный и высокопроизводительный инференс на выделенных кластерах для получения результатов с минимальной задержкой;
- локальную оптимизацию ИИ-моделей для соблюдения требований к конфиденциальности данных в конкретных регионах;
- дообучение — точную адаптацию базовых ИИ-моделей под уникальные данные заказчиков.
Источник изображения: Akamai
Предоставляя инструменты для обработки данных ближе к пользователям, Akamai гарантирует высокую пропускную способность и, по её заверениям, сокращает задержки до 2,5 раз. Это позволит бизнесу экономить до 86% на операциях вывода по сравнению с использованием услуг обычных облачных гиперскейлеров. Платформа объединяет серверы на базе ускорителей NVIDIA RTX Pro 6000 Blackwell Server Edition с процессорами NVIDIA BlueField-3 DPU и распределённую облачную инфраструктуру Akamai, насчитывающую около 4,4 тысяч точек присутствия.
Cloudflare использует платформу для «бессерверного» выполнения моделей ИИ более чем в 200 городах. Их сервис Workers AI позволяет проводить глобальный инференс с задержкой ниже 100 миллисекунд, не требуя предварительного выделения кластеров с ускорителями. Fastly также работает на платформе периферийных вычислений, однако предоставляет меньше точек присутствия (PoP) для обработки задач на графических и центральных процессорах.
Источник информации:
