Поставщик облачных услуг «Турбо облако» (часть бизнес-направления «Ростелекома» в сфере IT) представил Inference Platform — сервис для запуска и управления моделями искусственного интеллекта, построенный на базе ускорителей NVIDIA H200 SXM с сетью InfiniBand.
Платформа работает с разными форматами ИИ-моделей, в том числе с открытыми. Клиенты имеют возможность загружать свои разработки или применять готовые контейнерные образы, запуская их в облаке без необходимости настраивать инфраструктуру. Сервис автоматически регулирует объём выделяемых мощностей (автоскейлинг) в соответствии с текущим спросом. Это помогает рациональнее использовать графические процессоры и сократить издержки при переменной нагрузке, отмечают в компании.
Сервис позволяет проводить распределённый инференс, давая возможность работать с моделями размером до 1 триллиона параметров, размещёнными на нескольких серверах. Также предусмотрена гибкая настройка GPU-ресурсов, вплоть до их разделения для менее ресурсоёмких задач. Дополнительный плюс — поминутная система расчётов, которая обеспечивает более детальный учёт затрат в сравнении с почасовой оплатой.
Источник изображения: Omar Lopez-Rincon / unsplash.com
Сейчас новый сервис открыт для пилотного тестирования: организации могут опробовать его функционал на своих моделях ИИ.
Источник:
