Поделиться
Искусственный интеллект из розетки: как Foundation Model Hub трансформирует экономику работы с нейросетями, — объясняет Дмитрий Подшибякин из «Турбо Облако»
Создание собственной инфраструктуры для ИИ предполагает аренду дорогостоящих графических процессоров, найм специалистов и оплату простоев. «Турбо Облако» (входит в коммерческий ИТ-кластер «Ростелекома») предлагает иной подход: Foundation Model Hub. Это сервис, предоставляющий доступ к генеративным моделям через программный интерфейс (API) с оплатой по токенам. CNews расспросил директора по продуктам компании Дмитрия Подшибякина о том, как устроена новая платформа.
CNews: Дмитрий, в апреле «Турбо Облако» запустила Inference Platform. Теперь вы представляете Foundation Model Hub. В чем ключевое отличие между этими продуктами?
Дмитрий Подшибякин: Развитие ИИ-сервисов повторяет путь традиционных облаков. Сначала создается базовый уровень: виртуализация, сети, а затем на нем строятся платформы как сервисы (PaaS), базы данных и контейнеризированные приложения. Для ИИ таким фундаментом стала Inference Platform — программно-аппаратный комплекс для гибкого развертывания генеративных моделей.
Foundation Model Hub — это сервис, работающий поверх этой платформы и ориентированный на другую аудиторию. Inference Platform предоставляет клиенту выделенный сегмент инфраструктуры графических процессоров (GPU) в эксклюзивное пользование: он самостоятельно запускает модель с открытым кодом и оплачивает всю эту инфраструктуру.
Foundation Model Hub функционирует иначе. Провайдер изучает рынок, спрос и тенденции, самостоятельно разворачивает модели и открывает доступ к одной и той же модели для множества клиентов. Заказчик больше не платит за эксклюзивность, а оплачивает лишь фактическое потребление. Если в Inference Platform тарифицируются память GPU, вычислительные мощности и дисковое пространство, то в Foundation Model Hub — только токены: объем данных, отправленных модели и полученных от нее.
CNews: Inference Platform и Foundation Model Hub — это конкурирующие или взаимодополняющие продукты?
Дмитрий Подшибякин: Они скорее взаимно дополняют друг друга. Inference Platform ориентирована на заказчиков с особыми требованиями к защите данных, стабильной производительности и полному управлению версией модели и настройками инференса. Foundation Model Hub оптимален для форматов «вопрос-ответ», когда клиент доверяет провайдеру регулировку качества и скорости ответов.
Сейчас прослеживается явная тенденция: пользователи хотят избежать сложностей с обслуживанием инфраструктуры и все чаще отдают предпочтение работе с ИИ с оплатой за токены. Главное опасение здесь — неопределенный объем использования. Однако это легко решается через пробный период: клиент проверяет фактический расход на своем примере и принимает обоснованное решение.
CNews: Как происходит подключение и ежедневная работа с сервисом?
Дмитрий Подшибякин: Заказчик получает URL для подключения и API-ключ, просто копирует их и вставляет в свое приложение, сервис или внутреннюю информационную систему. Это занимает всего несколько минут. Смена модели сводится к получению другого адреса с тем же ключом. Никаких дополнительных шагов не нужно.
Это напоминает электричество: нужно вскипятить воду — включаете чайник. Не используете — не платите. Приложение обращается по указанному адресу с ключом, начинается тарификация. Единственное, что стоит настроить заранее, — лимиты потребления.
Модели отбираются по двум критериям. Прежде всего — внутренние тесты провайдера: поиск варианта с наилучшим соотношением цены и качества на единицу результата. После прохождения этого фильтра учитываются обобщенные запросы клиентов, включая внутренних заказчиков из группы «Ростелеком». Запускать модель без спроса невыгодно, так как графические ускорители стоят дорого. Также мы готовим к запуску онлайн-каталог (marketplace), где модели можно будет удобно выбирать из списка.
CNews: В описании продукта заявлена экономия за счет тарификации по принципу «плати, сколько потребил» (pay-as-you-go). Насколько она значительна?
Дмитрий Подшибякин: Сравним два подхода. Аренда одного графического процессора (например, Nvidia H200) на выделенном сервере обходится в среднем по рынку около 400 000 рублей в месяц. Добавим к этому зарплату специалистов по инференсу — их навыки стоят дороже, чем у обычных инженеров.
Теперь рассмотрим второй подход с умеренным потреблением. Допустим, вам нужно 10 млн токенов в месяц. В Foundation Model Hub это будет стоить примерно 5 000 рублей. При этом 10 миллионов токенов — это около 25 тысяч стандартных книжных страниц русского текста, вполне серьезный объем для многих задач обработки информации. Разница на таком сценарии — почти в 80 раз.
Разумеется, если бизнес эксплуатирует ИИ непрерывно и полностью загружает GPU, выделенный инстанс окажется более экономичным. Однако при сезонных всплесках (распродажи, промоакции) Foundation Model Hub оказывается значительно удобнее: оплата взимается исключительно за фактически использованные ресурсы.
CNews: Пожалуйста, опишите механизм тройных лимитов (сутки, неделя, месяц) и функцию автообновления моделей.
Дмитрий Подшибякин: Тройные лимиты представляют собой надежный инструмент управления расходами. Для каждого API-ключа клиент задает комбинацию ограничений: скажем, 300 миллионов токенов за день, 2,5 миллиарда за неделю и 10 миллиардов за месяц. Как только любой из этих порогов оказывается достигнут, платформа приостанавливает выполнение запросов до наступления следующего периода. Клиент самостоятельно регулирует эти значения и комбинирует их в соответствии со своими потребностями, что обеспечивает предсказуемость затрат и защиту от неожиданных счетов в конце месяца.
Касательно обновлений: генеративные модели обновляются каждые три-шесть месяцев. Провайдер самостоятельно проверяет новую версию на безопасность и производительность, подбирая оптимальные настройки инференса. Клиент получает уведомление, но ему не требуется менять эндпоинт, ключи или код в собственном приложении. После обновления он продолжает работу через тот же API, автоматически получая доступ к самой актуальной версии модели.
CNews: Российский рынок ИИ-сервисов активно развивается. Чем отличается новое предложение «Турбо Облака»?
Дмитрий Подшибякин: Отмечу три ключевых аспекта.
Первый: тройные лимиты. Это обеспечивает детальный контроль бюджета, и, насколько нам известно, столь гибкой комбинации у конкурентов пока не существует.
Второй: прозрачность. Клиент видит потребление в токенах и может им управлять, а не пытается разобраться в закрытых единицах измерения, придуманных провайдерами.
И третье, стратегическое преимущество: полная линейка ИИ-продуктов в едином интерфейсе «Турбо Облака». Мы охватываем все потребности: от Foundation Model Hub через выделенные инстансы Inference Platform до «голого железа» (bare metal) с GPU — и все это без необходимости смены облачного провайдера.
Мы стремимся сделать сервис ориентированным на человека. При обращении в нашу компанию за клиентом закрепляется персональный менеджер и архитектор, который детально изучает его задачу.
CNews: Как будет развиваться линейка ИИ-сервисов в ближайшие один-два года?
Дмитрий Подшибякин: Мы движемся последовательно: от инфраструктурных сервисов (аренда физического оборудования и виртуальной инфраструктуры с GPU) к платформенным решениям, таким как Inference Platform и Foundation Model Hub. Следующий этап: программное обеспечение как услуга (SaaS) для конкретных бизнес-задач.
До наступления нового года мы намерены запустить в облаке SaaS-решение «Нейрошлюз» от «Ростелекома», предназначенное для работы с искусственным интеллектом. Это веб-приложение, через которое пользователи смогут эффективно взаимодействовать с генеративным ИИ: готовить презентации и тексты, фиксировать результаты встреч, а также расшифровывать видео- и аудиоматериалы. Кроме того, приоткрою небольшой секрет: мы разрабатываем масштабный сервис для разработчиков. В нашей дорожной карте запланировано множество других интересных запусков, касающихся как расширения функционала существующих платформ, так и появления новых продуктов.
Что касается текущего момента, мы сосредоточены на двух главных задачах: как помочь клиентам снизить затраты и как обеспечить безопасное использование моделей. О лимитах на токены мы уже говорили, но существует и другой способ экономии — интеллектуальная маршрутизация запросов, над которой мы сейчас активно трудимся. Также мы замечаем, что многие наши заказчики работают с конфиденциальной информацией, поэтому вопрос её анонимизации при взаимодействии с ИИ становится одним из ключевых трендов этого сезона.
Короткая ссылка
