Сбербанк анонсировал и выложил в открытый доступ свою первую диффузионную языковую модель GFusion, созданную на базе GigaChat. Это экспериментальная разработка в одной из наиболее активно развивающихся областей генеративного ИИ, которая будет полезна исследователям и разработчикам, занимающимся созданием собственных диффузионных моделей. Об этом CNews проинформировали представители Сбербанка.
Традиционные LLM формируют текст последовательно, слово за словом (авторегрессия), поэтому для исправления единственной ошибки модели приходится полностью переписывать весь ответ. GFusion действует иначе: сперва она формирует черновой вариант ответа, а затем поэтапно его улучшает — аналогично тому, как нейросети создают изображения и видео. Благодаря параллельной генерации GFusion работает быстрее: по данным тестирования Сбербанка — до 45% быстрее, чем GigaChat 3, на основе которого она была обучена.
Какие преимущества это дает
Диффузионные модели отличаются более высокой скоростью: токены генерируются не по одному, а целыми группами. Их генерация более гибкая: в отличие от авторегрессионных моделей, текст не обязан создаваться строго слева направо — модель сама решает, какую часть ответа дополнить на каждом этапе. Кроме того, диффузионные модели извлекают больше полезной информации из ограниченного набора данных, обучаясь на одном и том же датасете многократно.
Автором проекта является Даниил Тихонов. Он пришел в Сбербанк в качестве стажера — студента четвертого курса Факультета компьютерных наук НИУ ВШЭ — и разработал модель как часть своей проектной деятельности. Даниил успешно защитил диплом и теперь работает в штате банка в команде фундаментальных моделей.
Вместе с моделью Сбербанк выпустил инструменты, которые ускоряют процесс обучения диффузионных моделей — это первый подобный опенсорс-проект в России. Они дают разработчикам возможность обучать свои модели быстрее и с использованием меньшего количества видеокарт. Помимо этого, команда внесла доработки в SGLang — один из наиболее популярных в мире инструментов с открытым исходным кодом для запуска языковых моделей. Разработчики интегрировали в него поддержку GFusion и нового алгоритма генерации, который повышает качество работы любых диффузионных моделей.
Даниил Тихонов, инженер машинного обучения Сбербанка и автор проекта: «Диффузионные модели лучше структурируют ответы и способны генерировать текст в произвольном порядке, самостоятельно выбирая последовательность его написания. Они более эффективно используют ограниченные объемы данных при обучении по сравнению с традиционными LLM. Это направление пока во многом остается открытым — здесь меньше устоявшихся архитектурных стандартов, а значит, больше возможностей для собственных решений. Надеемся, что открытый релиз GFusion станет для других команд рабочей отправной точкой и поможет ускорить развитие этой области».
Федор Минькин, технический директор фундаментальных моделей GigaChat: «Диффузионные языковые модели — это одно из наиболее многообещающих и сложных направлений в генеративном искусственном интеллекте, и в нашей команде стажер сумел не только освоить архитектуру, но и довести модель до открытого выпуска. Для меня это показатель уровня задач, которые мы поручаем молодым исследователям. Насколько нам известно, это первая опубликованная в открытый доступ диффузионная модель для генерации текста такого масштаба в России. Это обнадеживающий знак: сильные исследования в области ИИ все чаще продвигаются именно молодыми специалистами, и мы рады, что в "Сбере" для них созданы все необходимые условия».
Мировое сообщество разработчиков видит в диффузионных языковых моделях огромные возможности. Это направление активно развивается с конца 2025 года — сегодня такие модели уже обеспечивают автодополнение кода в реальном времени, агентные сценарии и поддерживают приложения, чувствительные к задержкам. Главная задача — обеспечить в dLLM высокое качество ответов и способность к рассуждению на уровне LLM.
