Компания ByteDance, владеющая TikTok, выпустила ИИ-инструмент Seed3D 1.0 для создания трёхмерного контента, который позволяет преобразовать обычное двумерное изображение в детализированную 3D-модель симуляционного уровня. Полученная модель обладает чёткой геометрией, реалистичными текстурами и физически корректными материалами для рендеринга (PBR), учитывающими отражение, преломление и рассеивание света.
Источник изображений: seed.bytedance.com
Как заявляет разработчик, Seed3D 1.0, построенный на архитектуре диффузионного трансформера (DiT), объединяющей возможности диффузионных моделей и трансформеров, превосходит по качеству текстур и геометрической точности как открытые, так и проприетарные аналоги. При использовании всего 1,5 миллиарда параметров инструмент обходит даже более крупные модели, например, Hunyuan3D 2.1 с 3 миллиардами параметров.
Ключевой особенностью нового ИИ-инструмента является комбинация мультимодального диффузионного трансформера (MMDiT) и поэтапной стратегии генерации. Сначала система обрабатывает изображение с помощью визуально-языковой модели (VLM), извлекая параметры объектов и пространства. Затем для каждого выделенного объекта Seed3D 1.0 формирует соответствующую геометрию и материалы. Финальная сцена формируется путём размещения каждого созданного объекта согласно пространственной структуре, определённой VLM. Такой подход позволяет генерировать сцены разного масштаба — от интерьеров офисов до обширных городских панорам.
Отмечается, что Seed3D 1.0 обеспечивает согласованность текстур при любом угле обзора. Вместо стандартных текстур инструмент создаёт материалы, сохраняющие внешний вид со всех сторон, что гарантирует реализм и структурную точность, необходимые для симуляций.
Разработчик подчеркнул, что модели, созданные с помощью Seed3D, можно напрямую использовать в платформах моделирования, таких как Isaac Sim, для обучения искусственного интеллекта.
