Специалисты Apple создали метод, существенно улучшающий рендеринг трёхмерных сред в высоком качестве. Его применение не приводит к значительному увеличению требований к вычислительной мощности при переходе на более чёткое изображение.
Источник изображения: yxlao.github.io/lgtm
Новый подход назван LGTM (Less Gaussians, Texture More) — над ним совместно трудились исследователи Apple и учёные из Гонконгского университета. Современные способы преобразования фотографий или иных 2D-изображений в 3D-сцены сопровождаются резким увеличением нагрузки на систему при росте разрешения. Это же ограничение было присуще и технологии, представленной компанией в конце прошлого года, которая строила виртуальное пространство на основе трёхмерных гауссовых функций.
Система LGTM решает эту проблему через «разделение геометрической сложности и разрешения рендеринга». Иными словами, структура сцены была отделена от её визуального наполнения: геометрия пространства сохраняет простоту, а высокодетализированные элементы добавляются в процессе текстурирования. На этапе обучения модель формирует каркас сцены на основе изображений низкого разрешения, а затем сравнивает результат с исходными высокодетализированными кадрами. Это позволяет ей выстраивать такую геометрию, при которой итоговый рендеринг в 2K и 4K остаётся точным, без пропусков и искажений. Если первая нейронная сеть отвечает за построение каркаса, то вторая анализирует изображение высокого разрешения и генерирует детализированные текстуры, которые накладываются на созданную первой сетью упрощённую основу.
В итоге, технология LGTM даёт возможность воссоздавать сложные трёхмерные сцены в 4K-разрешении, избегая квадратичного роста затрат ресурсов, характерного для классических систем. На практике это может быть полезно, например, для систем виртуальной и дополненной реальности — общее разрешение дисплеев Apple Vision Pro достигает 23 мегапикселей, что предъявляет огромные требования к вычислительным мощностям.
