Netflix предоставил доступ к модели VOID для видеомонтажа с использованием искусственного интеллекта. Эта технология убирает из кадра предметы и следы их воздействия на окружение, после чего восстанавливает сцену таким образом, чтобы оставшиеся объекты вели себя естественно без удалённого элемента. ИИ-модель уже можно установить через Hugging Face, и, как сообщают создатели, в опросе с участием 25 человек она набрала 64,8 % голосов, тогда как её основной конкурент Runway получил лишь 18,4 %.
Источник изображения: void-model.github.io
VOID (сокращение от Video Object and Interaction Deletion) предназначена для сцен, в которых после устранения объекта необходимо скорректировать поведение всех остальных элементов кадра. Вместо того чтобы переснимать материал или полностью переделывать эпизод с помощью компьютерной графики, эта ИИ-модель даёт возможность превратить уже готовое видео в обновлённую версию сцены. В описании технологии данный процесс сводится к простой задаче: исключить из записи источник события и заново просчитать его последствия.
Netflix характеризует эту разработку как ИИ-модель, которая работает одновременно с визуальными и текстовыми данными. Система не просто удаляет объект из кадра, но и восполняет недостающие фрагменты видеоряда так, чтобы оставшиеся элементы выглядели так, будто удалённого предмета никогда не существовало. В качестве одного из примеров приводится лобовое столкновение двух автомобилей: ИИ превращает его в сцену с одной машиной на дороге, убирая второй транспорт и перестраивая путь первого. Если присутствуют обломки, дым или огонь, они также устраняются.
Второй пример — человек прыгает в бассейн, а после удаления фигуры система перестраивает сцену так, что вода остаётся спокойной, и ни в бассейне, ни вокруг него не заметно никаких следов всплеска.
Авторы ИИ-модели в предварительной научной статье описывают VOID как систему для удаления объектов из видео с целью физически достоверного восстановления изображения в сложных сценах. Netflix сравнила модель VOID с Runway, Generative Omnimatte, DiffuEraser, ROSE, MiniMax-Remover и ProPainter. В опросе 25 человек на нескольких сценах VOID получила предпочтение в 64,8 % случаев, а Runway — в 18,4 %. Разработчики также заявляют, что протестировали ИИ-модель как на синтетических, так и на реальных данных, продемонстрировав её превосходство над базовыми системами восстановления видео и моделями, изменяющими видеоряд по текстовым командам.
