Lyra 2.0

Одно статичное изображение превращается в трехмерную сцену, по которой можно свободно пройтись виртуальной камерой, развернуться и заглянуть за угол. Lyra 2.0 от исследователей NVIDIA генерирует управляемые видеопролеты по заданной траектории и сразу переносит их в интерактивное 3D-пространство для рендеринга в реальном времени.

Нейросеть справляется с двумя главными проблемами генеративного видео — забыванием геометрии и накоплением визуальных искажений при долгих пролетах. Lyra 2.0 сохраняет геометрию каждого кадра и использует ее как карту маршрутизации, чтобы восстанавливать уже увиденные участки при развороте камеры. Обучение на собственных сбоях помогает модели исправлять дрейф на ходу, сохраняя консистентный вид окружения.

Что умеет

• Генерировать пролеты по пресетам. В режиме приближения и отдаления камера исследует кадр по готовой траектории. Встроенная система коллизий автоматически следит, чтобы объектив не врезался в объекты.
• Двигаться по авторскому треку. Модель принимает пользовательские координаты положения камеры, параметры оптики и текстовые подсказки для отдельных отрезков пути.
• Управляться через интерфейс. Интерактивный 3D-вьюер позволяет вручную выстраивать траекторию полета и дорисовывать сцену по частям с помощью авторегрессии.
• Ускорять расчет в 15 раз. Специальная дистилляция DMD сокращает сэмплирование до четырех шагов — генерация 80 кадров на ускорителе H100 80GB занимает порядка 35 секунд вместо стандартных девяти минут.
• Переносить видео в 3D. Полученные пролеты автоматически реконструируются в сцены формата Gaussian Splatting.

Доступ и запуск

Веса модели Lyra 2.0, код инференса, скрипты обучения и графический интерфейс выложены в открытый доступ на Hugging Face и GitHub. Для запуска генерации потребуется видеокарта уровня NVIDIA H100 80GB.

Инструмент пригодится моушн-дизайнерам, концепт-художникам и разработчикам симуляций: вместо ручного моделирования черновой локации можно набросать траекторию прямо по арту и получить готовую для прогулки сцену.