Реконструкция электронного рейва с помощью 4D Gaussian Splatting: совместный проект Meta Reality Labs и Gracia AI

Команды Meta Reality Labs и Gracia AI провели объемную реконструкцию электронного рейва, используя технологию 4D Gaussian Splatting. В отличие от стандартных процедур сканирования, которые проходят в помещениях с контролируемой средой, захват пространственных данных осуществлялся в экстремальной для алгоритмов компьютерного зрения обстановке.

Исходный видеоматериал содержал оптические помехи, с которыми системы машинного зрения обычно не справляются. Пространство было заполнено плотной толпой движущихся людей, работали дым-машины, а кромешная темнота регулярно прерывалась стробоскопическим освещением, что провоцировало цифровой шум на записях. Подобный уровень визуального хаоса приводит к потере ориентиров при трекинге камеры и делает классический рендеринг сцены практически невозможным.

Разбор этого кейса заявлен в программе конференции под темой Towards 4DGS Capture in the Wild. Анализ экстремальных сценариев захвата позволяет инженерам выявлять архитектурные ограничения текущих моделей генерации сцен, что в результате формирует базу для создания масштабируемых и отказоустойчивых алгоритмов волюметрического видео.