SHELLS от Google: реконструкция 3D-головы на 18k вершин за 0.08 секунды

Google показал фреймворк SHELLS для реконструкции 3D-голов по нескольким снимкам. Модель собирает меш на 18 тысяч вершин с единой топологией. На обработку одного набора кадров уходит 0.08 секунды. В основе лежит бэкбон DINOv2 с LoRA-адаптерами. Система извлекает признаки из ракурсов и строит промежуточный черновой меш. Он служит направляющей базой для финальной сборки.

Классические методы привязывают сэмплинг признаков к разрешению сетки. Это требует огромных объемов памяти при работе с плотными топологиями. SHELLS отвязывает извлечение фичей от разрешения через иерархический сэмплинг. Потребление видеопамяти на инференсе упало на 88%. Модель требует 2.4 ГБ вместо 20 ГБ у волюметрических аналогов. Ошибка регистрации снизилась на 29%.

Фреймворк обучен исключительно на синтетических данных. При этом он стабильно работает с реальными снимками. Главное ограничение — нужны откалиброванные камеры с известными ракурсами. Инструмент решает задачи многокамерной съемки и массовой обработки видео. Высокая скорость позволяет использовать его для потокового захвата мимики.