Google показал фреймворк SHELLS для реконструкции 3D-голов по нескольким снимкам. Модель собирает меш на 18 тысяч вершин с единой топологией. На обработку одного набора кадров уходит 0.08 секунды. В основе лежит бэкбон DINOv2 с LoRA-адаптерами. Система извлекает признаки из ракурсов и строит промежуточный черновой меш. Он служит направляющей базой для финальной сборки.
Классические методы привязывают сэмплинг признаков к разрешению сетки. Это требует огромных объемов памяти при работе с плотными топологиями. SHELLS отвязывает извлечение фичей от разрешения через иерархический сэмплинг. Потребление видеопамяти на инференсе упало на 88%. Модель требует 2.4 ГБ вместо 20 ГБ у волюметрических аналогов. Ошибка регистрации снизилась на 29%.
Фреймворк обучен исключительно на синтетических данных. При этом он стабильно работает с реальными снимками. Главное ограничение — нужны откалиброванные камеры с известными ракурсами. Инструмент решает задачи многокамерной съемки и массовой обработки видео. Высокая скорость позволяет использовать его для потокового захвата мимики.
Поделиться:
CGI и 3D-моушн в коммерции: разбор портфолио арт-директора Пола Вайнера
Исследователи Anthropic использовали Claude Mythos Preview для выявления математических уязвимостей в алгоритмах HAWK и AES