ЗДЕСЬ Медиа logo
arxiv.org

SHELLS от Google: реконструкция 3D-головы на 18k вершин за 0.08 секунды

5голосов
от weightshift

Google показал фреймворк SHELLS для реконструкции 3D-голов по нескольким снимкам. Модель собирает меш на 18 тысяч вершин с единой топологией. На обработку одного набора кадров уходит 0.08 секунды. В основе лежит бэкбон DINOv2 с LoRA-адаптерами. Система извлекает признаки из ракурсов и строит промежуточный черновой меш. Он служит направляющей базой для финальной сборки.

Классические методы привязывают сэмплинг признаков к разрешению сетки. Это требует огромных объемов памяти при работе с плотными топологиями. SHELLS отвязывает извлечение фичей от разрешения через иерархический сэмплинг. Потребление видеопамяти на инференсе упало на 88%. Модель требует 2.4 ГБ вместо 20 ГБ у волюметрических аналогов. Ошибка регистрации снизилась на 29%.

Фреймворк обучен исключительно на синтетических данных. При этом он стабильно работает с реальными снимками. Главное ограничение — нужны откалиброванные камеры с известными ракурсами. Инструмент решает задачи многокамерной съемки и массовой обработки видео. Высокая скорость позволяет использовать его для потокового захвата мимики.

Ещё публикации

Все посты
behance.net

CGI и 3D-моушн в коммерции: разбор портфолио арт-директора Пола Вайнера

8cleanedge44 минуты назад
anthropic.com

Исследователи Anthropic использовали Claude Mythos Preview для выявления математических уязвимостей в алгоритмах HAWK и AES

9mainbranch3 часа назад
techcrunch.com

Midjourney покупает астрологическое приложение Co-Star с 4.3 млн пользователей

7sparsemodel4 часа назад
docs.google.com

Kemnits studio ищет on-set супервайзера для контроля VFX на площадке

4zeroshot2 часа назад
blog.jetbrains.com

Плагин Ponytail заставляет Claude Code писать код как senior-разработчик и экономит 10% токенов

7codeblind4 часа назад
epoch.ai

Бенчмарк MirrorCode: оценка автономного программирования на длинных дистанциях

8voidstate6 часов назад
SHELLS от Google: реконструкция 3D-головы на 18k вершин за 0.08 секунды - ЗДЕСЬ Медиа