Viggle выпустила модель Viggle-Animate для замены персонажей в видео по одному кадру

Вырезать стоп-кадр из готового ролика, открыть в графическом редакторе, перерисовать одежду или лицо, сохранить файл и вернуть обратно на таймлайн. Через двадцать шесть секунд перед глазами лежит обновленный дубль: с тем же движением камеры, правильными тенями и естественной мимикой. Исследовательская команда Viggle выкатила модель Viggle-Animate, которая сводит сложнейшую замену персонажей в видео к редактированию единственного статичного изображения.

Привычная работа с генеративным видео заставляла собирать громоздкие технические цепочки. Чтобы поменять героя в сцене, аниматорам приходилось прогонять материал через несколько вспомогательных нейросетей: строить скелеты поз в ControlNet, просчитывать карты глубин, вырезать маски сегментации, готовить чистые фоновые подложки и часами подбирать текстовые промпты. Viggle-Animate полностью отказывается от этих костылей. Для инференса нужны всего два входных параметра: исходный видеоролик (driving video) и один измененный кадр из этого же самого клипа. Никаких трекеров лиц или дополнительных карт движений.

Архитектура и дистилляция до трех шагов

В основе инструмента лежит полноразмерный дообученный трансформер ref2va объемом 33,1 миллиарда параметров в формате bf16, построенный на базе открытой архитектуры MiniMaxAI/MiniMax-H3. Чтобы заставить модель такого размера генерировать видео за секунды, разработчики применили совместную дистилляцию по уровням зашумленности (DMD-дистилляцию). В итоге расчет сократили всего до 3 шагов прямого прохода при 4 шагах планировщика.

Текстовый энкодер в память не подгружается вовсе. Вместо того чтобы тратить видеопамять на парсинг описаний, модель использует для всех генераций единый зафиксированный эмбеддинг из конфигурационного файла. В репозитории проекта авторы опубликовали как основные веса, так и специализированный LoRA-адаптер для оптимизации процесса генерации.

Движения губ без переобучения

Артикуляция при генерации видео обычно ломается первой. Здесь аудиодорожку оригинального файла передают через звуковой автоэнкодер (Audio-VAE). Звук поступает в архитектуру в виде чистых латентных представлений, за счет чего модель синхронизирует движения губ с речью персонажа напрямую. Дополнительно переобучать веса под дикцию или настраивать внешние модули синхронизации губ не требуется: если герой в кадре говорит, его замененная версия точно повторит оригинальный тайминг.

Сравнение с конкурентами

В официальном бенчмарке разработчики сопоставили Viggle-Animate с решением Wan2.2-Animate-14B. Тестирование проводили на графическом ускорителе Nvidia B200: рендерили фрагмент из 124 кадров в разрешении 480х832 при частоте 24 кадра в секунду.

Разница в чистом семплировании показательна: 13,6 секунды против 140 секунд. Несмотря на то что модель от Viggle почти в два раза массивнее по параметрам (33,1 миллиарда против 17,3 миллиарда), она завершает просчет почти в шесть раз быстрее соперника. Причина кроется именно в отказе от тяжелого препроцессинга и трехшаговой DMD-дистилляции.

Системные требования и доступность

Полноточный запуск в формате bf16 предъявляет серьезные требования к аппаратуре: потребуется видеокарта с объемом памяти от 96 ГБ. На ускорителях с 80 ГБ памяти фиксируется пиковое потребление до 80,1 ГБ, из-за чего процесс рискует аварийно завершиться. На этот случай разработчики предусмотрели режим выгрузки части данных на оперативную память процессора через аргумент --offload.

Для независимых студий и креаторов авторы предусмотрели квантованную версию под потребительские видеокарты калибра RTX 5090 с 32 ГБ памяти. В этом режиме используются веса формата NVFP4 с плотностью 4,5 бита на параметр в связке с компиляцией через torch.compile. С точки зрения лицензий код инференса открыт под лицензией Apache 2.0, а веса распространяются по правилам MiniMax H3 Community License.

На ролике со страницы разработчиков заметно, как уверенно алгоритм держит ракурс и геометрию исходной съемки, не превращая динамичные сцены в кашу из артефактов. Для визуального продакшена это значит простую вещь: рутинная ротоскопия, чистка масок и привязка трехмерных ригов уходят на второй план. Режиссерский дубль теперь правится так же прямолинейно, как статичный постер.