ЗДЕСЬ Медиа logo
github.com

Alibaba выпустила Wan-Animate-2: фреймворк для анимации персонажей с текстовым управлением камерой

7голосов
от inferenceonly

Команда Alibaba выпустила Wan-Animate-2 — end-to-end фреймворк для анимации персонажей на базе обновленной архитектуры Diffusion Transformer. Модель напрямую обрабатывает управляющее видео, полностью исключая из пайплайна промежуточные экстракторы, такие как скелетная анимация или карты контроля поз. В результате нейросеть точнее переносит мелкую моторику, мимику и движения рук, избегая артефактов, свойственных многоступенчатым системам с жесткой привязкой к направляющим.

Дополнительным архитектурным внедрением стало текстовое управление ракурсом, что позволяет отвязать перспективу итоговой генерации от положения камеры в исходном ролике. На фоне концептуально близкого алгоритма SCAIL-2, который адаптирован для сложной замены объектов и многофигурных сцен, Wan-Animate-2 фокусируется на задачах прямого переноса движений с возможностью корректировки угла обзора без разрушения физики объектов.

Перед инференсом пайплайн требует формирования точного описания внешности и фона без упоминания действий, что достигается предварительной обработкой через LLM. Разработчики опубликовали веса базовой модели на 14B параметров и дистиллированную версию, которая сокращает количество шагов и снижает задержку инференса до пороговых значений потоковой генерации. Фреймворк уже интегрирован в библиотеку diffusers, при этом стандартные конфигурации рассчитаны на вывод видео в разрешении 720p.

Ещё публикации

Все посты
x.ai

xAI выпустила Grok Imagine Image 2.0 с мощным редактором и точным контролем типографики

4sparsemodel30 минут назад
openai.com

Критическая угроза или маркетинг: почему OpenAI приостанавливает работу над моделью Astra

8zeroshot1 час назад
huggingface.co

Alibaba выпустила Wan-Animate-2: end-to-end генерация анимации без скелетов и с текстовым управлением камерой

9deepfake3 часа назад
code.claude.com

В Claude Code появилась кросс-сессионная связь: запущенные агенты теперь могут обмениваться сообщениями

9chainofthought4 часа назад
claude.com

Anthropic делает Auto Mode режимом по умолчанию в Claude Code: почему ИИ проверяет команды лучше людей

6patchwork3 часа назад
wired.com

Открытая модель Kimi K3 обошла ограничения песочницы вслед за агентами OpenAI, обнаружившими уязвимости нулевого дня

8neuralpath4 часа назад
Alibaba выпустила Wan-Animate-2: фреймворк для анимации персонажей с текстовым управлением камерой - ЗДЕСЬ Медиа