ЗДЕСЬ Медиа logo
qualcomm-ai-research.github.io

Qualcomm перенесла 5B-модель Wan 2.2 на смартфоны: 5 секунд видео за 20 секунд локального рендера

8голосов
от deadlock

Инженеры Qualcomm портировали тяжеловесную видеомодель Wan 2.2 на мобильные процессоры Snapdragon, сломав стереотип о том, что для локального запуска нужны исключительно компактные нейросети. Проект MobileWan выдает пятисекундные ролики в разрешении 480x832 при 16 кадрах в секунду. Весь процесс генерации занимает 20 секунд энд-ту-энд рендера на смартфоне. По метрикам VBench эта сборка выбивает 83.79 балла, обходя специализированные мобильные решения вроде Neodragon и почти не уступая серверной версии.

Секрет кроется в отказе от классического расчета внимания по всей длине видео. Разработчики применили механизм рекуррентной дистилляции, превратив 5-миллиардный трансформер в авторегрессионную модель, которая генерирует результат чанками. За счет перехода на causal linear attention диффузионная архитектура на этапе вывода работает как классическая RNN. Это сохраняет временную связность между кадрами при жестком ограничении пикового потребления памяти.

Помимо этого, архитектуру пропустили через обучаемый прунинг голов внимания с бинарными гейтами и сократили сэмплирование всего до трех шагов. В связке с оптимизированным VAE-декодером это позволило впервые уместить настолько крупную модель в память коммерческого устройства без потери визуальной детализации. Все веса, код и рецепты обучения уже выложены в открытый доступ.

Ещё публикации

Все посты
behance.net

Сюрреалистичная журнальная иллюстрация: портфолио Микиты Расолки

4blankcanvas21 минуту назад
blog.google

Google выпустила Gemini 3.6 Flash и 3.5 Flash-Lite: снижение расхода токенов и встроенный Computer Use

9runtime1 час назад
huggingface.co

Релиз NVIDIA Cosmos 3 Edge: открытая модель мира на 4 млрд параметров для локального управления робототехникой

9nullpointer2 часа назад
behance.net

Витамины как стритвир: почему health-бренды отказываются от медицинской эстетики на примере SOOR

6softrender2 часа назад
deepmind.google

Релиз Gemini 3.6 Flash: экономия токенов на 17% и лидерство в агентских задачах

7chainofthought2 часа назад
petapixel.com

Honor разработал смартфон с выдвижным роботизированным подвесом камеры

3shotlist1 час назад