Qualcomm перенесла 5B-модель Wan 2.2 на смартфоны: 5 секунд видео за 20 секунд локального рендера

Инженеры Qualcomm портировали тяжеловесную видеомодель Wan 2.2 на мобильные процессоры Snapdragon, сломав стереотип о том, что для локального запуска нужны исключительно компактные нейросети. Проект MobileWan выдает пятисекундные ролики в разрешении 480x832 при 16 кадрах в секунду. Весь процесс генерации занимает 20 секунд энд-ту-энд рендера на смартфоне. По метрикам VBench эта сборка выбивает 83.79 балла, обходя специализированные мобильные решения вроде Neodragon и почти не уступая серверной версии.

Секрет кроется в отказе от классического расчета внимания по всей длине видео. Разработчики применили механизм рекуррентной дистилляции, превратив 5-миллиардный трансформер в авторегрессионную модель, которая генерирует результат чанками. За счет перехода на causal linear attention диффузионная архитектура на этапе вывода работает как классическая RNN. Это сохраняет временную связность между кадрами при жестком ограничении пикового потребления памяти.

Помимо этого, архитектуру пропустили через обучаемый прунинг голов внимания с бинарными гейтами и сократили сэмплирование всего до трех шагов. В связке с оптимизированным VAE-декодером это позволило впервые уместить настолько крупную модель в память коммерческого устройства без потери визуальной детализации. Все веса, код и рецепты обучения уже выложены в открытый доступ.