SANA-Streaming от NVIDIA: редактирование видеопотока на лету при 24 FPS на одной RTX 5090

NVIDIA совместно с исследователями из MIT выкатила SANA-Streaming — фреймворк для потокового редактирования видео. Система обрабатывает минутные ролики в разрешении 1280x704 и выдает 24 кадра в секунду end-to-end на одной потребительской видеокарте RTX 5090. Это не слепая генерация, а направленное изменение исходника текстовым промптом прямо во время воспроизведения с сохранением изначальных движений.

Под капотом работает гибридная архитектура Diffusion Transformer. Разработчики скрестили блоки GDN для работы с глобальной памятью и softmax-attention для локального выравнивания. Чтобы кадры не мерцали, пайплайн использует стратегию тренировки Cycle-Reverse Regularization — предсказание исходного видео из сгенерированного через flow matching. За счет оптимизации квантования под новую архитектуру Blackwell само ядро DiT разгоняется до 58 FPS.

Текущее качество деталей местами проседает, но важен сам прецедент рабочего локального пайплайна. Это прямое развитие идей StreamDiffusion в сторону контролируемого V2V-редактирования. При текущих темпах роста мощностей железа мы приближаемся к эпохе интерактивного медиапотребления. Сценарий, где зритель на лету меняет время суток в сцене сериала или переодевает актеров через текстовый запрос, переходит из разряда футурологии в вопрос пары лет алгоритмической полировки.