Новость

Эпоха случайных генераций закончилась: видеонейросети переходят на таймлайны и режиссуру

The image shows a video editing interface, likely from a video editing software like Minimax. The interface is dark with a white background and features a title bar at the top. The title bar displays the text "Minimax Director" and "Video Prompt", along with the time and date. The interface also includes tabs for "Vide
Фото: GitHub

Двойной клик по шкале времени, перетаскивание ключевого кадра прямо на нужную секунду и аккуратный срез аудиодорожки — привычная рутина монтажера наконец-то добралась до генеративных нейросетей. Индустрия стремительно устает от слепого набора текстовых запросов в пустое диалоговое окно. На смену пятисекундным бессвязным отрезкам приходят агентные студии, единые монтажные столы и сквозной контроль над сценой.

Первыми за дело взялись энтузиасты открытого кода, уставшие собирать монструозные графы в ComfyUI. Плагин ComfyUI-MiniMaxDirector перенес управление мультимодальной моделью MiniMax H3 на классический таймлайн. Внутри работает 32-миллиардная vision-language модель, которая генерирует изображение и звук за один проход. Плагин берет на себя строгую математику фрейм-латтицы модели: клип обязан подчиняться формуле length % 17 == 5 при 24 кадрах в секунду, укладывая кадры в сетку вроде 5, 22, 39, 56 или 107 фреймов. Визуальный редактор сам привязывает длительность к этой сетке и компилирует расставленные маркеры в чистый промпт.

The image shows a timeline view of a video editing project, likely for a video game or similar media project. The timeline is organized into sections, including "WHO & WHAT", "GLOBAL", "IMPORT / EXPORT", and "AUDIO". The video is titled "A basket of golden croissants on a round white table beside two cups, steam curlin
Фото: GitHub

В интерфейсе появилась отдельная вкладка Who & What с карточками объектов. На каждый элемент — лицо, костюм, реквизит или локацию — заводится персональный профиль с удержанием референса, поддержкой замены лиц, заимствованием движений из видео и тембра голоса из стороннего аудио. Для запуска требуются версия ComfyUI 0.31.0 или свежее и четыре весовых файла (включая текстовый энкодер Qwen3-VL 32B и видео-VAE). Модель поддерживает четырехшаговый дистиллированный турбо-режим через LoRA и апскейл латентов до серьезных разрешений.

The image depicts a room with a dark blue/navy color scheme, featuring a fireplace with a red rug in front of it. A man in a brown trench coat and fedora is pointing at a yellow chicken with a red comb and beak. The room also contains a map, a knife with a bloody handle, a safe, a picture of a man, a glass with a red l
Фото: fal

Разрешение кадра при апскейле MiniMax H3

Параметр megapixelsРазрешение на выходе
2.01920 × 1088
4.02720 × 1536
7.03584 × 2048
9.04064 × 2336

Параллельно эволюционирует семейство LTX. Разработчик The-ShadowWalker обновил плагин LTX Director для генератора Wan2GP (базирующегося на разработках DeepBeepMeep и модели LTX-2 от Lightricks). В версиях 1.3.17–1.3.25 появились горячие клавиши, многопотоковое сведение аудио с сохранением пауз и тумблер Past cap. Этот переключатель обходит стандартное ограничение генератора на длину исходного видеопотока (около 125 секунд при 24 кадрах в секунду), временно расширяя лимит под размер проекта.

Свой ответ подготовил и автор набора нод WhatDreamsCost, выпустив LTX Director 2.0. Инструмент превратил рабочее пространство в полноценный нелинейный монтаж: здесь можно резать клипы прямо по положению головки воспроизведения, применять IC-LoRA через перетаскивание файлов и дорисовывать звук через аудиоинпейнтинг. Больше всего нас подкупил экспериментальный режим Retake Mode — возможность выделить бракованный отрезок на таймлайне и отправить на перегенерацию только его, не пересчитывая всю сцену заново. За счет кэширования спатченных моделей и поддержки SageAttention софт работает в 1.5–3 раза быстрее прошлых сборок.

Видео: GitHub

Если локальные утилиты ориентированы на покадровый контроль, облачные платформы пошли путем непрерывного потока. Платформа fal представила модель H3 Max Director, работающую по протоколу WebRTC. Система отдает видеопоток в 24 кадра и 48 кГц стереозвук напрямую в браузер без очереди задач. Пользователь задает мир глобальным описанием до 50 000 символов, а затем отправляет новые текстовые указания прямо во время воспроизведения. Модель применяет команды на лету в окне от 5 до 15 секунд, удерживая контекст последних 12–50 сегментов. Стоит такое удовольствие $0.08 за секунду стрима при минимальном чеке сессии $4.80 (60 секунд) и публичном максимуме в 15 минут ($72.00). Базовая H3 Max уже удерживает верхние строчки в бенчмарках Design Arena (Elo 1341) и Artificial Analysis (Elo 1201).

The image depicts a man in a dark suit and fedora, seated at a desk in a dimly lit room. He is holding a piece of paper and appears to be speaking into a microphone. A vintage radio sits on the desk next to a glass of amber liquid, possibly whiskey. The room has a textured wall with a clock and a lamp, and a window rev
Фото: fal

Для тех, кто не хочет видеть узлы и связи даже во сне, вышел ComfyDirector под лицензией MIT. Оболочка прячет спагетти из нод за интерфейсом раскадровки, библиотекой консистентности персонажей Continuity Library и встроенным черновым монтажом с поддержкой разных соотношений сторон — от анаморфотного 2.35:1 до вертикального 9:16. Пакет предлагает 11 готовых шаблонов второго поколения под видеокарты с памятью от 8 ГБ до систем с 32 ГБ и выше.

Коммерческий сектор отвечает концепцией «вайб-режиссуры». Сервис OpenArt Director разворачивает непрерывные пятиминутные истории по текстовому описанию, беря на себя синхронизацию губ персонажей на девяти языках (включая кантонский, мандаринский, корейский и испанский) и удерживая фирменный стиль по загруженным бренд-букам. А на инфраструктурном уровне VideoDB выкатила открытый фреймворк Director. Система разворачивается через Python 3.9+ и Node.js 22.8.0+, предоставляя движок рассуждений Reasoning Engine и более 20 преднастроенных агентов для автоматической нарезки хайлайтов, семантического поиска и компиляции фильмов по сценарию.

Видео: GitHub

Рынок генеративного видео перешел от гонки чистых моделей к битвам продакшн-систем. Простая склейка клипов через API перестала быть технологическим барьером. Главной валютой продакшена становится непрерывность: удержание кроя пиджака героя, геометрии комнат, ракурсов камеры и согласованного звука от первого до финального кадра. Режиссура вернулась на свое законное место — просто теперь ассистенты за пультом говорят на языке весов и латентов.

The image presents a bar graph titled "Image to Video" that displays the number of models added to video in the past 30 days for various video platforms. The x-axis is labeled with the platform names, and the y-axis is labeled with the number of models added. The bars are colored in shades of green, pink, and blue, and
Фото: fal

Ещё новости

Все новости →