FLUX 3
Мультимодальная нейросеть для генерации видео со звуком, изображений и предсказания действий
Команда Black Forest Labs представила мультимодальную базовую модель FLUX 3 на архитектуре Self-Flow, которая одновременно обучается на изображениях, видео и звуковых дорожках. Вместо разрозненных пайплайнов система пытается воспроизвести законы реального мира, связывая визуальное движение, массу объектов и сопутствующую акустику в единое целое. Для арт-директоров и моушн-дизайнеров это открывает путь к созданию видеоряда с органично вшитым звуком за один проход.
Что умеет
- Создавать ролики длиной до 20 секунд со встроенной генерацией нативного звука за одну итерацию.
- Генерировать видео из текстовых описаний, а также на основе статичных картинок — либо как продолжение кадра, либо используя их в качестве референсов.
- Переносить элементы вроде персонажей из исходного видео в совершенно новые сцены через режим video-to-video.
- Бесшовно продолжать существующие связки видео и аудио, а также собирать переходы между ключевыми кадрами.
- Отрисовывать ролики в диапазоне от псевдолюбительской съёмки на камкордер до кинематографичной картинки и анимации.
- Сохранять внешний вид героев на протяжении многокадровых серий и связывать отдельные клипы в длинные монтажные истории.
- Генерировать мультиязычные диалоги, сложную типографику и анимированный графический дизайн прямо в кадре.
- Синтезировать и редактировать статические изображения в нестандартных соотношениях сторон с улучшенным рендерингом текста.
- Предсказывать физические действия робототехники в рамках отдельной ветки FLUX-mimic.
Цены и доступ
Видеогенерация FLUX 3 Video уже открыта на этапе раннего доступа через форму заявки. В планах разработчиков — запуск синтеза картинок FLUX 3 Image, открытие коммерческого доступа через API, раздача приватных весов, а также открытая модель FLUX 3 Dev с открытыми весами для сообщества. Тарифные планы и точные цены пока не раскрываются.
Инструмент метит в ежедневный пайплайн продакшенов: если раскадровки и черновой монтаж теперь отдаются вместе с базовым саунд-дизайном, этап превизуализации рекламы и клипов сократится в разы.
