Black Forest Labs открыла FLUX 3 Image Klein с точным контролем объектов

Вместо привычной слепой надежды на диффузию теперь можно просто разметить кадр координатами: объект садится точно на сетку от нуля до тысячи, не пытаясь расплыться по соседним пикселям. Команда Black Forest Labs выложила в открытый доступ модель FLUX 3 Image Klein. Графический трансформер на 5,6 миллиарда параметров объединил под одним капотом генерацию с нуля, работу с одиночными референсами и сложную многослойную композицию, избавив продакшен от необходимости собирать тяжелый пайплайн из пяти разных утилит.

За парсинг смыслов и визуального контекста отвечает текстовый энкодер Qwen3-VL-4B-Instruct, который поставляется отдельно от основного визуального блока. Архитектура модели изначально заточена под управляемость. Главное новшество для арт-директоров и моушн-дизайнеров — нативная поддержка ограничивающих рамок (bounding boxes). Пользователь задает координаты нужной зоны, после чего объект внутри нее можно переместить, масштабировать, перекрасить или заменить другим через обычный текстовый запрос. Рамки не накладывают топорную пиксельную маску, а гармонично вписывают геометрию в общее освещение и перспективу. Кроме того, архитектура аккуратно рендерит текстовые надписи прямо на объектах или фонах — достаточно заключить нужные фразы в кавычки.

Архитектура, чекпоинты и требования к железу

Модель крайне требовательна к постановке задачи: короткий запрос на три слова без контекста выдаст посредственный результат. Архитектуре обязателен текстовый апсемплер — разработчики предлагают сопутствующий модуль flux-3-image-klein-pup либо внешние языковые модели. Апсемплер берет черновой промпт и достраивает его до полноценного технического описания кадра: расписывает световые акценты, ракурс камеры, материалы поверхностей и формирует JSON-разметку с координатами для ограничивающих рамок.

Репозиторий включает несколько вариантов весов под разные пайплайны:

• Базовый дистиллированный чекпоинт Klein в формате bfloat16, работающий без параметра guidance за 16 шагов. Именно он крутится на официальном API Black Forest Labs.
• Версия FLUX 3 Image Klein Base для исследователей, дообучения и тренировки пользовательских LoRA. Она недистиллированная, использует 50 шагов инференса и значение guidance 3.5.
• Квантованные версии FP8 и NVFP4, созданные для экономии видеопамяти без фатальной потери точности.

С аппетитами у архитектуры все серьезно. На референсном ускорителе B200 при генерации квадрата 1024х1024 пикселя (без учета апсемплера) аппетиты распределяются жестко:

• Вариант BF16 забирает 31 ГБ видеопамяти.
• Вариант FP8 требует 26 ГБ памяти графического процессора.
• Сборка NVFP4 укладывается в 25 ГБ.

Подключение модуля текстового апсемплинга забирает сверху еще около 28 ГБ на графическом чипе объемом 80 ГБ. Домашней видеокартой здесь обойтись непросто, поэтому инференс быстро перекочевал в облачную инфраструктуру.

Облачный запуск и параметры генерации

Для тех, кто не держит под столом стойку серверных ускорителей, модель Flux.3 Klein Image LoRA оперативно развернули на платформе Replicate. Облачная сборка опирается на мощности графических процессоров NVIDIA L40S и отдает готовый результат в формате PNG. В интерфейсе уже настроены два базовых сценария:

• Ускоренный дистиллированный режим (distilled), включенный по умолчанию. Он выполняет расчет ровно за 16 шагов.
• Базовый режим (base), переключаемый вручную. Он задействует 50 шагов и открывает доступ к шкале guidance.

Пользователь может тонко управлять генерацией: вручную задавать число шагов инференса от 1 до 100, фиксировать сид для повторяемости или включать автоматический апсемплинг промпта. Параметр guidance регулируется в диапазоне от 1 до 10 (по умолчанию выставлен на 3.5), но работает исключительно в базовом режиме — дистиллированная модель его игнорирует.

К габаритам холста предъявлены строгие правила: стороны должны быть строго кратны 16 и укладываться в диапазон от 64 до 4096 пикселей. Суммарная площадь кадра имеет верхний потолок в 4 194 304 пикселя. На практике это перекрывает все стандартные студийные форматы: квадрат 1024х1024, горизонтальный кадр 1344х768 или вертикальный постер 768х1344 пикселя.

Правила лицензии и практический смысл

Модель вышла под лицензией FLUX Kommunity License v.1.0. Условия прозрачные: некоммерческое использование свободно, а коммерческий продакшен разрешен компаниям и независимым креаторам с совокупной годовой выручкой строго менее 5 миллионов долларов США (включая аффилированные структуры). Прямо запрещены военные сценарии, биометрия, слежка, создание нелегального контента и попытки обучать на весах Klein сторонние конкурирующие нейросети.

Нас подкупило, как буднично Black Forest Labs превращает хаотичную генерацию картинок в предсказуемый дизайнерский САПР. Больше не нужно часами перебирать случайные зерна, надеясь случайно посадить объект в нужный угол кадра. Координатная сетка и встроенная работа с текстом сокращают дистанцию между сырым скетчем и готовым рекламным бордом до пары предсказуемых итераций.