Новость

Серый плейбласт превращается в кино: Lightricks выпустила адаптер IC-LoRA

Видео: Hugging Face

Знакомая картина в окне Blender или Unreal Engine: серые кубы, черновой каркас геометрии, схематичный свет и дёрганая траектория виртуальной камеры. Чтобы превратить этот черновик в чистовой видеоролик, моушн-дизайнеру обычно приходится настраивать материалы часами, раз за разом отправляя сцену на тяжеловесный рендер. Команда Lightricks решила срезать этот поворот на полной скорости и представила LTX-2.5-22b-IC-LoRA-Layout-To-Render — специализированный адаптер для своей открытой видеомодели LTX-2.5-22B.

Инструмент берёт сырой вьюпорт-рендер или блокинговую анимацию из примитивов и пересобирает их в полноценный ролик со сложной текстурой и киногеничным светом. Самое ценное здесь — дисциплина. Модель не выдумывает геометрию с нуля и не уводит сцену в абстракцию: траектория движения камеры и точное расположение каждого объекта переносятся без искажений. Для обучения разработчики использовали метод IC-LoRA с рангом 128 в формате BF16, прогнав веса через 4000 шагов.

Видео: Hugging Face

Два входных сигнала и строгая геометрия

Чтобы запустить пайплайн, нейросети нужны два конкретных ориентира. Первый — так называемый driving-клип. Это и есть ваша черновая анимация из 3D-пакета: подойдёт как глиняный рендер, так и простейшее перемещение болванок в пространстве. Второй компонент — референсное изображение первого кадра (или ключевые кадры), задающее художественное направление, материалы, оптику и цветовую палитру.

Здесь кроется ключевое технологическое условие. Подавать серые глиняные шоты в качестве арт-референса категорически запрещено — алгоритм просто зальёт итоговое видео пластилиновой серостью. Разработчики рекомендуют взять первый кадр вьюпорта и заранее стилизовать его через любую стороннюю генеративную модель. Адаптер подхватит стиль этой картинки и распределит его по всей длине анимационного клипа.

К самому исходному видео предъявляют сухие инженерные требования:

  • Базовая частота кадров зафиксирована на отметке 24 fps.
  • Разрешение по ширине и высоте обязательно должно делиться на 64 без остатка; эталонным стандартом создатели называют 1920×1088.
  • Хронометраж клипа автоматически пересчитывается под формулу 8×k+1. Если вы принесёте стандартный трёхсекундный ролик на 72 кадра, алгоритм аккуратно подрежет его ровно до 65 кадров.

Инференс за 11 шагов в ComfyUI

Внутри рабочего процесса ComfyUI генерация не пытается родить тяжеловесную картинку в один присест. Пайплайн опирается на кастомный репозиторий ComfyUI-LTXVideo и готовый граф LTX-2.5_ICLoRA_Layout_To_Render_Two_Stage_Distilled.json. Расчёт разбит на два дистиллированных этапа, и суммарно они отнимают неприлично мало времени.

На первом шаге система строит базовое видео в черновом разрешении 960×544 всего за 8 итераций. Затем подключается апскейлер: он увеличивает латентное пространство ровно в два раза, после чего запускается второй этап — финализация деталей в разрешении 1920×1088 всего за 3 шага. Пожалуй, одиннадцать шагов на честный двухмегапиксельный видеоряд — это самый убедительный показатель оптимизации в открытом сегменте.

Видео: Hugging Face

Технические параметры нод требуют точной калибровки:

  • Сила весов адаптера выставляется на полную мощность — ровно 1.0.
  • Параметр классификатора без подсказок (CFG) фиксируется на значении 1.
  • В качестве семплера выступает euler_ancestral.
  • Базовое значение seed по умолчанию установлено на 42.
  • Позиция первого кадра во времени задаётся техническим маркером -1.

Составлять текстовый запрос тоже придётся по новым правилам. Промпт должен быть лаконичным — буквально одно-два предложения, описывающих финальный кадр в согласии с первым изображением-референсом. Разработчики отдельно запрещают упоминать в тексте подсказок маркеры вроде «clay», «3D» или «Unreal». Стоит допустить одно из этих слов — и видеосеть послушно вернёт картинку обратно к стилистике технического полигонального рендера.

Полный комплект поставки и условия

В открытый набор вошли файл весов ltx-2.5-22b-ic-lora-layout-to-render-1.0.safetensors и шаблон сценария для ComfyUI. Для сборки окружения потребуются базовые компоненты стека: дистиллированный трансформер LTX-2.5-22B, текстовый энкодер gemma4-12b-with-proj, связка видео- и аудио-VAE, а также латентный пространственный апскейлер с коэффициентом увеличения 2x. Юридически использование всех перечисленных файлов регулируется лицензионным соглашением LTX-2-community-license.

Нас подкупило то, как этот инструмент меняет рутину превизуализации. Вместо бесконечной настройки шейдеров и долгого запекания света студии получают возможность тестировать режиссуру на уровне кубиков, получая финальный вид кадра за считаные минуты. Похоже, разрыв между строгим контролем трёхмерной сцены и гибкостью генеративных сетей наконец-то перестал быть проблемой.

Ещё новости

Все новости →