CorridorKey 2.0 заменяет часы ручного кеинга и ротоскопа одной локальной нейросетью

Зелёный экран в продакшене редко выглядит как в учебнике. На реальной съёмке по краям кадра торчат си-стенды, трекинг-маркеры намертво влипают в размытые волосы актёра, а полупрозрачная ткань ловит зелёный отсвет, который потом приходится часами вычищать масками и деспиллом. Студия Corridor Digital полгода обкатывала собственное решение этой головной боли внутри команды, прогнав через него более 400 VFX-шоу для своего проекта Son of a Dungeon, а теперь выкатила инструмент наружу. Их разработка CorridorKey 2.0 объединяет сразу три тяжеловесные нейросетевые модели, чтобы за один проход отдавать чистую маску и правильный передний план без шума и мучительного ротоскопирования.

Над архитектурой и кодом работала команда Corridor Digital вместе с разработчиком моделей Закари Харрисом (Zachary Harris), специалистом по софту Алэ Альваро (Alê Alvaro) и Никой. Логика инструмента построена на отказе от изолированного покадрового анализа. Система считывает соседние кадры во времени, поэтому края маски перестают вибрировать, а мерцание от цифрового шума или компрессии камеры исчезает само собой. Алгоритм un-mixing берет на себя самую неблагодарную работу: он рассчитывает исходные цвета полупрозрачных деталей вроде прядей волос, боке или смазанных в движении рук, аккуратно отделяя их от фонового синего или зелёного свечения.

Архитектура под капотом

Вместо попытки обучить одну гигантскую сеть с нуля авторы собрали ансамбль из готовых foundation-моделей от техногигантов, заморозили их веса и натренировали связующую прослойку. Синтетический датасет для обучения студия полностью отрендерила в 3D, получив математически безупречные референсы альфа-канала. Технический фундамент пайплайна опирается на три сторонних компонента:

• C-RADIOv4-SO400M от NVIDIA (распространяется под NVIDIA Open Model License);
• MoGe-2 ViT-B от Microsoft (лицензия MIT);
• RVM small от Google DeepMind (лицензия CC-BY 4.0).

Поверх этих архитектур работает файл весов самой модели corridorkey_v2.safetensors размером 2,66 ГБ (полный вес с окружением доходит примерно до 5 ГБ) и файл нормализации foundation_stats.safetensors. Всё это крутится строго локально, не отправляя терабайты сырого футажа на чужие серверы. Для разработчиков и любителей писать пайплайны руками проект выложен на GitHub с поддержкой связки PyTorch 2.9.1, torchvision 0.24.1, CUDA 12.8 и утилиты ffmpeg.

Режимы подсказок и экспорт

Модель обучена кеить материал в честном нативном разрешении и предлагает четыре сценария работы, в зависимости от степени контроля над сценой:

• Без подсказок (No Hint): нейросеть сама находит объект на переднем плане. Режим годится для простых планов и быстрых тестов, но пасует, если в кадре толпа людей;
• Подсказка по первому кадру (First-Frame Hint): артист скармливает маску только для начального кадра (функция AlphaHint), а алгоритм сам транслирует её через временные окна Hann carry на весь дубль, игнорируя фоновые стойки и приборы;
• Видео с подсказками (Full Hint Video): инструмент принимает покадровую грубую маску или гарбидж-матт на весь хронометраж. Если включить флаг --no_carry_hint, модель полностью отключит собственные догадки и будет следовать разметке художника;
• Режим низкого потребления памяти (Low-VRAM): система сбрасывает промежуточные признаки во временные файлы на накопитель и обрабатывает сцену пошаговым потоком.

На выходе CorridorKey 2.0 формирует альфа-маску, чистый RGB переднего плана, вырезанный объект с прозрачностью или композит на шахматной доске с регулировкой подавления паразитного оттенка через параметр --despill_strength. По умолчанию видео жмётся через libx264 с параметром CRF 12 и 10-битным профилем yuv444p10le. Для взрослых студийных задач предусмотрен прямой экспорт в линейный OpenEXR с поддержкой HDR и сохранением значений цвета выше единицы без клиппинга.

Системные требования и экосистема

Железо требуется серьёзное, но вполне подъёмное для рабочего сетапа. Чтобы запустить пайплайн, понадобится видеокарта NVIDIA линейки RTX 30 или новее. Модели RTX 20-й серии пока работают в тестовом режиме. Объём видеопамяти напрямую диктует поддерживаемый формат: 4 ГБ VRAM хватит для исходников вплоть до 1440p, а для честного 4K потребуется от 6 ГБ VRAM. В зависимости от памяти программа автоматически выбирает шаг временных окон: от связки 80/40 на мощных станциях до покадрового 1/1 на более скромных картах. Система работает на Windows 10 (версия 22H2) и Windows 11. Сборка для Apple Silicon на macOS 14 и выше сейчас находится в бете, а релизы под Linux и чипы AMD разработчики обещают добавить позже.

Если возиться с консолью и скриптами Python нет желания, на сайте corridorkey.com продаётся готовый коммерческий пакет. В него входит отдельное десктопное приложение для пакетного рендера файлов и нативные плагины сразу для пяти редакторов: DaVinci Resolve, Nuke, Adobe After Effects, Premiere Pro и Blender. Никаких подписок — студия выбрала разовую покупку с бесплатными обновлениями для всей второй ветки.

Промо-тариф для первых покупателей действует до 21 ноября 2024 года, после чего цены вырастут в два раза. На обе версии действует 14-дневная безусловная гарантия возврата денег. С открытым кодом на GitHub ситуация интересная: лицензия основана на CC BY-NC-SA 4.0, но с оговорками. Пользователи могут свободно применять веса в коммерческих проектах, однако компаниям с годовой выручкой свыше 20 миллионов долларов придётся покупать платные лицензии на каждого сотрудника через официальный сайт.

Нас подкупило, что инструмент создавали практики, которые сами годами сидят на композитинге и ненавидят чистить трекинг-кресты вручную. Пожалуй, это редкий случай, когда нейросеть не пытается заменить арт-директора абстрактными картинками, а молча забирает себе самую унылую рутину студийных будней. Хромакей наконец-то перестаёт быть поводом для депрессии на посте.