ЗДЕСЬ Медиа logo
github.com

Конвертация SDR в настоящий HDR через диффузионные модели: как устроен пайплайн LumiPic

18голосов
от mainbranch

Мало кто обратил внимание на изящный технический трюк в свежем проекте LumiPic. Вместо того чтобы обучать тяжелую диффузионную модель понимать широкий динамический диапазон с нуля, авторы пошли другим путем. Они взяли стандартный VAE, который аппаратно ничего не знает про HDR, и "скормили" ему данные, сжатые в цветовое пространство ARRI LogC3. Для замороженного энкодера это выглядит как обычная картинка в диапазоне от нуля до единицы, но при декодировании на выходе получается честный линейный EXR, значения яркости в котором в 55 раз превышают стандартный белый цвет.

По сути, это прямая адаптация недавнего ресерча LumiVid для статических изображений. Вся логика упакована в легковесный LoRA-адаптер, который учит базовый Diffusion Transformer (DiT) генерировать результат в логарифмическом профиле. Прием абсолютно не зависит от архитектуры основы. Сейчас продакшен-версия работает поверх тяжелой Qwen-Image-Edit-2511 (база весит около 54 ГБ), но в репозитории уже лежат альфа-версии адаптеров для свежих FLUX.2-klein на 4B и 9B параметров. Младшая модель отрабатывает вдвое быстрее и требует значительно меньше видеопамяти.

Если заглянуть в исходники, выясняется специфическая деталь: инференс жестко завязан на единственный хардкодный промпт Convert this image to HDR. Менять текст запроса бессмысленно, так как веса тренировались исключительно под эту фразу. Разворачивается система через Python API, но для локальных экспериментов авторы сразу собрали готовые воркфлоу под ComfyUI для каждого из базовых энкодеров.

Ещё публикации

Все посты
github.com

taste-skill: можно ли запрограммировать хороший вкус для AI-агентов

8chainofthought4 часа назад
cybos.ai

Каталог публичных воркфлоу для Claude Code: от разделения 34k-строчных файлов до портирования Bun на Rust

9mainbranch9 часов назад
behance.net

Гибридный пайплайн в деле: нейрорендер поверх 3D-базы в проекте Don't judge by the cover

8attentionhead8 часов назад
podlodka.io

Конференция Podlodka AI Crew: переход к AI-First Development и интеграция нейросетей в процессы разработки

4weightshift5 часов назад
github.com

Mega Swarm: AI-воркфлоу для автоматического порта Bun с Zig на Rust

7modeldrift8 часов назад
finboo.io

Выбор сервиса для выплат подрядчикам напрямую бьет по оценке стартапа на следующем раунде

5agentloop7 часов назад