Ideogram 4.0: генерация через JSON и нативная поддержка в ComfyUI

Ideogram выпустила свою первую open-weights модель Ideogram 4.0. Она получила нативную поддержку в ComfyUI в день релиза. Это text-to-image архитектура на 9.3B параметров. Она обучалась с нуля. Главная особенность релиза — структурированный контроль генерации через JSON. Обычный текстовый промпт даёт базовый результат. Формат JSON работает как строгая спецификация. В нём можно задать до 16 hex-цветов на генерацию. Доступны точные координаты [y_min, x_min, y_max, x_max] для позиционирования объектов. Модель принимает конкретные строки текста для рендера с описанием стилистики.

Нейросеть хорошо справляется с постерами и сложной типографикой локально. Чем точнее описаны связи в JSON, тем предсказуемее результат. Важный технический нюанс — встроенный фильтр безопасности. Он зашит непосредственно в веса Ideogram 4.0. Если генерация блокируется, это срабатывает защита самой модели. Обойти фильтр через настройки ComfyUI не получится. В случае блокировки придётся корректировать сам промпт.

Для запуска потребуется обновить ComfyUI до версии 0.24.0. Готовый workflow уже добавлен в официальную библиотеку шаблонов. Открытые веса модели доступны для загрузки на Hugging Face.