Deforum

Deforum — open-source инструмент для анимации в Stable Diffusion, который вырос из Colab-ноутбука в расширение для Automatic1111 WebUI и отдельное приложение Deforum Studio. Для тех, кто делает генеративную анимацию и хочет управлять движением и стилем кадра, а не просто нажимать «сгенерировать».

Что умеет

• Работает как расширение Automatic1111 WebUI — со стайл-трансфером видео, motion-эффектами и апскейлом кадров
• Существует как оригинальная Colab-реализация, не требующая собственного мощного компьютера
• Даёт точный контроль над параметрами и синхронизацию с аудио через инструмент Parseq
• Предлагает Python-движок aiNodes для построения собственных нод-пайплайнов
• В Deforum Studio (Discord-бот и веб-приложение) достаточно ввести промпт и выбрать один из 25 motion-пресетов
• Позволяет стилизовать анимацию 77 модификаторами промпта и выбрать альбомный, портретный или квадратный формат

Проект вырос из комьюнити вокруг Disco Diffusion, PyTTI и VQGAN+CLIP и остаётся открытым — весь код доступен на GitHub.

Для моушн-дизайнера, который хочет генеративную анимацию с реальным контролем над движением камеры и стилем, а не рандомную выдачу нейросети, Deforum — один из немногих инструментов, где это можно настроить вручную.