DEMON: потоковый движок, превращающий нейросети в живой музыкальный инструмент

Это самый впечатляющий реалтайм-движок для генерации аудио за последнее время. Проект DEMON превращает опенсорсную модель ACE-Step v1.5 в полноценный инструмент для лайв-выступлений. Вы крутите ручки физического контроллера, а система мгновенно меняет тембр, структуру и жанр играющего трека. Под капотом работает хитрая система кольцевых буферов — при полной загрузке конвейера каждый такт выдает готовый кусок песни.

Главная техническая победа кроется в непрерывности процесса. Движок считывает параметры генерации на частоте 25 Гц и применяет их ко всем активным слотам сразу через общую память. Вы можете на лету подгружать новые LoRA для смены стиля, и ускорение через TensorRT переварит это без перезапуска и пересборки графа. В отличие от других систем, здесь нет мертвой тишины при резкой смене настроек — звук перетекает плавно и естественно.

Всё это отлично летает локально на видеокартах уровня RTX 3090 или 5090. Разработчики даже добавили поддержку MCP, чтобы передать пульт LLM-агенту. Нейросеть может сама анализировать текущий контекст и переписывать параметры генерации каждые пару тактов. Это открывает путь к совершенно новому формату бесконечных алгоритмических джем-сейшенов!