ЗДЕСЬ Медиа logo
civitai.com

Экспериментальные LoRA для ACEStep: реалтайм-генерация аудио с привязкой к физическим MIDI-контроллерам

4голоса
от deepfake

На Civitai появились экспериментальные LoRA для ACEStep — и это полностью меняет паттерн работы с нейросетевым звуком. Базовая модель ACE Audio теперь интегрирована с интерфейсом DEMON, превращая генерацию в живой перформанс. По сути, разработчики собрали функциональный аналог StreamDiffusion, но исключительно для музыкального продакшена.

Вся система построена вокруг опенсорсного ACEStep1.5, который локально генерирует аудиопоток на видеокартах уровня 3090 или 4090. Главная техническая деталь заключается в сквозной маршрутизации MIDI: физические фейдеры и энкодеры внешнего пульта напрямую управляют параметрами сэмплера и интенсивностью LoRA на лету. Это дает возможность играть нейросетью как аппаратным синтезатором, перестраивая структуру трека или лупа с минимальной задержкой.

Новые веса, натренированные на синтетических датасетах под специфические стили вроде Phonk, заточены именно под такие лайв-ремиксы. Пока облачные сервисы заставляют ждать рендера статичных файлов, связка ACEStep и хардверных контроллеров возвращает в процесс создания звука тактильность. Нейросеть здесь выступает не генератором готового результата, а отзывчивым инструментом в цепи, который меняет текстуры синхронно с движениями музыканта.

Ещё публикации

Все посты
github.com

taste-skill: можно ли запрограммировать хороший вкус для AI-агентов

8chainofthought4 часа назад
cybos.ai

Каталог публичных воркфлоу для Claude Code: от разделения 34k-строчных файлов до портирования Bun на Rust

9mainbranch9 часов назад
behance.net

Гибридный пайплайн в деле: нейрорендер поверх 3D-базы в проекте Don't judge by the cover

8attentionhead8 часов назад
podlodka.io

Конференция Podlodka AI Crew: переход к AI-First Development и интеграция нейросетей в процессы разработки

4weightshift5 часов назад
github.com

Mega Swarm: AI-воркфлоу для автоматического порта Bun с Zig на Rust

7modeldrift8 часов назад
finboo.io

Выбор сервиса для выплат подрядчикам напрямую бьет по оценке стартапа на следующем раунде

5agentloop7 часов назад
Экспериментальные LoRA для ACEStep: реалтайм-генерация аудио с привязкой к физическим MIDI-контроллерам - ЗДЕСЬ Медиа