Пятиминутный трек за один проход: MiniMax открыла веса модели Music 3.0
Знакомая картина на монтаже: черновой ролик собран, тайминг выверен до кадра, но сцена рассыпается, потому что поверх лежит очередная безликая заглушка из бесплатного стока. Нейросети до сих пор предлагали сомнительный компромисс. Приходилось либо клеить трек из тридцатисекундных огрызков в закрытых облачных сервисах, либо мириться с глухим, замыленным звуком. MiniMax выкатила генеративную модель Music 3.0 и сразу выложила её веса в открытый доступ. Нейросеть берет текстовый бриф с текстом песни (или без него) и за один рабочий цикл выдает цельную дорожку хронометражем до пяти минут. Внутри одного прогона зашиты сочинение партии, аранжировка, виртуальный вокал и финальное сведение.
Главная беда генераторов аудио всегда упиралась в физику звука: непрерывный поток акустических данных слишком тяжел для стандартных трансформеров. Чтобы звук не превращался в кашу к третьей минуте, инженеры MiniMax собрали систему из трех самостоятельных узлов: токенайзера, гибридной языковой модели и отдельного стека синтеза.
Архитектура и сквозной пайплайн
Входной аудиосигнал раскладывает многоуровневая система векторного квантования с остатками — Multi-Layer RVQ, состоящая из восьми слоев. Логика разделения здесь поэтапная:
- Первый слой квантования фиксирует базовую семантику и синтаксический каркас композиции;
- Оставшиеся семь слоев последовательно кодируют акустические остатки, вытягивая тембры инструментов и тонкие обертоны;
- Обучение токенайзера проходит в два захода: сначала стабилизируется опорная информационная база, после чего все восемь кодовых книг тренируются синхронно.
Следом подключается связка Hybrid-LM, где роли четко распределены между двумя моделями. Глобальная языковая модель на 8 млрд параметров, построенная на базе Qwen3.5-8B, шаг за шагом предсказывает семантические токены по кадрам. Именно она удерживает драматургию всей пятиминутной композиции, не позволяя куплетам забыть тональность вступления. За внутрикадровые акустические токены по оси глубины отвечает локальная модель размером 0,6 млрд параметров. Обучали эту пару последовательно: сначала выровняли общую семантику, а затем запустили полнопараметрическую совместную доводку.
Финальный звук собирает стек синтеза. Непрерывные скрытые состояния обеих языковых моделей сливаются и уходят в модуль сопоставления потоков (flow matching) объемом 2,4 млрд параметров. Точку ставит декодер Flow-VAE на 123 млн параметров — он окончательно восстанавливает плотный аудиопоток без металлического дребезга и артефактов сжатия.
Точный контроль вместо генеративной рулетки
Работать с генерацией вслепую на реальных проектах невозможно — арт-директору нужен строгий таймлайн, а не абстрактное «сделай красиво». В Music 3.0 привычные текстовые запросы заменили системой Structured Captions. Это разметка с детальными тегами, меняющимися во времени. Вы задаете не просто общий жанр, а расписываете темп, тональность, фактуру продакшена, плотность ритмической секции и характер вокальной обработки для конкретных секунд хронометража.
Песню можно заранее разметить стандартными макротегами структуры: выделить интро, куплеты, пред-припевы, кульминационные припевы, мосты, инструментальные переходы, гитарные или синтезаторные соло и аутро. Если же музыкального бэкграунда не хватает, подключается встроенная система Prompt Enhancement System. Она автоматически обогащает лаконичный пользовательский запрос профессиональными терминами и шаблонами аранжировки, превращая пару дежурных предложений в подробную студийную партитуру.
Нас подкупило то, что веса отданы сообществу без ограничений закрытых платформ. Для моушн-дизайнеров, инди-аниматоров и рекламных продакшенов это означает простую вещь: длинный режиссерский монтаж или концептуальный кейс теперь можно упаковать в плотный оригинальный саундтрек на собственном сервере, не оглядываясь на подписки и чужие авторские права.
Пожалуй, эпоха унылых стоковых библиотек подошла к закономерному финалу.
