Google Magenta RealTime 2: локальная генеративная музыка для Apple Silicon

Google выпустила Magenta RealTime 2 — генеративную музыкальную модель с открытыми весами для локальной работы на чипах Apple Silicon. В отличие от тяжелых сетапов, требующих видеокарт уровня RTX 4090, MRT2 работает прямо на макбуке без подключения к сети. Проект поставляется в виде самостоятельного приложения и AU-плагина для интеграции в DAW.

Модель функционирует как инструмент с минимальной задержкой. Генерацией управляют через MIDI-аккорды для ведения гармонии, текстовые промпты вроде disco funk для синтеза новых пресетов или короткие аудиосэмплы для клонирования тембра. Движок поддерживает интерполяцию в реальном времени — можно плавно смешивать текст и аудио, а также привязывать параметры к LFO или внешним контроллерам. На выходе генерируется стереопоток с частотой дискретизации 48 кГц.

Для работы доступны две версии модели. Base весит 2.5 ГБ и требует процессор уровня M3 Pro или M2 Max. Версия Small занимает 450 МБ и запускается на любом ARM-чипе Apple, включая базовый MacBook Air. Исходный код фреймворка полностью открыт на GitHub, а скомпилированные бандлы готовы к загрузке.