Принято считать, что вытащить чистые MIDI-партии из плотно сведенного микса — задача для магии или долгих часов ручного подбора. Проект MuScriptor от разработчиков из Kyutai и Mirelo пытается доказать обратное. Это открытая модель, которая слушает готовый трек и раскладывает его на отдельные инструменты вроде барабанов, баса или вокала. Заявлено, что архитектуру на базе трансформера обучили на 170 тысячах композиций.

Звучит как идеальный инструмент для продюсеров, но при изучении документации всплывает серьезный компромисс. Токенизатор модели фиксирует тайминги, высоту тона и тип инструмента, но полностью игнорирует динамику исполнения. Вы получите точный по нотам MIDI-файл, где каждый удар по клавишам звучит с одинаковой, роботизированной громкостью. Для электронной музыки это может сработать, а живые партии придется долго оживлять вручную.

Развернуть систему локально можно командой uvx muscriptor serve, предварительно приняв некоммерческую лицензию CC BY-NC 4.0 через HuggingFace. Доступны три версии: small для работы на процессоре и тяжелая large на 1.4 миллиарда параметров, которой понадобится видеокарта. Вопрос в том, кому нужен алгоритм, выдающий плоский звуковой каркас вместо полноценной динамической партии? Как инструмент для быстрого съема аккордов это работает отлично, но до полноценного реверс-инжиниринга треков пока далеко.