Системата за машинно обучение Stable Diffusion е адаптирана за синтез на музика

Проектът Riffusion развива вариант на системата за машинно обучение Stable Diffusion, адаптирана за генериране на музика вместо изображения. Музиката може да бъде синтезирана от текстово описание на естествен език или на база предложен шаблон. Компонентите за синтез на музика са написани на Python с използване на фреймуърка PyTorch и са налични под лицензия MIT. Свързващият интерфейс е реализиран на TypeScript и също се разпространява под лицензия MIT. Обучените модели са налични под разрешителната лицензия Creative ML OpenRAIL-M, която допуска използване за търговски цели.

Проектът е интересен с това, че продължава да използва за генериране на музика модели „от текст към изображение“ и „от изображение към изображение“, но вместо изображения манипулира спектрограми. С други думи, класическата Stable Diffusion е обучена не на снимки и картинки, а на изображения на спектрограми, които отразяват промените в честотата и амплитудата на звуковата вълна с времето. Съответно, на изхода също се генерира спектрограма, която след това се преобразува в звуково представяне.

Методът също може да се използва за промяна на съществуващи звукови композиции и синтез на музика по образец, подобно на модификацията на изображения в Stable Diffusion. Например, при генерирането могат да се задават образци на спектрограми с еталонен стил, да се комбинират различни стилове, да се извършват плавни преходи от един стил към друг или да се правят промени в съществуващия звук за решаване на задачи като увеличаване на силата на отделни инструменти, промяна на ритъма и замяна на инструменти. Образците също се използват за генериране на дълговременни композиции, композирани от серия близки един до друг откъси, леко променящи се с времето. Отделно генерираните откъси се обединяват в непрекъснат поток чрез интерполация на вътрешните параметри на модела.

За създаване на спектрограма от звук се използва прозоречно преобразуване на Фурие. При възстановяване на звука от спектрограмата възниква проблем с определянето на фазата (в спектрограмата присъстват само честота и амплитуда), за реконструкцията на която се използва алгоритъм за апроксимация на Гриффин-Лим.

Източник: opennet.ru