Системата за машинно обучение Stable Diffusion е адаптирана за синтез на музика

Проектът Riffusion развива вариант на системата за машинно обучение Stable Diffusion, адаптирана за генериране на музика вместо изображения. Музиката може да се синтезира от текстово описание на естествен език или на база предложен шаблон. Компонентите за синтез на музика са написани на Python с използване на фреймворка PyTorch и са налични под лицензия MIT. Обвивката с интерфейса е реализирана на TypeScript и също се разпространява под лицензия MIT. Натренированите модели са отворени под разрешителна лицензия Creative ML OpenRAIL-M, допускаща употреба в търговски цели.

Проектът е интересен с това, че продължава да използва модели "от текст към изображение" и "от изображение към изображение" за генериране на музика, но вместо изображения манипулира спектрограми. С други думи, класическият Stable Diffusion е трениран не на снимки и картинки, а на изображения на спектрограми, отразяващи измененията на честота и амплитуда на звуковата вълна с времето. Съответно на изхода също се формира спектрограма, която след това се преобразува в звуково представяне.

Методът също така може да се използва за промяна на вече съществуващи звукови композиции и синтез на музика по образец, подобно на модифицирането на изображения в Stable Diffusion. Например, при генерирането могат да се задават образци на спектрограми с референтен стил, да се комбинират различни стилове, да се извърши плавен преход от един стил в друг или да се внесат изменения в съществуващ звук за решаване на задачи като увеличаване на звука на отделни инструменти, промяна на ритъма и замяна на инструменти. Образците също се използват за генериране на дълготрайни композиции, компонирани от серия близки една до друга откъси, които малко се променят с времето. Отделно генерираните откъси се обединяват в непрекъснат поток чрез интерполация на вътрешните параметри на модела.

За създаване на спектрограма от звук се използва прозоречно преобразуване на Фурие. При възстановяване на звука от спектрограма възниква проблем с определянето на фазата (в спектрограмата присъстват само честота и амплитуда), за реконструкцията на която се използва алгоритъм за апроксимация на Гриффин-Лима.

Източник: opennet.ru