Стабилна дифузионна система за машинно обучение, адаптирана за музикален синтез

Проектът Riffusion разработва версия на системата за машинно обучение Stable Diffusion, адаптирана да генерира музика вместо изображения. Музиката може да бъде синтезирана от текстово описание на естествен език или въз основа на предложен шаблон. Компонентите за синтез на музика са написани на Python с помощта на рамката PyTorch и са достъпни под лиценза на MIT. Обвързването на интерфейса е реализирано в TypeScript и също се разпространява под лиценза на MIT. Обучените модели са лицензирани съгласно разрешителен лиценз Creative ML OpenRAIL-M за търговска употреба.

Проектът е интересен с това, че продължава да използва моделите „текст към изображение“ и „изображение към изображение“ за генериране на музика, но манипулира спектрограмите като изображения. С други думи, класическата стабилна дифузия се обучава не върху снимки и картини, а върху изображения на спектрограми, които отразяват промените в честотата и амплитудата на звукова вълна във времето. Съответно на изхода се формира и спектрограма, която след това се преобразува в аудио представяне.

Методът може да се използва и за модифициране на съществуващи звукови композиции и синтезиране на музика от семпъл, подобно на модифицирането на изображение в Stable Diffusion. Например поколението може да семплира спектрограми с референтен стил, да комбинира различни стилове, да прави плавни преходи от един стил към друг или да прави промени в съществуващ звук, за да разреши проблеми като увеличаване на силата на звука на отделни инструменти, промяна на ритъма и промяна инструменти. Семплите се използват и за генериране на дългосвирещи композиции, съставени от поредица от близко разположени пасажи, които леко варират във времето. Отделно генерираните пасажи се комбинират в непрекъснат поток чрез интерполация на вътрешните параметри на модела.

Прозоречно преобразуване на Фурие се използва за създаване на спектрограма от звук. При пресъздаване на звук от спектрограма възниква проблем с определянето на фазата (на спектрограмата присъстват само честота и амплитуда), за реконструкцията на които се използва апроксимационният алгоритъм на Griffin-Lim.

Източник: opennet.ru