Систем за машинско учење со стабилна дифузија прилагоден за синтеза на музика

Проектот Riffusion развива верзија на системот за машинско учење Stable Diffusion, прилагоден да генерира музика наместо слики. Музиката може да се синтетизира од опис на текст на природен јазик или врз основа на предложен шаблон. Компонентите за синтеза на музика се напишани во Python користејќи ја рамката PyTorch и се достапни под лиценцата MIT. Поврзувањето на интерфејсот се имплементира во TypeScript и исто така се дистрибуира под лиценцата MIT. Обучените модели се лиценцирани според дозволата Creative ML OpenRAIL-M за комерцијална употреба.

Проектот е интересен по тоа што продолжува да ги користи моделите „текст-на-слика“ и „слика-на-слика“ за генерирање музика, но манипулира со спектрограмите како слики. Со други зборови, класичната стабилна дифузија не се тренира на фотографии и слики, туку на слики од спектрограми кои ги рефлектираат промените во фреквенцијата и амплитудата на звучниот бран со текот на времето. Соодветно на тоа, на излезот се формира и спектрограм, кој потоа се претвора во аудио претстава.

Методот може да се користи и за модификација на постоечки звучни композиции и синтетизирање музика од примерок, слично на модификацијата на сликата во Стабилна дифузија. На пример, генерацијата може да примери спектрограми со референтен стил, да комбинира различни стилови, да прави непречени транзиции од еден стил во друг или да прави промени на постоечки звук за да реши проблеми како што се зголемување на јачината на звукот на поединечни инструменти, менување на ритамот и замена инструменти. Примероците се користат и за генерирање композиции со долги свирења, составени од низа пасуси кои се блиску еден до друг и малку се разликуваат со текот на времето. Одделно генерираните пасуси се комбинираат во континуиран тек користејќи интерполација на внатрешните параметри на моделот.

Прозорчена Фуриеова трансформација се користи за да се создаде спектрограм од звук. При пресоздавање на звук од спектрограм, се јавува проблем со одредувањето на фазата (на спектрограмот се присутни само фреквенцијата и амплитудата), за чија реконструкција се користи алгоритмот за приближување Griffin-Lim.

Извор: opennet.ru