Riffusion долбоору сүрөттөрдүн ордуна музыканы жаратууга ылайыкташтырылган Stable Diffusion машиналык үйрөнүү тутумунун версиясын иштеп чыгууда. Музыканы табигый тилдеги тексттин сүрөттөмөсүнөн же сунушталган шаблондун негизинде синтездесе болот. Музыкалык синтез компоненттери PyTorch алкагын колдонуу менен Python тилинде жазылган жана MIT лицензиясы боюнча жеткиликтүү. Interface милдеттүү түрдө TypeScript ишке ашырылат жана ошондой эле MIT лицензиясы боюнча бөлүштүрүлөт. Үйрөтүлгөн моделдер коммерциялык колдонуу үчүн уруксат берүүчү Creative ML OpenRAIL-M лицензиясынын астында лицензияланат.
Долбоор кызыктуу, анткени ал музыканы түзүү үчүн "тексттен сүрөткө" жана "сүрөттөн сүрөт" моделдерин колдонууну улантууда, бирок спектрограммаларды сүрөттөр катары башкарат. Башкача айтканда, классикалык Туруктуу диффузия фото жана сүрөттөрдө эмес, үн толкунунун жыштыгынын жана амплитудасынын убакыттын өтүшү менен өзгөрүшүн чагылдырган спектрограммалардын сүрөттөрүндө үйрөтүлөт. Демек, чыгууда спектрограмма да түзүлөт, ал андан кийин аудио өкүлчүлүккө айландырылат.
Метод ошондой эле туруктуу диффузиядагы сүрөттүн модификациясына окшош болгон үн композицияларын өзгөртүү жана үлгүдөгү музыканы синтездөө үчүн колдонулушу мүмкүн. Мисалы, муун эталондук стили менен спектрограммаларды тандап, ар кандай стилдерди айкалыштыра алат, бир стилден экинчисине жылмакай өтүүлөрдү жасай алат же айрым инструменттердин үнүн жогорулатуу, ритмди өзгөртүү жана өзгөртүү сыяктуу көйгөйлөрдү чечүү үчүн учурдагы үнгө өзгөртүүлөрдү киргизе алат. аспаптар. Үлгүлөр ошондой эле убакыттын өтүшү менен бир аз өзгөрүп турган бир катар жакын аралыктагы үзүндүлөрдөн турган узакка созулган композицияларды түзүү үчүн колдонулат. Өзүнчө түзүлгөн үзүндүлөр моделдин ички параметрлеринин интерполяциясын колдонуу менен үзгүлтүксүз агымга бириктирилет.
Терезелүү Фурье трансформациясы үндөн спектрограмма түзүү үчүн колдонулат. Спектрограммадан үндү кайра жаратууда фазаны аныктоо маселеси келип чыгат (спектрограммада жыштык жана амплитуда гана бар), аны реконструкциялоо үчүн Гриффин-Лимге жакындоо алгоритми колдонулат.
Source: opennet.ru