Mashruuca Riffusion wuxuu horumarinayaa nooca nidaamka barashada mashiinka Stable Diffusion, oo loo habeeyey inuu soo saaro muusik bedelkii sawirada. Muusiga waxaa laga soo saari karaa sharraxaad qoraal ah oo ku qoran luqadda dabiiciga ah ama iyadoo lagu saleynayo qaab la soo jeediyay. Qaybaha isku dhafka muusiga waxaa lagu qoray Python iyadoo la adeegsanayo qaabka PyTorch waxaana lagu heli karaa shatiga MIT. Isku xidhka interfiyuuga waxa lagu fuliyaa TypeScript waxaana sidoo kale lagu qaybiyaa shatiga MIT. Moodooyinka la tababaray waxay ku haystaan ββshatiga Hal-abuurka ML OpenRAIL-M ee la oggol yahay ee isticmaalka ganacsiga.
Mashruucu waa mid xiiso leh in uu sii wado adeegsiga moodooyinka "qoraal-u-sawir" iyo "image-to-image" si loo soo saaro muusik, laakiin waxay u isticmaashaa spectrograms sawir ahaan. Si kale haddii loo dhigo, Faafinta Xasilloonida caadiga ah laguma tababaro sawiro iyo sawirro, laakiin waxaa lagu tababaraa sawirada spectrograms ee ka tarjumaya isbeddelada soo noqnoqda iyo baaxadda hirarka dhawaaqa waqti ka dib. Sidaa darteed, spectrogram ayaa sidoo kale lagu sameeyay wax soo saarka, kaas oo markaa loo beddelo matalaad maqal ah.
Habka waxa kale oo loo isticmaali karaa in wax laga beddelo halabuurka dhawaaqa jira oo lagu soo saaro muusik muunad, oo la mid ah wax ka beddelka sawirka ee Diffusion Stable. Tusaale ahaan, jiilku waxa uu muunadayn karaa spectrograms oo leh hab tixraaceed, isku daraa habab kala duwan, samayn karaa isbeddel fudud oo laga bilaabo qaab ilaa mid kale, ama wax ka beddelo dhawaaq jira si loo xalliyo dhibaatooyinka sida kordhinta mugga qalabka gaarka ah, beddelidda laxanka, iyo beddelidda laxanka. qalabka. Muunado ayaa sidoo kale loo isticmaalaa in lagu soo saaro halabuuro ciyaar-dheer leh, oo ka kooban dhowr marin oo isku dhow oo kala duwan waqti ka dib. Waddooyinka si goonida ah loo soo saaray ayaa lagu daraa qulqul joogto ah iyadoo la adeegsanayo isdhexgalka xuduudaha gudaha ee moodeelka.
Beddelka Fourier daaqadeed ayaa loo isticmaalaa in lagu sameeyo spectrogram ka codka. Marka dib loo soo celinayo dhawaaqa spectrogram, dhibaato ayaa ka soo baxda go'aaminta marxaladda (kaliya inta jeer iyo baaxadda ayaa ku jira spectrogram), dib u dhiska kaas oo loo isticmaalo qiyaasta qiyaasta Griffin-Lim.
Source: opennet.ru