O lo'o fa'atupuina e le poloketi Riffusion se fa'ata'ita'iga o le masini a'oa'oga Stable Diffusion, fa'afetaui e fa'atupu musika nai lo ata. E mafai ona tu'ufa'atasia musika mai se fa'amatalaga tusitusia i le gagana fa'anatura pe fa'avae i luga o se fa'ata'ita'iga fuafuaina. O vaega o musika faʻapipiʻi o loʻo tusia i le Python e faʻaaoga ai le PyTorch framework ma o loʻo avanoa i lalo ole laisene MIT. O lo'o fa'atinoina le feso'ota'iga i le TypeScript ma o lo'o tufatufaina fo'i i lalo ole laisene MIT. O fa'ata'ita'iga ua a'oa'oina ua laiseneina i lalo ole laisene fa'atagaina Creative ML OpenRAIL-M mo fa'aoga fa'apisinisi.
E manaia le poloketi ona o loʻo faʻaauau pea ona faʻaogaina le "tusitala-i-ata" ma le "ata-i-ata" faʻataʻitaʻiga e gaosia ai musika, ae faʻaogaina spectrograms e pei o ata. I se isi faaupuga, o le Stable Diffusion masani e le aʻoaʻoina i luga o ata ma ata, ae i luga o ata o spectrograms e atagia ai suiga i le taimi ma le maualuga o se galu leo i le taimi. E tusa ai, o se spectrogram e fausia foi i le gaosiga, ona liua lea i se faʻaaliga leo.
E mafai fo'i ona fa'aoga le metotia e sui ai fatuga leo o lo'o iai ma tu'ufa'atasia musika mai se fa'ata'ita'iga, e tutusa ma le suiga o ata ile Stable Diffusion. Mo se faʻataʻitaʻiga, e mafai e le faʻatupuina ona faʻataʻitaʻiina spectrograms ma se sitaili faʻasino, tuʻufaʻatasia sitaili eseese, faia suiga malie mai le tasi sitaili i le isi, pe fai suiga i se leo o loʻo i ai e foia ai faʻafitauli e pei o le faʻateleina o le leo o meafaifaʻaili taʻitasi, suia le pao, ma suiga. meafaifaaili. E fa'aoga fo'i fa'ata'ita'iga e fa'atupu ai fatuga umi e ta'alo, e aofia ai se fa'asologa o va'aiga va'ava'ai e fesuisuia'i teisi i le taimi. E tu'ufa'atasia tu'ufa'atasiga tu'ufa'atasia i totonu o se vaitafe fa'aauau e fa'aogaina ai le fa'aogaina o fa'atagata totonu ole fa'ata'ita'iga.
O le fa'aliliuga Fourier fa'amalama e fa'aaogaina e fai ai se spectrogram mai le leo. Pe a toe fatuina le leo mai se spectrogram, e tulaʻi mai se faʻafitauli i le fuafuaina o le vaega (naʻo le tele o taimi ma le amplitude o loʻo i ai i luga o le spectrogram), mo le toe faʻaleleia o loʻo faʻaogaina ai le Griffin-Lim approximation algorithm.
puna: opennet.ru