Projekti Riffusion po zhvillon një version të sistemit të mësimit të makinerive Stable Diffusion, të përshtatur për të gjeneruar muzikë në vend të imazheve. Muzika mund të sintetizohet nga një përshkrim tekstual në gjuhën natyrore ose nga një model i propozuar. Komponentët për sintezën e muzikës janë shkruar në gjuhën Python duke përdorur kornizën PyTorch dhe janë në dispozicion nën licencën MIT. Ndërfaqja është implementuar në gjuhën TypeScript dhe gjithashtu shpërndahet nën licencën MIT. Modelet e trajnuara janë të hapura sipas një licencë permissive Creative ML OpenRAIL-M, e cila lejon përdorimin për qëllime komerciale.
Projekti është interesant sepse vazhdon të përdorë modelet "nga teksti në imazh" dhe "nga imazhi në imazh" për të gjeneruar muzikë, por në vend që të manipulojë me imazhe, ai manipulohet me spektrogramet. Në fjalë tjetër, Stable Diffusion klasik është trajnuar jo në fotografi dhe figura, por në imazhe spektrogrami që pasqyrojnë ndryshimin e frekuencës dhe amplitudës së valëve zvogëluese me kalimin e kohës. Prandaj, në dalje formohet gjithashtu një spektrogram, i cili më pas transformohet në një paraqitje sonore.
Metoda gjithashtu mund të përdoret për të ndryshuar kompozitat ekzistuese të zërave dhe për të sintetizuar muzikë sipas një modeli, me analogji me modifikimin e imazheve në Stable Diffusion. Për shembull, gjatë gjenerimit, mund të jepen mostra spektrogramesh me një stil referencë, të kombinohen stil të ndryshëm, të realizohet një kalim i butë nga një stil në tjetrin ose të bëhen ndryshime në një zë ekzistues për të zgjidhur detyra si rritja e volumit të instrumenteve të veçanta, ndryshimi i ritmit dhe zëvendësimi i instrumenteve. Mostrat gjithashtu përdoren për të gjeneruar kompozita që luajnë gjatë, të përbërë nga një seri fragmentesh që janë afër njëri-tjetrit, duke u ndryshuar pak me kalimin e kohës. Fragmentet që gjenerohen veçmas bashkohen në një rrjedhë të vazhdueshme përmes interpolimit të parametrave të brendshëm të modelit.
Për krijimin e një spektrogrami nga zëri përdoret transformimi i Furierit me dritare. Kur rikrijohet zëri nga spektrogrami, lind problemi i përcaktimit të fazës (në spektrogram është vetëm frekuenca dhe amplituda), për rikonstruktimin e së cilës angazhohet algoritmi i aproksimimit të Griffin-Lim.
Burimi: opennet.ru
