Riffusioni projekti arendab masinõppe süsteemi Stable Diffusion varianti, mis on kohandatud muusika genereerimiseks piltide asemel. Muusikat saab sünteesida loomuliku keele tekstilise kirjelduse või pakutud malli põhjal. Muusika sünteesimise komponendid on kirjutatud Python keeles, kasutades PyTorch raamistikku, ja need on litsentseeritud MIT all. Liidese ümbritsemine on teostatud TypeScript keeles ning seda levitatakse samuti MIT litsentsi alusel. Treenitud mudelid on avatud Creative ML OpenRAIL-M lubava litsentsi alusel, mis lubab neid kasutada ka äriettevõtetes.
Projekt on huvitav, kuna kasutab muusika genereerimiseks 'tekstist pildiks' ja 'pildist pildiks' mudelite kontseptsiooni, kuid manipuleerib piltide asemel spektraalsete graafikutega. Teisisõnu, klassikaline Stable Diffusion on treenitud mitte fotode ja piltide, vaid spektraalsete graafikute, mis peegeldavad heli laine sageduse ja amplituudi muutumist aja jooksul. Vastavalt sellele kujuneb ka väljundina spektraalne graafik, mis seejärel muundatakse heliliseks esituseks.
Meetodit saab kasutada ka olemasolevate helikoosseisude muutmiseks ja muusika sünteesimiseks näidiste alusel, sarnaselt piltide modifitseerimisega Stable Diffusions. Näiteks genereerimisel võivad olla ette antud spektraalgraafikud, mis vastavad soovitud stiilile, erinevad stiilid võivad omavahel ühilduda, teostada sujuv üleminek ühelt stiililt teisele või muuta olemasolevat heli ülesannete lahendamiseks, nagu näiteks instrumentide helitugevuse suurendamine, rütmi muutmine ja instrumentide asendamine. Näidiseid kasutatakse ka pikaajaliste helikoosseisude genereerimiseks, mis koosnevad omavahel seotud lühikestest lõikudest, mis ajas veidi muutuvad. Eraldi genereeritud lõigud ühendatakse sujuva voona, kasutades mudeli sisemiste parameetrite interpolatsiooni.
Helist spektraalgraafiku genereerimiseks kasutatakse akna Fourier' teisendust. Helide taastamisel spektraalgraafikust tekib faasi määramise probleem (spektraalgraafikul on ainult sagedus ja amplituud), mille rekonstrueerimiseks kasutatakse Griffin-Lima lähenemisviisi.
Allikas: opennet.ru
