Riffusion projekt arendab Varianti Stabi Diffusion masinõppesisystemist, mis on kohandatud muusika genereerimiseks piltide asemel. Muusikat saab sünteesida looduskeele tekstikirjelduse põhjal või etteantud malli alusel. Muusika sünteesi komponendid on kirjutatud Pythonis, kasutades PyTorch raamistikku, ja need on saadaval MIT litsentsi alusel. Liides on teostatud TypeScriptis ja see jagatakse samuti MIT litsentsi alusel. Koulutatud mudelid on avatud lubava litsentsi Creative ML OpenRAIL-M alusel, mis lubab ka kommertseesmärkidel kasutamist.
Projekt on huvitav, kuna jätkab muusika genereerimist mudelitega „tekstist pildini“ ja „pildist pildini“, kuid manipuleerides spektraalamide piltidega. Teisisõnu, klassikaline Stabi Diffusion ei ole treenitud fotode ja piltide peal, vaid spektraalamide piltide peal, mis peegeldavad heli lainete sageduse ja amplituudi muutumist aja jooksul. Vastavalt sellele moodustatakse väljundina ka spektraalam, mis seejärel muudetakse heliesituseks.
Meetodit saab kasutada ka olemasolevate helikompositsioonide muutmiseks ja muusika sünteesimiseks mallide järgi, sarnaselt Stabi Diffusion piltide modifitseerimisele. Näiteks võib genereerimise käigus määrata spektraalamide näidiseid, millel on referentsstiil, kombineerida erinevaid stiile, teostada sujuvat üleminekut ühelt stililt teisele või teha muudatusi olemasolevas helis, lahendades selliseid ülesandeid nagu teatud instrumentide helitugevuse suurendamine, rütmi muutmine ja instrumentide vahetamine. Näidiseid kasutatakse samuti pikaajaliste kompositsioonide genereerimiseks, mis on kokku pandud seeriast omavahel lähedastest katkestustest, mis ajas veidi muutuvad. Eraldi genereeritud katkestused ühendatakse pidevaks vooguks mudeli sisemiste parameetrite interpolatsiooni abil.
Heli spektri genereerimiseks helist kasutatakse Fourier' akna transformeerimist. Helide rekonstrueerimisel spektrist ilmneb probleem faasi kindlaksmääramisel (spektris on ainult sagedus ja amplituud), mille rekonstrueerimiseks kasutatakse Griffini-Limi aproksimeerimise algoritmi.
Allikas: opennet.ru
