Pwojè Riffusion la ap devlope yon vèsyon sistèm aprantisaj machin Stable Diffusion, adapte pou jenere mizik olye pou yo imaj. Mizik ka fè sentèz soti nan yon deskripsyon tèks nan lang natirèl oswa ki baze sou yon modèl pwopoze. Konpozan sentèz mizik yo ekri nan Python lè l sèvi avèk fondasyon PyTorch la epi yo disponib anba lisans MIT. Liaison koòdone a aplike nan TypeScript epi li distribye tou anba lisans MIT. Modèl ki antrene yo gen lisans dapre yon lisans ki pèmèt Creative ML OpenRAIL-M pou itilizasyon komèsyal yo.
Pwojè a enteresan paske li kontinye sèvi ak modèl "tèks-a-imaj" ak "imaj-a-imaj" pou jenere mizik, men li manipile espektwogram kòm imaj. Nan lòt mo, klasik Stable Diffusion resevwa fòmasyon pa sou foto ak foto, men sou imaj nan espektwogram ki reflete chanjman nan frekans ak anplitid yon vag son sou tan. An konsekans, yon espektwogram tou fòme nan pwodiksyon an, ki se Lè sa a, konvèti nan yon reprezantasyon odyo.
Metòd la kapab tou itilize pou modifye konpozisyon son ki deja egziste ak sentèz mizik ki soti nan yon echantiyon, menm jan ak modifikasyon imaj nan Difizyon ki estab. Pou egzanp, jenerasyon ka echantiyon espektwogram ak yon style referans, konbine diferan estil, fè tranzisyon lis soti nan yon style nan yon lòt, oswa fè chanjman nan yon son ki egziste deja pou rezoud pwoblèm tankou ogmante volim nan enstriman endividyèl, chanje ritm, ak chanje. enstriman. Echantiyon yo tou itilize pou jenere konpozisyon ki dire lontan, ki konpoze de yon seri pasaj byen espace ki varye yon ti kras sou tan. Pasaj ki pwodui separeman konbine nan yon kouran kontinyèl lè l sèvi avèk entèpolasyon paramèt entèn modèl la.
Yo itilize yon transfòmasyon Fourier fennèt pou kreye yon espektwogram apati son. Lè rkree son ki soti nan yon espektwogram, yon pwoblèm rive ak detèmine faz la (sèlman frekans ak anplitid ki prezan sou spèktrogram la), pou rekonstriksyon an nan ki algorithm apwoksimasyon Griffin-Lim yo itilize.
Sous: opennet.ru