Riffusion-projektet udvikler en variant af Stable Diffusion maskinlæringssystemet, tilpasset til at generere musik i stedet for billeder. Musik kan syntetiseres ud fra tekstbeskrivelser på naturligt sprog eller baseret på et foreslået skabelon. Komponenterne til musiksyntesen er skrevet på Python ved hjælp af PyTorch-rammen og er tilgængelige under MIT-licensen. Interfacesystemet er implementeret i TypeScript og leveres også under MIT-licensen. De trænte modeller er åbne under den tilladende Creative ML OpenRAIL-M-licens, der tillader kommerciel brug.
Projektet er interessant, fordi det fortsætter med at bruge modeller til musikgenerering fra 'tekst til billede' og 'billede til billede', men manipulerer spektrogrammer i stedet for billeder. Med andre ord er den klassiske Stable Diffusion trænet ikke på fotografier og billeder, men på billeder af spektrogrammer, der afspejler ændringer i frekvens og amplitude af lydbølger over tid. Derfor dannes der også et spektrogram som output, som derefter omdannes til en lydrepræsentation.
Metoden kan også bruges til at ændre eksisterende musiknumre og syntetisere musik baseret på en skabelon, på samme måde som billeder modificeres i Stable Diffusion. For eksempel kan der gives eksempler på spektrogrammer med en reference stil under genereringen, kombinere forskellige stilarter, lave glidende overgange fra en stil til en anden eller ændre eksisterende lyd for at løse opgaver som at øge lydstyrken af enkelte instrumenter, ændre rytmen og skifte instrumenter. Eksempler bruges også til at generere langvarige kompositioner, der er sammensat af en serie af nærtliggende sektioner, som lidt ændrer sig over tid. Individuelt genererede sektioner samles til et kontinuerligt flow ved hjælp af interpolation af de indre modelparametre.
For at skabe et spektrogram fra lyd anvendes vindue-transformasjonen Fourier. Ved rekonstruktion af lyd fra spektrogrammet opstår der et problem med at bestemme fasen (spektrogrammet indeholder kun frekvens og amplitude), hvilket kræver en algorithmisk tilnærmelse af Griffin-Lima.
Kilde: opennet.ru
