Projektet Riffusion utvecklar en variant av maskininlärningssystemet Stable Diffusion, anpassat för att generera musik istället för bilder. Musik kan syntetiseras från textbeskrivningar på naturligt språk eller baserat på ett föreslaget mönster. Komponenterna för musiksyntes är skrivna i Python med hjälp av PyTorch-ramverket och är tillgängliga under MIT-licens. Gränssnittet är implementerat i TypeScript och distribueras också under MIT-licens. De tränade modellerna är öppna under den tillåtande licensen Creative ML OpenRAIL-M, som tillåter användning i kommersiella syften.
Projektet är intressant eftersom det fortsätter att använda modeller för musikgenerering som tränas «från text till bild» och «från bild till bild», men manipulerar spektrogram som bilder. Med andra ord, klassisk Stable Diffusion är inte tränad på fotografier och bilder, utan på bilder av spektrogram som återspeglar förändringar i frekvens och amplitud av ljudvågen över tid. Därmed produceras också ett spektrogram i utdata, som sedan omvandlas till ljudrepresentation.
Metoden kan också användas för att förändra befintliga ljudkompositioner och syntetisera musik baserat på mönster, likt modifiering av bilder i Stable Diffusion. Till exempel kan mönster av spektrogram med referensstil ställas in under generation, olika stilar kan kombineras, en smidig övergång från en stil till en annan kan utföras eller ändringar kan göras i befintligt ljud för att åstadkomma uppgifter som att öka volymen av enskilda instrument, ändra rytmen och byta instrument. Mönster används också för att generera långvariga kompositioner, sammansatta av en serie sekvenser som ligger nära varandra, med små förändringar över tid. Separat genererade sekvenser förenas i ett kontinuerligt flöde genom interpolering av modellens interna parametrar.
För att skapa en spektrogram från ljud används ett fönstertransformering av Fourier. När ljudet återskapas från spektrogrammet uppstår ett problem med att bestämma fasen (spektrumet visar endast frekvens och amplitud), för rekonstruktion används algoritmen för Griffin-Lim-approximationen.
Källa: opennet.ru
