Het Riffusion-project ontwikkelt een variant van het machine learning-systeem Stable Diffusion, aangepast voor het genereren van muziek in plaats van beelden. Muziek kan worden gesynthetiseerd op basis van een tekstuele beschrijving in natuurlijke taal of op basis van een voorgestelde sjabloon. De componenten voor muziek-synthese zijn geschreven in de programmeertaal Python met behulp van het PyTorch-framework en zijn beschikbaar onder de MIT-licentie. De interface-wrapper is gerealiseerd in TypeScript en wordt eveneens verspreid onder de MIT-licentie. De getrainde modellen zijn beschikbaar onder de permissieve Creative ML OpenRAIL-M-licentie, die gebruik voor commerciƫle doeleinden toestaat.
Het project is interessant omdat het blijft gebruikmaken van modellen 'van tekst naar afbeelding' en 'van afbeelding naar afbeelding' voor het genereren van muziek, maar in plaats van afbeeldingen manipuleert het spectrogrammen. Met andere woorden, de klassieke Stable Diffusion is niet getraind op foto's en plaatjes, maar op afbeeldingen van spectrogrammen die de veranderingen in frequentie en amplitude van een geluidsgolf in de tijd weergeven. Daaruit komt ook een spectrogram voort, dat vervolgens wordt omgezet in een geluidsweergave.
De methode kan ook worden gebruikt voor het wijzigen van bestaande geluidssamenstellingen en het synthetiseren van muziek op basis van een voorbeeld, vergelijkbaar met het aanpassen van afbeeldingen in Stable Diffusion. Bij het genereren kunnen voorbeeld-spectrogrammen met een referentiestijl worden opgegeven, verschillende stijlen kunnen worden gecombineerd, er kunnen vloeiende overgangen van de ene stijl naar de andere worden gemaakt of wijzigingen in een bestaand geluid worden aangebracht om taken te vervullen zoals het verhogen van het volume van afzonderlijke instrumenten, het wijzigen van het ritme en het vervangen van instrumenten. Voorbeelden worden ook gebruikt voor het genereren van langdurige composities, bestaande uit een reeks fragmenten die dicht bij elkaar liggen en in de loop van de tijd iets veranderen. afzonderlijk gegenereerde fragmenten worden middels interpolatie van interne modelparameters samengevoegd tot een continue stroom.
Voor het creƫren van een spectrogram uit geluid wordt de venster-Fourier-transformatie gebruikt. Bij het opnieuw creƫren van geluid uit een spectrogram doet zich een probleem voor met het bepalen van de fase (in het spectrogram zijn alleen frequentie en amplitude aanwezig); voor de reconstructie daarvan wordt het Griffins-Lim-approximatie-algoritme toegepast.
Bron: opennet.ru
