Das Riffusion-Projekt entwickelt eine Variante des maschinellen Lernsystems Stable Diffusion, die zur Musikgenerierung anstelle von Bildern angepasst wurde. Musik kann basierend auf einer textuellen Beschreibung in natürlicher Sprache oder einem vorgeschlagenen Muster synthetisiert werden. Die Komponenten zur Musiksynthese sind in Python unter Verwendung des PyTorch-Frameworks geschrieben und stehen unter der MIT-Lizenz zur Verfügung. Die Bindung zur Schnittstelle ist in TypeScript umgesetzt und wird ebenfalls unter der MIT-Lizenz verbreitet. Die trainierten Modelle sind unter der permissiven Lizenz Creative ML OpenRAIL-M verfügbar, die die kommerzielle Nutzung erlaubt.
Das Projekt ist bemerkenswert, da es weiterhin Modelle „von Text zu Bild“ und „von Bild zu Bild“ zur Musikgenerierung verwendet, jedoch dabei Spektrogramme anstelle von Bildern manipuliert. Mit anderen Worten, das klassische Stable Diffusion wurde nicht auf Fotografien und Bildern trainiert, sondern auf Spektrogramm-Darstellungen, die die Veränderungen von Frequenz und Amplitude einer Schallwelle im Zeitverlauf widerspiegeln. Entsprechend wird auch eine Spektrogramm-Ausgabe erzeugt, die dann in eine akustische Darstellung umgewandelt wird.
Die Methode kann auch verwendet werden, um bestehende Audio-Kompositionen zu ändern und Musik basierend auf Mustern zu synthetisieren, analog zur Modifikation von Bildern in Stable Diffusion. Beispielsweise können beim Generieren Muster von Spektrogrammen mit einem Referenzstil festgelegt, verschiedene Stile kombiniert, ein fließender Übergang von einem Stil zum anderen ermöglicht oder Änderungen an bestehenden Klängen vorgenommen werden, um Aufgaben wie die Erhöhung der Lautstärke einzelner Instrumente, die Änderung des Tempos und den Austausch von Instrumenten zu lösen. Muster werden auch verwendet, um langanhaltende Kompositionen zu generieren, die aus einer Serie von nahtlos aneinandergereihten Abschnitten bestehen, die sich im Laufe der Zeit leicht ändern. Separat generierte Abschnitte werden durch Interpolation der internen Modellparameter zu einem kontinuierlichen Fluss verbunden.
Zur Erstellung eines Spektrrogramms aus Klang wird eine Fenster-Fourier-Transformation verwendet. Bei der Rekonstruktion des Klangs aus dem Spektrrogramm entsteht das Problem der Phasendefinition (im Spektrrogramm sind nur Frequenz und Amplitude vorhanden), für deren Rekonstruktion der Griffins-Lim-Algorithmus eingesetzt wird.
Quelle: opennet.ru
