Das Stable Diffusion Machine-Learning-System wurde für die Musiksynthetisierung angepasst

Das Projekt Riffusion entwickelt eine Variante des maschinellen Lernsystems Stable Diffusion, die zur Generierung von Musik statt von Bildern geeignet ist. Musik kann aus einer textuellen Beschreibung in natürlicher Sprache oder basierend auf einer vorgeschlagenen Vorlage synthetisiert werden. Die Komponenten zur Musik-Synthese sind in Python unter Verwendung des PyTorch-Frameworks geschrieben und sind unter der MIT-Lizenz verfügbar. Die Schnittstelle ist in TypeScript implementiert und wird ebenfalls unter der MIT-Lizenz vertrieben. Die trainierten Modelle sind unter der permissiven Lizenz Creative ML OpenRAIL-M öffentlich zugänglich, die die kommerzielle Nutzung erlaubt.

Das Projekt ist interessant, da es weiterhin Modelle „von Text zu Bild“ und „von Bild zu Bild“ zur Generierung von Musik verwendet, aber dabei mit Spektrogrammen anstelle von Bildern arbeitet. Mit anderen Worten, das klassische Stable Diffusion wurde nicht auf Fotografien und Bildern, sondern auf Spektrogramm-Darstellungen trainiert, die die Veränderung von Frequenz und Amplitude einer Schallwelle über die Zeit widerspiegeln. Infolgedessen wird auch ein Spektrogramm ausgegeben, das dann in eine klangliche Darstellung umgewandelt wird.

Die Methode kann auch verwendet werden, um vorhandene Klangkompositionen zu verändern und Musik anhand von Vorlagen zu synthetisieren, ähnlich wie bei der Modifikation von Bildern in Stable Diffusion. Beispielsweise können bei der Generierung Spektrogramm-Vorlagen mit einem Referenzstil festgelegt, verschiedene Stile kombiniert, ein sanfter Übergang von einem Stil zum anderen durchgeführt oder Änderungen an bestehendem Klang vorgenommen werden, um Aufgaben wie die Erhöhung der Lautstärke bestimmter Instrumente, das Ändern des Tempos oder den Austausch von Instrumenten zu lösen. Vorlagen werden auch zur Generierung von langanhaltenden Kompositionen verwendet, die aus einer Reihe von sich zeitlich leicht ändernden Ausschnitten bestehen. Separat generierte Ausschnitte werden durch Interpolation interner Modellparameter zu einem kontinuierlichen Fluss zusammengeführt.

Zur Erstellung eines Spektrogramms aus Klang wird die Fenster-Fourier-Transformation verwendet. Bei der Rekonstruktion des Klangs aus dem Spektrogramm entsteht das Problem, die Phasen zu bestimmen (im Spektrogramm sind nur Frequenz und Amplitude vorhanden); zur Rekonstruktion wird der Griffin-Lim aproximierende Algorithmus eingesetzt.

Quelle: opennet.ru