מערכת למידת מכונת דיפוזיה יציבה המותאמת לסינתזה מוזיקלית

פרויקט Riffusion מפתח גרסה של מערכת למידת המכונה Stable Diffusion, המותאמת ליצירת מוזיקה במקום תמונות. ניתן לסנתז מוזיקה מתיאור טקסט בשפה טבעית או על בסיס תבנית מוצעת. רכיבי סינתזת המוזיקה נכתבים ב-Python באמצעות מסגרת PyTorch וזמינים תחת רישיון MIT. קישור הממשק מיושם ב-TypeScript ומופץ גם תחת רישיון MIT. דגמים מאומנים מורשים תחת רישיון Creative ML OpenRAIL-M מתירני לשימוש מסחרי.

הפרויקט מעניין בכך שהוא ממשיך להשתמש במודלים של "טקסט לתמונה" ו"תמונה לתמונה" כדי ליצור מוזיקה, אך מפעיל מניפולציות בספקטרוגרמות כתמונות. במילים אחרות, דיפוזיה יציבה קלאסית מאומנת לא על תצלומים ותמונות, אלא על תמונות של ספקטרוגרמות המשקפות שינויים בתדירות ובמשרעת של גל קול לאורך זמן. בהתאם לכך, נוצרת גם ספקטרוגרמה במוצא, אשר מומרת לאחר מכן לייצוג אודיו.

השיטה יכולה לשמש גם כדי לשנות קומפוזיציות סאונד קיימות ולסנתז מוזיקה מדגימה, בדומה לשינוי תמונה ב-Stable Diffusion. לדוגמה, הדור יכול לדגום ספקטרוגרמות עם סגנון התייחסות, לשלב סגנונות שונים, לבצע מעברים חלקים מסגנון אחד לאחר, או לבצע שינויים בצליל קיים כדי לפתור בעיות כמו הגברת עוצמת הקול של כלים בודדים, שינוי הקצב ושינוי כלים. דגימות משמשות גם ליצירת קומפוזיציות ארוכות, המורכבות מסדרה של קטעים מרווחים ומשתנים מעט לאורך זמן. מעברים שנוצרים בנפרד משולבים לזרם רציף תוך שימוש באינטרפולציה של הפרמטרים הפנימיים של המודל.

טרנספורמציה פורייה חלונית משמשת ליצירת ספקטרוגרמה מצליל. בעת יצירה מחדש של צליל מספקטרוגרמה, נוצרת בעיה בקביעת הפאזה (רק תדר ומשרעת קיימים בספקטרוגרמה), לשחזור שלה נעשה שימוש באלגוריתם הקירוב Griffin-Lim.

מקור: OpenNet.ru