קוד פתוח עבור Spleeter, מערכת להפרדת מוזיקה וקול

ספקית הסטרימינג Deezer נפתח טקסטי מקור של הפרויקט הניסיוני Spleeter, המפתח מערכת למידת מכונה להפרדה בין מקורות סאונד לקומפוזיציות שמע מורכבות. התוכנה מאפשרת להסיר קולות מהרכב ולהשאיר רק את הליווי המוזיקלי, לתפעל את הצליל של כלים בודדים, או להשליך את המוזיקה ולהשאיר את הקול לכיסוי עם סדרת סאונד אחרת, יצירת מיקסים, קריוקי או תמלול. קוד הפרויקט נכתב ב-Python באמצעות מנוע Tensorflow ו מופץ על ידי תחת רישיון MIT.

לטעינה מוּצָע מודלים שכבר אומנו להפרדת שירה (קול אחד) מהליווי, וכן לחלוקה ל-4 ו-5 זרמים, כולל שירה, תופים, בס, פסנתר ושאר הסאונד. Spleeter יכול לשמש הן כספריית Python והן ככלי עזר עצמאי של שורת פקודה. במקרה הפשוט ביותר, מבוסס על קובץ המקור נוצר שניים, ארבעה או חמישה קבצים עם רכיבי קול וליווי (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

בעת פיצול ל-2 ו-4 שרשורים, Spleeter מספק ביצועים גבוהים מאוד, למשל, בעת שימוש ב-GPU, פיצול קובץ שמע ל-4 שרשורים לוקח פי 100 פחות זמן ממשך ההרכב המקורי. במערכת עם NVIDIA GeForce GTX 1080 GPU ומעבד Intel Xeon Gold 32 בעל 6134 ליבות, אוסף הבדיקות של musDB, שנמשך שלוש שעות ו-27 דקות, עובד תוך 90 שניות.

בין היתרונות של Spleeter, בהשוואה לפיתוחים אחרים בתחום הפרדת השמע, כמו פרויקט הקוד הפתוח Open-Unmix, מזכיר את השימוש בדגמים באיכות גבוהה יותר הבנויים מאוסף נרחב של קבצי קול. בשל הגבלות זכויות יוצרים, חוקרי למידת מכונה מוגבלים לגישה לאוספים ציבוריים דלים למדי של קובצי מוזיקה, בעוד שהמודלים של Spleeter נבנו באמצעות נתונים מקטלוג המוזיקה העצום של Deezer.

על השוואה עם Open-Unmix, כלי ההפרדה של Spleeter מהיר יותר בכ-35% כאשר הוא נבדק על ה-CPU, תומך בקבצי MP3, ומייצר תוצאות טובות יותר באופן ניכר (קולות בודדים ב-Open-Unmix משאיר עקבות של כמה כלים, מה שכנראה נובע מהעובדה שה דגמי Open-Unmix מאומנים על אוסף של 150 יצירות בלבד).

מקור: OpenNet.ru