مزود الجري Deezer كود المصدر لمشروع Spleeter التجريبي ، الذي يطور نظام التعلم الآلي لفصل مصادر الصوت عن التراكيب الصوتية المعقدة. يسمح لك البرنامج بإزالة الغناء من المقطوعة وترك المرافقة الموسيقية فقط ، والتلاعب بصوت الآلات الفردية أو تجاهل الموسيقى وترك الصوت للتراكب على نطاق صوت آخر ، وإنشاء مزج ، أو كاريوكي أو نسخ. تمت كتابة كود المشروع بلغة Python باستخدام محرك Tensorflow و بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.
للتحميل نماذج مدربة بالفعل لفصل الغناء (صوت واحد) عن المرافقة ، وكذلك للتقسيم إلى 4 و 5 تيارات ، بما في ذلك الغناء ، والطبول ، والباس ، والبيانو ، وبقية الصوت. يمكن استخدام Spleeter كمكتبة Python وكأداة مساعدة قائمة بذاتها لسطر الأوامر. في أبسط الحالات ، بناءً على الملف المصدر ملفان أو أربعة أو خمسة ملفات تحتوي على مكونات صوتية ومرافقة (vocals.wav و drums.wav و bass.wav و piano.wav و other.wav).
عند تقسيمه إلى تدفقات 2 و 4 ، يوفر Spleeter أداءً عاليًا للغاية ، على سبيل المثال ، عند استخدام GPU ، يستغرق تقسيم ملف صوتي إلى 4 تدفقات وقتًا أقل 100 مرة من مدة التكوين الأصلي. على نظام مزود بوحدة معالجة رسومات NVIDIA GeForce GTX 1080 ووحدة المعالجة المركزية Intel Xeon Gold 32 ذات 6134 نواة ، تمت معالجة مجموعة اختبار musDB في 27 ثانية ، واستغرقت ثلاث ساعات و 90 دقيقة.
من نقاط قوة Spleeter مقارنة بتطورات تقسيم الصوت الأخرى مثل مشروع المصدر المفتوح فتح unmix، يذكر استخدام نماذج عالية الجودة مبنية على أساس مجموعة واسعة من ملفات الصوت. بسبب قيود حقوق النشر ، يقتصر باحثو التعلم الآلي على الوصول إلى مجموعات عامة هزيلة إلى حد ما من ملفات الموسيقى ، بينما بالنسبة لـ Spleeter ، تم تصميم النماذج باستخدام بيانات من كتالوج الموسيقى الشامل لـ Deezer.
في باستخدام Open-Unmix ، تنقسم أداة Spleeter بشكل أسرع بنسبة 35٪ عند اختبارها على وحدة المعالجة المركزية ، وتدعم ملفات MP3 ، وتولد نتائج أفضل بشكل ملحوظ (يترك استخراج الصوت في Open-Unmix آثارًا لبعض الأدوات ، وربما يرجع ذلك إلى حقيقة أن موديلات Open-Unmix مدربة على مجموعة من 150 أغنية فقط).
المصدر: opennet.ru