ارائه دهنده جریان Deezer متن های منبع پروژه آزمایشی Spleeter، که یک سیستم یادگیری ماشینی را برای جداسازی منابع صدا از ترکیبات صوتی پیچیده توسعه می دهد. این برنامه به شما امکان می دهد آوازها را از یک آهنگ بردارید و فقط همراهی موسیقی را رها کنید، صدای تک تک سازها را دستکاری کنید، یا موسیقی را کنار بگذارید و صدا را برای همپوشانی با یک سری صوتی دیگر، ایجاد میکس، کارائوکه یا رونویسی بگذارید. کد پروژه در پایتون با استفاده از موتور Tensorflow و تحت مجوز MIT
برای بارگیری مدل های قبلاً آموزش دیده برای جدا کردن آواز (یک صدا) از همراهی و همچنین برای تقسیم به 4 و 5 استریم از جمله آواز، درام، باس، پیانو و بقیه صداها. Spleeter می تواند هم به عنوان یک کتابخانه پایتون و هم به عنوان یک ابزار مستقل خط فرمان استفاده شود. در ساده ترین حالت، بر اساس فایل منبع دو، چهار یا پنج فایل با اجزای صدا و همراهی (vocals.wav، drums.wav، bass.wav، piano.wav، other.wav).
هنگامی که به 2 و 4 رشته تقسیم می شود، Spleeter عملکرد بسیار بالایی ارائه می دهد، به عنوان مثال، هنگام استفاده از GPU، تقسیم یک فایل صوتی به 4 رشته 100 برابر کمتر از مدت زمان ترکیب اصلی زمان می برد. در سیستمی با پردازنده گرافیکی NVIDIA GeForce GTX 1080 و پردازنده 32 هسته ای Intel Xeon Gold 6134، مجموعه تست musDB که سه ساعت و 27 دقیقه طول کشید، در 90 ثانیه پردازش شد.
از جمله مزایای Spleeter در مقایسه با پیشرفت های دیگر در زمینه جداسازی صدا مانند پروژه متن باز Open-Unmix، به استفاده از مدل های با کیفیت بالاتر ساخته شده از مجموعه گسترده ای از فایل های صوتی اشاره می کند. به دلیل محدودیت‌های حق چاپ، محققان یادگیری ماشین محدود به دسترسی به مجموعه‌های عمومی نسبتاً کمی از فایل‌های موسیقی هستند، در حالی که مدل‌های Spleeter با استفاده از داده‌های کاتالوگ موسیقی گسترده Deezer ساخته شده‌اند.
بر با Open-Unmix، ابزار جداسازی Spleeter در هنگام آزمایش بر روی CPU حدود 35٪ سریعتر است، از فایل های MP3 پشتیبانی می کند، و نتایج قابل توجهی بهتر ایجاد می کند (تک صداها در Open-Unmix آثاری از برخی ابزارها به جا می گذارد، که احتمالاً به دلیل این واقعیت است که مدل‌های Open-Unmix بر روی مجموعه‌ای از تنها 150 ترکیب آموزش دیده‌اند).
منبع: opennet.ru