Axın provayderi Deezer səs mənbələrini mürəkkəb səs kompozisiyalarından ayırmaq üçün maşın öyrənmə sistemini inkişaf etdirən Spleeter eksperimental layihəsi üçün mənbə kodu. Proqram, vokalları kompozisiyadan çıxarmağa və yalnız musiqi müşayiətini tərk etməyə, fərdi alətlərin səsini manipulyasiya etməyə və ya musiqidən imtina etməyə və səsi başqa səs diapazonunda üst-üstə düşmək, mikslər, karaoke və ya transkripsiya yaratmaq üçün buraxmağa imkan verir. Layihə kodu Tensorflow mühərrikindən istifadə edərək Python-da yazılmışdır və MIT lisenziyası altında.
Yükləmək üçün vokalları (bir səsi) müşayiətdən ayırmaq, həmçinin vokal, nağara, bas, piano və səsin qalan hissəsi daxil olmaqla 4 və 5 axına bölünmək üçün artıq təlim keçmiş modellər. Spleeter həm Python kitabxanası, həm də müstəqil bir əmr satırı yardım proqramı kimi istifadə edilə bilər. Ən sadə halda, mənbə faylı əsasında səs və müşayiət komponentləri olan iki, dörd və ya beş fayl (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
2 və 4 axınlara bölündükdə Spleeter çox yüksək performans təmin edir, məsələn, GPU-dan istifadə edərkən audio faylı 4 axına bölmək orijinal kompozisiyanın müddətindən 100 dəfə az vaxt aparır. NVIDIA GeForce GTX 1080 GPU və 32 nüvəli Intel Xeon Gold 6134 prosessoru olan sistemdə musDB test kolleksiyası üç saat 27 dəqiqə davam edən 90 saniyə ərzində işlənib.
Spleeter-in açıq mənbə layihəsi kimi digər audio parçalama inkişafları üzərindəki güclü tərəfləri miksi açın, səs fayllarının geniş kolleksiyası əsasında qurulmuş yüksək keyfiyyətli modellərin istifadəsini qeyd edir. Müəllif hüququ məhdudiyyətlərinə görə, maşın öyrənmə tədqiqatçıları kifayət qədər cüzi ictimai musiqi faylları kolleksiyalarına girişlə məhdudlaşır, Spleeter üçün isə modellər Deezer-in geniş musiqi kataloqunun məlumatlarından istifadə etməklə qurulmuşdur.
Haqqında Open-Unmix ilə Spleeter aləti CPU-da sınaqdan keçirildikdə təxminən 35% daha sürətli bölünür, MP3 faylları dəstəkləyir və nəzərəçarpacaq dərəcədə yaxşı nəticələr verir (Open-Unmix-də səs çıxarma bəzi alətlərin izlərini buraxır, bu, yəqin ki, Open-Unmix modelləri cəmi 150 mahnıdan ibarət kolleksiyaya öyrədilir).
Mənbə: opennet.ru