Ang Spleeter, usa ka sistema sa pagbulag sa musika ug tingog, bukas nga tinubdan

Streaming provider Deezer giablihan source code para sa eksperimental nga proyekto sa Spleeter, nga nagmugna og sistema sa pagkat-on sa makina alang sa pagbulag sa mga tinubdan sa tingog gikan sa komplikadong mga komposisyon sa tingog. Gitugotan ka sa programa nga tangtangon ang mga vocal gikan sa komposisyon ug ibilin lamang ang duyog sa musika, pagmaniobra sa tunog sa indibidwal nga mga instrumento o isalikway ang musika ug ibilin ang tingog alang sa pag-overlay sa lain nga hanay sa tunog, paghimo mga pagsagol, karaoke o transkripsyon. Ang code sa proyekto gisulat sa Python gamit ang Tensorflow engine ug giapod-apod sa ubos sa lisensya sa MIT.

Para sa loading gitanyag nabansay na nga mga modelo alang sa pagbulag sa mga vocal (usa ka tingog) gikan sa duyog, ingon man sa pagbahin ngadto sa 4 ug 5 nga mga sapa, lakip ang mga vocal, drum, basses, piano ug ang uban nga tingog. Ang Spleeter mahimong magamit ingon usa ka librarya sa Python ug ingon usa ka standalone command line utility. Sa pinakasimple nga kaso, base sa source file gibuhat duha, upat o lima ka mga file nga adunay mga sangkap sa tingog ug accompaniment (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Kung gibahin sa 2 ug 4 nga mga sapa, ang Spleeter naghatag labi ka taas nga pasundayag, pananglitan, kung gigamit ang GPU, ang pagbahin sa usa ka audio file sa 4 nga mga sapa nagkinahanglag 100 ka beses nga gamay nga oras kaysa sa gidugayon sa orihinal nga komposisyon. Sa usa ka sistema nga adunay NVIDIA GeForce GTX 1080 GPU ug usa ka 32-core Intel Xeon Gold 6134 CPU, ang musDB test collection giproseso sa 27 segundos, nga molungtad og tulo ka oras ug 90 minutos.

Sa kalig-on ni Spleeter sa ubang mga kalamboan sa pagbahin sa audio sama sa open source nga proyekto bukas nga unmix, naghisgot sa paggamit sa mas taas nga kalidad nga mga modelo nga gitukod pinasukad sa usa ka halapad nga koleksyon sa mga sound file. Tungod sa mga pagdili sa copyright, ang mga tigdukiduki sa pagkat-on sa makina limitado sa pag-access sa medyo gamay nga publiko nga koleksyon sa mga file sa musika, samtang alang sa Spleeter, ang mga modelo gihimo gamit ang datos gikan sa daghang katalogo sa musika ni Deezer.

Pinaagi sa pagtandi Uban sa Open-Unmix, ang tool sa Spleeter nagbahin sa mga 35% nga mas paspas kung gisulayan sa CPU, nagsuporta sa mga file sa MP3, ug nagpatunghag labi ka maayo nga mga sangputanan (pagkuha sa tingog sa Open-Unmix nagbilin mga pagsubay sa pipila nga mga instrumento, nga lagmit tungod sa kamatuoran nga ang Ang mga modelo nga Open-Unmix gibansay sa usa ka koleksyon nga 150 lang ka kanta).

Source: opennet.ru