Voogesitusteenuse pakkuja Deezer Eksperimentaalprojekti Spleeter lähtetekstid, mis arendab masinõppesüsteemi heliallikate eraldamiseks keerukatest helikompositsioonidest. Programm võimaldab teil kompositsioonist eemaldada vokaali ja jätta ainult muusikaline saate, manipuleerida üksikute instrumentide heliga või loobuda muusikast ja jätta hääl ülekatteks mõne muu heliseeriaga, luues mikse, karaoket või transkriptsiooni. Projekti kood on kirjutatud Pythonis, kasutades Tensorflow mootorit ja MIT litsentsi alusel.
Laadimiseks juba koolitatud mudelid vokaali (üks hääl) eraldamiseks saatest, samuti 4 ja 5 voogu jagamiseks, sealhulgas vokaal, trummid, bass, klaver ja ülejäänud heli. Spleeterit saab kasutada nii Pythoni teegi kui ka eraldiseisva käsurea utiliidina. Lihtsamal juhul lähtefaili põhjal kaks, neli või viis faili koos hääle- ja saatekomponentidega (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
2 ja 4 lõimeks jagamisel tagab Spleeter väga suure jõudluse, näiteks GPU kasutamisel võtab helifaili 4 lõimeks jagamine 100 korda vähem aega kui algse kompositsiooni kestus. NVIDIA GeForce GTX 1080 GPU ja 32-tuumalise Intel Xeon Gold 6134 protsessoriga süsteemis töödeldi kolm tundi ja 27 minutit kestnud musDB testikogu 90 sekundiga.
Spleeteri eeliste hulgas on võrreldes teiste heli eraldamise valdkonna arengutega, näiteks avatud lähtekoodiga projekt Open-Unmix, mainib kvaliteetsemate mudelite kasutamist, mis on ehitatud ulatuslikust helifailide kogust. Autoriõiguse piirangute tõttu on masinõppe uurijad piiratud juurdepääsuga üsna hõredatele avalikele muusikafailide kogudele, samas kui Spleeteri mudelid ehitati Deezeri tohutu muusikakataloogi andmete põhjal.
Edasi Open-Unmixiga on Spleeteri eraldustööriist protsessoriga testimisel umbes 35% kiirem, toetab MP3-faile ja annab märgatavalt paremaid tulemusi (üksikhääled Open-Unmixis jätavad mõne tööriista jälgi, mis on tõenäoliselt tingitud asjaolust, et mudelid Open-Unmix on koolitatud ainult 150 kompositsioonist koosneval kollektsioonil).
Allikas: opennet.ru