Ava Spleeteri kood, muusika ja hääle eraldamise süsteem

Vooges Deezer avatud katsete allikaid eksperimentaalsest projektist Spleeter, mis arendab masinõppe süsteemi heliallikate eraldamiseks keerulistest helikoostistest. Programm võimaldab eemaldada teosest laulu ja jätta ainult muusikalise saatmise, manipuleerida üksikute instrumentide heliga või jätta muusika ja jätta hääl, et neid teiste heliridadega segada, mikste teha, karaoket või transkribeerida. Projekti kood on kirjutatud Pythonis kasutades Tensorflow'd ja levitatakse MIT litsentsi alusel.

Allalaadimiseks pakuvad juba treenitud mudeleid, mis eraldavad laulu (ühe hääle) saatest ning ka 4 ja 5 voogu, mis hõlmavad laulu, trumme, basse, klaverit ja ülejäänud heli. Spleeterit saab kasutada nii Python'i teegina kui ka iseseisva käsuviiba utiliidina. Lihtsaimal juhul luuakse lähtfailist kaks, neli või viis faili, kus on hääl ja saatmise koostisosad (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav). 2 ja 4 vooga eraldamisel tagab Spleeter väga kõrge jõudluse, näiteks GPU kasutamisel võtab helifaili jagamine 4 voogu 100 korda vähem aega kui algse teose kestus. NVIDIA GeForce GTX 1080 GPU ja 32- südamikuga Intel Xeon Gold 6134 süsteemis tehti testkollektsiooni musDB, mille kestus on kolm tundi ja 27 minutit, töötlemine 90 sekundi jooksul.

Spleeteri eelisteks võrreldes teiste helide eraldamise arendustega, nagu avatud projekt

Open-Unmix , tuuakse välja kasutatud kvaliteetsemad mudelid, mis on loodud ulatuslikest helifailide kollektsioonidest. Autoriõiguste piirangute tõttu on masinõppe uurijad piiratud juurdepääsuga piisavalt vähestele avalikele muusikafailide kollektsioonidele, samas kui Spleeter'i mudelid on loodud kasutades laia muusikakatalooge Deezer.võrreldes

Ajal muudega. Open-Unmixi tööriistakomplekt Spleeter sooritab eraldamise umbes 35% kiiremini CPU testimise ajal, toetab MP3-faile ja genereerib märgatavalt kvaliteetsema tulemuse (kui Open-Unmixis eraldatakse hääl, jäävad mõned instrumentide jäljed, mis tõenäoliselt tulenevad sellest, et Open-Unmixi mudelid on treenitud 150 kompositsioonist koosneva kogumi peal).

Allikas: opennet.ru