Avatud kood Spleeter, süsteem muusika ja hääle eraldamiseks

Deezer - voogefirma avas kattekatse algallikakood, mis arendab masinõppesüsteemi keerukate helikooslustest heli allikate eraldamiseks. Programm võimaldab eemaldada kompositsioonist vokaali ja jätta ainult muusikalise saatmise, manipuleerida üksikute instrumentide heliga või jätta muusika alles ning jätta vokaal, et overlay'ida selle teise helikihiga, luua mixe, karaoket või transkriptsioone. Projekti kood on kirjutatud Pythonis, kasutades Tensorflow'i mootorit ja GNU Üldine Avaliku litsentsi alusel. on MIT litsentsi all.

Allalaadimiseks katseid juba treenitud mudeleid vokaali (ühe hääle) eraldamiseks saatest, samuti nelja ja viie voolu eraldamiseks, mis sisaldavad vokaali, trumme, bassi, klaverit ja muud heli. Spleeterit saab rakendada nii Python'i teegina kui ka eraldiseisva käsurea utiliidina. Lihtsaimas variandis loodud algfailist loomise kaks, neli või viis failid, milles on vokaal ja saatest tulenevad komponendid (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Kui jagada 2 ja 4 voogudeks, pakub Spleeter väga kõrge jõudluse. Näiteks GPU kasutamisel kulub helifaili jagamiseks 4 vooguks 100 korda vähem aega kui algse kompositsiooni kestus. NVIDIA GeForce GTX 1080 GPU ja 32-tuumalise Intel Xeon Gold 6134 CPU süsteemis viidi testkogumi musDB, mille kestus on 3 tundi ja 27 minutit, töötlemine läbi 90 sekundi jooksul.

Spleeteri eeliste seas, võrreldes teiste helide eraldamise projektidega, nagu avatud projekt Open-Unmix, mainitakse kvaliteetsemate mudelite rakendamist, mis on loodud ulatusliku helifailide kogumi alusel. Autoriõiguste piirangute tõttu on masinõppe teadlastel piiratud juurdepääs üsna vähestele avalikele muusikafailide kogudele, samas kui Spleeteri mudelid on loodud kasutades andmeid laialdasest muusikakataloogist Deezer.

Kohal võrdlus Open-Unmixi tööriistadega saavutab Spleeter umbes 35% kiirema eraldamise CPU testimisel, toetab MP3-faile ja genereerib oluliselt kvaliteetsemat tulemust (Open-Unmixi hääle eraldamisel jääb mõningate instrumentide jälgi, mis tõenäoliselt tuleneb sellest, et Open-Unmixi mudelid on treenitud ainult 150 kompositsiooni kogumil).

Allikas: opennet.ru