Otvoreni kod za Spleeter, sistem za razdvajanje muzike i glasa

Streaming provajder Deezer otvorio Izvorni tekstovi eksperimentalnog projekta Spleeter, koji razvija sistem mašinskog učenja za odvajanje izvora zvuka od složenih audio kompozicija. Program vam omogućava da uklonite vokale iz kompozicije i ostavite samo muzičku pratnju, manipulišete zvukom pojedinačnih instrumenata ili odbacite muziku i ostavite glas za preklapanje sa drugom zvučnom serijom, kreiranje mikseva, karaoka ili transkripcije. Projektni kod je napisan u Pythonu koristeći Tensorflow engine i distribuira pod MIT licencom.

Za utovar ponuđeno već obučeni modeli za odvajanje vokala (jednog glasa) od pratnje, kao i za podjelu na 4 i 5 tokova, uključujući vokal, bubnjeve, bas, klavir i ostatak zvuka. Spleeter se može koristiti i kao Python biblioteka i kao samostalni uslužni program komandne linije. U najjednostavnijem slučaju, na osnovu izvorne datoteke se stvara dva, četiri ili pet fajlova sa komponentama glasa i pratnje (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Kada se dijeli na 2 i 4 niti, Spleeter pruža vrlo visoke performanse, na primjer, kada se koristi GPU, dijeljenje audio datoteke u 4 niti traje 100 puta manje vremena od trajanja originalne kompozicije. Na sistemu sa NVIDIA GeForce GTX 1080 GPU-om i 32-jezgarnim Intel Xeon Gold 6134 CPU-om, musDB test zbirka, koja je trajala tri sata i 27 minuta, obrađena je za 90 sekundi.

Među prednostima Spleetera, u poređenju sa drugim razvojima u oblasti audio razdvajanja, kao što je projekat otvorenog koda Otvori-Unmix, spominje upotrebu modela višeg kvaliteta izgrađenih od opsežne kolekcije zvučnih datoteka. Zbog ograničenja autorskih prava, istraživači mašinskog učenja ograničeni su na pristup prilično rijetkim javnim zbirkama muzičkih datoteka, dok su Spleeterovi modeli napravljeni korištenjem podataka iz Deezerovog ogromnog muzičkog kataloga.

By poređenje sa Open-Unmixom, Spleeterov alat za razdvajanje je oko 35% brži kada se testira na CPU-u, podržava MP3 datoteke i generira primjetno bolje rezultate (izdvajanje glasova u Open-Unmix-u ostavlja tragove nekih alata, što je vjerovatno zbog činjenice da modeli Open-Unmix su obučeni na kolekciji od samo 150 kompozicija).

izvor: opennet.ru