Streaming szolgáltató Deezer A Spleeter kísérleti projekt forrásszövegei, amely gépi tanulási rendszert fejleszt a hangforrások komplex hangkompozícióktól való elkülönítésére. A program lehetővé teszi az ének eltávolítását egy kompozícióból, és csak a zenei kíséretet hagyja meg, manipulálja az egyes hangszerek hangját, vagy dobja el a zenét, és hagyja a hangot egy másik hangsorozatra átfedni, mixek, karaoke vagy átirat létrehozására. A projekt kódja Pythonban van megírva a Tensorflow motor és a az MIT engedélye alapján.
A rakodáshoz már kiképzett modellek az ének (egy hang) és a kíséret elválasztására, valamint a 4 és 5 folyamra való felosztásra, beleértve az éneket, a dobot, a basszust, a zongorát és a hang többi részét. A Spleeter Python-könyvtárként és önálló parancssori segédprogramként is használható. A legegyszerűbb esetben a forrásfájl alapján két, négy vagy öt fájl hang- és kíséretkomponensekkel (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
2 és 4 szálra való felosztáskor a Spleeter nagyon nagy teljesítményt biztosít, például a GPU használatakor egy hangfájl 4 szálra bontása 100-szor kevesebb időt vesz igénybe, mint az eredeti kompozíció időtartama. Az NVIDIA GeForce GTX 1080 GPU-val és 32 magos Intel Xeon Gold 6134 CPU-val rendelkező rendszeren a musDB tesztgyűjtemény, amely három óra 27 percig tartott, 90 másodperc alatt készült el.
A Spleeter előnyei közé tartozik, összehasonlítva a hangleválasztás más fejlesztéseivel, például a nyílt forráskódú projekttel Open-Unmix, megemlíti a hangfájlok kiterjedt gyűjteményéből felépített jobb minőségű modellek használatát. A szerzői jogi korlátozások miatt a gépi tanulással foglalkozó kutatók a zenei fájlok meglehetősen ritka nyilvános gyűjteményeihez férhetnek hozzá, míg a Spleeter modelljeit a Deezer hatalmas zenei katalógusának adatai alapján építették fel.
On Az Open-Unmix segítségével a Spleeter elválasztó eszköze körülbelül 35%-kal gyorsabb a CPU-n tesztelve, támogatja az MP3 fájlokat, és észrevehetően jobb eredményeket produkál (az Open-Unmixben az egyes hangok nyomokat hagynak bizonyos eszközökben, ami valószínűleg annak köszönhető, hogy a Az Open-Unmix modellek mindössze 150 kompozícióból álló gyűjteményre vannak kiképezve).
Forrás: opennet.ru