Megnyílt a Spleeter kódja, a zene és a hang elválasztására szolgáló rendszer

A Deezer streamingszolgáltató megnyitotta az Spleeter kísérleti projekt eredeti szövegeit, amelyek egy gépi tanuláson alapuló rendszert fejlesztenek a hangforrások bonyolult zenei kompozíciókból való elkülönítésére. A program lehetővé teszi, hogy eltávolítsuk a vokált a kompozícióból, és csak a zenei kíséretet hagyjuk meg, manipuláljunk egyes hangszerek hangzásával, vagy eltávolítsuk a zenét, és csak a hangot hagyjuk a másik hangsorhoz való ráhelyezéshez, remixek készítéséhez, karaokéhoz vagy transzkрипcióhoz. A projekt kódja Python nyelven íródott a Tensorflow motor használatával, és terjesztésre kerül MIT licenc alatt áll.

Letölteni kínálják már betanított modellek állnak rendelkezésre a vokál (egy hang) az akompániamentumtól való elválasztására, valamint 4 és 5 szálra való felosztására, amelyek vokált, dobokat, basszusokat, zongorát és egyéb hangokat tartalmaznak. A Spleeter Python könyvtárként, vagy önálló parancssori eszközként is használható. A legegyszerűbb esetben a bemeneti fájl alapján két, négy vagy öt fájl létrehozása történik a vokál és az akompániamentum összetevőivel (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav). A 2 és 4 szálra való felosztás során a Spleeter rendkívül magas teljesítményt nyújt, például, ha GPU-t használunk, akkor egy hangfájl 4 szálra történő feldolgozása 100-szor kevesebb időt vesz igénybe, mint az eredeti kompozíció hossza. Egy NVIDIA GeForce GTX 1080 GPU-val és 32 magos Intel Xeon Gold 6134 CPU-val a tesztgyűjtemény, amely három óra 27 perc hosszú, feldolgozása 90 másodperc alatt valósult meg.

A Spleeter előnyei közé tartozik, hogy más hangelválasztási projektekhez képest, mint például az nyílt forráskódú projekt

Open-Unmix , magasabb minőségű modellek alkalmazását emeli ki, amelyek egy széleskörű zenei fájllal készült gyűjtemény alapján készültek. A szerzői jogi korlátok miatt a gépi tanulás területén kutatók hozzáférése korlátozott a viszonylag szegényes nyilvános zenei fájlgyűjteményekhez, míg a Spleeter modellek széleskörű Deezer zenei katalógus adataiból készültek.összehasonlítva

A összehasonlításhoz A Spleeter eszközzel az Open-Unmix környezetben a szétválasztás körülbelül 35%-kal gyorsabb a CPU tesztelése során, támogatja az MP3 fájlokat, és jelentősen jobb minőségű eredményt generál (az Open-Unmix kiemelik a hangot, néhány hangszer nyoma marad, ami valószínűleg azt magyarázza, hogy az Open-Unmix modellek 150 dal gyűjteményén lettek betanítva).

Forrás: opennet.ru