Streamingový provider Deezer zdrojové kódy experimentálního projektu Spleeter, který vyvíjí systém strojového učení pro oddělení zvukových zdrojů ze složitých zvukových kompozic. Program umožňuje odstranit vokály z kompozice a nechat pouze hudební doprovod, manipulovat se zvukem jednotlivých nástrojů nebo odstranit hudbu a nechat hlas pro překrytí na jinou zvukovou stopu, vytváření mixů, karaoke nebo transkripce. Kód projektu je napsán v jazyce Python s využitím enginu Tensorflow a je licencován pod MIT licencí.
K dispozici pro stažení už vyškolené modely pro oddělení vokálu (jednoho hlasu) od doprovodu, stejně jako pro dělení na 4 a 5 proudů, zahrnujících vokály, bicí, basy, klavír a ostatní zvuk. Spleeter může být používán jak formou Python knihovny, tak i jako samostatná příkazová utlita. V nejjednodušším případě na základě zdrojového souboru dvě, čtyři nebo pět souborů s hlasem a složkami z doprovodu (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
Při dělení na 2 a 4 proudy Spleeter zajišťuje velmi vysokou výkonnost, například při využití GPU trvá rozdělení zvukového souboru na 4 proudy 100krát méně času, než jaká je délka původní kompozice. Na systému s GPU NVIDIA GeForce GTX 1080 a 32-jádrovým CPU Intel Xeon Gold 6134 byla zpracována testovací kolekce musDB, jejíž doba trvání je tři hodiny a 27 minut, za 90 sekund.
Mezi výhodami Spleeteru, ve srovnání s jinými vývoji v oblasti oddělení zvuku, jako je otevřený projekt , se uvádí použití kvalitnějších modelů vytvořených na základě rozsáhlé kolekce zvukových souborů. Kvůli omezením autorských práv mají výzkumníci v oblasti strojového učení omezený přístup k poměrně chudým veřejným kolekcím hudebních souborů, zatímco pro Spleeter byly modely vytvořeny za využití dat z rozsáhlého hudebního katalogu Deezer.
Podle S nástrojem Open-Unmix provádí Spleeter rozdělení přibližně o 35 % rychleji při testování na CPU, podporuje MP3 soubory a generuje znatelně kvalitnější výsledek (při vyčleňování hlasu v Open-Unmix zůstávají stopy některých nástrojů, což pravděpodobně vyplývá z toho, že modely Open-Unmix byly trénovány na sbírce pouhých 150 skladeb).
Zdroj: opennet.ru
