Streymisveitan Deezer Heimildartextar tilraunaverkefnisins Spleeter, sem þróar vélanámskerfi til að aðgreina hljóðgjafa frá flóknum hljóðverkum. Forritið gerir þér kleift að fjarlægja raddir úr tónsmíðum og skilja aðeins eftir tónlistarundirleikinn, vinna með hljóð einstakra hljóðfæra eða farga tónlistinni og láta röddina liggja yfir með annarri hljóðröð, búa til blöndur, karókí eða umritun. Verkefniskóðinn er skrifaður í Python með Tensorflow vélinni og undir MIT leyfi.
Til hleðslu þegar þjálfaðar módel til að aðgreina söng (ein rödd) frá undirleik, svo og til að skipta í 4 og 5 strauma, þar á meðal söng, trommur, bassa, píanó og restina af hljóðinu. Spleeter er hægt að nota bæði sem Python bókasafn og sem sjálfstætt skipanalínuforrit. Í einfaldasta tilvikinu, byggt á upprunaskránni tvær, fjórar eða fimm skrár með radd- og undirleiksþáttum (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
Þegar skipt er í 2 og 4 þræði veitir Spleeter mjög mikla afköst, til dæmis, þegar þú notar GPU, tekur það 4 sinnum styttri tíma að skipta hljóðskrá í 100 þræði en upphaflegu samsetninguna. Á kerfi með NVIDIA GeForce GTX 1080 GPU og 32 kjarna Intel Xeon Gold 6134 örgjörva var musDB prófasafnið, sem stóð í þrjár klukkustundir og 27 mínútur, unnið á 90 sekúndum.
Meðal kosta Spleeter, samanborið við aðra þróun á sviði hljóðaðskilnaðar, eins og opinn uppspretta verkefnið Opna-Afblöndun, nefnir notkun hágæða módel byggð úr umfangsmiklu safni hljóðskráa. Vegna takmarkana á höfundarrétti takmarkast rannsakendur vélnáms við aðgang að nokkuð dreifðum almenningssöfnum tónlistarskráa, en líkön Spleeter voru smíðuð með gögnum úr víðfeðmum tónlistarskrá Deezer.
Á með Open-Unmix er aðskilnaðartól Spleeter um 35% hraðvirkara þegar það er prófað á örgjörvanum, styður MP3 skrár og skilar áberandi betri árangri (einstaka raddir í Open-Unmix skilja eftir sig ummerki um sum verkfæri, sem er líklega vegna þess að módel Open-Unmix eru þjálfuð á safni sem inniheldur aðeins 150 tónverk).
Heimild: opennet.ru