Kodi i Spleeter, sistem për ndarjen e muzikës dhe zërit është hapur

Ofruesi i transmetimit të muzikës Deezer ka hapur tekste burimore të projektit eksperimental Spleeter, që zhvillon një sistem mësimi automatik për ndarjen e burimeve të zërit nga kompozita muzikore të komplikuara. Programi lejon heqjen e vokalit nga kompozita dhe lë vetëm shoqërimin muzikor, manipulimin e tingujve të instrumenteve të veçanta ose heqjen e muzikës dhe lënien e zërit për vendosjen mbi një rresht tjetër zëri, krijimin e mikseve, karaoke ose transkriptimeve. Kodi i projektit është shkruar në gjuhën Python duke përdorur motorin Tensorflow dhe distribuohet në përputhje me licencën MIT.

Për shkarkim ofruar modelet e trajnuara tashmë për ndarjen e vokalit (një zë) nga shoqërimi, si dhe për ndarjen në 4 dhe 5 rryma, duke përfshirë vokalin, bateritë, baset, pianon dhe tingullin tjetër. Spleeter mund të aplikohet si një bibliotekë Python, ashtu edhe në formën e një utilitari të veçantë në linjë komandash. Në rastin më të thjeshtë, duke u bazuar në skedarin burimor krijohet dy, katër ose pesë skedarë me zërin dhe përbërësit nga shoqërimi (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Në ndarjen në 2 dhe 4 rryma, Spleeter siguron një performancë shumë të lartë, për shembull, duke angazhuar GPU, ndarja e skedarit audio në 4 rryma merr 100 herë më pak kohë se sa zgjat koha e kompozitës burimore. Në një sistem me GPU NVIDIA GeForce GTX 1080 dhe CPU Intel Xeon Gold 6134 me 32 bërthama, përpunimi i koleksionit testues musDB, me një gjatësi prej tre orësh e 27 minutash, u realizua për 90 sekonda.

Si avantazh i Spleeter, krahasuar me zhvillime të tjera në fushën e ndarjes së zërit, si projekti i hapur Open-Unmix, përmendet përdorimi i modeleve më cilësore, të ndërtuara mbi një koleksion të gjerë të skedarëve audio. Për shkak të kufizimeve të të drejtave të autorit, studiuesit në fushën e mësimit automatik kanë të kufizuar qasjen në koleksione muzikore publike mjaft të varfra, ndërsa për Spleeter modelet janë ndërtuar duke përfshirë të dhëna nga një katalog të gjerë muzikor Deezer.

Sipas krahasuar me Open-Unmix, mjeti Spleeter kryen ndarjen rreth 35% më shpejt gjatë testeve në CPU, mbështet skedarët MP3 dhe gjeneron një rezultat dukshëm më cilësor (gjatë veçimit të zërit në Open-Unmix mbeten gjurmë të disa instrumenteve, gjë që ndoshta shpjegohet nga fakti se modelet Open-Unmix janë trajnuar në një koleksion prej vetëm 150 kompozitash).

Burimi: opennet.ru