Kodi i Spleeter është hapur, një sistem për ndarjen e muzikës dhe zërit.

Ofertuesi i transmetimit të muzikës Deezer hap tekstet burimore të projektit eksperimental Spleeter, që zhvillon një sistem të mësuarit të makinerive për ndarjen e burimeve të zërit nga kompozita të ndërlikuara muzikore. Programi lejon heqjen e vokalit nga kompozita dhe lënien e vetëm shoqërimin muzikor, manipulimin e tingujve të instrumenteve të veçanta ose heqjen e muzikës dhe lënien e zërit për mbivendosje në një linjë tjetër zëri, krijimin e mikseve, karaoke ose transkriptim. Kodi i projektit është shkruar në gjuhën Python duke përdorur motorin Tensorflow dhe shpërndahet nën licencën MIT.

Për ngarkim ofrohen modelet e trajnuara tashmë për ndarjen e vokalit (një zë) nga akompanjamenti, si dhe për ndarjen në 4 dhe 5 kanale, duke përfshirë vokalin, bateritë, baset, pianos dhe tingujt e tjerë. Spleeter mund të aplikohet si në formën e një biblioteke Python, ashtu edhe si një utilitar të veçuar të linjës së komandës. Në rastin më të thjeshtë, bazuar në skedarin burimor krijohet dy, katër ose pesë skedarë me zërin dhe përbërësit nga akompanjamenti (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Kur ndahet në 2 dhe 4 kanale, Spleeter ofron një performancë shumë të lartë, për shembull, kur përdoret GPU, ndarja e skedarit audio në 4 kanale merr 100 herë më pak kohë se sa përfshirja e kompozitës burimore. Në një sistem me GPU NVIDIA GeForce GTX 1080 dhe CPU Intel Xeon Gold 6134 me 32 bërtha, përpunimi i koleksionit provues musDB, me një kohëzgjatje prej tre orësh e 27 minutash, u krye për 90 sekonda.

Nga avantazhet e Spleeter, krahasuar me zhvillimet e tjera në fushën e ndarjes së zërit, si projekti publik Open-Unmix, përmendet përdorimi i modeleve më të cilësisë më të lartë, të ndërtuara në bazë të një koleksioni të gjerë të skedarëve audio. Për shkak të kufizimeve të të drejtave të autorit, studiuesit në fushën e mësimit të makinerive kanë të kufizuar qasjen në koleksione të mjaftueshme publike të skedarëve muzikorë, ndërsa për Spleeter modelet u ndërtuan me ndihmën e të dhënave nga një katalog të gjerë muzikor të Deezer.

Sipas krahasim Me Open-Unmix, Spleeter realizon ndarjen rreth 35% më shpejt gjatë testimit në CPU, mbështet skedarët MP3 dhe gjeneron një rezultat dukshëm më cilësor (në ndarjen e zërit, Open-Unmix mbetet pas disa gjurmëve të instrumenteve, gjë që ndoshta shpjegohet me faktin se modelet Open-Unmix janë trajnuar në një koleksion prej 150 kompozimesh).

Burimi: opennet.ru