Koden til Spleeter, systemet til separation af musik og stemme, er blevet åbnet

Streamingudbyderen Deezer har åbnet de originale koder til det eksperimentelle projekt Spleeter, der udvikler et system til maskinlæring for at separere lydkilder fra komplekse musikkompositioner. Programmet gør det muligt at fjerne vokalen fra en komposition og kun beholde det musikalske akkompagnement, manipulere lyden af enkelte instrumenter eller kassere musikken og kun beholde stemmen til at lægge ovenpå et andet lydspor, skabe mixes, karaoke eller transskription. Projektkoden er skrevet i Python ved brug af Tensorflow-motoren og distribueres under MIT-licensen.

For at downloade tilbydes allerede trænede modeller til at adskille vokalen (én stemme) fra akkompagnementet, samt til at opdele i 4 og 5 spor, der inkluderer vokal, trommer, bas, klaver og øvrig lyd. Spleeter kan anvendes både som en Python-bibliotek og som et separat kommandolinjeværktøj. I den enkleste form oprettes der baseret på indgangsfilen to, fire eller fem filer med stemmen og komponenter fra akkompagnementet (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav). Ved opdeling i 2 og 4 spor leverer Spleeter meget høj ydeevne; for eksempel tager det at opdele en lydfil i 4 spor på en GPU 100 gange mindre tid end varigheden af den oprindelige komposition. På et system med GPU NVIDIA GeForce GTX 1080 og 32-kernet CPU Intel Xeon Gold 6134 blev behandling af testkolleksjonen musDB, der varer tre timer og 27 minutter, udført på 90 sekunder.

Blandt fordelene ved Spleeter, sammenlignet med andre udviklinger inden for lydadskillelse, såsom det åbne projekt

Open-Unmix , nævnes anvendelsen af mere kvalitetsfulde modeller, der er bygget på basis af en omfattende samling lydfiler. På grund af ophavsretsbegrænsninger er forskere inden for maskinlæring begrænset til adgangen til ret sparsomme offentligt tilgængelige samlinger af musikfiler, mens modellerne til Spleeter er bygget med data fra et omfattende musikbibliotek fra Deezer.sammenligning

Ifølge сравнению Med Open-Unmix er Spleeter i stand til at udføre adskillelse cirka 35% hurtigere ved testning på CPU, understøtter MP3-filer og genererer betydeligt bedre resultater (ved udtrækning af stemmen i Open-Unmix forbliver der spor af nogle instrumenter, hvilket sandsynligvis skyldes, at Open-Unmix-modellerne er trænet på en samling af blot 150 kompositioner).

Kilde: opennet.ru