Koden till Spleeter, systemet för att separera musik och röst, har öppnats

Streamingleverantören Deezer har öppnat de ursprungliga texterna från det experimentella projektet Spleeter, som utvecklar ett maskininlärningssystem för att separera ljudkällor från komplexa ljudkompositioner. Programmet möjliggör att ta bort sången från kompositionen och endast behålla det musikaliska ackompanjemanget, manipulera ljudet från enskilda instrument eller helt ta bort musiken och behålla rösten för att överlagra på ett annat ljudspår, skapa mixes, karaoke eller transkription. Projektets kod är skriven i Python med hjälp av Tensorflow-motorn och sprids licensieras under MIT.

För nedladdning erbjuds redan tränade modeller för att separera sång (en röst) från ackompanjemanget, samt för att separera i 4 och 5 strömmar som inkluderar sång, trummor, basar, piano och övrigt ljud. Spleeter kan användas både som en Python-bibliotek och som en fristående kommandoradsverktyg. I det enklaste fallet, baserat på en källfil, skapas två, fyra eller fem filer med sång och komponenter från ackompanjemanget (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Vid separation i 2 och 4 strömmar erbjuder Spleeter mycket hög prestanda; till exempel, när en GPU används, tar separationen av ljudfilen i 4 strömmar 100 gånger mindre tid än längden på den ursprungliga kompositionen. På ett system med GPU NVIDIA GeForce GTX 1080 och 32-kärnig CPU Intel Xeon Gold 6134 utfördes bearbetningen av testkollektionen musDB, som varade i tre timmar och 27 minuter, på 90 sekunder.

Bland fördelarna med Spleeter, jämfört med andra utvecklingar inom ljudseparation, såsom det öppna projektet Open-Unmix, nämns användningen av mer kvalitativa modeller som byggts på en stor uppsättning ljudfiler. På grund av upphovsrättsliga begränsningar har forskare inom maskininlärning begränsad tillgång till ganska obefintliga offentliga samlingar av musikfiler, medan modellerna för Spleeter har byggts med hjälp av data från en stor musik katalog från Deezer.

uttalandet jämförelse Med Open-Unmix verktyget Spleeter sker uppdelningen ungefär 35 % snabbare under tester på CPU, det stöder MP3-filer och genererar avsevärt mer kvalitativa resultat (när rösten separeras i Open-Unmix finns det spår av vissa instrument, vilket troligen förklaras av att modellerna i Open-Unmix har tränats på en samling om totalt 150 låtar).

Källa: opennet.ru