Deezer, furnizor de streaming codurile sursă ale proiectului experimental Spleeter, care dezvoltă un sistem de învățare automată pentru separarea surselor de sunet din compoziții muzicale complexe. Programul permite eliminarea vocii dintr-o compoziție, lăsând doar acompaniamentul muzical, manipularea sunetului instrumentelor individuale sau păstrarea vocii pentru suprapunerea peste un alt fir sonor, crearea de mixuri, karaoke sau transcriere. Codul proiectului este scris în limbajul Python folosind motorul Tensorflow și sub licența MIT.
Pentru descărcare modelele deja antrenate pentru separarea vocii (a unei singure voci) de acompaniament, precum și pentru separarea în 4 și 5 fluxuri, incluzând vocea, tobele, basul, pianul și celelalte sunete. Spleeter poate fi utilizat atât ca bibliotecă Python, cât și ca utilitar de linie de comandă. În cea mai simplă formă, pe baza unui fișier sursă două, patru sau cinci fișiere cu vocea și elementele din acompaniament (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
În cazul separării în 2 și 4 fluxuri, Spleeter oferă o performanță foarte ridicată; de exemplu, utilizând GPU, separarea unui fișier audio în 4 fluxuri durează de 100 de ori mai puțin decât durata compoziției originale. Pe un sistem cu GPU NVIDIA GeForce GTX 1080 și CPU Intel Xeon Gold 6134 cu 32 de nuclee, procesarea colecției de teste musDB, cu o durată de trei ore și 27 de minute, a fost realizată în 90 de secunde.
Dintre avantajele Spleeter, comparativ cu alte dezvoltări în domeniul separării sunetului, cum ar fi proiectul deschis , se menționează utilizarea modelor de calitate superioară, construite pe baza unei colecții vaste de fișiere audio. Din cauza restricțiilor legate de drepturile de autor, cercetătorii în învățarea automată au acces limitat la colecții publice destul de rare de fișiere muzicale, în timp ce pentru Spleeter modelele au fost construite cu ajutorul datelor dintr-un catalog muzical extins oferit de Deezer.
După Cu Open-Unmix, instrumentul Spleeter efectuează separarea cu aproximativ 35% mai repede la testele pe CPU, suportă fișiere MP3 și generează un rezultat semnificativ mai calitativ (când se extrage vocea, în Open-Unmix rămân urme ale unor instrumente, ceea ce se explică prin faptul că modelele Open-Unmix sunt antrenate pe o colecție de doar 150 de compoziții).
Sursa: opennet.ro
