Open source per Spleeter, un sistema per separare musica e voce

Fornitore di streaming Deezer ho aperto Testi originali del progetto sperimentale Spleeter, che sviluppa un sistema di machine learning per separare sorgenti sonore da composizioni audio complesse. Il programma ti consente di rimuovere la voce da una composizione e lasciare solo l'accompagnamento musicale, manipolare il suono dei singoli strumenti o scartare la musica e lasciare la voce per sovrapporla con un'altra serie di suoni, creando mix, karaoke o trascrizioni. Il codice del progetto è scritto in Python utilizzando il motore Tensorflow e distribuito da con licenza MIT.

Per il caricamento offerto modelli già addestrati per separare la voce (una voce) dall'accompagnamento, nonché per dividere in 4 e 5 flussi, inclusi voce, batteria, basso, pianoforte e il resto del suono. Spleeter può essere utilizzato sia come libreria Python che come utilità a riga di comando autonoma. Nel caso più semplice, in base al file sorgente è stato creato due, quattro o cinque file con componenti vocali e di accompagnamento (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Quando si divide in 2 e 4 thread, Spleeter fornisce prestazioni molto elevate, ad esempio, quando si utilizza la GPU, la divisione di un file audio in 4 thread richiede 100 volte meno tempo della durata della composizione originale. Su un sistema con una GPU NVIDIA GeForce GTX 1080 e una CPU Intel Xeon Gold 32 a 6134 core, la raccolta di test musDB, che è durata tre ore e 27 minuti, è stata elaborata in 90 secondi.

Tra i vantaggi di Spleeter, rispetto ad altri sviluppi nel campo della separazione audio, come il progetto open source Apri-Unmix, menziona l'uso di modelli di qualità superiore costruiti da un'ampia raccolta di file audio. A causa delle restrizioni sul copyright, i ricercatori di machine learning sono limitati ad accedere a raccolte pubbliche di file musicali piuttosto sparse, mentre i modelli di Spleeter sono stati costruiti utilizzando i dati del vasto catalogo musicale di Deezer.

Su al confronto con Open-Unmix, lo strumento di separazione di Spleeter è circa il 35% più veloce quando testato sulla CPU, supporta file MP3 e genera risultati notevolmente migliori (singolare le voci in Open-Unmix lascia tracce di alcuni strumenti, il che è probabilmente dovuto al fatto che lo strumento di separazione i modelli Open-Unmix sono addestrati su una raccolta di sole 150 composizioni).

Fonte: opennet.ru