Código do Spleeter, sistema para separação de música e voz, é aberto

O provedor de streaming Deezer abriu os códigos-fonte do projeto experimental Spleeter, que desenvolve um sistema de aprendizado de máquina para separar fontes sonoras de composições musicais complexas. O programa permite remover a vocal de uma composição e deixar apenas o acompanhamento musical, manipular o som de instrumentos individuais ou descartar a música e deixar a voz para sobreposição em outra faixa, criação de mixagens, karaokê ou transcrição. O código do projeto é escrito em Python usando o motor Tensorflow e é distribuído sob a licença MIT.

Para download são oferecidos modelos já treinados para separação de vocal (uma voz) do acompanhamento, bem como para separação em 4 e 5 trilhas, incluindo vocal, bateria, baixo, piano e outros sons. O Spleeter pode ser utilizado como uma biblioteca Python, bem como na forma de uma ferramenta de linha de comando isolada. No caso mais simples, com base no arquivo original são criados dois, quatro ou cinco arquivos com a voz e os componentes do acompanhamento (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Na separação em 2 e 4 trilhas, o Spleeter oferece um desempenho muito alto, por exemplo, ao utilizar GPU, a separação de um arquivo de áudio em 4 trilhas leva 100 vezes menos tempo do que a duração da composição original. Em um sistema com uma GPU NVIDIA GeForce GTX 1080 e um CPU Intel Xeon Gold 6134 de 32 núcleos, o processamento de uma coleção de teste musDB, com duração de três horas e 27 minutos, foi realizado em 90 segundos.

Entre as vantagens do Spleeter, em comparação com outras implementações na área de separação de áudio, como o projeto aberto Open-Unmix, menciona-se a aplicação de modelos de melhor qualidade, construídos com base em uma extensa coleção de arquivos de áudio. Devido a restrições de direitos autorais, os pesquisadores em aprendizado de máquina estão limitados ao acesso a coleções de arquivos musicais públicas bastante escassas, enquanto os modelos do Spleeter foram construídos com dados de um extenso catálogo musical do Deezer.

De acordo com comparação com Open-Unmix, a ferramenta Spleeter realiza a separação cerca de 35% mais rápido em testes com CPU, suporta arquivos MP3 e gera resultados significativamente mais qualitativos (na separação de voz em Open-Unmix, permanecem vestígios de alguns instrumentos, o que provavelmente se deve ao fato de que os modelos Open-Unmix foram treinados em uma coleção de apenas 150 composições).

Fonte: opennet.ru