Provedor de streaming Deezer Textos fonte do proxecto experimental Spleeter, que desenvolve un sistema de aprendizaxe automática para separar fontes sonoras de composicións de audio complexas. O programa permite eliminar as voces dunha composición e deixar só o acompañamento musical, manipular o son de instrumentos individuais ou descartar a música e deixar a voz para superpoñer outra serie sonora, creando mesturas, karaoke ou transcrición. O código do proxecto está escrito en Python usando o motor Tensorflow e baixo a licenza MIT.
Para cargar modelos xa adestrados para separar voces (unha voz) do acompañamento, así como para dividir en 4 e 5 fluxos, incluíndo voz, batería, baixo, piano e o resto do son. Spleeter pódese usar tanto como unha biblioteca de Python como como unha utilidade de liña de comandos autónoma. No caso máis sinxelo, baseado no ficheiro fonte dous, catro ou cinco ficheiros con compoñentes de voz e acompañamento (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
Cando se divide en 2 e 4 fíos, Spleeter ofrece un rendemento moi alto, por exemplo, cando se usa a GPU, dividir un ficheiro de audio en 4 fíos leva 100 veces menos que a duración da composición orixinal. Nun sistema cunha GPU NVIDIA GeForce GTX 1080 e unha CPU Intel Xeon Gold 32 de 6134 núcleos, a colección de probas musDB, que durou tres horas e 27 minutos, procesouse en 90 segundos.
Entre as vantaxes de Spleeter, en comparación con outros desenvolvementos no campo da separación de audio, como o proxecto de código aberto Abrir-Desmesturar, menciona o uso de modelos de maior calidade construídos a partir dunha extensa colección de ficheiros de son. Debido ás restricións de dereitos de autor, os investigadores de aprendizaxe automática están limitados ao acceso a coleccións públicas bastante escasas de ficheiros de música, mentres que os modelos de Spleeter foron construídos utilizando datos do amplo catálogo de música de Deezer.
En con Open-Unmix, a ferramenta de separación de Spleeter é preto dun 35% máis rápida cando se proba na CPU, admite ficheiros MP3 e xera resultados notablemente mellores (o feito de que as voces individuais en Open-Unmix deixan pegadas dalgunhas ferramentas, o que probablemente se debe ao feito de que modelos Open-Unmix están adestrados nunha colección de só 150 composicións).
Fonte: opennet.ru