Fournisseur de streaming Deezer Textes sources du projet expérimental Spleeter, qui développe un système d'apprentissage automatique pour séparer les sources sonores des compositions audio complexes. Le programme vous permet de supprimer les voix d'une composition et de ne conserver que l'accompagnement musical, de manipuler le son d'instruments individuels ou de supprimer la musique et de laisser la voix pour la superposer à une autre série sonore, en créant des mixages, un karaoké ou une transcription. Le code du projet est écrit en Python à l'aide du moteur Tensorflow et sous licence MIT.
Pour le chargement modèles déjà formés pour séparer le chant (une voix) de l'accompagnement, ainsi que pour diviser en 4 et 5 flux, y compris le chant, la batterie, la basse, le piano et le reste du son. Spleeter peut être utilisé à la fois comme bibliothèque Python et comme utilitaire de ligne de commande autonome. Dans le cas le plus simple, basé sur le fichier source deux, quatre ou cinq fichiers avec des composants de voix et d'accompagnement (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
Lors du fractionnement en 2 et 4 threads, Spleeter offre des performances très élevées, par exemple, lors de l'utilisation du GPU, le fractionnement d'un fichier audio en 4 threads prend 100 fois moins de temps que la durée de la composition originale. Sur un système doté d'un GPU NVIDIA GeForce GTX 1080 et d'un processeur Intel Xeon Gold 32 à 6134 cœurs, la série de tests musDB, qui a duré trois heures et 27 minutes, a été traitée en 90 secondes.
Parmi les avantages de Spleeter, par rapport à d'autres développements dans le domaine de la séparation audio, comme le projet open source Ouvrir-Démixer, mentionne l'utilisation de modèles de meilleure qualité construits à partir d'une vaste collection de fichiers sonores. En raison des restrictions liées aux droits d'auteur, les chercheurs en apprentissage automatique sont limités à l'accès à des collections publiques de fichiers musicaux assez rares, tandis que les modèles de Spleeter ont été construits à partir des données du vaste catalogue musical de Deezer.
Sur avec Open-Unmix, l'outil de séparation de Spleeter est environ 35 % plus rapide lorsqu'il est testé sur le CPU, prend en charge les fichiers MP3 et génère des résultats nettement meilleurs (les voix uniques dans Open-Unmix laissent des traces de certains outils, ce qui est probablement dû au fait que le les modèles Open-Unmix sont formés sur une collection de seulement 150 compositions).
Source: opennet.ru