Deezer, streamingprovider de originele teksten van het experimentele project Spleeter onthuld, dat een machine learning-systeem ontwikkelt voor het scheiden van geluidsbronnen in complexe geluidcomposities. Het programma stelt gebruikers in staat om de zang uit een compositie te verwijderen en alleen de muzikale begeleiding over te houden, het geluid van afzonderlijke instrumenten te manipuleren of de muziek weg te laten en alleen de stem te behouden voor het maken van andere geluidsopnamen, het creƫren van mixes, karaoke of transcripties. De code van het project is geschreven in Python met behulp van de Tensorflow-engine en valt onder de MIT-licentie.
Voor het downloaden al getrainde modellen voor het scheiden van zang (Ć©Ć©n stem) van de begeleiding, evenals voor het splitsen in 4 en 5 stromen, inclusief zang, drums, bas, piano en andere geluiden. Spleeter kan worden toegepast als een Python-bibliotheek, evenals in de vorm van een zelfstandige opdrachtregeltool. In de eenvoudigste geval worden op basis van het oorspronkelijke bestand twee, vier of vijf bestanden met de stem en elementen uit de begeleiding (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
Bij het splitsen in 2 en 4 stromen biedt Spleeter een zeer hoge prestaties. Bij gebruik van GPU duurt het splitsen van een geluidsbestand in 4 stromen 100 keer minder tijd dan de lengte van de oorspronkelijke compositie. Op een systeem met een NVIDIA GeForce GTX 1080 GPU en een 32-core Intel Xeon Gold 6134 CPU werd de verwerking van de testcollectie musDB, met een duur van drie uur en 27 minuten, in 90 seconden voltooid.
Van de voordelen van Spleeter, vergeleken met andere ontwikkelingen op het gebied van geluidsafscheiding, zoals het open project , wordt het gebruik van kwalitatief betere modellen genoemd, die zijn opgebouwd op basis van een uitgebreide collectie audiobestanden. Vanwege auteursrechtbeperkingen hebben onderzoekers op het gebied van machine learning beperkte toegang tot de vrij schaarse openbare collecties van muziekbestanden, terwijl voor Spleeter modellen zijn gebouwd met gegevens uit een uitgebreide muziekcatalogus van Deezer.
Volgens Met Open-Unmix is het Spleeter-gereedschap ongeveer 35% sneller in het scheiden van audio tijdens CPU-tests, ondersteunt het MP3-bestanden en genereert het merkbaar hogere kwaliteit resultaten (bij het isoleren van stemmen in Open-Unmix blijven er sporen van sommige instrumenten over, wat waarschijnlijk te wijten is aan het feit dat de modellen van Open-Unmix zijn getraind op een collectie van in totaal 150 composities).
Bron: opennet.ru
