Spleeter, система за разделяне на музика и глас, е с отворен код

Доставчик на стрийминг Deezer се отвори изходен код за експерименталния проект Spleeter, който разработва система за машинно обучение за разделяне на звукови източници от сложни звукови композиции. Програмата ви позволява да премахнете вокали от композицията и да оставите само музикалния съпровод, да манипулирате звука на отделни инструменти или да изхвърлите музиката и да оставите гласа за наслагване върху друг звуков диапазон, създаване на миксове, караоке или транскрипция. Кодът на проекта е написан на Python с помощта на двигателя Tensorflow и разпространява се от под лиценза на MIT.

За зареждане предлагани вече обучени модели за разделяне на вокали (един глас) от акомпанимент, както и за разделяне на 4 и 5 потока, включващи вокали, барабани, баси, пиано и останалия звук. Spleeter може да се използва както като библиотека на Python, така и като самостоятелна помощна програма за команден ред. В най-простия случай, въз основа на изходния файл създадено два, четири или пет файла с компоненти за глас и акомпанимент (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Когато е разделен на 2 и 4 потока, Spleeter осигурява много висока производителност, например, когато използвате GPU, разделянето на аудио файл на 4 потока отнема 100 пъти по-малко време от продължителността на оригиналната композиция. На система с графичен процесор NVIDIA GeForce GTX 1080 и 32-ядрен процесор Intel Xeon Gold 6134, тестовата колекция от musDB беше обработена за 27 секунди, с продължителност три часа и 90 минути.

От силните страни на Spleeter пред други разработки за разделяне на аудио, като например проекта с отворен код отворете unmix, споменава използването на модели с по-високо качество, изградени на базата на обширна колекция от звукови файлове. Поради ограниченията на авторските права, изследователите на машинното обучение са ограничени до достъп до доста оскъдни публични колекции от музикални файлове, докато за Spleeter моделите са изградени с помощта на данни от обширния музикален каталог на Deezer.

На сравнение С Open-Unmix инструментът Spleeter се разделя с около 35% по-бързо, когато е тестван на процесора, поддържа MP3 файлове и генерира значително по-добри резултати (извличането на глас в Open-Unmix оставя следи от някои инструменти, което вероятно се дължи на факта, че моделите Open-Unmix са обучени върху колекция от само 150 песни).

Източник: opennet.ru