Отворен е кодът на Spleeter, системата за разделяне на музика и глас

Стрийминг провайдерът Deezer откри изходните текстове на експерименталния проект Spleeter, който развива система за машинно обучение за разделяне на звуковите източници в сложни звукови композиции. Програмата позволява да се премахне вокалът от композицията и да остане само музикалното сопровождение, да се манипулира с звука на отделни инструменти или да се остави само гласът за съпоставяне с друг звуков ред, създаване на миксове, караоке или транскрипция. Кодът на проекта е написан на езика Python с използване на движка Tensorflow и се разпространява под лиценз MIT.

За изтегляне се предлагат вече обучените модели за отделяне на вокала (един глас) от акомпанимента, както и за разделяне на 4 и 5 потока, включващи вокал, барабани, бас, пиано и останалия звук. Spleeter може да се използва както под формата на Python библиотека, така и като самостоятелна командна утилита. В най-простия случай, на базата на оригиналния файл се създава две, четири или пет файла с глас и съставни елементи от акомпанимента (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

При разделяне на 2 и 4 потока Spleeter осигурява много висока производителност; например, при използване на GPU разделянето на звуков файл на 4 потока отнема 100 пъти по-малко време, отколкото продължителността на оригиналната композиция. На система с GPU NVIDIA GeForce GTX 1080 и 32-ядрен CPU Intel Xeon Gold 6134 обработката на тестовата колекция musDB, с продължителност три часа и 27 минути, беше извършена за 90 секунди.

Сред предимствата на Spleeter в сравнение с други разработки в областта на разделянето на звук, като открития проект Open-Unmix, се споменава използването на по-качествени модели, изградени на базата на обширна колекция от звукови файлове. Поради ограниченията на авторските права, изследователите в областта на машинното обучение имат ограничен достъп до доста оскъдни общодостъпни колекции музикални файлове, докато за Spleeter моделите бяха изградени с използване на данни от обширния музикален каталог на Deezer.

Според в сравнение С Open-Unmix инструментариумът Spleeter изпълнява разделението приблизително с 35% по-бързо, когато се тества на CPU, поддържа MP3 файлове и генерира значително по-качествени резултати (при извличането на гласа с Open-Unmix остават следи от някои инструменти, което вероятно се обяснява с факта, че моделите на Open-Unmix са обучени на колекция от общо 150 композиции).

Източник: opennet.ru