Кодът на Spleeter е отворен, система за разделяне на музика и глас.

Провайдер за стрийминг услуги Deezer отвори първоначалните текстове на експерименталния проект Spleeter, който развива система за машинно обучение за разделяне на звукови източници от сложни звукови композиции. Програмата позволява да се отстрани вокалът от композицията и да остане само музикалното придружение, да се манипулира звученето на отделни инструменти или да се отстрани музиката и да остане гласът за наслагване върху друг звуков ред, създаване на миксове, караоке или транскрипция. Кодът на проекта е написан на Python, използвайки Tensorflow и разпространява под лиценз MIT.

За изтегляне са предложени вече обучени модели за отделяне на вокал (един глас) от акомпанимент, както и за разделяне на 4 и 5 потока, включващи вокал, барабани, баси, пиано и останал звук. Spleeter може да бъде използван както като Python библиотека, така и под формата на самостоятелна командна утилита. В най-простия случай, на базата на входния файл се създават две, четири или пет файла с гласа и компонентите от акомпанимента (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

При разделяне на 2 и 4 потока, Spleeter осигурява много висока производителност, например, при използване на GPU, разделянето на звуковия файл на 4 потока отнема 100 пъти по-малко време от продължителността на оригиналната композиция. На система с GPU NVIDIA GeForce GTX 1080 и 32-ядрен CPU Intel Xeon Gold 6134, обработката на тестовата колекция musDB с продължителност три часа и 27 минути, беше извършена за 90 секунди.

Сред предимствата на Spleeter, в сравнение с други разработки в областта на разделянето на звук, като открития проект Open-Unmix, се посочва използването на по-качествени модели, построени на основата на обширна колекция от звукови файлове. Поради ограниченията на авторските права, изследователите в областта на машинното обучение имат ограничен достъп до твърде оскъдни публично достъпни колекции от музикални файлове, докато за Spleeter моделите са изградени с данни от обширния музикален каталог на Deezer.

По сравнение С Open-Unmix инструментът Spleeter извършва разделение с приблизително 35% по-бързо при тестове на CPU, поддържа MP3 файлове и генерира значително по-качествен резултат (при извеждане на гласа в Open-Unmix остават следи от някои инструменти, което вероятно се дължи на факта, че моделите на Open-Unmix са обучени на колекция от общо 150 композиции).

Източник: opennet.ru