ағынды жеткізуші Deezer Дыбыс көздерін күрделі аудио композициялардан бөлуге арналған машиналық оқыту жүйесін әзірлейтін Spleeter эксперименттік жобасының бастапқы мәтіндері. Бағдарлама композициядан вокалды алып тастауға және тек музыкалық сүйемелдеуді қалдыруға, жеке аспаптардың дыбысымен манипуляциялауға немесе музыканы алып тастауға және дауысты басқа дыбыс сериясымен қабаттастыруға, микс, караоке немесе транскрипция жасауға мүмкіндік береді. Жоба коды Python тілінде Tensorflow қозғалтқышының көмегімен жазылған және MIT лицензиясы бойынша.
Жүктеу үшін вокалды (бір дауысты) сүйемелдеуден бөлуге, сондай-ақ вокал, барабан, бас, фортепиано және қалған дыбысты қоса алғанда 4 және 5 ағынға бөлу үшін қазірдің өзінде дайындалған модельдер. Spleeter Python кітапханасы ретінде де, жеке пәрмен жолы утилитасы ретінде де пайдаланылуы мүмкін. Ең қарапайым жағдайда, бастапқы файлға негізделген дауыстық және сүйемелдеу құрамдастары бар екі, төрт немесе бес файл (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
2 және 4 ағынға бөлінген кезде, Spleeter өте жоғары өнімділікті қамтамасыз етеді, мысалы, GPU пайдаланған кезде, аудио файлды 4 ағынға бөлу бастапқы композицияның ұзақтығынан 100 есе аз уақыт алады. NVIDIA GeForce GTX 1080 GPU және 32 ядролы Intel Xeon Gold 6134 процессоры бар жүйеде үш сағат 27 минутқа созылған musDB сынақ жинағы 90 секундта өңделді.
Spleeter артықшылықтарының арасында, ашық бастапқы жоба сияқты дыбысты бөлу саласындағы басқа әзірлемелермен салыстырғанда. Ашу-Ашу, дыбыс файлдарының кең жиынтығынан жасалған жоғары сапалы үлгілерді пайдалану туралы айтады. Авторлық құқық шектеулеріне байланысты машиналық оқытуды зерттеушілер музыкалық файлдардың өте сирек жалпыға қолжетімді жинақтарына қол жеткізумен шектелген, ал Spleeter модельдері Deezer-дің кең музыкалық каталогындағы деректер арқылы жасалған.
туралы Open-Unmix көмегімен Spleeter бөлу құралы процессорда сыналғанда шамамен 35% жылдамырақ, MP3 файлдарын қолдайды және айтарлықтай жақсы нәтижелер береді (Open-Unmix бағдарламасындағы бір дауыстар кейбір құралдардың іздерін қалдырады, бұл мүмкін Open-Unmix модельдері тек 150 композициядан тұратын топтамада дайындалған).
Ақпарат көзі: opennet.ru