Сарчашмаи кушода барои Spleeter, система барои ҷудо кардани мусиқӣ ва овоз

Провайдери ҷараёнҳои Deezer кушода шуд Матнҳои сарчашмаи лоиҳаи таҷрибавии Spleeter, ки системаи омӯзиши мошиниро барои ҷудо кардани манбаъҳои садо аз композитсияҳои мураккаби аудио таҳия мекунад. Барнома ба шумо имкон медиҳад, ки вокалҳоро аз композитсия хориҷ кунед ва танҳо ҳамроҳии мусиқиро гузоред, садои асбобҳои алоҳидаро идора кунед ё мусиқиро партоед ва овозро барои қабати дигар силсилаи садоҳо, эҷоди миксҳо, караоке ё транскрипсия гузоред. Рамзи лоиҳа дар Python бо истифода аз муҳаррики Tensorflow навишта шудааст ва паҳн мекунад таҳти иҷозатномаи MIT.

Барои бор кардан пешниҳод намуд моделҳои аллакай омӯзонидашуда барои ҷудо кардани вокал (як овоз) аз ҳамроҳӣ, инчунин барои тақсим кардани 4 ва 5 ҷараёнҳо, аз ҷумла вокал, барабан, бас, фортепиано ва боқимондаи садо. Spleeter метавонад ҳам ҳамчун китобхонаи Python ва ҳам ҳамчун утилитаи мустақили сатри фармон истифода шавад. Дар соддатарин ҳолат, дар асоси файли манбаъ офарида шудааст ду, чор ё панҷ файл бо ҷузъҳои овозӣ ва ҳамроҳӣ (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Ҳангоми тақсим кардан ба 2 ва 4 ришта, Spleeter иҷрои хеле баландро таъмин мекунад, масалан, ҳангоми истифодаи GPU, тақсим кардани файли аудио ба 4 ришта назар ба давомнокии таркиби аслӣ 100 маротиба камтар вақт мегирад. Дар система бо NVIDIA GeForce GTX 1080 GPU ва 32-аслӣ Intel Xeon Gold 6134 CPU, ҷамъоварии санҷиши musDB, ки се соату 27 дақиқа давом кард, дар 90 сония коркард карда шуд.

Сарчашмаи кушода барои Spleeter, система барои ҷудо кардани мусиқӣ ва овоз



Дар байни бартариҳои Spleeter, дар муқоиса бо дигар пешрафтҳо дар соҳаи ҷудокунии аудио, ба монанди лоиҳаи кушодаасос Кушодан-Омехта, истифодаи моделҳои баландсифатро, ки аз маҷмӯи васеи файлҳои садо сохта шудаанд, зикр мекунад. Аз сабаби маҳдудиятҳои ҳуқуқи муаллиф, муҳаққиқони омӯзиши мошинсозӣ бо дастрасӣ ба коллексияҳои оммавии файлҳои мусиқӣ маҳдуданд, дар ҳоле ки моделҳои Spleeter бо истифода аз маълумот аз каталоги васеи мусиқии Deezer сохта шудаанд.

Бо муқоиса бо Open-Unmix, асбоби ҷудокунии Spleeter ҳангоми санҷиш дар CPU тақрибан 35% тезтар аст, файлҳои MP3-ро дастгирӣ мекунад ва натиҷаҳои ба таври назаррас беҳтар тавлид мекунад (овозҳои ягона дар Open-Unmix осори баъзе асбобҳоро мегузорад, ки ин эҳтимол аз сабаби он аст, ки моделҳои Open-Unmix дар маҷмӯаи ҳамагӣ 150 композитсия таълим дода шудаанд).

Манбаъ: opennet.ru

Илова Эзоҳ