Chanzo wazi cha Spleeter, mfumo wa kutenganisha muziki na sauti

Mtoa huduma wa kutiririsha Deezer kufunguliwa Maandishi chanzo cha mradi wa majaribio wa Spleeter, ambao hutengeneza mfumo wa mashine ya kujifunza kwa ajili ya kutenganisha vyanzo vya sauti kutoka kwa nyimbo changamano za sauti. Programu hiyo hukuruhusu kuondoa sauti kutoka kwa muundo na kuacha tu usindikizaji wa muziki, kudhibiti sauti ya vyombo vya mtu binafsi, au kutupa muziki na kuacha sauti kwa kufunika na safu nyingine ya sauti, kuunda mchanganyiko, karaoke au maandishi. Nambari ya mradi imeandikwa kwa Python kwa kutumia injini ya Tensorflow na kusambazwa na chini ya leseni ya MIT.

Kwa kupakia inayotolewa mifano iliyofunzwa tayari ya kutenganisha sauti (sauti moja) kutoka kwa kusindikiza, na pia kwa kugawanya katika mikondo 4 na 5, pamoja na sauti, ngoma, besi, piano na sauti zingine. Spleeter inaweza kutumika kama maktaba ya Python na kama matumizi ya mstari wa amri ya pekee. Katika kesi rahisi, kulingana na faili ya chanzo kuundwa faili mbili, nne au tano zilizo na sauti na vipengele vya kuambatana (vocal.wav, drums.wav, bass.wav, piano.wav, other.wav).

Inapogawanywa katika mitiririko 2 na 4, Spleeter hutoa utendaji wa juu sana, kwa mfano, unapotumia GPU, kugawanya faili ya sauti katika mitiririko 4 huchukua muda wa mara 100 chini ya muda wa utunzi asili. Kwenye mfumo ulio na NVIDIA GeForce GTX 1080 GPU na Intel Xeon Gold 32 CPU ya msingi 6134, mkusanyiko wa majaribio ya musDB, uliochukua saa tatu na dakika 27, ulichakatwa katika sekunde 90.

Chanzo wazi cha Spleeter, mfumo wa kutenganisha muziki na sauti



Miongoni mwa faida za Spleeter, ikilinganishwa na maendeleo mengine katika uwanja wa utenganisho wa sauti, kama vile mradi wa chanzo wazi. Fungua-Ondoa Mchanganyiko, inataja matumizi ya miundo ya ubora wa juu iliyojengwa kutoka kwa mkusanyiko mkubwa wa faili za sauti. Kwa sababu ya vizuizi vya hakimiliki, watafiti wa kujifunza kwa mashine wana kikomo cha kufikia mikusanyiko machache ya umma ya faili za muziki, huku miundo ya Spleeter iliundwa kwa kutumia data kutoka kwa katalogi kubwa ya muziki ya Deezer.

Cha kulinganisha na Open-Unmix, zana ya kutenganisha ya Spleeter ni karibu 35% haraka inapojaribiwa kwenye CPU, inasaidia faili za MP3, na hutoa matokeo bora zaidi (sauti za pekee katika Open-Unmix huacha athari za zana, ambayo inawezekana kutokana na ukweli kwamba mifano Open-Unmix wamefunzwa kwenye mkusanyiko wa nyimbo 150 pekee).

Chanzo: opennet.ru

Kuongeza maoni