Spleeter-erako kode irekia, musika eta ahotsa bereizteko sistema

Deezer streaming hornitzailea irekita Spleeter proiektu esperimentalaren iturri-testuak, soinu-iturriak audio-konposizio konplexuetatik bereizteko ikaskuntza automatikoko sistema garatzen duena. Programak konposizio batetik ahotsa kentzeko eta musika-akonpainamendua bakarrik utzi, instrumentu indibidualen soinua manipulatzeko edo musika baztertzeko eta ahotsa beste soinu serie batekin gainjartzeko uzteko aukera ematen du, nahasketak, karaokeak edo transkripzioak sortuz. Proiektuaren kodea Python-en idatzita dago Tensorflow motorra erabiliz eta arabera banatuta MIT lizentziapean.

Kargatzeko eskaini dagoeneko prestatutako ereduak ahotsa (ahots bakarra) akonpainamendutik bereizteko, baita 4 eta 5 korronteetan banatzeko ere, ahotsa, bateria, baxua, pianoa eta gainerako soinua barne. Spleeter Python liburutegi gisa eta komando lerroko erabilgarritasun autonomo gisa erabil daiteke. Kasurik errazenean, iturburu-fitxategian oinarrituta sortu bi, lau edo bost fitxategi ahots eta akonpainamendu osagaiekin (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

2 eta 4 haritan banatzean, Spleeter-ek errendimendu oso altua eskaintzen du, adibidez, GPU erabiltzean, audio-fitxategi bat 4 haritan banatzeak jatorrizko konposizioaren iraupena baino 100 aldiz gutxiago behar du. NVIDIA GeForce GTX 1080 GPU eta 32 nukleoko Intel Xeon Gold 6134 CPU dituen sistema batean, hiru ordu eta 27 minutu iraun zuen musDB proba-bilduma 90 segundotan prozesatu zen.

Spleeter-erako kode irekia, musika eta ahotsa bereizteko sistema



Spleeterren abantailen artean, audioaren bereizketaren alorreko beste garapen batzuekin alderatuta, hala nola, kode irekiko proiektua. Ireki-Desnahastu, soinu-fitxategien bilduma zabal batetik eraikitako kalitate handiagoko modeloen erabilera aipatzen du. Egile-eskubideen murrizketak direla eta, ikaskuntza automatikoko ikertzaileek musika-fitxategien bilduma publiko aski urrietara sartzeko mugatuta daude, eta Spleeterren ereduak Deezerren musika katalogo zabaleko datuak erabiliz eraiki ziren bitartean.

On konparazioa Open-Unmix-ekin, Spleeter-en bereizketa tresna % 35 inguru azkarragoa da CPUan probatzen denean, MP3 fitxategiak onartzen ditu eta emaitza nabarmen hobeak sortzen ditu (Open-Unmix-en ahotsak bakartzeak tresna batzuen arrastoak uzten ditu, ziurrenik Open-Unmix modeloak 150 konposizio baino ez dituen bilduma batean trebatzen dira).

Iturria: opennet.ru

Gehitu iruzkin berria