Հեռարձակման մատակարար Deezer Spleeter փորձարարական նախագծի աղբյուրի տեքստերը, որը մշակում է մեքենայական ուսուցման համակարգ՝ ձայնի աղբյուրները բարդ աուդիո կոմպոզիցիաներից առանձնացնելու համար։ Ծրագիրը թույլ է տալիս հեռացնել վոկալը կոմպոզիցիայից և թողնել միայն երաժշտական նվագակցությունը, շահարկել առանձին գործիքների ձայնը կամ հրաժարվել երաժշտությունից և թողնել ձայնը մեկ այլ ձայնային շարքի հետ ծածկելու համար՝ ստեղծելով միքսեր, կարաոկե կամ արտագրում: Ծրագրի կոդը գրված է Python-ում՝ օգտագործելով Tensorflow շարժիչը և MIT լիցենզիայի ներքո:
Բեռնման համար արդեն պատրաստված մոդելներ՝ վոկալը (մեկ ձայնը) նվագակցությունից առանձնացնելու, ինչպես նաև 4 և 5 հոսքերի բաժանելու համար՝ ներառյալ վոկալը, հարվածային գործիքները, բասը, դաշնամուրը և մնացած ձայնը: Spleeter-ը կարող է օգտագործվել և՛ որպես Python գրադարան, և՛ որպես ինքնուրույն հրամանի տող: Ամենապարզ դեպքում՝ սկզբնաղբյուր ֆայլի հիման վրա երկու, չորս կամ հինգ ֆայլ ձայնային և ուղեկցող բաղադրիչներով (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav):
2 և 4 թելերի բաժանելիս Spleeter-ն ապահովում է շատ բարձր կատարողականություն, օրինակ՝ GPU-ն օգտագործելիս աուդիո ֆայլը 4 թելերի բաժանելը 100 անգամ ավելի քիչ ժամանակ է պահանջում, քան սկզբնական կազմի տևողությունը։ NVIDIA GeForce GTX 1080 GPU և 32 միջուկանի Intel Xeon Gold 6134 պրոցեսոր ունեցող համակարգի վրա musDB թեստային հավաքածուն, որը տևել է երեք ժամ 27 րոպե, մշակվել է 90 վայրկյանում:
Spleeter-ի առավելությունների թվում աուդիո առանձնացման ոլորտում այլ զարգացումների համեմատ, ինչպիսին է բաց կոդով նախագիծը Բաց-Unmix, նշում է ձայնային ֆայլերի լայնածավալ հավաքածուից կառուցված ավելի բարձր որակի մոդելների օգտագործումը: Հեղինակային իրավունքի սահմանափակումների պատճառով մեքենայական ուսուցման հետազոտողները սահմանափակված են երաժշտական ֆայլերի բավականին նոսր հանրային հավաքածուների հասանելիությամբ, մինչդեռ Spleeter-ի մոդելները կառուցվել են՝ օգտագործելով Deezer-ի հսկայական երաժշտական կատալոգի տվյալները:
On Open-Unmix-ով Spleeter-ի տարանջատման գործիքը մոտ 35%-ով ավելի արագ է, երբ փորձարկվում է պրոցեսորի վրա, աջակցում է MP3 ֆայլերին և զգալիորեն ավելի լավ արդյունքներ է տալիս (Open-Unmix-ում ձայների միացումը թողնում է որոշ գործիքների հետքեր, ինչը, հավանաբար, պայմանավորված է նրանով, որ Open-Unmix մոդելները վերապատրաստվում են ընդամենը 150 կոմպոզիցիաների հավաքածուի վրա):
Source: opennet.ru