Spoločnosti NVIDIA a Mozilla predstavili aktualizáciu súborov hlasových dát, ktoré boli zhromaždené v rámci iniciatívy Common Voice a obsahujú príklady výslovnosti 182 tisíc ľudí, čo je o 25 % viac ako pred šiestimi mesiacmi. Dáta boli publikované ako verejný majetok (CC0). Navrhnuté súbory je možné využiť v systémoch strojového učenia na vytváranie modelov rozpoznávania a syntézy reči.
V porovnaní s predchádzajúcou aktualizáciou sa objem rečového materiálu v kolekcii zvýšil z 9 na 13,9 tisíc hodín reči. Počet podporovaných jazykov vzrástol z 60 na 76, pričom po prvýkrát bola pridaná podpora pre bieloruský, kazachstanský, uzbecký, bulharský, arménsky, azerbajdžanský a baškirský jazyk. Súbor pre ruský jazyk pokrýva 2136 účastníkov a 173 hodín rečového materiálu (bolo 1412 účastníkov a 111 hodín), a pre ukrajinský jazyk — 615 účastníkov a 66 hodín (bolo 459 účastníkov a 30 hodín).
Na príprave materiálov v anglickom jazyku sa zúčastnilo viac ako 75 tisíc ľudí, ktorí nadiktovali 2637 hodín overenej reči (bolo 66 tisíc účastníkov a 1686 hodín). Zaujímavé je, že na druhom mieste podľa objemu zhromaždených dát je jazyk ruanda, pre ktorý bolo zozbieraných 2260 hodín. Nasledujú nemecký (1040), katalánsky (920) a esperanto (840). Medzi jazykmi, ktoré najdynamickejšie zvyšujú objem hlasových dát, sa uvádzajú thajský jazyk (rast dátovej bázy 20-násobne, z 12 na 250 hodín), luganda (z 8 na 80 hodín), esperanto (zo 100 na 840 hodín) a tamílsky jazyk (z 24 na 220 hodín).
V rámci svojho zapojenia do projektu Common Voice spoločnosť NVIDIA pripravila na základe zhromaždených údajov hotové predtrénované modely pre systémy strojového učenia (podporované PyTorch). Modely sú distribuované ako súčasť bezplatného a otvoreného nástroja NVIDIA NeMo, ktorý sa napríklad už používa v automatizovaných hlasových službách MTS a Sberbank. Modely sú zamerané na použitie v systémoch rozpoznávania reči, syntézy reči a spracovania informácií v prirodzenom jazyku a môžu sa osvedčiť ako užitočné pre výskumníkov, ktorí sa zaoberajú vytváraním hlasových dialógových systémov, platforiem pre transkripciu a automatizované call centrá. Na rozdiel od predtým dostupných projektov, uverejnené modely nie sú obmedzené len na rozpoznávanie anglického jazyka a pokrývajú rôzne jazyky, akcenty a formy reči.
Pripomeňme, že projekt Common Voice sa zameriava na organizáciu spoločnej práce na akumulácii databázy hlasových šablón, ktorá zohľadňuje všetku rozmanitosť hlasov a spôsobov reči. Používateľom sa ponúka, aby nadabovali zobrazované na obrazovke frázy alebo ohodnotili kvalitu údajov, ktoré pridali iní používatelia. Nahromadenú databázu s nahrávkami rôzneho výslovnosti typových fráz ľudskej reči bez obmedzení je možné používať v systémoch strojového učenia a vo výskumných projektoch.
Podľa názoru autora knižnice na rozpoznávanie súvislej reči Vosk sú nedostatkami súboru Common Voice jednostrannosť hlasového materiálu (prevažne muži vo veku 20-30 rokov a nedostatok materiálu s hlasmi žien, detí a starších ľudí), nedostatok variabilnosti slovníka (opakujúce sa rovnaké frázy) a rozšírenie záznamov v skreslenom formáte MP3.
Zdroj: opennet.ru
