Virksomhederne NVIDIA og Mozilla har præsenteret en opdatering af de stemmedata-sæt, der er indsamlet gennem initiativet Common Voice, som inkluderer udtaleeksempler fra 182.000 personer, hvilket er 25% mere end for 6 måneder siden. Dataene er offentliggjort som offentligt domæne (CC0). De foreslåede sæt kan bruges i maskinlæringssystemer til at opbygge modeller til genkendelse og syntese af tale.
Sammenlignet med den tidligere opdatering er mængden af tale-materiale i samlingen steget fra 9 til 13,9 tusinde timers tale. Antallet af understøttede sprog er steget fra 60 til 76, herunder for første gang tilføjelse af støtte for hviderussisk, kasakhisk, usbekisk, bulgarsk, armensk, azerbajdsjansk og baskisk. Sættet for det russiske sprog omfatter 2136 deltagere og 173 timers tale-materiale (tidligere 1412 deltagere og 111 timer), mens der for det ukrainske sprog er 615 deltagere og 66 timer (tidligere 459 deltagere og 30 timer).
Over 75.000 personer har deltaget i forberedelsen af materialer på engelsk, som har dikteret 2637 timers bekræftet tale (tidligere 66.000 deltagere og 1686 timer). Interessant nok er det rwandiske sprog det næststørste i mængden af indsamlede data med 2260 timer. Derefter følger tysk (1040), katalansk (920) og esperanto (840). Blandt de sprog med den mest dynamiske vækst i stemmedata nævnes thailandsk (vækst i databasen med 20 gange, fra 12 til 250 timer), luganda (fra 8 til 80 timer), esperanto (fra 100 til 840 timer) og tamilske (fra 24 til 220 timer).
Som en del af sit deltagelse i projektet Common Voice har NVIDIA forberedt færdigtrænede modeller til maskinlæring baseret på de indsamlede data (understøttet af PyTorch). Modellerne distribueres som en del af NVIDIA NeMo, et gratis og åbent værktøj, som allerede anvendes i automatiserede tale-tjenester af MTS og Sberbank. Modellerne er designet til brug i talegenkendelsessystemer, talesyntese og behandling af information på naturligt sprog, og kan være nyttige for forskere, der arbejder med at skabe taledialogsystemer, transkriptionplatforme og automatiserede callcentre. I modsætning til tidligere tilgængelige projekter er de offentliggjorte modeller ikke begrænset til engelsk og dækker forskellige sprog, accenter og taleformer.
Vi minder om, at projektet Common Voice har til formål at organisere et samarbejde om indsamlingen af en database af stemmeskabeloner, der tager højde for det mangfoldige udvalg af stemmer og talestile. Brugere bliver bedt om at indtale de sætninger, der vises på skærmen, eller vurdere kvaliteten af dataene tilføjet af andre brugere. Den opnåede database med optagelser af forskellige udtaler af typiske menneskelige talefraser kan frit anvendes i maskinlæringssystemer og forskningsprojekter.
Ifølge forfatteren af talegenkendelsesbiblioteket Vosk er ulemperne ved Common Voice-sættet ensidigheden af stemmematerialet (overvægt af mænd i alderen 20-30 år og mangel på materiale med kvinders, børns og ældre menneskers stemmer), mangel på variabilitet i ordforrådet (gentagelse af de samme sætninger) og distributionen af optagelser i et format (MP3), der forvrænger lydkvaliteten.
Kilde: opennet.ru
