udgivelse af talegenkendelsesmotoren, der udvikles af Mozilla , som implementerer den samme arkitektur for talegenkendelse, af forskere fra Baidu. Implementeringen er skrevet i Python og bruger TensorFlow-maskinlæringsplatformen og er under den frie MPL 2.0-licens. Den understøtter driftsmuligheder på Linux, Android, macOS og Windows. Ydeevnen er tilstrækkelig til at bruge motoren på LePotato-kort, Raspberry Pi 3 og Raspberry Pi 4.
Sættet inkluderer også trænede modeller, på lydfiler og værktøjer til talegenkendelse fra kommandolinjen. For at integrere talegenkendelsesfunktionaliteten i dine programmer tilbydes færdige moduler til Python, NodeJS, C++ og .NET (moduler til og ) er blevet forberedt separat af tredjepartsudviklere. Den færdige model leveres kun til engelsk, men til andre sprog kan modellen selv trænes ved hjælp af , indsamlet af projektet Common Voice.
DeepSpeech er betydeligt enklere end traditionelle systemer og giver samtidig en højere kvalitet af genkendelse, selv i nærvær af baggrundsstøj. Der anvendes ikke traditionelle akustiske modeller og fonemkonceptet i udviklingen; i stedet anvendes et godt optimeret maskinlæringssystem baseret på neurale netværk, som gør det muligt at undgå at udvikle separate komponenter til at modellere forskellige afvigelser som støj, ekko og talefunktioner.
Ulempen ved denne metode er, at for at opnå kvalitetsgenkendelse og træning af det neurale netværk kræver DeepSpeech en stor mængde heterogene data optaget under virkelige forhold af forskellige stemmer og med tilstedeværelsen af naturlig støj.
Indsamlingen af sådanne data varetages af projektet , som tilbyder et verificeret datasæt med 780 timer på , 325 timer på tysk, 173 timer på fransk og 27 timer på russisk.
Det endelige mål med projektet Common Voice er at samle 10.000 timer med optagelser af forskellige udtaler af standard sætninger fra menneskelig tale, hvilket vil føre til et acceptabelt fejlniveau i genkendelsen. I sin nuværende form har deltagerne i projektet allerede dikteret i alt 4,3 tusinde timer, hvoraf 3,5 tusinde er blevet verificeret. Under træningen af den endelige engelske model til DeepSpeech er der brugt 3816 timers tale, ud over Common Voice, som også dækker data fra projekterne LibriSpeech, Fisher og Switchboard, samt inkluderer cirka 1700 timer af transskriberede radiooptagelser.
Ved brug af den tilgængelige engelske model, som kan downloades, er fejlniveauet for genkendelse i DeepSpeech 7,5% ved vurdering af et testdatasæt. . Til sammenligning er fejlniveauet ved menneskelig genkendelse til 5,83%.
DeepSpeech består af to undersystemer - en akustisk model og en dekoder. Den akustiske model anvender metoder fra dyb maskinlæring til at beregne sandsynligheden for tilstedeværelsen af bestemte symboler i den indkommende lyd. Dekoderen bruger en strålesøgningsalgoritme til at konvertere sandsynlighedsdata om symboler til tekstrepræsentation.
Vigtige DeepSpeech 0.6 (0.6-grenen er ikke kompatibel med tidligere versioner og kræver opdatering af kode og modeller):
- En ny streamende dekoder er blevet foreslået, som sikrer højere respons og ikke er afhængig af størrelsen af de behandlede lyddata. Som resultat er det i den nye version af DeepSpeech lykkedes at reducere genkendelsesforsinkelsen til 260 ms, hvilket er 73% hurtigere end før, og muliggør anvendelse af DeepSpeech i løsninger til realtids talegenkendelse.
- Ændringer er foretaget i API'et, og der er udført arbejde med at ensarte funktionsnavne. Der er tilføjet funktioner til at hente yderligere metadata om synkronisering, som gør det muligt ikke blot at få en tekstrepræsentation ud, men også at spore knytning af enkelte symboler og sætninger til positionen i lydstrømmen.
- Der er tilføjet support for brug af biblioteket for at optimere arbejdet med rekursive neurale netværk (RNN), hvilket har resulteret i en betydelig (omtrent dobbelt så meget) stigning i ydeevnen for modeltræningen, men det krævede ændringer i koden, som bryder kompatibiliteten med tidligere forberedte modeller.
- De minimale krav til version TensorFlow er steget fra 1.13.1 til 1.14.0. Understøttelse af den lette version TensorFlow Lite er tilføjet, hvilket reducerer størrelsen af DeepSpeech-pakken fra 98 MB til 3.7 MB. For brug på indlejrede og mobile enheder er størrelsen på den pakkede fil med modellen også blevet reduceret fra 188 MB til 47 MB (kvantisering blev anvendt til kompression efter modeltræningen).
- Sprogmodellen er blevet overført til et andet format for datastukturen, som gør det muligt at udføre filkortlægning til hukommelsen ved indlæsning. Understøttelse af det gamle format er blevet stoppet.
- Indlæsningsmetoden for filen med sprogmodellen er ændret, hvilket har reduceret hukommelsesforbruget og mindsket forsinkelser ved behandling af den første forespørgsel efter modeloprettelsen. DeepSpeech bruger nu 22 gange mindre hukommelse under drift og starter 500 gange hurtigere.
- Der er blevet udført filtrering af sjældne ord i sprogmodellen. Det samlede antal ord er reduceret til de 500.000 mest populære ord, der forekommer i teksten brugt til træningen af modellen. Den foretagne oprensning har reduceret størrelsen af sprogmodellen fra 1800 MB til 900 MB, næsten uden at påvirke fejlprocenten for genkendelse.
- Der er tilføjet støtte til forskellige til at skabe yderligere variationer (augmentation) af de lyddata, der bruges under træning (for eksempel ved at tilføje varianter med distortioner eller baggrundsstøj).
- En bibliotek med bindinger til integration med applikationer baseret på .NET-platformen er blevet tilføjet.
- Dokumentationen er blevet redesignet og er nu samlet på en separat hjemmeside .
Kilde: opennet.ru
