Firma Mozilla esitles kõnetuvastuse mootorit DeepSpeech 0.6.

Esitletud Mozilla arendatav kõnetuvastuse mootor DeepSpeech 0.6, mis realiseerib nimetatud kõnetuvastuse arhitektuuri, mille on soovitanud Baidust pärinevad teadlased. Teostus on kirjutatud Pythonis, kasutades masinõppe platvormi TensorFlow ja levitatakse on vabakasutusele antud MPL 2.0 litsentsi alusel. Töö toetamine on võimalik Linuxis, Androidis, macOS-is ja Windowsis. Jõudlus on piisav, et kasutada mootorit LePotato, Raspberry Pi 3 ja Raspberry Pi 4 plaadidel.

Komplekt sisaldab ka pakuvad treenitud mudeleid, näidiste helifailide ja käsurealt kõnetuvastamiseks vajalikke tööriistu. Kõnetuvastuse funktsiooni integreerimiseks oma programmidesse on pakutud valmis mooduleid Pythonile, NodeJS-ile, C++-le ja .NET-ile (kolmandate osapoolte arendajad on eraldi valmistanud moodulid) Rustis ja Go). Valmis mudel on saadaval ainult inglise keeles, kuid teiste keelte jaoks on kaasasoleva juhendis kaudu võimalik süsteemi iseseisvalt treenida, kasutades häälandmeid, mis on kogutud projekti Common Voice kaudu.

DeepSpeech on oluliselt lihtsam kui traditsioonilised süsteemid ja samas pakub paremat tuvastamise kvaliteeti, isegi kui on kõrvalisi helisid. Arenduses ei kasutata traditsioonilisi akustilisi mudeleid ning fonemide kontseptsiooni, selle asemel rakendatakse hästi optimeeritud masinõppe süsteemi, mis põhineb närvivõrgul ning võimaldab vältida eri komponentide arendamist erinevate kõrvalekallete, nagu müra, kaja ja kõnehäälte omaduste modelleerimiseks.

Selle lähenemise tagajärg on see, et kvaliteetse tuvastamise ja närvivõrgu treenimise saavutamiseks vajab DeepSpeech suurtes kogustes mitmekesiseid andmeid, mis on dikteeritud reaalsetes tingimustes erinevate häälte poolt ja loomulike müra olemasolul.
Sarnaste andmete kogumisega tegeleb Mozillas loodud projekt Common Voice, mis pakub kontrollitud andmestikku, milles on 780 tundi inglise keeles, 325 tundi saksa keeles, 173 tundi prantsuse keeles ja 27 tundi vene keeles.

Projekti Common Voice lõppeesmärk on koguda 10 000 tundi erineva hääldusega inimkõne tüüpiliste fraaside salvestusi, et saavutada vastuvõetav vigade tase äratundmisel. Praegusel hetkel on projekti osalistelt juba dikteeritud kokku 4,3 tuhat tundi, millest 3,5 tuhat on läbinud kontrolli. DeepSpeechi ingliskeelse lõppmudeli koolitamiseks on kasutatud 3816 tunni räägitud kõnet, lisaks Common Voice'ile, millel on andmed projektidest LibriSpeech, Fisher ja Switchboard, ning mis sisaldab umbes 1700 tunni transkribeeritud raadiosaate salvestusi.

Pakutud laadimiseks valmis ingliskeelse mudeli kasutamisel on DeepSpeechi äratundmisvigade tase 7,5%, kui hindamine toimub testkomplekti abil. LibriSpeech. Võrdluseks, inimeste äratundmise vigade tase hinnatakse on 5,83%.

DeepSpeech koosneb kahest alamsüsteemist — akustilisest mudelist ja dekooderist. Akustiline mudel kasutab süvaõppe meetodeid, et arvutada tõenäosust, et teatud sümbolid esinevad sisendiks saadud helis. Dekooder rakendab kiirendusalgoritmi, et muuta sümbolite tõenäosuse andmed tekstiliseks esituseks.

Peamised uuendused DeepSpeech 0.6 (0.6 haru ei ole ühilduv varasemate väljaannetega ja vajab koodi ja mudelite uuendamist):

• Pakutud on uus voogedastusdekooder, mis pakub kõrgemat reageerimiskiirusel ja ei sõltu töödeldavate helifailide suurusest. Lõppkokkuvõttes on uues DeepSpeechi versioonis õnnestunud vähendada äratundmise latentsust 260 ms-ni, mis on 73% kiiremini kui varem, ning võimaldab rakendada DeepSpeechi kõnetuvastuse lahendustes reaalajas.
• API-s on tehtud muudatusi ja on tehtud tööd funktsioonide nimede ühtlustamiseks. Lisatud on funktsioonid täiendavate metaandmete saamiseks sünkroniseerimise kohta, mis võimaldavad mitte ainult saada väljundiks tekstilist esitust, vaid ka jälgida eraldi sümbolite ja lausete seondumist helivoo positsiooniga.
• Koolituspaketti on lisatud moodulite toetamist CuDNN rekurssed on üheks neutraalsete närvivõrkude töö optimeerimiseks (RNN), mis võimaldas saavutada märkimisväärset (umbes kaks korda) suurenemist mudeli koolitusvõimekuses, kuid see nõudis koodis muudatuste tegemist, mis rikkusid ühilduvust varasemate mudelitega.
• Minimaalsed nõuded TensorFlow versioonile tõsteti 1.13.1-lt 1.14.0-le. Lisatud on toetus kergemale TensorFlow Lite versioonile, mille kasutamisega vähenes DeepSpeech paketihulk 98 MB-lt 3.7 MB-le. Ka integreeritud ja mobiilseadmete puhul voimaline failide suurus vähenes 188 MB-lt 47 MB-le (kvantimise meetodit kasutati pärast mudeli koolitamist).
• Keelemudel on ümber tõlgitud teise andmestruktuuride formaati, mis võimaldab failide laadimisel neid mällu kaardistada. Vanale formaadile toetus lõpetatakse.
• Keelemudeli faili laadimise režiim on muudetud, mis aitas vähendada mälu tarbimist ja vähendada viivitusi mudeli loomise järel esimeses päringus. DeepSpeech tarbib nüüd töötamise käigus 22 korda vähem mälu ja käivitub 500 korda kiiremini.
  
• Keelemudelit rakendati haruldaste sõnade filtreerimine. Sõnade koguarv on vähendatud 500 000 kõige populaarsema sõnani, mis esinesid koolitusel kasutatud tekstides. Tehtud puhastamine aitas vähendada keelemudeli suurust 1800 MB-lt 900 MB-le, mõjutamata praktiliselt ära arvamise taseme näitajaid.
• Erinevate toetamine on lisatud tehnikaid lisavariatsioonide (augmentation) loomise jaoks helidetektiidena, mida kasutatakse koolituse ajal (näiteks variante on lisatud, mis on moonutatud või sisaldavad müra).
• Lisatud on raamatukogu, millel on sidemed integreerimiseks .NET platvormil põhinevate rakendustega.
• Dokumentatsioon on ümber töötatud ja nüüd on see kogutud eraldi saidile deepspeech.readthedocs.io.

Allikas: opennet.ru