Tvrtka Mozilla predstavila je engine za prepoznavanje govora DeepSpeech 0.6

Predstavljen izdanje razvijenog od strane kompanije Mozilla pokretača prepoznavanja govora DeepSpeech 0.6, koji implementira istoimenu arhitekturu prepoznavanja govora, predloženu istraživačima iz kompanije Baidu. Implementacija je napisana na programskom jeziku Python koristeći platformu za mašinsko učenje TensorFlow i distribuira se pod slobodnom licencom MPL 2.0. Podržava rad na Linuxu, Androidu, macOS-u i Windows-u. Performanse su dovoljno dobre za korišćenje pokretača na LePotato pločama, Raspberry Pi 3 i Raspberry Pi 4.

Usetu su takođe predloženi obučeni modeli, primjeri zvučnih datoteka i alati za prepoznavanje iz naredne linije. Za ugradnju funkcije prepoznavanja govora u svoje programe predloženi su gotovi moduli za Python, NodeJS, C++ i .NET (spoljni developeri su zasebno pripremili module za Rust i Go). Gotov model se isporučuje samo na engleskom jeziku, ali za druge jezike po priloženoj uputi može se obučiti sistem samostalno, koristeći govorne podatke, prikupljene projektom Common Voice.

DeepSpeech je značajno jednostavniji od tradicionalnih sistema i pri tome pruža visoku kvalitet prepoznavanja u prisustvu spoljnog šuma. U razvoju se ne koriste tradicionalni akustični modeli i koncept fonema, umesto njih se primenjuje dobro optimizovani sistem mašinskog učenja zasnovan na neuronskoj mreži, koji omogućava izbegavanje izrade pojedinačnih komponenti za modelovanje različitih odstupanja, kao što su šum, eho i karakteristike govora.

Negativna strana sličnog pristupa je to što za postizanje kvalitetnog prepoznavanja i obuke neuronske mreže pokretač DeepSpeech zahteva veliki obim raznovrsnih podataka, narativnih u stvarnim uslovima različitim glasovima i uz prisustvo prirodnih šumova.
Prikupljanjem sličnih podataka bavi se projekat osnovan u Mozilli Common Voice, koji pruža proverene podatke sa 780 časova na engleskom jeziku, 325 na nemačkom, 173 na francuskom i 27 časova na ruskom.

Konačni cilj projekta Common Voice je prikupljanje 10 tisuća sati snimaka različitih izgovora tipičnih fraza ljudskog govora, što će omogućiti postizanje prihvatljivog nivoa grešaka u prepoznavanju. U trenutnom obliku, sudionici projekta su već snimili ukupno 4.3 tisuće sati, od čega je 3.5 tisuća prošlo provjeru. Za obuku konačnog modela engleskog jezika za DeepSpeech korišteno je 3816 sati govora, pored Common Voice koji uključuje podatke iz projekata LibriSpeech, Fisher i Switchboard, te obuhvaća oko 1700 sati transkribiranih snimaka radijskih emisija.

Pri korištenju predložene gotove engleske jezične modele, nivo grešaka prepoznavanja u DeepSpeech iznosi 7.5% prema testnom skupu. LibriSpeech. Za usporedbu, nivo grešaka prilikom prepoznavanja od strane ljudi procjenjuje se na 5.83%.

DeepSpeech se sastoji od dva podsustava — akustičkog modela i dekodera. Akustički model koristi metode dubokog strojnog učenja za izračunavanje vjerojatnosti prisutnosti određenih simbola u zvuku koji se unosi. Dekoder primjenjuje algoritam pretraživanja puta za pretvaranje podataka o vjerojatnosti simbola u tekstualnu reprezentaciju.

Glavne novosti DeepSpeech 0.6 (grana 0.6 nije kompatibilna s prethodnim verzijama i zahtijeva ažuriranje koda i modela):

• Predložen je novi stream dekoder koji osigurava veću responzivnost i ne ovisi o veličini obrađenih zvučnih podataka. Kao rezultat, u novoj verziji DeepSpeech uspjelo se smanjiti kašnjenje u prepoznavanju na 260 ms, što je 73% brže nego ranije, i omogućava primjenu DeepSpeech-u u rješenjima za prepoznavanje govora u stvarnom vremenu.
• Provedene su izmjene u API-ju i rad na unifikaciji imena funkcija. Dodane su funkcije za dobivanje dodatnih metapodataka o sinhronizaciji, što omogućava ne samo dobivanje tekstualne reprezentacije na izlazu, već i praćenje vezanosti pojedinih simbola i rečenica s pozicijom u zvučnom toku.
• U alatima za obuku modula dodana je podrška za korištenje biblioteke CuDNN za optimizaciju rada s rekurentnim neuronskim mrežama (RNN), što je omogućilo značajno (otprilike dvostruko) povećanje učinkovitosti obuke modela, ali je zahtijevalo promjene u kodu koje su narušile kompatibilnost s modelima pripremljenim ranije.
• Minimalni zahtjevi za verziju TensorFlow podignuti su s 1.13.1 na 1.14.0. Dodana je podrška za laganu verziju TensorFlow Lite, pri čemu je veličina paketa DeepSpeech smanjena s 98 MB na 3.7 MB. Za korištenje na ugrađenim i mobilnim uređajima, veličina pakiranog datoteke s modelom također je smanjena s 188 MB na 47 MB (za kompresiju je korištena metoda kvantizacije nakon završetka obuke modela).
• Jezik modela prebačen je na drugi format struktura podataka, što omogućuje mapiranje datoteka u memoriju pri učitavanju. Podrška za stari format je prekinuta.
• Promijenjen je način učitavanja datoteke s jezičnim modelom, što je omogućilo smanjenje potrošnje memorije i smanjenje kašnjenja prilikom obrade prvog zahtjeva nakon stvaranja modela. Tijekom rada, DeepSpeech sada troši 22 puta manje memorije i pokreće se 500 puta brže.
  
• Provjera rijetkih riječi u jezičnom modelu. Ukupan broj riječi smanjen je na 500 tisuća najpopularnijih riječi, koje se javljaju u tekstu korištenom za obuku modela. Provedena čišćenje omogućilo je smanjenje veličine jezičnog modela s 1800 MB na 900 MB, gotovo bez utjecaja na pokazatelje razine grešaka prepoznavanja.
• Dodana je podrška za različite tehnike stvaranja dodatnih varijacija (augmentation) zvučnih podataka koji se koriste tijekom obuke (na primjer, dodavanje varijacija u kojima su unešene distorzije ili šumovi).
• Dodana je biblioteka s vezama za integraciju s aplikacijama temeljene na platformi .NET.
• Prerađena je dokumentacija, koja je sada okupljena na zasebnoj web stranici deepspeech.readthedocs.io.

Izvor: opennet.ru