lëshimi i motorit të njohjes së zërit të zhvilluar nga kompania Mozilla , i cili realizon arkitekturën e njohjes së zërit me të njëjtin emër, nga hulumtuesit e kompanisë Baidu. Implementimi është shkruar në gjuhën Python duke përdorur platformën e të mësuarit të makinerive TensorFlow dhe nën licencën e lirë MPL 2.0. Mbështet funksionimin në Linux, Android, macOS dhe Windows. Performanca është e mjaftueshme për të përdorur motorin në plakat LePotato, Raspberry Pi 3 dhe Raspberry Pi 4.
Në paketë gjithashtu janë modelet e trajnuara, skedat audio dhe mjetet për njohjen nga linja e komandës. Për integrimin e funksionit të njohjes së zërit në programet tuaja, janë ofruar modula të gatshme për përdorim për Python, NodeJS, C++ dhe .NET (modulet për dhe janë përgatitur veçmas nga zhvillues të tretë). Modeli i gatshëm ofrohet vetëm për gjuhën angleze, por për gjuhët e tjera, për mund të mësohet sistemi vetë, duke përdorur , të mbledhura nga projekti Common Voice.
DeepSpeech është ndjeshëm më i thjeshtë se sistemet tradicionale dhe megjithatë siguron cilësi më të lartë njohjeje në prani të zhurmave të tjera. Në zhvillim nuk përdoren modelet tradicionale akustike dhe koncepti i fonemave, por zbatohen një sistem i optimizuar mirë i të mësuarit të makinerive i bazuar në rrjeta neuronale, i cili lejon të evitohet zhvillimi i komponenteve të veçanta për modelimin e devijimeve të ndryshme, si zhurma, jehona dhe veçoritë e të folurit.
Anë tjetër e këtij qasje është se për të marrë njohje cilësore dhe për të trajnuar rrjetin neuronal, motori DeepSpeech kërkon një sasi të madhe të dhënash të ndryshme, të diktuara në kushte reale nga zëra të ndryshëm dhe në prani të zhurmave natyrore.
Mbledhjen e të dhënave të tilla e menaxhon projekti i krijuar në Mozilla , që ofron një set të dhënash të verifikuara me 780 orë në , 325 në gjermanisht, 173 në frëngjisht dhe 27 orë në rusisht.
Qëllimi përfundimtar i projektit Common Voice është grumbullimi i 10 mijë orëve me regjistrime të ndryshme të shqiptimeve të frazave standarde të generuara nga njeriu, që do të mundësojë arritjen e një nivele të pranueshme të gabimeve në njohjen e zërit. Aktualisht, pjesëmarrësit në projekt kanë regjistruar gjithsej 4.3 mijë ora, prej të cilave 3.5 mijë kanë kaluar verifikimin. Në trajnimin e modelit përfundimtar të gjuhës angleze për DeepSpeech janë përdorur 3816 orë zëri, përveç Common Voice që përfshin të dhëna nga projektet LibriSpeech, Fisher dhe Switchboard, si dhe rreth 1700 orë regjistrimesh të transkriptuara të shfaqjeve radiofonike.
Me përdorimin e modelit të gatshëm për shkarkim për gjuhën angleze, niveli i gabimeve të njohjes në DeepSpeech është 7.5% sipas vlerësës së setit testues . Për krahasim, niveli i gabimeve në njohjen nga njeriu në 5.83%.
DeepSpeech pĂ«rbĂ«het nga dy nĂ«n-sisteme â modeli akustik dhe dekoduesi. Modeli akustik pĂ«rdor metoda tĂ« mĂ«simit tĂ« thellĂ« tĂ« makinĂ«s pĂ«r tĂ« llogaritur probabilitetin e pranishmĂ«risĂ« sĂ« simboleve tĂ« caktuara nĂ« zĂ«rin e ofruar nĂ« input. Dekoduesi aplikon njĂ« algoritem kĂ«rkimi nĂ« beams pĂ«r tĂ« pĂ«rkthyer tĂ« dhĂ«nat e probabilitetit tĂ« simboleve nĂ« njĂ« pĂ«rfaqĂ«sim tekstual.
Main DeepSpeech 0.6 (dega 0.6 nuk është e kompatibilshme me versionet e mëparshme dhe kërkon përditësimin e kodit dhe modeleve):
- ĂshtĂ« propozuar njĂ« dekodues i ri nĂ« rrjedhĂ« qĂ« ofron ndjeshmĂ«ri mĂ« tĂ« lartĂ« dhe nuk varet nga madhĂ«sia e tĂ« dhĂ«nave audio qĂ« pĂ«rpunohen. Si rezultat, nĂ« versionin e ri tĂ« DeepSpeech, Ă«shtĂ« arritur tĂ« zvogĂ«lohet vonesa e njohjes deri nĂ« 260 ms, qĂ« Ă«shtĂ« 73% mĂ« e shpejtĂ« se mĂ« parĂ«, dhe lejon pĂ«rdorimin e DeepSpeech nĂ« zgjidhje pĂ«r njohjen e zĂ«rit nĂ« kohĂ« reale.
- Janë bërë ndryshime në API dhe është punuar për unifikimin e emrave të funksioneve. Janë shtuar funksione për të marrë metadatat shtesë mbi sinkronizimin, duke e lejuar jo vetëm që të merrni një përfaqësim tekstual në dalje, por gjithashtu të ndihmoni në ndjekjen e lidhjes së simboleve dhe fjali me pozitat në fluksin audio.
- Një mbështetje për përdorimin e biblioteka për optimizimin e punës me rrjetet neurale rekursive (RNN), gjë që lehtësoi arritjen e një rritjeje të dukshme (afërsisht dyfish) të eficiencës së trajnimit të modelit, por kërkoi ndryshime në kod që dëmtonin kompatibilitetin me modelet e përgatitura më herët.
- Kërkesat minimale për versionin e TensorFlow janë rritur nga 1.13.1 në 1.14.0. Shtohet mbështetje për edicionin e lehtë TensorFlow Lite, e cila, duke u përdorur, ka ulur madhësinë e paketës DeepSpeech nga 98 MB në 3.7 MB. Për përdorimin në pajisje të integruara dhe mobile, madhësia e skedarit të paketuar me modelin është reduktuar gjithashtu nga 188 MB në 47 MB (metoda e kvantizimit është përdorur pas përfundimit të trajnimit të modelit).
- Modeli gjuhësor është transferuar në një format tjetër të strukturave të dhënash, që lejon realizimin e mapimit të skedarëve në memorje gjatë ngarkimit. Mbështetje për formatin e vjetër është ndalur.
- Kushti i ngarkesës së skedarit me modelin gjuhësor është ndryshuar, duke lehtësuar konsumimin e memories dhe duke reduktuar vonesat gjatë përpunimit të kërkesës së parë pas krijimit të modelit. Gjatë funksionimit, DeepSpeech tani konsumon 22 herë më pak memorie dhe niset 500 herë më shpejt.
- ĂshtĂ« bĂ«rĂ« filtrimi i fjalĂ«ve tĂ« rralla nĂ« modelin gjuhĂ«sor. Numri total i fjalĂ«ve Ă«shtĂ« reduktuar nĂ« 500 mijĂ« fjalĂ«t mĂ« tĂ« njohura, qĂ« hasen nĂ« tekstin e pĂ«rdorur pĂ«r trajnimin e modelit. Pas pastrimit tĂ« kryer, madhĂ«sia e modelit gjuhĂ«sor Ă«shtĂ« ulur nga 1800MB nĂ« 900MB, duke mos ndikuar pothuajse fare nĂ« treguesit e nivelit tĂ« gabimeve nĂ« njohjen.
- Shtohet mbështetje për teknika të ndryshme Shtohet një bibliotekë me binde për integrimin me aplikacionet mbi platformën .NET.
- Dokumentacioni është rishikuar dhe tani është i mbledhur në një faqe të veçantë
- deepspeech.readthedocs.io .
Burimi: opennet.ru
