a Mozilla által fejlesztett beszédfelismerő motor kiadása , amely megvalósítja az azonos nevű beszédfelismerési architektúrát, a Baidu kutatói javasoltak. A megvalósítás Python nyelven készült a TensorFlow gépi tanulási platform használatával és MPL 2.0 szabad licenc alatt. Támogatja a működést Linux, Android, macOS és Windows rendszereken. A teljesítmény elegendő a motor használatához LePotato, Raspberry Pi 3 és Raspberry Pi 4 platformokon.
A csomagban találhatóak képzett modellek, hangfájlok és parancssori felismeréshez szükséges eszközök is. A beszédfelismerési funkció beintegrálásához az alkalmazásokba kész modulok állnak rendelkezésre Python, NodeJS, C++ és .NET számára (külön fejlesztők által készített modulok a és ). A kész modell csak angol nyelven áll rendelkezésre, de más nyelvek esetén a rendszert önállóan is ki lehet képezni amelyeket a Common Voice projekt gyűjtött.
A DeepSpeech jelentősen egyszerűbb, mint a hagyományos rendszerek, ráadásul magasabb felismerési minőséget biztosít külső zaj jelenlétében. A fejlesztés során nem használnak hagyományos akusztikai modelleket és fonémák koncepcióját, ehelyett egy jól optimalizált, neurális hálózat alapú gépi tanulási rendszert alkalmaznak, amely lehetővé teszi, hogy külön komponensek kidolgozása nélkül modellezzék a különböző zajokat, például a zajt, az visszhangot és a beszéd sajátosságait.
E megközelítés hátránya, hogy a megfelelő felismerés és a neurális hálózat kiképzéséhez a DeepSpeech motor nagy mennyiségű különféle adatra van szüksége, amelyeket valós körülmények között, különböző hangokkal és természetes zajok mellett diktálnak.
Ezeket az adatokat a Mozilla által létrehozott projekt gyűjti, amely ellenőrzött adathalmazt biztosít 780 órányi 325 órájával németül, 173 órájával franciául és 27 órájával oroszul.
A Common Voice projekt végső célja 10 ezer óra emberi beszéd különböző kiejtéseinek felvétele, ami lehetővé teszi az elfogadható hiba szint elérését a hangfelismerésben. Jelen állapot szerint a projekt résztvevői összesen 4,3 ezer órányi anyagot diktáltak le, ebből 3,5 ezer óra ellenőrzésen esett át. A DeepSpeech végső angol nyelvű modelljének tanítása során 3816 órányi beszédet használtak, a Common Voice-on kívül, amely adatokkal szolgál a LibriSpeech, Fisher és Switchboard projektekből, valamint körülbelül 1700 óra rádióműsorok átiratával is rendelkezik.
A letöltésre kínált angol nyelvű modell használatakor a DeepSpeech hibaszintje 7,5%, ha tesztcsoporttal értékeljük. . Összehasonlításként az emberi hangfelismerés 5,83%-ra rúg.
A DeepSpeech két alrendszerből áll – akusztikus modellből és dekóderből. Az akusztikus modell mély gépi tanulási módszereket alkalmaz annak valószínűségének kiszámítására, hogy bizonyos karakterek jelen vannak a bemeneti hangban. A dekóder sugárkeresési algoritmust alkalmaz a valószínűségi adatok szöveges ábrázolásra történő átalakításához.
Fő DeepSpeech 0.6 (a 0.6-os ág nem kompatibilis a korábbi kiadásokkal, frissítés szükséges a kódhoz és modellekhez):
- Új folyamat dekóder került javaslatra, amely magasabb válaszkészséget biztosít, függetlenül a feldolgozott hangadatok méretétől. Ennek eredményeként a DeepSpeech új verziójában a hangfelismerési késlekedést 260 ms-ra sikerült csökkenteni, ami 73%-kal gyorsabb, mint korábban, és lehetővé teszi a DeepSpeech alkalmazását valós idejű beszédfelismerési megoldásokban.
- Változások történtek az API-ban, és a funkciónevek egységesítésén is dolgoztak. Új funkciók kerültek hozzáadásra a szinkronizálás további metaadatainak megszerzéséhez, lehetővé téve nemcsak a szöveges ábrázolás kinyerését, hanem az egyes karakterek és mondatok hangfolyamban való pozícióra való vonatkoztatásának nyomon követését is.
- A tanulási modulok eszköztárához hozzáadva a CuDNN könyvtár használatának támogatása is megjelent. Rekurzív neurális hálózatok (RNN) optimalizálásához készült, ami lehetővé tette a modell tanulási teljesítményének körülbelül kétszeres növelését, de a kód módosításait igényelte, amelyek megsértették a korábban készült modellekkel való kompatibilitást.
- A TensorFlow minimalis követelményei 1.13.1-ről 1.14.0-ra emelkedtek. Hozzáadták a TensorFlow Lite könnyűsúlyú kiadásának támogatását, amelynek használatával a DeepSpeech csomagmérete 98 MB-ról 3.7 MB-ra csökkent. Beépített és mobil eszközök esetén a csomagolt fájl mérete szintén csökkent 188 MB-ról 47 MB-ra (a modellt a tanulás befejezése után végzett kvantálási módszerrel tömörítették).
- A nyelvi modellt egy másik adatstruktúra-formátumra alakították át, amely lehetővé teszi a fájlok memória-térképezését betöltéskor. A régi formátum támogatása megszűnt.
- Megváltozott a nyelvi modellel rendelkező fájl betöltési módja, amely csökkentette a memóriafogyasztást és csökkentette az első kérés feldolgozási késleltetését a modell létrehozása után. A DeepSpeech most 22-szer kevesebb memóriát használ és 500-szor gyorsabban indul.
- A nyelvi modellen ritka szavak kiszűrését végezték. Az összes szó száma 500 ezer legnépszerűbb szóra csökkent, amelyek a modell tanításához felhasznált szövegben előfordultak. A végrehajtott tisztítás lehetővé tette a nyelvi modell méretének csökkentését 1800 MB-ról 900 MB-ra, gyakorlatilag nem befolyásolva a beszédfelismerés hibaszintjét.
- Támogatás került hozzáadásra a különböző a hangadatok további variációinak (augmentation) létrehozásához, amelyeket a tanulás során használtak (például olyan variációk hozzáadása a készlethez, amelyek torzítással vagy zajjal érkeztek).
- Hozzáadtak egy könyvtárat .NET platformon alapuló alkalmazások integrálásához.
- Átdolgozták a dokumentációt, amely mostantól egy külön weboldalon található. .
Forrás: opennet.ru
