Projekt OpenAI, zameran na vývoj verejných projektov v oblasti umelej inteligencie, zverejnil výsledky týkajúce sa systému rozpoznávania reči Whisper. Tvrdí sa, že systém pre anglický jazyk dosahuje úrovne spoľahlivosti a presnosti automatického rozpoznávania blízke rozpoznávaniu človekom. Kód referenčnej implementácie je otvorený na báze rámca PyTorch a sú k dispozícii už vycvičené modely pripravené na použitie. Kód je sprístupnený pod licenciou MIT.
Na školenie modelu bolo použitých 680 tisíc hodín rečových dát, zozbieraných z viacerých kolekcií, pokrývajúcich rôzne jazyky a tematické oblasti. Približne 1/3 použitých rečových dát počas školenia pochádza z jazykov odlišných od angličtiny. Navrhnutý systém správne spracováva situácie ako prízvuk, prítomnosť pozadia hluku a použitie technického žargónu. Okrem prepisu reči do textu, systém dokáže tiež prekladať reč z ľubovoľného jazyka do angličtiny a detegovať prítomnosť reči v zvukovom toku.
Modely sú vytvorené vo dvoch reprezentáciách: model pre anglický jazyk a viacjazyčný model, ktorý podporuje vrátane ruštiny, ukrajinčiny a bieloruštiny. Každá reprezentácia sa ďalej delí na 5 variánt, ktoré sa odlišujú veľkosťou a počtom parametrov pokrytých v modeli. Čím väčšia je veľkosť, tým vyššia je presnosť a kvalita rozpoznávania, ale aj vyššie nároky na veľkosť videopamäte GPU a nižší výkon. Napríklad minimálna varianta obsahuje 39 miliónov parametrov a vyžaduje 1 GB videopamäte, zatiaľ čo maximálna obsahuje 1550 miliónov parametrov a vyžaduje 10 GB videopamäte. Minimálna varianta je rýchlejšia než maximálna 32-krát.
V systéme sa používa architektúra neurónovej siete „Transformer“, ktorá zahŕňa navzájom prepojené kodér a dekodér. Zvuk je rozdelený na 30-sekundové útržky, ktoré sa transformujú na log-Mel spektrálny obraz a odosielajú sa kodéru. Výsledok práce kodéra je poslaný do dekodéra, ktorý predpovedá textovú reprezentáciu zmiešanú so špeciálnymi tokenmi, umožňujúcimi v jednej spoločnej modelov riešiť také úlohy, ako je určenie jazyka, zohľadnenie chronológie výslovnosti fráz, transkripcia reči v rôznych jazykoch a preklad do angličtiny.
Zdroj: opennet.ru
