Projekt OpenAI, který se zabývá rozvojem veřejně dostupných projektů v oblasti umělé inteligence, zveřejnil poznatky spojené se systémem rozpoznávání řeči Whisper. Tvrdí se, že pro anglickou řeč systém poskytuje úrovně spolehlivosti a přesnosti automatického rozpoznávání blízké rozpoznání člověkem. Kód referenční implementace založené na frameworku PyTorch a sada již vycvičených modelů jsou nyní k dispozici. Kód je otevřen pod licencí MIT.
Pro trénink modelu bylo použito 680 000 hodin řečových dat, shromážděných z několika sbírek pokrývajících různé jazyky a tematické oblasti. Přibližně 1/3 použitých řečových dat při trénování pochází z jazyků odlišných od angličtiny. Navrhovaný systém správně zpracovává situace, jako je výslovnost s přízvukem, přítomnost pozadí hluku a použití technického žargonu. Kromě přepisu řeči do textu může systém také překládat řeč z libovolného jazyka do angličtiny a identifikovat přítomnost řeči v zvukovém toku.
Modely jsou vytvořeny ve dvou podobách: model pro anglický jazyk a vícejazyčný model, který podporuje také ruštinu, ukrajinštinu a běloruštinu. Každá podoba se navíc dělí na 5 variant, které se liší velikostí a počtem parametrů zahrnutých v modelu. Čím větší velikost, tím větší přesnost a kvalita rozpoznání, ale také vyšší požadavky na velikost videopaměti GPU a nižší výkon. Například minimální varianta zahrnuje 39 milionů parametrů a vyžaduje 1 GB videopaměti, zatímco maximální zahrnuje 1550 milionů parametrů a vyžaduje 10 GB videopaměti. Minimální varianta je 32krát rychlejší než maximální.
V systému se používá architektura neuronové sítě „Transformer“, která zahrnuje vzájemně interagující enkodér a dekodér. Zvuk se dělí na 30sekundové úryvky, které se převádějí na log-Mel spektrogram a předávají se enkodéru. Výsledek práce enkodéru je směrován do dekodéru, který předpovídá textovou reprezentaci smíšenou se speciálními tokeny, které umožňují v jednom společném modelu řešit úkoly jako je určení jazyka, sledování chronologie výslovnosti frází, přepis řeči v různých jazycích a překlad do angličtiny.
Zdroj: opennet.ru
