Společnost Mozilla vyvíjí nástroj pro rozpoznávání řeči Whisperfile, který zahrnuje nezávislou vysoce výkonnou implementaci modelu strojového učení Whisper, vyvinutého a zveřejněného organizací OpenAI. Nástroj je postaven na základě whisper.cpp, implementace modelu Whisper v C/C++, kterou vytvořil Georgi Gerganov (autor llama.cpp). Kód je napsán v jazyce C++ a šíří se pod licencí MIT.
Whisperfile je rozvíjen týmem Mozilla Ocho a doplňuje projekt llamafile, určený k vytváření univerzálních spustitelných souborů pro nasazení velkých jazykových modelů strojového učení (LLM). Podobně jako llamafile projekt whisperfile umožňuje na základě souboru s parametry modelu strojového učení ve formátu GGUF vygenerovat spustitelný soubor, který může běžet v různých operačních systémech na zařízeních s procesory AMD64 a ARM64. Zkompilovaný kód může být propojen se standardní knihovnou C Cosmopolitan, umožňující vytváření sestavení aplikací, které běží v Linuxu, FreeBSD, macOS, OpenBSD, NetBSD a Windows.
Při spuštění spustitelného souboru se jako vstupní parametr předává soubor se zvukem řeči ve formátu wav, mp3, ogg nebo flac, přičemž na výstupu se uloží rozpoznaný text. V praxi může projekt sloužit k řešení úloh, jako je generování textových titulků pro videa, vytváření logu hlasových a video hovorů, převod zaznamenaných hlasových materiálů na text, organizace hlasového vstupu. Pomocí Whisperfile lze podobné úkoly řešit na lokálním systému bez nutnosti obrátit se na externí služby.
Dále je podporována funkce HTTP serveru, který zpracovává požadavky na rozpoznávání řeči prostřednictvím Web API. Pro zrychlení práce s modelem mohou být využity GPU a instrukce AVX. Nástroj také může poskytovat koeficienty spolehlivosti, které umožňují obarvit rozpoznaná slova podle přesnosti jejich určení.
Použitý model Whisper byl vyškolen na 680 tisících hodin řečových dat pokrývajících různé tematické oblasti a jazyky (2/3 dat je v angličtině). Model si dobře poradí s rozpoznáváním řeči s akcentem, identifikuje technický žargon, podporuje automatické určování jazyka a může fungovat i v přítomnosti pozadí hluku. Při anglické řeči systém vykazuje úroveň spolehlivosti a přesnosti automatického rozpoznávání blízkou rozpoznávání člověkem. Kromě přepisu řeči do textu může být model také použit pro překlad řeči do jiného jazyka.
Zdroj: opennet.ru
