Mozilla udvikler værktøjer til talegenkendelse kaldet Whisperfile, som inkluderer en uafhængig, højtydende implementering af machine learning-modellen Whisper, udviklet og udgivet af OpenAI. Værktøjet er baseret på whisper.cpp, en implementering af Whisper-modellen i C/C++, skabt af Georgi Gerganov (skaberen af llama.cpp). Koden er skrevet i C++ og distribueres under MIT-licensen.
Whisperfile udvikles af Mozilla Ocho-teamet og supplerer projektet llamafile, som er designet til at skabe universelle eksekverbare filer til kørsel af store sprogmodeller (LLM). Ligesom llamafile gør projektet whisperfile det muligt at generere en eksekverbar fil baseret på en modelparametreringsfil i GGUF-format, der kan køre på forskellige operativsystemer på hardware med AMD64 og ARM64-processorer. Den kompilerede kode kan linkes med standard C-biblioteket Cosmopolitan, hvilket muliggør oprettelse af applikationsbygninger, der kan køre i Linux, FreeBSD, macOS, OpenBSD, NetBSD og Windows.
Når den eksekverbare fil køres, gives en fil med tale i wav-, mp3-, og ogg- eller flac-format som inputparameter, og den genkendte tekst gemmes som output. I praksis kan projektet anvendes til opgaver som at generere tekstundertekster til videoer, oprette logfiler for voice- og videoopkald, konvertere optagede lydmaterialer til tekst, og organisere stemmeinput. Med Whisperfile kan sådanne opgaver løses lokalt uden at stole på eksterne tjenester.
Derudover understøttes det at fungere som en HTTP-server, der håndterer anmodninger om talegenkendelse via Web API. For at accelerere arbejdet med modellen kan GPU'er og AVX-instruktioner anvendes. Værktøjet kan også returnere sandhedsværdier, der gør det muligt at farve de genkendte ord afhængigt af nøjagtigheden af deres identifikation.
Den anvendte Whisper-model er trænet på 680.000 timers taledata, der dækker forskellige emner og sprog (2/3 data på engelsk). Modellen klarer sig godt med at genkende tale med accent, identificerer teknisk jargon, understøtter automatisk sprogidentifikation og kan fungere i tilstedeværelse af baggrundsstøj. For engelsk tale viser systemet en pålidelighed og nøjagtighed i automatisk talegenkendelse, der er tæt på menneskelig genkendelse. Udover at transskribere tale til tekst, kan modellen også anvendes til at oversætte tale til et andet sprog.
Kilde: opennet.ru
