Mozilla ontwikkelt het spraakherkenningsinstrument Whisperfile, dat een onafhankelijke, krachtige implementatie omvat van het machine learning-model Whisper, ontwikkeld en open-source gemaakt door OpenAI. Het instrument is gebaseerd op whisper.cpp, een implementatie van het Whisper-model in C/C++, gemaakt door Georgy Gerganov (de auteur van llama.cpp). De code is geschreven in C++ en wordt verspreid onder de MIT-licentie.
Whisperfile wordt ontwikkeld door het Mozilla Ocho-team en draagt bij aan het project llamafile, dat is ontworpen voor het creƫren van universele uitvoerbare bestanden voor het uitvoeren van grote taalmodellen voor machine learning (LLM). Net als llamafile stelt het project whisperfile in staat om op basis van een bestand met modelparameters in het GGUF-formaat een uitvoerbaar bestand te genereren dat kan draaien op verschillende besturingssystemen op hardware met AMD64- en ARM64-processoren. De gecompileerde code kan worden gekoppeld aan de standaard C-bibliotheek Cosmopolitan, waardoor het mogelijk is om applicatie-builds te maken die draaien op Linux, FreeBSD, macOS, OpenBSD, NetBSD en Windows.
Bij het uitvoeren van het uitvoerbare bestand wordt een bestand met spraakgeluid in het wav-, mp3-, ogg- of flac-formaat als invoerparameter doorgegeven, en de herkende tekst wordt als uitvoer opgeslagen. In de praktijk kan het project worden toegepast voor taken zoals het genereren van teksttitels voor video's, het maken van een log van spraak- en video-oproepen, het omzetten van opgenomen spraakmaterialen naar tekst en het organiseren van spraakinvoer. Met Whisperfile kunnen dergelijke taken lokaal worden uitgevoerd zonder gebruik te maken van externe diensten.
Bovendien ondersteunt het de werking als een HTTP-server die verzoeken voor spraakherkenning via een Web API afhandelt. Om de prestaties van het model te versnellen, kunnen GPU's en AVX-instructies worden ingezet. Het instrument kan ook betrouwbaarheidspercentages weergeven, waarmee de herkende woorden kunnen worden gekleurd op basis van de nauwkeurigheid van hun identificatie.
Het gebruikte Whisper-model is getraind op 680.000 uur aan spraakgegevens die verschillende thema's en talen dekken (2/3 van de data is in het Engels). Het model presteert goed in het herkennen van spraak met een accent, kan technische jargon identificeren, ondersteunt automatische taalherkenning en kan functioneren met achtergrondgeluid. Voor spraak in het Engels laat het systeem een niveau van betrouwbaarheid en precisie in automatische spraakherkenning zien dat dicht bij de herkenning door mensen ligt. Naast het transcriberen van spraak naar tekst, kan het model ook worden gebruikt voor het vertalen van spraak naar een andere taal.
Bron: opennet.ru
