Ettevõte Mozilla arendab kõnetuvastuse tööriistu Whisperfile, mis hõlmab sõltumatut kõrge jõudlusega tehisintellekti mudeli Whisper rakendust, mille on välja töötanud ja avatud OpenAI. Tööriist on loodud whisper.cpp alusel, mis on mudeli Whisper C/C++ rakendus, mille autor on Georgi Gerganov (autori llama.cpp). Kood on kirjutatud C++ keeles ja levitatakse MIT litsentsi alusel.
Whisperfile'i arendab Mozilla Ocho meeskond ja see täiendab projekti llamafile, mis on mõeldud universaalsete käitatavate failide loomiseks suurte tehisintellekti keelemudelite (LLM) käitamiseks. Sarnaselt llamafile'iga võimaldab projekt whisperfile genereerida põhinedes mudeli parameetrite failile GGUF formaadis käitatava faili, mida saab käitada erinevates operatsioonisüsteemides AMD64 ja ARM64 protsessorite riistvaral. Kompileeritud kood saab liituda standardse C teeki Cosmopolitan, võimaldades luua rakenduste kogumikke, mis saavad käituda Linuxis, FreeBSD-s, macOS-is, OpenBSD-s, NetBSD-s ja Windowsis.
Kui käivitatakse käivitatav fail, edastatakse sisendparameetrina helifail, mis on vormingus wav, mp3, ogg või flac, ning väljundisse salvestatakse tuvastatud tekst. Praktiliselt saab projekti kasutada selliste ülesannete lahendamiseks nagu videote tekstiliste pealkirjade genereerimine, häälte ning video kõnede logi loomine, salvestatud häälte tekstiks muutmine ja häälsisendi korraldamine. Whisperfile abil saab selliseid ülesandeid lahendada kohalikus süsteemis ilma välistesse teenustesse pöördumata.
Lisaks toetatakse töö tegemist HTTP-serverina, mis töötleb kõne tuvastamise päringuid Web API kaudu. Mudeli töö kiirendamiseks võivad olla kaasatud GPU-d ja AVX-käsud. Tööriistakast suudab samuti väljundada usaldusväärsuse koefitsiente, mis võimaldavad värvida tuvastatud sõnu olenevalt nende täpsuse määramisest.
Kasutatud Whisper mudel on treenitud 680 000 tunni kõnearhiiviga, mis katab erinevaid teemasid ja keeli (2/3 andmetest on inglise keeles). Mudel suudab hästi tuvastada aktsentidega kõnet, mõista tehnilist žargooni, toetab automaatset keele tuvastamist ja suudab töötada ka taustamüra olemasolul. Inglise keeles kõne tuvastamise täpsus ja usaldusväärsus on peaaegu sama kõrge kui inimese omad. Lisaks kõne transkribeerimisele tekstiks saab mudelit kasutada ka kõne tõlkimiseks teise keelde.
Allikas: opennet.ru
