Mozilla arendab kõne tuvastamise tööriistu Whisperfile, mis sisaldavad iseseisvat kõrge jõudlusega tehisintellekti mudeli Whisper rakendust, mille on loonud ja tutvustanud OpenAI organisatsioon. Tööriist on loodud whisper.cpp baasil, mis on mudeli Whisper C/C++ rakendus, mille on loonud Georgi Gerganov (llama.cpp autor). Kood on kirjutatud C++-s ja ning jagatakse MIT litsentsi alusel.
Whisperfile'i arendab Mozilla Ocho meeskond ning see täiendavad llamafile projekti, mis on mõeldud universaalsete käivitatavate failide loomiseks suurte keeles Mudelite (LLM) jaoks. Sarnaselt llamafile projektiga võimaldab whisperfile luua modelli treeningfailidest GGUF formaadis käivitatavaid faile, mis saavad töötada erinevates operatsioonisüsteemides AMD64 ja ARM64 protsessoritega. Kompileeritud kood võib siduda standardse C raamatukoguga Cosmopolitan, mis võimaldab luua rakenduste kogumeid, mida saab käitada Linux'i, FreeBSD, macOS, OpenBSD, NetBSD ja Windows'i süsteemides.
Käivitades käivitatava faili, edastatakse sisendina kõnefail formaadis wav, mp3, ogg või flac ning väljundina salvestatakse tuvastatud tekst. Praktikas saab projekti rakendada selliste ülesannete lahendamiseks nagu videote tekstivormistuse genereerimine, kõne- ja videohelide logimise loomine, salvestatud häälmaterjalide teksti ümberkujundamine ning hääletuvõime korraldamine. Whisperfile'i abil saab neid ülesandeid lahendada kohalikul süsteemil, ilma väliste teenusteta.
Lisaks toetab see toimimist HTTP-serverina, mis haldab kõnetuvastuse taotlusi Web API kaudu. Mudeli töö kiirendamiseks võivad olla kasutusele võetud GPU-d ja AVX juhised. Tööriist võib samuti väljendada usaldusväärsuse koefitsiente, mis võimaldavad tuvastatud sõnu värvikoodida vastavalt nende määratlemise täpsusele.
Kasutatud Whisper mudel on treenitud 680 000 tunni jooksul kõneandmeid, mis katab erinevaid teema valdkondi ja keeli (2/3 andmetest on inglise keeles). Mudel tunneb hästi aktsente, määrab tehnilist žargooni, toetab automaatset keele tuvastamist ja suudab töötada taustamüra korral. Inglise keele kõne puhul näitab süsteem usaldusväärsuse ja täpsuse taset, mis on lähedane inimese kõne tuvastamisele. Lisaks kõne transkribeerimisele tekstiks saab mudelit kasutada ka kõne tõlkimiseks teisele keelele.
Allikas: opennet.ru
