Kompania Mozilla po zhvillon mjetin e njohjes së zërit Whisperfile, duke përfshirë një implementim të pavarur me performancë të lartë të modelit të mësimit të makinerive Whisper, i zhvilluar dhe i hapur nga organizata OpenAI. Mjeti është krijuar mbi bazën e whisper.cpp, një implementim i modelit Whisper në C/C++, i krijuar nga Georgi Gerganov (autori i llama.cpp). Kodi është shkruar në gjuhën C++ dhe shpërndahet nën licencën MIT.
Whisperfile po zhvillohet nga ekipi Mozilla Ocho dhe plotëson projektin llamafile, i destinuar për të krijuar skedarë ekzekutues universale për të drejtuar modele të mëdha gjuhësore të mësimit të makinave (LLM). Në përputhje me llamafile, projekti whisperfile lejon që në bazë të një skedari me parametra të modelit të mësimit të makinave në formatin GGUF të gjenerohet një skedar ekzekutiv, i cili mund të ekzekutohet në sisteme të ndryshme operative mbi pajisje me procesorë AMD64 dhe ARM64. Kodi i kompiluar mund të lidhet me bibliotekën standarde C të Cosmopolitan, e cila ofron mundësinë për të krijuar përmbledhje aplikacionesh që mund të ekzekutohen në Linux, FreeBSD, macOS, OpenBSD, NetBSD dhe Windows.
Kur ekzekutohet skedari ekzekutiv, si parametër hyrës dërgohet një skedar me zë të folur në formatin wav, mp3, ogg ose flac, dhe në daljen e tij ruhet teksti i njohur. Në praktikë, projekti mund të përdoret për të zgjidhur detyra si gjenerimi i titujve tekstualë për video, krijimi i një logu për thirrjet vokale dhe video, shndërrimi i materialeve të regjistruara të zërit në tekst, organizimi i hyrjes me zë. Me ndihmën e Whisperfile, këto detyra mund të zgjidhen në një sistem lokal pa u drejtuar në shërbime të jashtme.
Për më tepër, mbështetet puna si një server HTTP që përpunon kërkesat për njohjen e zërit përmes Web API-së. Për të përshpejtuar punën me modelin, mund të angazhohen GPU-të dhe instrukcionet AVX. Mjeti gjithashtu mund të japë koeficientë besueshmërie, duke lejuar ngjyrimin e fjalëve të njohura në varësi të saktësisë së përcaktimit të tyre.
Modeli i përdorur Whisper është trajnuar me 680,000 orë të dhënash të fjalëve, duke përfshirë fusha të ndryshme tematike dhe gjuhë (2/3 e të dhënave janë në anglisht). Modeli përballon mirë njohjen e fjalës me akcent, identifikon argot teknik, mbështet përcaktimin automatik të gjuhës dhe mund të funksionojë edhe në prani të zhurmës në sfond. Për të folur në anglisht, sistemi tregon një nivel besueshmërie dhe saktësie të njohjes automatikisht që është afër njohjes nga njeriu. Përveç transkriptimit të zërit në tekst, modeli mund të përdoret gjithashtu për përkthimin e fjalës në një gjuhë tjetër.
Burimi: opennet.ru
