Mozilla, təşkilatının OpenAI tərəfindən hazırlanmış və açıq qaynaqlı olan Whisper maşın öyrənmə modelinin müstəqil, yüksək performanslı icrasını əhatə edən Whisperfile səs tanıma vasitəsini inkişaf etdirir. Vasitə, Georgi Gerganov tərəfindən hazırlanmış C/C++ dilindəki whisper.cpp əsasında yaradılmışdır. Kod, C++ dilində yazılmışdır və MIT lisenziyası altında yayımlanır.
Whisperfile, Mozilla Ocho komandası tərəfindən inkişaf etdirilir və böyük dil modelləri üçün mükəmməl icra fayllarının yaradılması məqsədini güdən llamafile layihəsini tamamlamaqda kömək edir. Llamafile ilə oxşar olaraq, whisperfile layihəsi, GGUF formatında olan maşın öyrənmə modelinin parametrlərini ehtiva edən bir fayldan icra faylı yarada bilir ki, bu icra faylı müxtəlif əməliyyat sistemlərində AMD64 və ARM64 prosessorları ilə çalışa bilər. Tərtib olunmuş kod, Linux, FreeBSD, macOS, OpenBSD, NetBSD və Windows-da işləməyə imkan verən Cosmopolitan standart C kitabxanası ilə əlaqələndirilə bilər.
İcra faylı başladıldıqda, giriş parametri olaraq wav, mp3, ogg və ya flac formatında səs faylı təqdim edilir və çıxışda tanınmış mətn saxlanılır. Əslində, layihə video üçün mətn başlıqları yaratmaq, səsli və video çağırışların logunu hazırlamaq, qeydə alınmış səs materiallarını mətnə çevirmək, səsli girişin təşkil olunması kimi tapşırıqları həll etmək üçün istifadə oluna bilər. Whisperfile vasitəsiylə bu cür tapşırıqlar xarici xidmətlərə müraciət etmədən yerli sistemdə yerinə yetirilə bilər.
Bundan əlavə, Web API vasitəsilə səs tanıma sorğularını işləyən HTTP-server rolunu oynama dəstəklənir. Model ilə işin sürətləndirilməsi üçün GPU və AVX təlimatları istifadə oluna bilər. Vasitə eyni zamanda, tanınmış sözlərin dəqiqliyinə görə rənglənməsi üçün etibarlılıq göstəricilərini çıxara bilər.
İstifadə olunan Whisper modeli 680 min saatlıq danışıq məlumatları ilə təlim edilmişdir, müxtəlif mövzuları və dilləri əhatə edir (3/2 məlumat İngilis dilindədir). Model, aksentli danışığı tanımaqda yaxşı performans göstərir, texniki terminologiyanı müəyyənləşdirir, avtomatik dil təyini dəstəkləyir və arxa planda səs olduğu halda işləyə bilir. İngilis dilində danışıq üçün sistemin avtomatik tanıma etibarlılığı və dəqiqliyi insan tərəfindən tanıma səviyyəsinə yaxındır. Danışığı mətna çevirməkdan başqa, model digər dilə danışıq tərcüməsi üçün də istifadə oluna bilər.
Mənbə: opennet.ru
