Компания Mozilla разработва инструменти за разпознаване на реч Whisperfile, включващи независима високоефективна реализация на модела за машинно обучение Whisper, разработен и публикуван от организацията OpenAI. Инструментариумът е създаден на основата на whisper.cpp, реализация на модела Whisper на C/C++, разработена от Георги Герганов (автор на llama.cpp). Кодът е написан на езика C++ и се разпространява под лиценза MIT.
Whisperfile се развива от екипа на Mozilla Ocho и допълва проекта llamafile, предназначен за създаване на универсални изпълними файлове за стартиране на големи модели за машинно обучение (LLM). Подобно на llamafile, проектът whisperfile позволява, на базата на файл с параметри на модела за машинно обучение в формат GGUF, да генерира изпълним файл, който може да се стартира в различни операционни системи на хардуер с процесори AMD64 и ARM64. Скомпилираният код може да се свързва със стандартната C библиотека Cosmopolitan, което дава възможност за създаване на приложения, работещи в Linux, FreeBSD, macOS, OpenBSD, NetBSD и Windows.
При стартиране на изпълнимия файл, като входен параметър се подава файл със звук на реч в формат wav, mp3, ogg или flac, а на изхода се запазва разпознатият текст. На практика проектът може да бъде използван за решаване на задачи като генериране на текстови титри за видео, създаване на журнал на гласови и видео повиквания, преобразуване на записани гласови материали в текст, организиране на гласов вход. С помощта на Whisperfile подобни задачи могат да се решават на локална система без да се прибягва до външни услуги.
Допълнително се поддържа работа в ролята на HTTP сървър, обработващ заявки за разпознаване на реч чрез Web API. За ускоряване на работата с модела могат да бъдат използвани GPU и AVX инструкции. Инструментарият също така може да извежда коефициенти на достоверност, позволяващи оцветяване на разпознатите думи в зависимост от точността на тяхното определение.
Използваният модел Whisper е обучен на 680 хиляди часа речеви данни, обхващающи различни теми и езици (2/3 от данните са на английски). Моделът се справя добре с разпознаването на реч с акцент, идентифицира технически жаргон, поддържа автоматично разпознаване на езика и може да работи на фона на шум. За английска реч системата демонстрира ниво на надеждност и точност на автоматичното разпознаване, близко до разпознаването от човек. Освен транскрипцията на реч в текст, моделът може да се използва и за превод на реч на друг език.
Източник: opennet.ru
