A empresa Mozilla está desenvolvendo a ferramenta de reconhecimento de fala Whisperfile, que inclui uma implementação independente de alto desempenho do modelo de aprendizado de máquina Whisper, desenvolvido e disponibilizado pela organização OpenAI. A ferramenta é baseada no whisper.cpp, uma implementação do modelo Whisper em C/C++, criada por Georgi Gerganov (autor do llama.cpp). O código está escrito em C++ e é distribuído sob a licença MIT.
O Whisperfile é desenvolvido pela equipe Mozilla Ocho e complementa o projeto llamafile, destinado à criação de arquivos executáveis universais para execução de grandes modelos de linguagem de aprendizado de máquina (LLM). Assim como o llamafile, o projeto whisperfile permite gerar um arquivo executável com base em um arquivo de parâmetros do modelo de aprendizado de máquina no formato GGUF, que pode ser executado em diferentes sistemas operacionais em hardware com processadores AMD64 e ARM64. O código compilado pode se vincular à biblioteca padrão C Cosmopolitan, que possibilita a criação de builds de aplicativos executáveis no Linux, FreeBSD, macOS, OpenBSD, NetBSD e Windows.
Ao executar o arquivo executável, um arquivo de áudio de fala no formato wav, mp3, ogg ou flac é passado como parâmetro de entrada, e o texto reconhecido é salvo na saída. Na prática, o projeto pode ser utilizado para resolver tarefas como geração de legendas de texto para vídeos, criação de registros de chamadas de voz e vídeo, conversão de materiais de voz gravados em texto e organização de entrada de voz. Com o Whisperfile, tarefas semelhantes podem ser realizadas no sistema local sem a necessidade de recorrer a serviços externos.
Além disso, é suportado o funcionamento como um servidor HTTP, que lida com solicitações de reconhecimento de fala através da Web API. Para acelerar o trabalho com o modelo, podem ser utilizados GPUs e instruções AVX. A ferramenta também pode fornecer coeficientes de confiabilidade, permitindo destacar as palavras reconhecidas com base na precisão de sua definição.
O modelo Whisper utilizado foi treinado com 680 mil horas de dados de fala, abrangendo diferentes áreas temáticas e idiomas (2/3 dos dados estão em inglês). O modelo se destaca no reconhecimento de fala com sotaque, identifica jargões técnicos, suporta a detecção automática de idioma e pode operar na presença de ruído de fundo. Para fala em inglês, o sistema demonstra um nível de confiabilidade e precisão de reconhecimento automático próximo ao reconhecimento humano. Além da transcrição de fala em texto, o modelo também pode ser aplicado para tradução de fala para outro idioma.
Fonte: opennet.ru
