Está disponível uma nova versão pública do sistema de síntese de voz neural Silero Text-to-Speech. O projeto visa principalmente criar um sistema moderno de síntese de voz de alta qualidade, que se equipare às soluções comerciais das corporações e que seja acessível a todos, sem a necessidade de equipamentos de servidor caros.
Os modelos são distribuídos sob a licença GNU AGPL, mas a empresa que desenvolve o projeto não revela o mecanismo de treinamento dos modelos. Para executá-los, pode-se usar PyTorch e frameworks que suportam o formato ONNX. A síntese de voz no Silero é baseada no uso de algoritmos modernos e profundamente modificados de redes neurais e métodos de processamento digital de sinais.
Observa-se que o principal problema das soluções modernas de redes neurais para síntese de voz é que muitas vezes elas estão disponíveis apenas como soluções em nuvem pagas, enquanto os produtos públicos têm altas exigências de hardware, qualidade inferior ou não são produtos completos prontos para uso. Por exemplo, para executar sem problemas uma das novas arquiteturas populares de síntese end-to-end, VITS, em modo de síntese (ou seja, não para o treinamento de modelos), são necessárias placas gráficas com mais de 16 gigabytes de VRAM.
Contrariando a tendência, as soluções Silero funcionam bem mesmo em 1 thread de um processador Intel x86 com instruções AVX2. Em 4 threads de processador, a síntese permite gerar de 30 a 60 segundos por segundo em modo de síntese de 8 kHz, em modo de 24 kHz - 15-20 seg., e em modo de 48 kHz - cerca de 10 seg.
Principais características da nova versão do Silero:
- O tamanho do modelo foi reduzido em 2 vezes para 50 megabytes;
- Os modelos conseguem fazer pausas;
- Disponíveis 4 vozes de alta qualidade em russo (e um número infinito de aleatórias). Exemplos de pronúncia;
- Os modelos tornaram-se 10 vezes mais rápidos e, por exemplo, no modo de 24 kHz, permitem sintetizar até 20 segundos de áudio por segundo em 4 threads de processador;
- Todas as variantes de vozes para um idioma estão empacotadas em um único modelo;
- Os modelos podem aceitar parágrafos inteiros de texto como entrada, suportando tags SSML;
- A síntese funciona simultaneamente em três frequências de amostragem à escolha - 8, 24 e 48 quilohertz;
- Resolvemos 'problemas infantis': instabilidade e omissões de palavras;
- Adicionados flags para controle da acentuação automática e da grafia da letra 'ё'.
Atualmente, a versão mais recente da síntese possui 4 vozes disponíveis em português, mas em breve será lançada a próxima versão com as seguintes mudanças:
- A velocidade de síntese aumentará de 2 a 4 vezes;
- Serão atualizados os modelos de síntese para as línguas da CEI: Cazaque, Tártaro, Uzbeque e Ucraniano;
- Modelos para línguas europeias serão adicionados;
- Modelos para línguas indianas serão acrescentados;
- Modelos para a língua inglesa serão introduzidos.
Alguns dos problemas sistêmicos inerentes à síntese Silero:
- Ao contrário de soluções de síntese mais tradicionais, como RHVoice, a síntese Silero não possui integração com SAPI, clientes de fácil instalação e integrações para Windows e Android;
- Embora a velocidade seja excepcionalmente alta para uma solução dessa natureza, pode não ser suficiente para síntese em tempo real em processadores fracos com alta qualidade;
- A solução de acentuação automática não processa homógrafos (palavras como zAmok e zamOk) e ainda comete erros, mas essa inadequação será corrigida em versões futuras;
- A versão atual da síntese não funciona em processadores sem instruções AVX2 (ou é necessário modificar especificamente as configurações do PyTorch), uma vez que um dos módulos dentro do modelo é quantizado;
- A versão atual da síntese tem como única dependência o PyTorch, todo o conteúdo está "embutido" dentro do modelo e pacotes JIT. Os códigos-fonte dos modelos não são publicados, assim como o código para execução dos modelos por clientes PyTorch para outras línguas;
- O Libtorch, disponível para plataformas móveis, é muito mais volumoso do que o runtime do ONNX, mas a versão ONNX do modelo ainda não está disponível.
Fonte: opennet.ru
