Modelo de IA de síntese de voz Zonos publicado, suportando clonagem de voz

A empresa Zyphra lançou sob licença Apache 2.0 a primeira versão beta do modelo de IA para síntese de voz Zonos. A ferramenta oferecida junto com o modelo suporta a função de clonagem de voz, permitindo sintetizar a fala na voz desejada, para a qual basta fornecer um registro de 30 segundos da fala do falante. A síntese é suportada em inglês, japonês, chinês, francês e alemão.

O modelo abrange 1,6 bilhões de parâmetros e foi treinado em 200 mil horas de gravações de áudio. Suporta síntese de fala monótona (como em audiolivros) e emocional (como em uma conversa ao vivo), assim como síntese com base em um prefixo dado (onde uma gravação de áudio com o início da fala é fornecida e o modelo sintetiza a continuação em texto indicado, reproduzindo as características originais da fala, como continuar falando em sussurros).

O som gerado tem uma taxa de amostragem de 44 kHz. Suporta a inserção de trechos sintetizados para simular apresentações com vários falantes ou construir diálogos interativos, assim como a adição de marcadores para controlar a velocidade da fala, tonalidade e expressão de emoções, como alegria, medo, tristeza e raiva.

De acordo com os desenvolvedores, a qualidade da fala gerada pelo modelo não fica atrás e até supera todos os sistemas de síntese de voz abertos e comerciais disponíveis publicamente (os testes incluem comparações com ElevenLabs, Cartesia e FishSpeech). Entre os pontos negativos, destaca-se uma maior concentração de artefatos sonoros, como tosse, som da respiração ou rangidos, no início ou no final do material sonoro gerado.

• Zonos:
• ElevenLabs:
• Cartesia:
• Fish Speech v1.5:

Para usar o modelo em seu sistema, foi preparado uma imagem pronta para uso para o sistema Docker, que inclui uma interface web para gerenciar a síntese, baseada na plataforma Gradio. Para começar, basta instalar a imagem com o comando “git clone https://github.com/Zyphra/Zonos.git; cd Zonos; docker compose up” e abrir a página “http://localhost:7860” no navegador. É recomendado ter uma GPU NVIDIA, pelo menos da série 3000, com 6 GB de memória de vídeo. O desempenho em um sistema com GPU RTX 4090 é o dobro do necessário para síntese em tempo real.

Fonte: opennet.ru