A Standard Intelligence anunciou a publicação do hertz-dev, o primeiro modelo de IA aberto para síntese de fala em modo full duplex, que pode ser utilizado como base para criar sistemas de comunicação de voz em tempo real ou gerar fala conversacional. O modelo permite gerar fala próxima aos dados de voz nos quais foi treinado, proporcionando uma interação no estilo de uma conversa humana ao vivo, sem atrasos que lembram uma conversa telefônica interrompida. Os avanços do projeto são distribuídos sob a licença Apache 2.0.
Em um sistema com GPU NVIDIA GeForce RTX 4090, a latência média antes da geração é de 120 ms (teoricamente até 65 ms), que é cerca de duas vezes mais rápido do que os modelos existentes disponíveis publicamente. A versão publicada foi construída com a arquitetura 'transformer', cobre 8,5 bilhões de parâmetros e foi treinada usando 500 bilhões de tokens. O tamanho do contexto considerado pelo modelo (o número de tokens que o modelo pode processar e lembrar ao gerar fala) é de 2048 tokens, ou cerca de 4 minutos de fala.
Fonte: opennet.ru
