Публикувана отворена AI-модел hertz-dev за пълнодуплексна гласова комуникация

Компанията Standard Intelligence обяви публикуването на hertz-dev, първата отворена AI-модел за синтез на реч в пълнодуплексен режим, която може да се използва като основа за създаване на системи за голосова комуникация в реално време или генериране на разговорна реч. Моделът позволява генерирането на реч, близка до гласовите данни, на които е обучен, осигурявайки взаимодействие в стил на живо човешко общуване без забавяния, напомнящи на прекъснат телефонен разговор. Разработките на проекта се разпространяват под лиценз Apache 2.0.

На система с GPU NVIDIA GeForce RTX 4090 средното забавяне преди генерирането е 120 мс (теоретично до 65 мс), което е приблизително два пъти по-бързо от вече наличните отворени модели. Публикуваната версия е изградена с помощта на архитектура „трансформер“, обхваща 8.5 милиарда параметри и е обучена с 500 милиарда токена. Размерът на контекста, който моделът може да обработи и запомни при генериране на реч, е 2048 токена или приблизително 4 минути реч.

Източник: opennet.ru