Компания Standard Intelligence обяви за публикуването на hertz-dev, първият отворен AI модел за синтез на реч в пълнодуплексен режим, който може да се използва като основа за създаване на системи за гласова комуникация в реално време или генериране на разговорна реч. Моделът позволява генерирането на реч, близка до гласовите данни, на които е обучен, и осигурява взаимодействие в стил на живо човешко общуване без закъснения, наподобяващи прекъснат телефонен разговор. Наработките на проекта се разпространяват под лицензия Apache 2.0.
На система с GPU NVIDIA GeForce RTX 4090 средното закъснение преди генерирането е 120 ms (теоретично до 65 ms), което е приблизително два пъти по-бързо от наличните в публичното пространство съществуващи модели. Публикуваният вариант е построен с помощта на архитектура "трансформер", обхваща 8.5 милиарда параметри и е обучен с използването на 500 милиарда токена. Размерът на контекста, който моделът може да обработи и запомни при генерирането на реч, е 2048 токена или приблизително 4 минути реч.
Източник: opennet.ru
