Spoločnosť Standard Intelligence oznámila vydanie hertz-dev, prvej otvorenej AI modelu pre syntézu reči v plne duplexnom režime, ktorý môže slúžiť ako základ na vytváranie systémov hlasovej komunikácie v reálnom čase alebo generovanie konverzačnej reči. Model dokáže generovať reč blízku hlasovým údajom, na ktorých bol vytrénovaný, a zabezpečuje interakciu v štýle živého ľudského rozhovoru bez zdržania pripomínajúceho prerušený telefonický hovor. Výsledky projektu sú sprístupnené pod licenciou Apache 2.0.
Na systéme s GPU NVIDIA GeForce RTX 4090 je priemerná latencia pred generovaním 120 ms (teoreticky až 65 ms), čo je zhruba dvakrát rýchlejšie ako existujúce modely dostupné voľne. Publikovaná verzia je postavená na architektúre "transformer", pokrýva 8,5 miliardy parametrov a bola vytrénovaná s využitím 500 miliárd tokenov. Veľkosť zohľadňovaného kontextu modelom (počet tokenov, ktoré model dokáže spracovať a zapamätať si pri generovaní reči) je 2048 tokenov alebo približne 4 minúty reči.
Zdroj: opennet.ru
