Projekt ChatTTS zveřejnil model a související nástroje strojového učení pro syntézu emocionální řeči. Projekt ChatTTS je speciálně optimalizován pro použití v dialogových systémech, jako jsou interaktivní asistenti, a je zaměřen na reprodukci vlastností přirozené emocionální komunikace. Podporuje interakci s několika mluvčími a vytváření interaktivních dialogů. Při syntéze se správně sledují a reprodukují prosodické prvky, jako jsou smích, pauzy a mezery.
Při trénování modelu bylo použito přibližně 40 tisíc hodin řečových nahrávek (ve veřejné variantě modelu – 100 tisíc hodin). Podle tvrzení vývojářů model svými možnostmi formování intonací překonává všechny dříve dostupné otevřené modely syntézy řeči. Pro řízení emocí při syntéze zatím podporuje pouze nahrazení tokenů, například „[laugh]“ pro smích. Pro generaci 30 sekundového záznamu je potřeba GPU s 4 GB paměti. Na GPU NVIDIA GeForce RTX 4090D je rychlost generace přibližně 7 sémantických tokenů za sekundu. Podporuje syntézu ženským a mužským hlasem v angličtině a čínštině (pro ruštinu lze doporučit framework TTS a model XTTS-v2, které kromě syntézy podporují také klonování hlasu podle krátkého nahrávání řeči, včetně syntézy v jiném jazyce).
Model ChatTTS byl zveřejněn pod licencí CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), která umožňuje volné šíření při uvedení autora, avšak zakazuje vytváření odvozených děl a použití v komerčních projektech. Kromě toho, aby se ochrání před použitím modelu k podvodným a zločinným činům, byla při trénování modelu použita náhrada vysokofrekvenčním šumem a byl využit maximální úroveň komprese zvuku při použití formátu MP3.
Zdroj: opennet.ru
