ChatTTS-projektet har offentliggjort en model og tilhørende værktøjer til maskinlæring til syntese af emotionel tale. ChatTTS-projektet er specielt optimeret til brug i dialogsystmer, såsom interaktive assistenter, og sigter mod at genskabe egenskaberne ved naturlig emotionel kommunikation. Der understøttes interaktion med flere talere og opbygning af interaktive dialoger. Prosodiske elementer som latter, pauser og interjektioner bliver korrekt sporet og reproduceret under syntesen.
Ved træning af modellen blev der anvendt omkring 40.000 timers taleoptagelser (i den ikke-offentlige version af modellen — 100.000 timer). Ifølge udviklerne overgår modellens evner til at danne intonation alle tidligere tilgængelige åbne modeller til tale-syntese. For kontrol af følelser under syntese understøttes der i øjeblikket kun indsættelse af tokens, f.eks. “[laugh]” for latter. For at generere en 30 sekunders optagelse kræves der en GPU med 4 GB hukommelse. På en NVIDIA GeForce RTX 4090D er hastigheden for generering cirka 7 semantiske tokens per sekund. Der understøttes syntese med både kvindelige og mandlige stemmer på engelsk og kinesisk (for det russiske sprog kan TTS-rammeværket og modellen XTTS-v2 anbefales, som, udover syntese, understøtter kloning af stemmen fra en kort taleoptagelse, herunder syntese på et andet sprog).
ChatTTS-modellen er offentliggjort under CC BY-NC-ND 4.0-licensen (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0), som tillader fri distribution med angivelse af forfatteren, men forbyder oprettelse af afledte værker og brug i kommercielle projekter. Derudover, for at beskytte mod brugen af modellen til at begå svigagtige og kriminelle handlinger, blev der ved træningen af modellen anvendt indsættelse af højfrekvent støj og den maksimale lydkomprimering blev anvendt ved hjælp af MP3-formatet.
Kilde: opennet.ru
