Na voljo je nova javna različica nevronskega sistema za sintezo govora Silero Text-to-Speech. Projekt je predvsem usmerjen v ustvarjanje sodobnega, visoko kakovostnega sistema sinteze govora, ki ne zaostaja za komercialnimi rešitvami korporacij in je dostopen vsem brez potrebe po dragem strežnikskem okolju.
Modeli so distribuirani pod licenco GNU AGPL, vendar podjetje, ki razvija projekt, ne razkriva mehanizma usposabljanja modelov. Za zagon je mogoče uporabiti PyTorch in ogrodja, ki podpirajo obliko ONNX. Sinteza govora v Silero temelji na uporabi globoko modificiranih sodobnih nevronskih algoritmov in metod digitalne obdelave signalov.
Opaženo je, da je glavna težava sodobnih nevronskih rešitev za sintezo govora ta, da so pogosto na voljo le v okviru plačljivih oblačnih rešitev, javni izdelki pa imajo visoke strojne zahteve, slabšo kakovost ali niso dokončani in pripravljeni za uporabo. Na primer, za brezskrbno zagon ene od novih priljubljenih arhitektur end-to-end sinteze, VITS, v načinu sinteze (tj. ne za usposabljanje modelov) so potrebne grafične kartice z več kot 16 gigabajti VRAM.
KLjub uveljavljenemu trendu se rešitve Silero uspešno izvajajo celo na 1 nitki x86 procesorja Intel z navodili AVX2. Na 4 nitkah procesorja sinteza omogoča sintezo od 30 do 60 sekund na sekundo v načinu sinteze 8 kHz, v načinu 24 kHz – 15-20 sek., v načinu 48 kHz – približno 10 sek.
Glavne značilnosti nove različice Silero:
- Velikost modela je zmanjšana za 2-krat na 50 megabajtov;
- Modeli znajo delati premore;
- Na voljo so 4 visoko kakovostne glasove v ruščini (in neskončno število naključnih). Primeri izgovorjave;
- Modeli so postali 10-krat hitrejši in tako v načinu 24 kHz omogočajo sintezo do 20 sekund avdio posnetka na sekundo na 4 nitkah procesorja;
- Vse različice glasov za en jezik so pakirane v en model;
- Modeli lahko sprejemajo celotne odstavke besedila na vhodu, podpirani so SSML-označe;
- Sinteza deluje hkrati v treh frekvencah vzorčenja po izbiri — 8, 24 in 48 kilohertzov;
- Rešeni so »otroški problemi«: nestabilnost in preskakovanje besed;
- Dodane so zastavice za nadzor avtomatske postavitve naglasov in postavitve črke „ё“.
Trenutno su dostupna 4 glasa na ruskom jeziku za najnoviju verziju sinteze, ali u bliskoj budućnosti biće objavljena sledeća verzija sa sledećim promenama:
- Brzina sinteze će se povećati još 2-4 puta;
- Biće ažurirani modeli sinteze za jezike zemalja ZND-a: Kalmyk, Tatar, Uzbekistan i Ukrajinski;
- Biće dodati modeli za evropske jezike;
- Biće dodati modeli za indijske jezike;
- Biće dodati modeli za engleski jezik.
Neki od sistemskih problema koji su prisutni u sintezi Silero:
- Za razliku od tradicionalnijih rešenja za sintezu, kao što je RHVoice, sinteza Silero nema integraciju sa SAPI-jem, jednostavnih klijenata za instalaciju i integracija za Windows i Android;
- Iako je brzina bez presedana za ovo rešenje, ona može biti nedovoljna za sintezu u realnom vremenu na slabim procesorima u visokom kvalitetu;
- Rešenje za automatsko postavljanje akcenata ne obrađuje omograme (reči poput zAmok i zamOk) i još uvek pravi greške, ali će ova nedovršenost biti ispravljena u budućim verzijama;
- Trenutna verzija sinteze ne radi na procesorima bez AVX2 instrukcija (ili je potrebno posebno menjati postavke PyTorcha), jer je jedan od modula unutar modela kvantizovan;
- Trenutna verzija sinteze ima samo jednu zavisnost, PyTorch, a sav sadržaj je 'zakovan' unutar modela i JIT paketa. Izvori modela se ne objavljuju, kao ni kod za pokretanje modela preko klijenata PyTorch za druge jezike;
- Libtorch, dostupan za mobilne platforme, mnogo je složeniji od ONNX runtime-a, ali ONNX verzija modela trenutno nije dostupna.
Izvor: opennet.ru
