Dostupan je novi javni izdanak neuralne mrežne sustave sinteze govora Silero Text-to-Speech. Projekt je prvenstveno usmjeren na izradu suvremenog visokokvalitetnog sustava sinteze govora, koji ne zaostaje za komercijalnim rješenjima korporacija i dostupan je svima bez korištenja skupog serverskog hardvera.
Modeli se distribuiraju pod GNU AGPL licencom, ali tvrtka koja razvija projekt ne otkriva mehanizme treniranja modela. Za pokretanje se može koristiti PyTorch i okviri koji podržavaju ONNX format. Sinteza govora u Silero temelji se na korištenju duboko izmijenjenih suvremenih neuralnih mrežnih algoritama i metoda digitalne obrade signala.
Ističe se da je glavni problem suvremenih neuralnih mrežnih rješenja za sintezu govora to što su često dostupna samo unutar plaćenih oblaka, dok javni proizvodi imaju visoke zahtjeve za opremu, nižu kvalitetu ili nisu cjeloviti i spremni za korištenje. Na primjer, za bezproblematčno pokretanje jedne od novih popularnih arhitektura end-to-end sinteze, VITS, u načinu sinteze (tj. ne za treniranje modela) potrebne su grafičke kartice s više od 16 gigabajta VRAM-a.
Unatoč ustaljenom trendu, Silero rješenja uspješno se pokreću čak i na 1 niti x86 procesora Intel s AVX2 instrukcijama. Na 4 niti procesora, sinteza omogućuje sintezu od 30 do 60 sekundi u sekundi u načinu sinteze 8 kHz, u načinu 24 kHz – 15-20 sek., a u načinu 48 kHz – oko 10 sek.
Glavne značajke novog izdanja Silero:
- Veličina modela je smanjena za 2 puta na 50 megabajta;
- Modeli mogu praviti pauze;
- Dostupna su 4 visokokvalitetna glasa na ruskom jeziku (i beskrajno mnogo nasumičnih). Primjeri izgovora;
- Modeli su postali 10 puta brži i, primjerice, u načinu 24 kHz omogućuju sintezu do 20 sekundi audio u sekundi na 4 niti procesora;
- Sve varijante glasova za jedan jezik spakovane su u jedan model;
- Modeli mogu primati cijele odlomke teksta na ulazu, podržani su SSML tagovi;
- Sinteza radi odmah u tri frekvencije uzorkovanja po izboru — 8, 24 i 48 kiloherc;
- Rješeni su "dječji problemi": nestabilnost i preskočene riječi;
- Dodane su zastavice za kontrolu automatskog postavljanja naglasaka i postavljanja slova „ё”.
Trenutno su za najnoviju verziju sinteze javno dostupna 4 glasa na ruskom jeziku, ali u bliskoj budućnosti će biti objavljena nova verzija s sljedećim promjenama:
- Brzina sinteze povećat će se još 2-4 puta;
- Bit će ažurirani modeli sinteze za jezike zemalja ZND-a: Kalmyk, Tatar, Uzbek i Ukrajinski;
- Bit će dodani modeli za europske jezike;
- Bit će dodani modeli za indijske jezike;
- Bit će dodani modeli za engleski jezik.
Neki od sistemskih problema povezanih sa sintezom Silero:
- Za razliku od tradicionalnijih rješenja za sintezu kao što je RHVoice, sinteza Silero nema integraciju s SAPI-em, jednostavne klijente za instalaciju i integracije za Windows i Android;
- Iako je brzina bez presedana za takvo rješenje, možda neće biti dovoljna za sintezu u realnom vremenu na slabijim procesorima u visokoj kvaliteti;
- Rješenje za automatsko naglašavanje ne obrađuje homograme (riječi poput zAmok i zamOk) i još uvijek griješi, ali ovaj nedostatak bit će ispravljen u budućim izdanjima;
- Trenutna verzija sinteze ne radi na procesorima bez AVX2 instrukcija (ili je potrebno posebno mijenjati postavke PyTorcha), jer je jedan od modula unutar modela kvantizovan;
- Trenutna verzija sinteze ima samo jednu zavisnost, PyTorch, a cijela struktura je 'zašivena' unutar modela i JIT paketa. Izvori modela nisu objavljeni, kao ni kod za pokretanje modela putem klijenata PyTorch za druge jezike;
- Libtorch, dostupan za mobilne platforme, mnogo je teži od ONNX runtime-a, ali ONNX verzija modela još uvijek nije dostupna.
Izvor: opennet.ru
