Elérhető egy új nyilvános kiadás a Silero Text-to-Speech neurális beszédszintetizáló rendszerből. A projekt elsődlegesen egy modern, kiváló minőségű beszédszintetizáló rendszer létrehozására összpontosít, amely nem marad el a vállalatok kereskedelmi megoldásaitól, és mindenki számára elérhető drága szerverhardver használata nélkül.
A modellek a GNU AGPL licenc alatt terjednek, de a projektet fejlesztő társaság nem teszi közzé a modellek oktatási mechanizmusát. A PyTorch és az ONNX formátumot támogató keretrendszerek használatára van lehetőség. A Silero beszédszintézise mélyen módosított modern neurális algoritmusok és digitális jelfeldolgozási módszerek használatán alapul.
Megjegyzik, hogy a modern neurális megoldások beszédszintézishez kapcsolódó fő problémája az, hogy gyakran csak fizetős felhőmegoldások keretében érhetők el, míg a nyilvános termékek magas hardverigénnyel bírnak, alacsonyabb minőségűek, vagy nem befejezett, használatra kész termékek. Például egy népszerű új end-to-end szintetizáló architektúra, a VITS zökkenőmentes futtatásához (tehát nem a modellek betanítására) olyan videokártyák szükségesek, amelyek több mint 16 gigabájt VRAM-mal rendelkeznek.
Ellenére a kialakult trendnek a Silero megoldásai sikeresen futtathatók még 1 x86 Intel AVX2 utasításokkal rendelkező processzor szálon is. 4 szálon a szintézis 30-60 másodpercnyit tud szintetizálni másodpercenként 8 kHz-en, 24 kHz-en 15-20 másodpercet, míg 48 kHz-en körülbelül 10 másodpercet.
A Silero új kiadásának főbb jellemzői:
- A modell mérete 2 megabájt, 50 megabájtra csökkent.
- A modellek képesek szüneteket beiktatni.
- 4 magas minőségű hang érhető el orosz nyelven (és végtelen mennyiségű esetleges hang is). Példák a kiejtésre:
- A modellek 10-szer gyorsabbak lettek, és például 24 kHz-en 20 másodperc audio szintetizálására képesek másodpercenként 4 szálon.
- Minden nyelvhez tartozó hangváltozat egyetlen modellbe van csomagolva.
- A modellek képesek egész bekezdések szövegét fogadni, SSML címkék támogatottak.
- A szintézis három választható mintavételezési frekvencián működik — 8, 24 és 48 kilohertzen.
- Megoldották a "gyermekbetegségeket": instabilitás és szavak kihagyása.
- Flagok kerültek hozzáadásra az automatikus hangsúlyozás és az 'ё' betű beillesztésének ellenőrzésére.
Jelenleg a legújabb verzióhoz négy orosz nyelvű hang érhető el nyilvánosan, de a közeljövőben megjelenik a következő verzió a következő módosításokkal:
- A szintézis sebessége 2-4-szeresére növekszik;
- Frissítve lesznek a KSG nyelvek szintézis modelljei: Kalmük, Tatar, Üzbeg és Ukrán;
- Modell hozzáadásra kerül az európai nyelvekhez;
- Modell hozzáadásra kerül az indiai nyelvekhez;
- Modell hozzáadásra kerül az angol nyelvhez.
A Silero szintézishez kapcsolódó néhány rendszerszintű probléma:
- A Silero szintézis, a hagyományosabb szintézis megoldásokkal, mint például a RHVoice, nem rendelkezik SAPI integrációval, egyszerűen telepíthető kliensekkel és integrációkkal Windows és Android rendszerekhez;
- Bár a sebesség példa nélküli magas ezen megoldás esetében, lehet, hogy nem elegendő a gyenge processzorokon történő valós idejű szintézishez magas minőségben;
- Az automatikus hangsúlyozásra szolgáló megoldás nem kezeli az omográfokat (olyan szavakat, mint a zAmok és zamOk), és továbbra is hibákat végez, de ezt a hiányosságot a jövőbeni kiadásokban javítani fogják;
- A jelenlegi szintézis verzió nem működik AVX2 irányelvekkel nem rendelkező processzorokon (vagy speciálisan módosítani kell a PyTorch beállításokat), mivel a modell egyik modulja kvantálva van;
- A jelenlegi szintézis lényegében egyetlen függőséggel rendelkezik, a PyTorchéval, az egész tartalom „be van építve” a modellbe és a JIT csomagokba. A modellek forrása nem kerül nyilvánosságra, ahogy a modellek PyTorch ügyfélből történő indításához szükséges kód sem;
- A mobil platformokon elérhető Libtorch sokkal terjedelmesebb, mint az ONNX futtatókör, de az ONNX verziója a modellnek egyelőre nem érhető el.
Forrás: opennet.ru
