Der nye offentlige version af Silero Text-to-Speech neuro-netværkssystemet er tilgængelig. Projektet har som hovedmål at skabe et moderne, højkvalitets talesynthesesystem, der kan konkurrere med kommercielle løsninger fra virksomheder og er tilgængeligt for alle uden brug af dyr serverhardware.
Modellerne distribueres under GNU AGPL-licensen, men udviklingsselskabet afslører ikke træningsmetoderne for modellerne. Du kan bruge PyTorch og rammer, der understøtter ONNX-formatet til opstart. Talesyntesen i Silero er baseret på dybt modificerede moderne algoritmer og metoder til digital signalbehandling.
Det bemærkes, at den primære udfordring med moderne neuro-netværk løsninger til talesyntese er, at de ofte kun er tilgængelige via betalte cloud-løsninger, mens offentlige produkter har høje hardwarekrav, lavere kvalitet eller ikke er fuldstændige og klar til brug. For eksempel kræver problemfri kørsel af en af de nye populære end-to-end synthesearkitekturer, VITS, til syntese (det vil sige ikke til træning af modeller) grafikkort med mere end 16 gigabyte VRAM.
Modsat den gængse trend kan Silero-løsningerne køre selv på en enkelt tråd fra en Intel x86-processor med AVX2-instruktioner. På 4 tråde kan syntesen syntetisere mellem 30 og 60 sekunder per sekund i 8 kHz-tilstand, i 24 kHz-tilstand 15-20 sekunder og i 48 kHz-tilstand cirka 10 sekunder.
Nye funktioner i Silero-udgivelsen:
- Modellens størrelse er reduceret med 50% til 50 megabyte.
- Modellerne kan lave pauser.
- Der er 4 højtkvalitets stemmer til rådighed på russisk (og et uendeligt antal tilfældige). Eksempler på udtale.
- Modellerne er blevet 10 gange hurtigere, og for eksempel i 24 kHz-tilstand tillader de syntese af op til 20 sekunders lyd per sekund på 4 tråde.
- Alle stemmevarianter for ét sprog er pakket i én model.
- Modellerne kan tage hele tekstafsnit som input, og SSML-tags understøttes.
- Syntesen fungerer straks i tre valgfri prøvefrekvenser — 8, 24 og 48 kHz.
- Barndomsvanskelighederne er løst: ustabilitet og ordspring.
- Der er tilføjet flags til kontrol af automatisk placering af accenter og for at sætte bogstavet 'ё' korrekt.
I øjeblikket er der offentligt tilgængelige 4 stemmer på russisk til den nyeste version af syntesen, men i den nærmeste fremtid vil den næste version med følgende ændringer blive offentliggjort:
- Synteshastigheden vil stige med yderligere 2-4 gange;
- Syntesemodellerne for CIS-sprog vil blive opdateret: Kalmukisk, Tatarisk, Usbekisk og Ukrainisk;
- Modeller til europæiske sprog vil blive tilføjet;
- Modeller til indiske sprog vil blive tilføjet;
- Modeller til engelsk vil blive tilføjet.
Nogle af de systemiske problemer, der er forbundet med Silero-syntesen:
- I modsætning til mere traditionelle løsninger til syntese, såsom RHVoice, har Silero-syntesen ikke integration med SAPI, nemme installationsklienter og integrationer til Windows og Android;
- Hastigheden, selvom den er uden fortilfælde høj for en sådan løsning, kan være utilstrækkelig til online syntese på svage processorer i høj kvalitet;
- Løsningen til automatisk trykplacering håndterer ikke homografer (ord som zAmok og zamOk) og laver stadig fejl, men dette problem vil blive løst i fremtidige udgivelser;
- Den nuværende version af syntesen virker ikke på processorer uden AVX2-instruktioner (eller kræver, at PyTorch-indstillingerne ændres), da en af modulerne inde i modellen er kvantiseret;
- Den nuværende version af syntesen har stort set kun PyTorch som afhængighed, alt indholdet er "indpakket" inde i modellen og JIT-pakkerne. Kildekoden til modellerne offentliggøres ikke, ligesom koden til at køre modellerne fra PyTorch-klienter til andre sprog;
- Libtorch, der er tilgængeligt for mobile platforme, er meget mere omstændeligt end ONNX-runtime, men ONNX-versionen af modellen gives ikke endnu.
Kilde: opennet.ru
