En ny offentlig version av Silero Text-to-Speech-systemet för talsyntes Àr tillgÀnglig. Projektet syftar frÀmst till att skapa ett modernt, högkvalitativt talsyntessystem som inte Àr sÀmre Àn kommersiella lösningar frÄn företag och som Àr tillgÀngligt för alla utan att krÀva dyr serverutrustning.
Modellerna distribueras under GNU AGPL-licensen, men företaget som utvecklar projektet avslöjar inte mekanismen för trÀning av modellerna. För att köra systemet kan man anvÀnda PyTorch och ramverk som stöder ONNX-formatet. Talsyntesen i Silero baseras pÄ djupt modifierade moderna neurala nÀtverksalgoritmer och metoder för digital signalbehandling.
Det noteras att det största problemet med moderna neurala nÀtverkslösningar för talsyntes ofta Àr att de endast Àr tillgÀngliga inom betalda molnlösningar, medan offentliga produkter har höga hÄrdvarukrav, lÀgre kvalitet eller inte Àr fullstÀndiga och fÀrdiga för anvÀndning. Till exempel, för att problemfritt köra en av de nya populÀra end-to-end syntesarkitekturerna, VITS, i synteslÀge (dvs. inte för att trÀna modellerna), krÀvs grafikkort med mer Àn 16 GB VRAM.
Trots den rÄdande trenden körs Silero-lösningar framgÄngsrikt Àven pÄ ett x86-processorkÀrna i Intel med AVX2-instruktioner. I fyra trÄdar tillÄter syntesen att man syntetiserar mellan 30 och 60 sekunder per sekund i 8 kHz-lÀget, i 24 kHz-lÀget - 15-20 sekunder, och i 48 kHz-lÀget - cirka 10 sekunder.
Huvudfunktionerna i den nya versionen av Silero:
- Modellstorleken har minskats med 50 % till 50 megabyte;
- Modellerna kan göra pauser;
- Fyra högkvalitativa röster pÄ ryska (och ett oÀndligt antal slumpmÀssiga). Exempel pÄ uttal;
- Modellerna Àr tio gÄnger snabbare och till exempel i 24 kHz-lÀget gör det möjligt att syntetisera upp till 20 sekunder ljud per sekund pÄ fyra processorkÀrnor;
- Alla röstvarianter för ett sprÄk paketeras i en enda modell;
- Modellerna kan ta emot hela stycken text som indata, SSML-taggar stöds;
- Syntesen fungerar samtidigt med tre valfria samplingsfrekvenser â 8, 24 och 48 kHz;
- Barnsjukdomar har ÄtgÀrdats: instabilitet och bortfall av ord;
- Flaggor har lagts till för att kontrollera automatisk betoning och anvĂ€ndning av bokstaven «Ń».
För den senaste versionen av syntes Àr 4 röster pÄ ryska offentligt tillgÀngliga, men inom en snar framtid kommer nÀsta version med följande Àndringar att publiceras:
- Synteshastigheten kommer att öka ytterligare 2-4 gÄnger;
- Syntesmodellerna för sprÄk i det forna Sovjetunionen kommer att uppdateras: Kalmykiska, Tatariska, Uzbeckiska och Ukrainska;
- Modeller för europeiska sprÄk kommer att lÀggas till;
- Modeller för indiska sprÄk kommer att lÀggas till;
- Modeller för engelska sprÄket kommer att lÀggas till.
Vissa av de systematiska problemen som Àr förknippade med Silero-syntesen:
- Till skillnad frÄn mer traditionella lösningar för syntes, sÄsom RHVoice, har Silero-syntesen ingen integration med SAPI, inga enkla installationer av klienter och integrationer för Windows och Android;
- Hastigheten, Àven om den Àr utan motstycke hög för en sÄdan lösning, kan vara otillrÀcklig för realtidsyntes pÄ svaga processorer i hög kvalitet;
- Lösningen för automatisk betoning hanterar inte homografer (ord sÄsom zAmok och zamOk) och gör fortfarande misstag, men denna brist kommer att ÄtgÀrdas i framtida releaser;
- Den nuvarande versionen av syntesen fungerar inte pÄ processorer utan AVX2-instruktioner (eller instÀllningarna för PyTorch mÄste Àndras specifikt), eftersom en av modulerna inuti modellen Àr kvantiserad;
- Den nuvarande versionen av syntesen har i praktiken endast PyTorch som beroende, allt innehÄll Àr "inbÀddat" inom modellen och JIT-paketen. KÀllkoden för modellerna publiceras inte, likasÄ koden för att köra modeller frÄn klienter för PyTorch för andra sprÄk;
- Libtorch, som finns tillgÀngligt för mobila plattformar, Àr mycket mer skrymmande Àn ONNX-runtime, men ONNX-versionen av modellen tillhandahÄlls för tillfÀllet inte.
KĂ€lla: opennet.ru
