Silero भाषण संश्लेषण प्रणाली को नयाँ रिलीज

सिलेरो टेक्स्ट-टू-स्पीच न्यूरल नेटवर्क स्पीच संश्लेषण प्रणालीको नयाँ सार्वजनिक रिलीज उपलब्ध छ। परियोजना मुख्यतया एक आधुनिक, उच्च-गुणस्तरको वाणी संश्लेषण प्रणाली सिर्जना गर्ने उद्देश्य हो जुन निगमहरूबाट व्यावसायिक समाधानहरू भन्दा कम छैन र महँगो सर्भर उपकरणहरूको प्रयोग बिना सबैको लागि पहुँचयोग्य छ।

GNU AGPL लाइसेन्स अन्तर्गत मोडलहरू वितरण गरिन्छ, तर परियोजना विकास गर्ने कम्पनीले मोडेलहरूलाई तालिम दिने संयन्त्र खुलासा गर्दैन। चलाउनको लागि, तपाइँ PyTorch र ONNX ढाँचालाई समर्थन गर्ने फ्रेमवर्कहरू प्रयोग गर्न सक्नुहुन्छ। सिलेरोमा स्पीच संश्लेषण गहिरो परिमार्जित आधुनिक न्यूरल नेटवर्क एल्गोरिदम र डिजिटल सिग्नल प्रशोधन विधिहरूको प्रयोगमा आधारित छ।

यो नोट गरिएको छ कि भाषण संश्लेषणको लागि आधुनिक न्यूरल नेटवर्क समाधानहरूको मुख्य समस्या यो हो कि तिनीहरू प्रायः सशुल्क क्लाउड समाधानहरूमा मात्र उपलब्ध हुन्छन्, र सार्वजनिक उत्पादनहरूमा उच्च हार्डवेयर आवश्यकताहरू छन्, कम गुणस्तरका छन्, वा पूर्ण र प्रयोग गर्न तयार छैनन्। उत्पादनहरू। उदाहरणका लागि, नयाँ लोकप्रिय अन्त-देखि-अन्त संश्लेषण आर्किटेक्चरहरू, VITS, सजिलैसँग संश्लेषण मोडमा चलाउन (अर्थात, मोडेल प्रशिक्षणको लागि होइन), VRAM को 16 गीगाबाइट भन्दा बढी भएको भिडियो कार्डहरू आवश्यक पर्दछ।

हालको प्रवृतिको विपरित, सिलेरो समाधानहरू AVX1 निर्देशनहरूको साथ Intel प्रोसेसरको 86 x2 थ्रेडमा पनि सफलतापूर्वक चल्छन्। 4 प्रोसेसर थ्रेडहरूमा, संश्लेषणले तपाईंलाई 30 kHz संश्लेषण मोडमा 60 देखि 8 सेकेन्ड प्रति सेकेन्ड, 24 kHz मोडमा - 15-20 सेकेन्ड, र 48 kHz मोडमा - लगभग 10 सेकेन्डमा संश्लेषण गर्न अनुमति दिन्छ।

नयाँ Silero रिलीज को मुख्य विशेषताहरु:

• मोडेल साइज २ गुणाले ५० मेगाबाइटमा घटाइएको छ;
• मोडेलहरूलाई पज गर्ने तरिका थाहा छ;
• रूसी भाषामा 4 उच्च-गुणस्तरको आवाजहरू उपलब्ध छन् (र अनियमित व्यक्तिहरूको असीमित संख्या)। उच्चारण उदाहरणहरू;
• मोडेलहरू 10 गुणा छिटो भएका छन् र, उदाहरणका लागि, 24 kHz मोडमा तिनीहरूले तपाईंलाई 20 प्रोसेसर थ्रेडहरूमा प्रति सेकेन्ड 4 सेकेन्ड अडियो सम्म संश्लेषण गर्न अनुमति दिन्छ;
• एउटा भाषाको लागि सबै आवाज विकल्पहरू एउटै मोडेलमा प्याकेज गरिएका छन्;
• मोडेलहरूले पाठको सम्पूर्ण अनुच्छेदहरूलाई इनपुटको रूपमा स्वीकार गर्न सक्छन्, SSML ट्यागहरू समर्थित छन्;
• 8, 24 र 48 किलोहर्ट्जबाट छनौट गर्नका लागि तीनवटा नमूना फ्रिक्वेन्सीहरूमा संश्लेषणले एकै पटक काम गर्छ;
• "बालबालिका समस्याहरू" हल गरिएको छ: अस्थिरता र हराएको शब्दहरू;
• एक्सेन्टहरूको स्वचालित प्लेसमेन्ट र अक्षर "ई" को प्लेसमेन्ट नियन्त्रण गर्न झण्डाहरू थपियो।

हाल, संश्लेषणको नयाँ संस्करणको लागि, रूसी भाषामा 4 आवाजहरू सार्वजनिक रूपमा उपलब्ध छन्, तर निकट भविष्यमा निम्न परिवर्तनहरूसँग अर्को संस्करण प्रकाशित हुनेछ:

• संश्लेषण दर अर्को 2-4 पटक बढ्नेछ;
• CIS भाषाहरूको लागि संश्लेषण मोडेलहरू अद्यावधिक गरिनेछ: काल्मिक, टाटर, उज्बेक र युक्रेनी;
• युरोपेली भाषाहरूको लागि मोडेलहरू थपिनेछन्;
• भारतीय भाषाहरूको लागि मोडेलहरू थपिनेछन्;
• अंग्रेजीका लागि मोडेलहरू थपिनेछन्।

सिलेरो संश्लेषणमा निहित प्रणाली ब्रेकडाउनहरू:

• अधिक परम्परागत संश्लेषण समाधानहरू जस्तै RHVoice, सिलेरो संश्लेषणमा SAPI एकीकरण, स्थापना गर्न सजिलो क्लाइन्टहरू, वा Windows र Android को लागि एकीकरण छैन;
• गति, यद्यपि यस्तो समाधानको लागि अभूतपूर्व रूपमा उच्च, उच्च गुणस्तरमा कमजोर प्रोसेसरहरूमा अन-द-फ्लाई संश्लेषणको लागि पर्याप्त नहुन सक्छ;
• अटो-एक्सेन्ट समाधानले होमोग्राफहरू ह्यान्डल गर्दैन (किल्ला र महल जस्ता शब्दहरू) र अझै पनि गल्ती गर्छ, तर यसलाई भविष्यका रिलीजहरूमा सच्याइनेछ;
• संश्लेषणको हालको संस्करणले AVX2 निर्देशनहरू बिना प्रोसेसरहरूमा काम गर्दैन (वा तपाईंले विशेष रूपमा PyTorch सेटिङहरू परिवर्तन गर्न आवश्यक छ) किनभने मोडेल भित्रका मोड्युलहरू मध्ये एक क्वान्टाइज गरिएको छ;
• संश्लेषणको हालको संस्करण अनिवार्य रूपमा एकल PyTorch निर्भरता छ; सबै भराई मोडेल र JIT प्याकेजहरू भित्र "हार्डवाइर्ड" छ। मोडेलहरूको स्रोत कोडहरू प्रकाशित छैनन्, साथै अन्य भाषाहरूको लागि PyTorch ग्राहकहरूबाट चलिरहेको मोडेलहरूको लागि कोड;
• मोबाइल प्लेटफर्महरूको लागि उपलब्ध Libtorch, ONNX रनटाइम भन्दा धेरै भारी छ, तर मोडेलको ONNX संस्करण अझै उपलब्ध छैन।

स्रोत: opennet.ru