साइलेरो स्पीच सिंथेसिस सिस्टम की नई रिलीज

सिलेरो टेक्स्ट-टू-स्पीच न्यूरल नेटवर्क स्पीच सिंथेसिस सिस्टम की एक नई सार्वजनिक रिलीज़ उपलब्ध है। परियोजना का मुख्य उद्देश्य एक आधुनिक, उच्च गुणवत्ता वाली भाषण संश्लेषण प्रणाली बनाना है जो निगमों के वाणिज्यिक समाधानों से कमतर नहीं है और महंगे सर्वर उपकरण के उपयोग के बिना सभी के लिए सुलभ है।

मॉडल जीएनयू एजीपीएल लाइसेंस के तहत वितरित किए जाते हैं, लेकिन परियोजना विकसित करने वाली कंपनी मॉडलों के प्रशिक्षण के लिए तंत्र का खुलासा नहीं करती है। चलाने के लिए, आप PyTorch और फ्रेमवर्क का उपयोग कर सकते हैं जो ONNX प्रारूप का समर्थन करते हैं। सिलेरो में भाषण संश्लेषण गहराई से संशोधित आधुनिक तंत्रिका नेटवर्क एल्गोरिदम और डिजिटल सिग्नल प्रोसेसिंग विधियों के उपयोग पर आधारित है।

यह ध्यान दिया गया है कि भाषण संश्लेषण के लिए आधुनिक तंत्रिका नेटवर्क समाधानों की मुख्य समस्या यह है कि वे अक्सर केवल भुगतान किए गए क्लाउड समाधानों के भीतर ही उपलब्ध होते हैं, और सार्वजनिक उत्पादों में उच्च हार्डवेयर आवश्यकताएं होती हैं, कम गुणवत्ता वाले होते हैं, या पूर्ण और उपयोग के लिए तैयार नहीं होते हैं उत्पाद. उदाहरण के लिए, नए लोकप्रिय एंड-टू-एंड सिंथेसिस आर्किटेक्चर में से एक, वीआईटीएस को सिंथेसिस मोड में सुचारू रूप से चलाने के लिए (अर्थात, मॉडल प्रशिक्षण के लिए नहीं), 16 गीगाबाइट से अधिक वीआरएएम वाले वीडियो कार्ड की आवश्यकता होती है।

वर्तमान प्रवृत्ति के विपरीत, सिलेरो समाधान AVX1 निर्देशों के साथ इंटेल प्रोसेसर के 86 x2 थ्रेड पर भी सफलतापूर्वक चलते हैं। 4 प्रोसेसर थ्रेड्स पर, संश्लेषण आपको 30 kHz संश्लेषण मोड में 60 से 8 सेकंड प्रति सेकंड, 24 kHz मोड में - 15-20 सेकंड, और 48 kHz मोड में - लगभग 10 सेकंड तक संश्लेषण करने की अनुमति देता है।

नई सिलेरो रिलीज़ की मुख्य विशेषताएं:

• मॉडल का आकार 2 गुना घटाकर 50 मेगाबाइट कर दिया गया है;
• मॉडल्स को पता है कि कैसे रुकना है;
• रूसी में 4 उच्च-गुणवत्ता वाली आवाज़ें उपलब्ध हैं (और यादृच्छिक संख्या में)। उच्चारण उदाहरण;
• मॉडल 10 गुना तेज़ हो गए हैं और, उदाहरण के लिए, 24 kHz मोड में वे आपको 20 प्रोसेसर थ्रेड्स पर प्रति सेकंड 4 सेकंड तक ऑडियो संश्लेषित करने की अनुमति देते हैं;
• एक भाषा के लिए सभी ध्वनि विकल्प एक मॉडल में पैक किए गए हैं;
• मॉडल टेक्स्ट के पूरे पैराग्राफ को इनपुट के रूप में स्वीकार कर सकते हैं, एसएसएमएल टैग समर्थित हैं;
• संश्लेषण चुनने के लिए तीन नमूना आवृत्तियों में एक साथ काम करता है - 8, 24 और 48 किलोहर्ट्ज़;
• "बच्चों की समस्याएं" हल हो गई हैं: अस्थिरता और गायब शब्द;
• उच्चारण के स्वचालित स्थान और "ई" अक्षर के स्थान को नियंत्रित करने के लिए झंडे जोड़े गए।

वर्तमान में, संश्लेषण के नवीनतम संस्करण के लिए, रूसी में 4 आवाज़ें सार्वजनिक रूप से उपलब्ध हैं, लेकिन निकट भविष्य में अगला संस्करण निम्नलिखित परिवर्तनों के साथ प्रकाशित किया जाएगा:

• संश्लेषण दर 2-4 गुना बढ़ जाएगी;
• सीआईएस भाषाओं के लिए संश्लेषण मॉडल अपडेट किए जाएंगे: काल्मिक, तातार, उज़्बेक और यूक्रेनी;
• यूरोपीय भाषाओं के मॉडल जोड़े जाएंगे;
• भारतीय भाषाओं के लिए मॉडल जोड़े जाएंगे;
• अंग्रेजी के लिए मॉडल जोड़े जाएंगे।

सिलेरो संश्लेषण में निहित कुछ सिस्टम ब्रेकडाउन:

• RHVoice जैसे अधिक पारंपरिक संश्लेषण समाधानों के विपरीत, सिलेरो संश्लेषण में SAPI एकीकरण, आसानी से स्थापित होने वाले क्लाइंट या Windows और Android के लिए एकीकरण नहीं है;
• गति, हालांकि ऐसे समाधान के लिए अभूतपूर्व रूप से उच्च है, उच्च गुणवत्ता पर कमजोर प्रोसेसर पर ऑन-द-फ्लाई संश्लेषण के लिए पर्याप्त नहीं हो सकती है;
• ऑटो-एक्सेंट समाधान होमोग्राफ़ (महल और महल जैसे शब्द) को संभाल नहीं पाता है और फिर भी गलतियाँ करता है, लेकिन इसे भविष्य के रिलीज़ में ठीक कर दिया जाएगा;
• संश्लेषण का वर्तमान संस्करण AVX2 निर्देशों के बिना प्रोसेसर पर काम नहीं करता है (या आपको विशेष रूप से PyTorch सेटिंग्स को बदलने की आवश्यकता है) क्योंकि मॉडल के अंदर मॉड्यूल में से एक को परिमाणित किया गया है;
• संश्लेषण के वर्तमान संस्करण में अनिवार्य रूप से एक एकल PyTorch निर्भरता है; सभी स्टफिंग मॉडल और JIT पैकेज के अंदर "हार्डवायर्ड" है। मॉडलों के स्रोत कोड प्रकाशित नहीं किए गए हैं, साथ ही अन्य भाषाओं के लिए PyTorch क्लाइंट से मॉडल चलाने के लिए कोड भी प्रकाशित नहीं किए गए हैं;
• मोबाइल प्लेटफ़ॉर्म के लिए उपलब्ध लिबटॉर्च, ONNX रनटाइम की तुलना में बहुत अधिक भारी है, लेकिन मॉडल का ONNX संस्करण अभी तक उपलब्ध नहीं है।

स्रोत: opennet.ru