सिलेरो स्पीच सिंथेसिस सिस्टमचे नवीन प्रकाशन

सिलेरो टेक्स्ट-टू-स्पीच न्यूरल नेटवर्क स्पीच सिंथेसिस सिस्टमचे नवीन सार्वजनिक प्रकाशन उपलब्ध आहे. या प्रकल्पाचे मुख्य उद्दिष्ट एक आधुनिक, उच्च-गुणवत्तेची भाषण संश्लेषण प्रणाली तयार करणे आहे जी कॉर्पोरेशनच्या व्यावसायिक समाधानापेक्षा कमी दर्जाची नाही आणि महाग सर्व्हर उपकरणे न वापरता प्रत्येकासाठी प्रवेशयोग्य आहे.

मॉडेल्सचे वितरण GNU AGPL परवान्याअंतर्गत केले जाते, परंतु प्रकल्प विकसित करणारी कंपनी मॉडेल्सना प्रशिक्षण देण्याची यंत्रणा उघड करत नाही. चालवण्यासाठी, तुम्ही PyTorch आणि ONNX फॉरमॅटला सपोर्ट करणारे फ्रेमवर्क वापरू शकता. सिलेरोमधील स्पीच सिंथेसिस सखोल सुधारित आधुनिक न्यूरल नेटवर्क अल्गोरिदम आणि डिजिटल सिग्नल प्रोसेसिंग पद्धतींच्या वापरावर आधारित आहे.

हे लक्षात घेतले जाते की उच्चार संश्लेषणासाठी आधुनिक न्यूरल नेटवर्क सोल्यूशन्सची मुख्य समस्या ही आहे की ते सहसा केवळ सशुल्क क्लाउड सोल्यूशन्समध्ये उपलब्ध असतात आणि सार्वजनिक उत्पादनांना उच्च हार्डवेअर आवश्यकता असते, ते कमी दर्जाचे असतात किंवा ते पूर्ण आणि वापरण्यास तयार नसतात. उत्पादने उदाहरणार्थ, नवीन लोकप्रिय एंड-टू-एंड सिंथेसिस आर्किटेक्चर, VITS, संश्लेषण मोडमध्ये सहजतेने चालविण्यासाठी (म्हणजे मॉडेल प्रशिक्षणासाठी नाही), 16 गीगाबाइट्सपेक्षा जास्त VRAM असलेले व्हिडिओ कार्ड आवश्यक आहेत.

सध्याच्या ट्रेंडच्या विरूद्ध, सिलेरो सोल्यूशन्स AVX1 निर्देशांसह इंटेल प्रोसेसरच्या 86 x2 थ्रेडवर देखील यशस्वीरित्या चालतात. 4 प्रोसेसर थ्रेड्सवर, संश्लेषण आपल्याला 30 kHz संश्लेषण मोडमध्ये 60 ते 8 सेकंद प्रति सेकंद, 24 kHz मोडमध्ये - 15-20 सेकंद आणि 48 kHz मोडमध्ये - सुमारे 10 सेकंदात संश्लेषण करण्यास अनुमती देते.

नवीन सिलेरो रिलीझची प्रमुख वैशिष्ट्ये:

• मॉडेलचा आकार 2 पटीने 50 मेगाबाइटने कमी केला आहे;
• मॉडेल्सना कसे विराम द्यावा हे माहित आहे;
• रशियन भाषेत 4 उच्च-गुणवत्तेचे आवाज उपलब्ध आहेत (आणि यादृच्छिक लोकांची असीम संख्या). उच्चार उदाहरणे;
• मॉडेल 10 पट वेगवान झाले आहेत आणि, उदाहरणार्थ, 24 kHz मोडमध्ये ते आपल्याला 20 प्रोसेसर थ्रेड्सवर प्रति सेकंद 4 सेकंदांपर्यंत ऑडिओ संश्लेषित करण्याची परवानगी देतात;
• एका भाषेसाठी सर्व व्हॉइस पर्याय एका मॉडेलमध्ये पॅक केले जातात;
• मॉडेल मजकूराचा संपूर्ण परिच्छेद इनपुट म्हणून स्वीकारू शकतात, SSML टॅग समर्थित आहेत;
• संश्लेषण एकाच वेळी तीन सॅम्पलिंग फ्रिक्वेन्सीमधून निवडण्यासाठी कार्य करते - 8, 24 आणि 48 किलोहर्ट्ज;
• "मुलांच्या समस्या" सोडवल्या गेल्या आहेत: अस्थिरता आणि गहाळ शब्द;
• अॅक्सेंटचे स्वयंचलित प्लेसमेंट आणि "е" अक्षराचे प्लेसमेंट नियंत्रित करण्यासाठी ध्वज जोडले.

सध्या, संश्लेषणाच्या नवीनतम आवृत्तीसाठी, रशियन भाषेत 4 आवाज सार्वजनिकपणे उपलब्ध आहेत, परंतु नजीकच्या भविष्यात पुढील आवृत्ती खालील बदलांसह प्रकाशित केली जाईल:

• संश्लेषण दर आणखी 2-4 वेळा वाढेल;
• सीआयएस भाषांसाठी संश्लेषण मॉडेल अद्यतनित केले जातील: काल्मिक, टाटर, उझबेक आणि युक्रेनियन;
• युरोपियन भाषांसाठी मॉडेल जोडले जातील;
• भारतीय भाषांसाठी मॉडेल जोडले जातील;
• इंग्रजीसाठी मॉडेल जोडले जातील.

सिलेरो संश्लेषणामध्ये अंतर्भूत असलेल्या काही सिस्टम ब्रेकडाउन:

• RHVoice सारख्या पारंपारिक संश्लेषण सोल्यूशन्सच्या विपरीत, सिलेरो सिंथेसिसमध्ये SAPI एकत्रीकरण, स्थापित करण्यास सोपे क्लायंट किंवा Windows आणि Android साठी एकत्रीकरण नाही;
• वेग, जरी अशा समाधानासाठी अभूतपूर्व उच्च असला तरी, उच्च गुणवत्तेवर कमकुवत प्रोसेसरवर ऑन-द-फ्लाय संश्लेषणासाठी पुरेसा असू शकत नाही;
• स्वयं-अॅक्सेंट सोल्यूशन होमोग्राफ (किल्ला आणि वाड्यासारखे शब्द) हाताळत नाही आणि तरीही चुका करते, परंतु भविष्यातील प्रकाशनांमध्ये हे दुरुस्त केले जाईल;
• संश्लेषणाची वर्तमान आवृत्ती AVX2 निर्देशांशिवाय प्रोसेसरवर कार्य करत नाही (किंवा आपल्याला विशेषतः PyTorch सेटिंग्ज बदलण्याची आवश्यकता आहे) कारण मॉडेलमधील मॉड्यूलपैकी एक परिमाणित आहे;
• संश्लेषणाच्या सध्याच्या आवृत्तीमध्ये एकच PyTorch अवलंबित्व आहे; मॉडेल आणि JIT पॅकेजेसमध्ये सर्व स्टफिंग "हार्डवायर" आहे. मॉडेल्सचे स्त्रोत कोड प्रकाशित केलेले नाहीत, तसेच इतर भाषांसाठी PyTorch क्लायंटकडून मॉडेल चालवण्याचा कोड;
• Libtorch, मोबाइल प्लॅटफॉर्मसाठी उपलब्ध आहे, ONNX रनटाइमपेक्षा खूपच अवजड आहे, परंतु मॉडेलची ONNX आवृत्ती अद्याप उपलब्ध नाही.

स्त्रोत: opennet.ru