ChatTTS परियोजनाले भावनात्मक भाषण संश्लेषणको लागि मोडेल र सम्बन्धित मेसिन लर्निङ टुलकिट प्रकाशित गरेको छ। ChatTTS परियोजना विशेष गरी अन्तरक्रियात्मक सहायकहरू जस्ता संवादात्मक प्रणालीहरूमा प्रयोगको लागि अनुकूलित गरिएको छ, र प्राकृतिक भावनात्मक सञ्चारका गुणहरूलाई दोहोर्याउने लक्ष्य राख्छ। धेरै स्पिकरहरूसँग अन्तरक्रिया र एक अन्तरक्रियात्मक संवाद निर्माण समर्थित छन्। प्रोसोडिक तत्वहरू जस्तै हाँसो, पजहरू र इन्टरजेक्शनहरू सही रूपमा ट्र्याक गरिन्छ र संश्लेषणको क्रममा पुन: उत्पादन गरिन्छ।
मोडेल प्रशिक्षण गर्दा, भाषण रेकर्डिङ को लगभग 40 हजार घण्टा (मोडल को गैर-सार्वजनिक संस्करण मा - 100 हजार घण्टा) प्रयोग गरियो। विकासकर्ताहरूका अनुसार, मोडेलको इन्टोनेसन जेनरेशन क्षमताहरू सबै पहिले उपलब्ध खुला भाषण संश्लेषण मोडेलहरू भन्दा उच्च छन्। संश्लेषणको समयमा भावनाहरू नियन्त्रण गर्न, टोकन प्रतिस्थापन मात्र समर्थित छ, उदाहरणका लागि, हाँसोको लागि "[हाँस]"। 30-सेकेन्ड रेकर्डिङ उत्पन्न गर्न, 4 GB मेमोरी भएको GPU आवश्यक छ। NVIDIA GeForce RTX 4090D GPU मा, जेनेरेशन रेट लगभग 7 सिमान्टिक टोकन प्रति सेकेन्ड हो। अङ्ग्रेजी र चिनियाँ भाषामा महिला र पुरुष आवाजहरूको संश्लेषण समर्थित छ (रूसी भाषाको लागि हामी TTS फ्रेमवर्क र XTTS-v2 मोडेल सिफारिस गर्न सक्छौं, जसले संश्लेषणको अतिरिक्त छोटो भाषण रेकर्डिङबाट आवाज क्लोनिङलाई समर्थन गर्दछ, अर्को भाषामा संश्लेषणको लागि। )।
ChatTTS मोडेल CC BY-NC-ND 4.0 (Creative Commons Attribution-Noncommercial-NoDerivatives 4.0) लाइसेन्स अन्तर्गत प्रकाशित गरिएको छ, जसले एट्रिब्युशनको साथ निःशुल्क पुनर्वितरणलाई अनुमति दिन्छ, तर व्युत्पन्न कार्यहरू सिर्जना गर्न र व्यावसायिक परियोजनाहरूमा प्रयोग गर्न निषेध गर्दछ। थप रूपमा, जालसाजी र आपराधिक कार्यहरू गर्न मोडेलको प्रयोगबाट जोगाउन, मोडेललाई प्रशिक्षण दिँदा, उच्च-फ्रिक्वेन्सी आवाजको प्रतिस्थापन प्रयोग गरिएको थियो र MP3 ढाँचा प्रयोग गरेर अडियो कम्प्रेसनको अधिकतम स्तर प्रयोग गरिएको थियो।
स्रोत: opennet.ru
