Google Lyra V2 ओपन सोर्स ऑडिओ कोडेक रिलीज करते

Google ने Lyra V2 ऑडिओ कोडेक सादर केले आहे, जे अतिशय संथ संप्रेषण चॅनेलवर जास्तीत जास्त आवाज गुणवत्ता प्राप्त करण्यासाठी मशीन लर्निंग तंत्र वापरते. नवीन आवृत्तीमध्ये नवीन न्यूरल नेटवर्क आर्किटेक्चरमध्ये संक्रमण, अतिरिक्त प्लॅटफॉर्मसाठी समर्थन, विस्तारित बिटरेट नियंत्रण क्षमता, सुधारित कार्यप्रदर्शन आणि उच्च ऑडिओ गुणवत्ता वैशिष्ट्ये आहेत. संदर्भ कोड अंमलबजावणी C++ मध्ये लिहिलेली आहे आणि Apache 2.0 लायसन्स अंतर्गत वितरित केली आहे.

कमी वेगाने प्रसारित व्हॉइस डेटाच्या गुणवत्तेच्या बाबतीत, डिजिटल सिग्नल प्रोसेसिंग पद्धती वापरणाऱ्या पारंपारिक कोडेक्सपेक्षा Lyra लक्षणीयरित्या श्रेष्ठ आहे. ऑडिओ कॉम्प्रेशन आणि सिग्नल रूपांतरणाच्या पारंपारिक पद्धतींव्यतिरिक्त, मर्यादित प्रमाणात प्रसारित केलेल्या माहितीच्या परिस्थितीत उच्च दर्जाचे व्हॉइस ट्रान्समिशन प्राप्त करण्यासाठी, लिरा मशीन लर्निंग सिस्टमवर आधारित स्पीच मॉडेल वापरते, जी तुम्हाला गहाळ माहितीच्या आधारावर पुन्हा तयार करण्याची परवानगी देते. ठराविक भाषण वैशिष्ट्ये.

कोडेकमध्ये एन्कोडर आणि डीकोडर समाविष्ट आहे. एन्कोडरचा अल्गोरिदम दर 20 मिलीसेकंदांनी व्हॉइस डेटा पॅरामीटर्स काढण्यासाठी, त्यांना संकुचित करून 3.2kbps ते 9.2kbps पर्यंत बिटरेट असलेल्या नेटवर्कवर प्राप्तकर्त्याकडे प्रसारित करण्यासाठी उकळतो. रिसीव्हरच्या शेवटी, डीकोडर ट्रान्समिटेड ऑडिओ पॅरामीटर्सच्या आधारे मूळ स्पीच सिग्नलची पुनर्रचना करण्यासाठी जनरेटिव्ह मॉडेल वापरतो, ज्यामध्ये लॉगरिदमिक चॉक स्पेक्ट्रोग्राम समाविष्ट असतात जे वेगवेगळ्या फ्रिक्वेन्सी श्रेणींमध्ये भाषणाची ऊर्जा वैशिष्ट्ये विचारात घेतात आणि मॉडेल्स विचारात घेऊन तयार केले जातात. मानवी श्रवणविषयक धारणा.

Lyra V2 साउंडस्ट्रीम कॉन्व्होल्युशनल न्यूरल नेटवर्कवर आधारित नवीन जनरेटिव्ह मॉडेल वापरते, ज्याच्या कमी संगणकीय आवश्यकता आहेत, कमी-पॉवर सिस्टमवरही रिअल-टाइम डीकोडिंगला अनुमती देते. ध्वनी निर्माण करण्यासाठी वापरल्या जाणार्‍या मॉडेलला 90 हून अधिक भाषांमध्ये हजारो तासांच्या व्हॉइस रेकॉर्डिंगचा वापर करून प्रशिक्षण देण्यात आले. टेन्सरफ्लो लाइट मॉडेल कार्यान्वित करण्यासाठी वापरले जाते. प्रस्तावित अंमलबजावणीचे कार्यप्रदर्शन कमी किंमतीच्या श्रेणीतील स्मार्टफोनवरील भाषण एन्कोडिंग आणि डीकोडिंगसाठी पुरेसे आहे.

वेगळे जनरेटिव्ह मॉडेल वापरण्याव्यतिरिक्त, नवीन आवृत्ती RVQ (रेसिड्युअल वेक्टर क्वांटायझर) क्वांटायझरसह लिंक्सच्या कोडेक आर्किटेक्चरमध्ये समाविष्ट करण्यासाठी देखील उल्लेखनीय आहे, जी डेटा प्रसारित करण्यापूर्वी प्रेषकाच्या बाजूला आणि प्राप्तकर्त्याच्या बाजूने कार्यान्वित केली जाते. डेटा प्राप्त केल्यानंतर. क्वांटायझर कोडेकद्वारे उत्पादित केलेल्या पॅरामीटर्सचे पॅकेट्सच्या सेटमध्ये रूपांतरित करतो, निवडलेल्या बिटरेटच्या संबंधात माहिती एन्कोडिंग करतो. गुणवत्तेचे विविध स्तर प्रदान करण्यासाठी, तीन बिटरेट्स (3.2 kps, 6 kbps आणि 9.2 kbps) साठी क्वांटायझर प्रदान केले जातात, बिटरेट जितका जास्त तितका दर्जा चांगला, परंतु बँडविड्थची आवश्यकता जितकी जास्त असेल.

नवीन आर्किटेक्चरने सिग्नल ट्रान्समिशन विलंब 100 ते 20 मिलीसेकंदांपर्यंत कमी केला आहे. तुलनेसाठी, WebRTC साठी Opus codec ने चाचणी केलेल्या बिटरेट्सवर 26.5ms, 46.5ms आणि 66.5ms च्या विलंबांचे प्रदर्शन केले आहे. एन्कोडर आणि डीकोडरची कार्यक्षमता देखील लक्षणीय वाढली आहे - मागील आवृत्तीच्या तुलनेत 5 पट वेगाने. उदाहरणार्थ, Pixel 6 Pro स्मार्टफोनवर, नवीन कोडेक 20-ms नमुना 0.57 ms मध्ये एन्कोड आणि डीकोड करतो, जो रिअल-टाइम ट्रान्समिशनसाठी आवश्यकतेपेक्षा 35 पट वेगवान आहे.

कार्यप्रदर्शन व्यतिरिक्त, ध्वनी पुनर्संचयनाची गुणवत्ता सुधारणे देखील शक्य होते - MUSHRA स्केलनुसार, Lyra V3.2 कोडेक वापरताना 6 kbps, 9.2 kbps आणि 2 kbps च्या बिटरेट्सवर उच्चार गुणवत्ता 10 kbps, 13 च्या बिटरेटशी संबंधित आहे. ओपस कोडेक वापरताना केबीपीएस आणि 14 केबीपीएस.

स्त्रोत: opennet.ru