खराब कनेक्शन गुणवत्तेत स्पीच ट्रान्समिशनसाठी Google ने Lyra ऑडिओ कोडेक प्रकाशित केला आहे

Google ने एक नवीन ऑडिओ कोडेक, Lyra सादर केला आहे, जो अतिशय मंद संप्रेषण चॅनेल वापरत असतानाही जास्तीत जास्त आवाज गुणवत्ता प्राप्त करण्यासाठी अनुकूल आहे. Lyra अंमलबजावणी कोड C++ मध्ये लिहिलेला आहे आणि Apache 2.0 लायसन्स अंतर्गत उघडला आहे, परंतु ऑपरेशनसाठी आवश्यक असलेल्या अवलंबनांमध्ये एक स्वामित्व लायब्ररी आहे libsparse_inference.so गणितीय गणनेसाठी कर्नल अंमलबजावणीसह. हे नोंदवले गेले आहे की मालकीची लायब्ररी तात्पुरती आहे - भविष्यात Google ने ओपन रिप्लेसमेंट विकसित करण्याचे आणि विविध प्लॅटफॉर्मसाठी समर्थन प्रदान करण्याचे वचन दिले आहे.

कमी वेगाने प्रसारित व्हॉइस डेटाच्या गुणवत्तेच्या बाबतीत, डिजिटल सिग्नल प्रोसेसिंग पद्धती वापरणाऱ्या पारंपारिक कोडेक्सपेक्षा Lyra लक्षणीयरित्या श्रेष्ठ आहे. ऑडिओ कॉम्प्रेशन आणि सिग्नल रूपांतरणाच्या पारंपारिक पद्धतींव्यतिरिक्त, मर्यादित प्रमाणात प्रसारित केलेल्या माहितीच्या परिस्थितीत उच्च दर्जाचे व्हॉइस ट्रान्समिशन प्राप्त करण्यासाठी, लिरा मशीन लर्निंग सिस्टमवर आधारित स्पीच मॉडेल वापरते, जी तुम्हाला गहाळ माहितीच्या आधारावर पुन्हा तयार करण्याची परवानगी देते. ठराविक भाषण वैशिष्ट्ये. ध्वनी निर्माण करण्यासाठी वापरल्या जाणार्‍या मॉडेलला 70 हून अधिक भाषांमध्ये हजारो तासांच्या व्हॉइस रेकॉर्डिंगचा वापर करून प्रशिक्षण देण्यात आले.

कोडेकमध्ये एन्कोडर आणि डीकोडर समाविष्ट आहे. एन्कोडरचा अल्गोरिदम प्रत्येक 40 मिलीसेकंदांनी व्हॉईस डेटा पॅरामीटर्स काढण्यासाठी, त्यांना संकुचित करण्यासाठी आणि नेटवर्कवर प्राप्तकर्त्याकडे प्रसारित करण्यासाठी उकळतो. डेटा ट्रान्समिशनसाठी 3 किलोबिट प्रति सेकंद वेगाने एक संप्रेषण चॅनेल पुरेसे आहे. काढलेल्या ऑडिओ पॅरामीटर्समध्ये लॉगरिदमिक मेल स्पेक्ट्रोग्राम समाविष्ट आहेत जे वेगवेगळ्या वारंवारता श्रेणींमध्ये उच्चाराची उर्जा वैशिष्ट्ये विचारात घेतात आणि मानवी श्रवणविषयक आकलनाचे मॉडेल लक्षात घेऊन तयार केले जातात.

डीकोडर एक जनरेटिव्ह मॉडेल वापरतो जो प्रसारित ऑडिओ पॅरामीटर्सवर आधारित, स्पीच सिग्नल पुन्हा तयार करतो. गणनेची जटिलता कमी करण्यासाठी, आवर्ती न्यूरल नेटवर्कवर आधारित हलके मॉडेल वापरले गेले, जे WaveRNN स्पीच सिंथेसिस मॉडेलचे एक प्रकार आहे, जे कमी सॅम्पलिंग वारंवारता वापरते, परंतु वेगवेगळ्या वारंवारता श्रेणींमध्ये समांतरपणे अनेक सिग्नल व्युत्पन्न करते. परिणामी सिग्नल नंतर निर्दिष्ट सॅम्पलिंग दराशी संबंधित एकल आउटपुट सिग्नल तयार करण्यासाठी सुपरइम्पोज केले जातात.

64-बिट एआरएम प्रोसेसरमध्ये उपलब्ध असलेल्या विशेष प्रोसेसर सूचना प्रवेगासाठी देखील वापरल्या जातात. परिणामी, मशीन लर्निंगचा वापर करूनही, Lyra कोडेकचा वापर रियल-टाइम स्पीच एन्कोडिंग आणि मिड-रेंज स्मार्टफोन्सवर डीकोडिंगसाठी केला जाऊ शकतो, 90 मिलीसेकंदांच्या सिग्नल ट्रान्समिशन लेटेंसीचे प्रदर्शन करतो.

स्त्रोत: opennet.ru