Facebook मशीन लर्निंग वापरून EnCodec ऑडिओ कोडेक प्रकाशित करते

मेटा/फेसबुक (रशियन फेडरेशनमध्ये बंदी) ने एक नवीन ऑडिओ कोडेक, EnCodec सादर केला, जो गुणवत्ता न गमावता कॉम्प्रेशन रेशो वाढवण्यासाठी मशीन लर्निंग पद्धती वापरतो. कोडेक रिअल टाइममध्ये ऑडिओ प्रवाहित करण्यासाठी आणि फायलींमध्ये नंतर जतन करण्यासाठी एन्कोडिंगसाठी दोन्ही वापरले जाऊ शकते. EnCodec संदर्भ अंमलबजावणी PyTorch फ्रेमवर्क वापरून Python मध्ये लिहिलेली आहे आणि केवळ गैर-व्यावसायिक वापरासाठी CC BY-NC 4.0 (Creative Commons Attribution-Noncommercial) परवान्याअंतर्गत परवानाकृत आहे.

डाउनलोड करण्यासाठी दोन तयार मॉडेल ऑफर केले आहेत:

• 24 kHz सॅम्पलिंग रेट वापरणारे, केवळ मोनोफोनिक ऑडिओला समर्थन देणारे आणि विविध ऑडिओ डेटावर प्रशिक्षित (स्पीच कोडिंगसाठी योग्य) एक कारणात्मक मॉडेल. मॉडेलचा वापर 1.5, 3, 6, 12 आणि 24 kbps बिट दरांवर प्रसारणासाठी ऑडिओ डेटा पॅकेज करण्यासाठी केला जाऊ शकतो.
• 48 kHz च्या सॅम्पलिंग रेटचा वापर करणारे नॉन-कॅझल मॉडेल, स्टिरिओ ऑडिओला समर्थन देते आणि फक्त संगीतावर प्रशिक्षित. मॉडेल 3, 6, 12 आणि 24 kbps च्या बिटरेटला सपोर्ट करते.

प्रत्येक मॉडेलसाठी, एक अतिरिक्त भाषा मॉडेल तयार केले गेले आहे, जे आपल्याला गुणवत्तेचे नुकसान न करता कॉम्प्रेशन रेशो (40% पर्यंत) मध्ये लक्षणीय वाढ प्राप्त करण्यास अनुमती देते. ऑडिओ कॉम्प्रेशनसाठी मशीन लर्निंग पद्धती वापरून पूर्वी विकसित केलेल्या प्रकल्पांच्या विपरीत, EnCodec केवळ स्पीच पॅकेजिंगसाठीच नव्हे तर ऑडिओ सीडीच्या पातळीशी संबंधित 48 kHz च्या सॅम्पलिंग रेटसह संगीत कॉम्प्रेशनसाठी देखील वापरला जाऊ शकतो. नवीन कोडेकच्या विकसकांच्या मते, एमपी 64 स्वरूपाच्या तुलनेत 3 केबीपीएसच्या बिटरेटसह प्रसारित करताना, समान पातळीची गुणवत्ता राखून ते ऑडिओ कॉम्प्रेशनची डिग्री अंदाजे दहा पट वाढवू शकले (उदाहरणार्थ, वापरताना MP3, 64 kbps ची बँडविड्थ आवश्यक आहे, त्यासह प्रसारित करण्यासाठी EnCodec मध्ये समान गुणवत्ता 6 kbps पुरेशी आहे).

कोडेक आर्किटेक्चर "ट्रान्सफॉर्मर" आर्किटेक्चरसह न्यूरल नेटवर्कवर तयार केले गेले आहे आणि चार लिंक्सवर आधारित आहे: एन्कोडर, क्वांटायझर, डीकोडर आणि डिस्क्रिमिनेटर. एन्कोडर व्हॉइस डेटाचे पॅरामीटर्स काढतो आणि पॅक केलेल्या प्रवाहाला कमी फ्रेम रेटमध्ये रूपांतरित करतो. क्वांटायझर (RVQ, अवशिष्ट वेक्टर क्वांटायझर) एन्कोडरद्वारे स्ट्रीम आउटपुटला पॅकेटच्या सेटमध्ये रूपांतरित करते, निवडलेल्या बिटरेटवर आधारित माहिती संकुचित करते. क्वांटायझरचे आउटपुट हे डेटाचे संकुचित प्रतिनिधित्व आहे, जे नेटवर्कवर प्रसारित करण्यासाठी किंवा डिस्कवर जतन करण्यासाठी योग्य आहे.

डीकोडर डेटाचे संकुचित प्रतिनिधित्व डीकोड करतो आणि मूळ ध्वनी लहरीची पुनर्रचना करतो. भेदक मानवी श्रवणविषयक आकलनाचे मॉडेल लक्षात घेऊन व्युत्पन्न केलेल्या नमुन्यांची गुणवत्ता सुधारतो. गुणवत्ता आणि बिटरेटची पातळी विचारात न घेता, एन्कोडिंग आणि डीकोडिंगसाठी वापरलेली मॉडेल्स ऐवजी माफक संसाधन आवश्यकतांद्वारे वेगळे केले जातात (रिअल-टाइम ऑपरेशनसाठी आवश्यक गणना एकाच CPU कोरवर केली जाते).

स्त्रोत: opennet.ru