Facebook ने 200 भाषांना सपोर्ट करणारे मशीन भाषांतर मॉडेल प्रकाशित केले आहे

Facebook (रशियन फेडरेशनमध्ये बंदी) ने NLLB (No Language Left Behind) प्रकल्पाचा विकास प्रकाशित केला आहे, ज्याचा उद्देश एका भाषेतून दुसर्‍या भाषेत मजकूर थेट अनुवादित करण्यासाठी, इंग्रजीमध्ये इंटरमीडिएट भाषांतर बायपास करून सार्वत्रिक मशीन लर्निंग मॉडेल तयार करणे आहे. प्रस्तावित मॉडेलमध्ये आफ्रिकन आणि ऑस्ट्रेलियन लोकांच्या दुर्मिळ भाषांसह 200 हून अधिक भाषांचा समावेश आहे. प्रकल्पाचे अंतिम उद्दिष्ट कोणत्याही लोकांसाठी संवादाचे साधन प्रदान करणे आहे, ते कोणतीही भाषा बोलतात.

मॉडेल क्रिएटिव्ह कॉमन्स BY-NC 4.0 परवान्याअंतर्गत परवानाकृत आहे, जे कॉपी करणे, पुनर्वितरण, सानुकूलित करणे आणि व्युत्पन्न कार्यांना परवानगी देते, जर तुम्ही विशेषता द्याल, परवाना कायम ठेवाल आणि ते केवळ गैर-व्यावसायिक हेतूंसाठी वापराल. मॉडेल्ससह कार्य करण्यासाठी साधने एमआयटी परवान्याअंतर्गत प्रदान केली जातात. NLLB मॉडेलचा वापर करून विकासाला चालना देण्यासाठी, संशोधकांना अनुदान देण्यासाठी $200 हजार वाटप करण्याचा निर्णय घेण्यात आला.

प्रस्तावित मॉडेलचा वापर करून प्रकल्पांची निर्मिती सुलभ करण्यासाठी, मॉडेल्सच्या गुणवत्तेची चाचणी आणि मूल्यांकन करण्यासाठी वापरल्या जाणार्‍या अनुप्रयोगांचा कोड (FLORES-200, NLLB-MD, Toxicity-200), प्रशिक्षण मॉडेलसाठी कोड आणि LASER3 लायब्ररीवर आधारित एन्कोडर ( भाषा-अज्ञेयवादी वाक्य) याव्यतिरिक्त मुक्त स्रोत आहेत. प्रतिनिधित्व). अंतिम मॉडेल दोन आवृत्त्यांमध्ये ऑफर केले जाते - पूर्ण आणि लहान. संक्षिप्त आवृत्तीसाठी कमी संसाधने आवश्यक आहेत आणि ती चाचणी आणि संशोधन प्रकल्पांमध्ये वापरण्यासाठी योग्य आहे.

मशीन लर्निंग सिस्टीमवर आधारित इतर भाषांतर प्रणालींच्या विपरीत, Facebook चे समाधान लक्षणीय आहे की ते सर्व 200 भाषांसाठी एक सामान्य मॉडेल ऑफर करते, सर्व भाषांचा समावेश करते आणि प्रत्येक भाषेसाठी स्वतंत्र मॉडेल वापरण्याची आवश्यकता नसते. इंग्रजीमध्ये मध्यंतरी भाषांतर न करता थेट स्त्रोत भाषेतून लक्ष्य भाषेत भाषांतर केले जाते. सार्वत्रिक भाषांतर प्रणाली तयार करण्यासाठी, एक LID मॉडेल (भाषा ओळख) अतिरिक्तपणे प्रस्तावित केले आहे, ज्यामुळे वापरलेली भाषा निर्धारित करणे शक्य होते. त्या. माहिती कोणत्या भाषेत दिली आहे हे सिस्टम आपोआप ओळखू शकते आणि वापरकर्त्याच्या भाषेत भाषांतर करू शकते.

भाषांतर कोणत्याही दिशेने समर्थित आहे, 200 समर्थित भाषांपैकी कोणत्याही दरम्यान. कोणत्याही भाषांमधील भाषांतराच्या गुणवत्तेची पुष्टी करण्यासाठी, FLORES-200 संदर्भ चाचणी संच तयार करण्यात आला होता, ज्यामध्ये असे दिसून आले आहे की भाषांतर गुणवत्तेच्या बाबतीत NLLB-200 मॉडेल पूर्वी प्रस्तावित मशीन लर्निंग-आधारित संशोधन प्रणालींपेक्षा सरासरी 44% वर आहे. मानक मानवी भाषांतरासह मशीन भाषांतराची तुलना करणारे BLEU मेट्रिक्स. दुर्मिळ आफ्रिकन भाषा आणि भारतीय बोलींसाठी, गुणवत्ता श्रेष्ठता 70% पर्यंत पोहोचते. खास तयार केलेल्या डेमो साइटवर भाषांतराच्या गुणवत्तेचे दृश्यमानपणे मूल्यांकन करणे शक्य आहे.

स्त्रोत: opennet.ru