फेसबुक ने मशीनी अनुवाद के लिए एक मॉडल प्रकाशित किया है जो 200 भाषाओं का समर्थन करता है

फेसबुक (रूसी संघ में प्रतिबंधित) ने एनएलएलबी (नो लैंग्वेज लेफ्ट बिहाइंड) प्रोजेक्ट के विकास को प्रकाशित किया है, जिसका उद्देश्य अंग्रेजी में मध्यवर्ती अनुवाद को दरकिनार करते हुए एक भाषा से दूसरी भाषा में पाठ के सीधे अनुवाद के लिए एक सार्वभौमिक मशीन लर्निंग मॉडल बनाना है। प्रस्तावित मॉडल में 200 से अधिक भाषाएँ शामिल हैं, जिनमें दुर्लभ अफ़्रीकी और ऑस्ट्रेलियाई भाषाएँ भी शामिल हैं। परियोजना का अंतिम लक्ष्य सभी लोगों के लिए संचार का साधन उपलब्ध कराना है, चाहे वे कोई भी भाषा बोलते हों।

मॉडल क्रिएटिव कॉमन्स BY-NC 4.0 लाइसेंस के तहत उपलब्ध है, जो प्रतिलिपि बनाने, वितरण, आपकी परियोजनाओं में शामिल करने और व्युत्पन्न कार्यों के निर्माण की अनुमति देता है, लेकिन आरोपण, लाइसेंस के प्रतिधारण और केवल गैर-व्यावसायिक उद्देश्यों के लिए उपयोग के अधीन है। मॉडलिंग टूल को एमआईटी लाइसेंस के तहत लाइसेंस प्राप्त है। एनएलएलबी मॉडल का उपयोग करके विकास को प्रोत्साहित करने के लिए, शोधकर्ताओं को अनुदान प्रदान करने के लिए 200 हजार डॉलर आवंटित करने का निर्णय लिया गया।

प्रस्तावित मॉडल का उपयोग करके परियोजनाओं के निर्माण को सरल बनाने के लिए, मॉडल की गुणवत्ता का परीक्षण और मूल्यांकन करने के लिए उपयोग किए जाने वाले अनुप्रयोगों का कोड (FLORES-200, NLLB-MD, Toxicity-200), LASER3 लाइब्रेरी पर आधारित प्रशिक्षण मॉडल और एनकोडर के लिए कोड (भाषा-अज्ञेयवादी वाक्य निरूपण)। अंतिम मॉडल दो संस्करणों में पेश किया गया है - पूर्ण और संक्षिप्त। संक्षिप्त संस्करण के लिए कम संसाधनों की आवश्यकता होती है और यह अनुसंधान परियोजनाओं में परीक्षण और उपयोग के लिए उपयुक्त है।

अन्य मशीन लर्निंग-आधारित अनुवाद प्रणालियों के विपरीत, फेसबुक का समाधान सभी 200 भाषाओं के लिए एक सामान्य मॉडल पेश करने के लिए उल्लेखनीय है, जिसमें सभी भाषाओं को शामिल किया गया है और प्रत्येक भाषा के लिए अलग-अलग मॉडल की आवश्यकता नहीं है। अंग्रेजी में मध्यवर्ती अनुवाद के बिना, अनुवाद सीधे स्रोत से लक्ष्य भाषा में किया जाता है। सार्वभौमिक अनुवाद प्रणाली बनाने के लिए, एक अतिरिक्त एलआईडी-मॉडल (भाषा पहचान) प्रस्तावित है, जो इस्तेमाल की गई भाषा को निर्धारित करने की अनुमति देता है। वे। सिस्टम स्वचालित रूप से उस भाषा को पहचान सकता है जिसमें जानकारी प्रदान की गई है और इसे उपयोगकर्ता की भाषा में अनुवादित कर सकता है।

समर्थित 200 भाषाओं में से किसी भी दिशा में अनुवाद समर्थित है। किसी भी भाषा के बीच अनुवाद की गुणवत्ता की पुष्टि करने के लिए, FLORES-200 संदर्भ परीक्षण सेट तैयार किया गया था, जिससे पता चला कि अनुवाद गुणवत्ता के मामले में NLLB-200 मॉडल, मशीन लर्निंग पर आधारित पहले से प्रस्तावित अनुसंधान प्रणालियों से औसतन 44% बेहतर है। BLEU मेट्रिक्स का उपयोग करते समय जो मशीनी अनुवाद की तुलना मानक मानव अनुवाद से करता है। दुर्लभ अफ़्रीकी भाषाओं और भारतीय बोलियों के लिए, गुणवत्ता में श्रेष्ठता 70% तक पहुँच जाती है। विशेष रूप से तैयार डेमो साइट पर अनुवाद की गुणवत्ता का आकलन करना फैशनेबल है।

स्रोत: opennet.ru