फेसबुकले 200 भाषाहरूलाई समर्थन गर्ने मेसिन अनुवाद मोडेल प्रकाशित गर्दछ

Facebook (रूसी संघमा प्रतिबन्धित) ले NLLB (No Language Left Behind) परियोजनाको विकास प्रकाशित गरेको छ, जसको उद्देश्य अंग्रेजीमा मध्यवर्ती अनुवादलाई बाइपास गर्दै पाठलाई एक भाषाबाट अर्को भाषामा सीधा अनुवाद गर्नको लागि विश्वव्यापी मेसिन लर्निङ मोडेल सिर्जना गर्ने हो। प्रस्तावित मोडेलले अफ्रिकी र अष्ट्रेलियाली मानिसहरूका दुर्लभ भाषाहरू सहित 200 भन्दा बढी भाषाहरू समेट्छ। परियोजनाको अन्तिम लक्ष्य भनेको कुनै पनि व्यक्तिले जुनसुकै भाषा बोलेको भए पनि सञ्चारको माध्यम प्रदान गर्नु हो।

मोडेललाई क्रिएटिभ कमन्स BY-NC 4.0 इजाजतपत्र अन्तर्गत इजाजतपत्र दिइएको छ, जसले प्रतिलिपि, पुन: वितरण, अनुकूलन, र व्युत्पन्न कार्यहरूलाई अनुमति दिन्छ, यदि तपाइँ एट्रिब्युशन दिनुहुन्छ, इजाजतपत्र कायम राख्नुहुन्छ, र यसलाई गैर-व्यावसायिक उद्देश्यका लागि मात्र प्रयोग गर्नुहुन्छ। मोडेलहरूसँग काम गर्ने उपकरणहरू MIT लाइसेन्स अन्तर्गत प्रदान गरिन्छ। NLLB मोडेल प्रयोग गरी विकासलाई प्रोत्साहन गर्न, अनुसन्धानकर्ताहरूलाई अनुदान उपलब्ध गराउन $200 हजार विनियोजन गर्ने निर्णय गरियो।

प्रस्तावित मोडेल प्रयोग गरी परियोजनाहरूको निर्माणलाई सरल बनाउन, मोडेलहरूको गुणस्तर परीक्षण र मूल्याङ्कन गर्न प्रयोग गरिने अनुप्रयोगहरूको कोड (FLORES-200, NLLB-MD, Toxicity-200), प्रशिक्षण मोडेलहरूका लागि कोड र LASER3 पुस्तकालयमा आधारित एन्कोडरहरू ( भाषा-अज्ञेयवादी वाक्य) अतिरिक्त रूपमा खुला स्रोत हो। प्रतिनिधित्व)। अन्तिम मोडेल दुई संस्करणहरूमा प्रस्ताव गरिएको छ - पूर्ण र छोटो। छोटो संस्करणलाई कम स्रोतहरू चाहिन्छ र अनुसन्धान परियोजनाहरूमा परीक्षण र प्रयोगको लागि उपयुक्त छ।

मेसिन लर्निङ प्रणालीमा आधारित अन्य अनुवाद प्रणालीहरू भन्दा फरक, फेसबुकको समाधान उल्लेखनीय छ कि यसले सबै भाषाहरू समेट्ने र प्रत्येक भाषाको लागि छुट्टाछुट्टै मोडेलहरूको प्रयोग आवश्यक पर्दैन, सबै 200 भाषाहरूको लागि एउटा सामान्य मोडेल प्रदान गर्दछ। अनुवाद अङ्ग्रेजीमा मध्यवर्ती अनुवाद बिना, स्रोत भाषाबाट लक्षित भाषामा सीधै गरिन्छ। विश्वव्यापी अनुवाद प्रणालीहरू सिर्जना गर्न, LID मोडेल (भाषा पहिचान) थप रूपमा प्रस्ताव गरिएको छ, जसले प्रयोग गरिएको भाषा निर्धारण गर्न सम्भव बनाउँछ। ती। प्रणालीले स्वचालित रूपमा कुन भाषामा जानकारी प्रदान गरिएको छ भनेर पहिचान गर्न सक्छ र प्रयोगकर्ताको भाषामा अनुवाद गर्न सक्छ।

अनुवाद कुनै पनि दिशामा समर्थित छ, 200 समर्थित भाषाहरू मध्ये कुनै पनि बीचमा। कुनै पनि भाषाहरू बीच अनुवादको गुणस्तर पुष्टि गर्न, FLORES-200 सन्दर्भ परीक्षण सेट तयार गरिएको थियो, जसले अनुवाद गुणस्तरको सन्दर्भमा NLLB-200 मोडेल प्रयोग गर्दा पहिले प्रस्तावित मेसिन लर्निङ-आधारित अनुसन्धान प्रणालीहरू भन्दा औसतमा 44% उच्च रहेको देखाएको थियो। मानक मानव अनुवाद संग मेशिन अनुवाद तुलना BLEU मेट्रिक्स। दुर्लभ अफ्रिकी भाषाहरू र भारतीय बोलीहरूको लागि, गुणस्तर श्रेष्ठता 70% पुग्छ। विशेष रूपमा तयार गरिएको डेमो साइटमा अनुवादको गुणस्तर दृश्यात्मक रूपमा मूल्याङ्कन गर्न सम्भव छ।

स्रोत: opennet.ru