OpenNMT 2.28.0 मशीनी अनुवाद प्रणाली का विमोचन

OpenNMT 0.28.0 (ओपन न्यूरल मशीन ट्रांसलेशन) मशीन अनुवाद प्रणाली की रिलीज़, जो मशीन लर्निंग विधियों का उपयोग करती है, प्रकाशित की गई है। तंत्रिका नेटवर्क बनाने के लिए, प्रोजेक्ट TensorFlow डीप मशीन लर्निंग लाइब्रेरी की क्षमताओं का उपयोग करता है। ओपनएनएमटी परियोजना द्वारा विकसित मॉड्यूल का कोड पायथन में लिखा गया है और एमआईटी लाइसेंस के तहत वितरित किया गया है। अंग्रेजी, जर्मन और कैटलन भाषाओं के लिए तैयार मॉडल तैयार किए जाते हैं; अन्य भाषाओं के लिए, आप स्वतंत्र रूप से ओपस प्रोजेक्ट से डेटा सेट के आधार पर एक मॉडल बना सकते हैं (प्रशिक्षण के लिए, दो फाइलें सिस्टम में स्थानांतरित की जाती हैं - एक में वाक्यों के साथ) स्रोत भाषा, और दूसरा इन वाक्यों का लक्ष्य भाषा में उच्च गुणवत्ता वाला अनुवाद)।

यह परियोजना मशीन अनुवाद उपकरण बनाने में विशेषज्ञता वाली कंपनी सिस्ट्रान और मशीन लर्निंग सिस्टम के लिए मानव भाषा मॉडल विकसित करने वाले हार्वर्ड शोधकर्ताओं के एक समूह की भागीदारी से विकसित की जा रही है। उपयोगकर्ता इंटरफ़ेस को यथासंभव सरल बनाया गया है और अनुवाद परिणाम को सहेजने के लिए केवल पाठ के साथ एक इनपुट फ़ाइल और एक फ़ाइल निर्दिष्ट करने की आवश्यकता है। विस्तार प्रणाली ओपनएनएमटी पर आधारित अतिरिक्त कार्यक्षमता को लागू करना संभव बनाती है, उदाहरण के लिए, ऑटो-सारांशीकरण, पाठ वर्गीकरण और उपशीर्षक निर्माण।

TensorFlow का उपयोग आपको GPU की क्षमताओं का उपयोग करने की अनुमति देता है (तंत्रिका नेटवर्क को प्रशिक्षित करने की प्रक्रिया को तेज करने के लिए। उत्पाद के वितरण को सरल बनाने के लिए, परियोजना C++ में अनुवादक का एक आत्मनिर्भर संस्करण भी विकसित कर रही है - CTranslate2 , जो अतिरिक्त निर्भरता के संदर्भ के बिना पूर्व-प्रशिक्षित मॉडल का उपयोग करता है।

नया संस्करण इनिशियल_लर्निंग_रेट पैरामीटर जोड़ता है और ट्रांसफार्मर मॉडल जनरेटर को कॉन्फ़िगर करने के लिए कई नए तर्क (mha_bias और आउटपुट_लेयर_बियास) लागू करता है। बाकी को बग फिक्स द्वारा चिह्नित किया गया है।

स्रोत: opennet.ru