OpenNMT-tf 2.30 मशीनी अनुवाद प्रणाली का विमोचन

ओपनएनएमटी-टीएफ (ओपन न्यूरल मशीन ट्रांसलेशन) मशीन अनुवाद प्रणाली, संस्करण 2.30.0, जारी कर दिया गया है। ओपनएनएमटी-टीएफ परियोजना के मॉड्यूल पायथन में लिखे गए हैं, टेंसरफ्लो लाइब्रेरी का उपयोग करते हैं, और एमआईटी लाइसेंस के तहत वितरित किए जाते हैं।

PyTorch-आधारित OpenNMT संस्करण का समानांतर विकास किया जा रहा है, जो इसके समर्थित विशेषताओं में भिन्न है। इसके अलावा, PyTorch-आधारित OpenNMT को उपयोग में आसान और बहुविधीय के रूप में प्रचारित किया जा रहा है, जबकि TensorFlow-आधारित संस्करण अपनी मॉड्यूलरिटी, स्थिरता और न्यूरल नेटवर्क प्रशिक्षण को गति देने के लिए GPU क्षमताओं का लाभ उठाने की क्षमता के लिए जाना जाता है। वितरण को सरल बनाने के लिए, परियोजना एक स्व-निहित C++ अनुवादक, CTranslate2, भी विकसित कर रही है, जो अतिरिक्त निर्भरताओं की आवश्यकता के बिना पूर्व-प्रशिक्षित मॉडलों का उपयोग करता है।

अंग्रेज़ी, जर्मन और कैटलन के लिए मॉडल तैयार किए गए हैं। अन्य भाषाओं के लिए, आप OPUS प्रोजेक्ट के डेटासेट के आधार पर अपना मॉडल बना सकते हैं (प्रशिक्षण के लिए, सिस्टम को दो फ़ाइलें दी जाती हैं—एक स्रोत भाषा के वाक्यों वाली, और दूसरी लक्ष्य भाषा में इन वाक्यों के उच्च-गुणवत्ता वाले अनुवाद वाली)।

यह परियोजना मशीन अनुवाद उपकरणों में विशेषज्ञता रखने वाली कंपनी SYSTRAN और मशीन लर्निंग प्रणालियों के लिए मानव भाषा मॉडल विकसित करने वाले हार्वर्ड शोधकर्ताओं के एक समूह की भागीदारी से विकसित की जा रही है। उपयोगकर्ता इंटरफ़ेस अत्यंत सरल है, जिसमें केवल इनपुट टेक्स्ट फ़ाइल और परिणामी फ़ाइल को सहेजना आवश्यक है। एक एक्सटेंशन सिस्टम OpenNMT के अतिरिक्त अतिरिक्त कार्यक्षमताओं को लागू करने की अनुमति देता है, जैसे कि स्वचालित सारांश, टेक्स्ट वर्गीकरण और उपशीर्षक।

नये संस्करण में:

• TensorFlow 2.11 लाइब्रेरी के लिए समर्थन जोड़ा गया है, लेकिन नए Keras ऑप्टिमाइज़र अभी तक समर्थित नहीं हैं (tf.keras.optimizers.legacy मोड का उपयोग करने की आवश्यकता है)।
• CTranslate2 3.x इंजन की नई शाखा के लिए समर्थन जोड़ा गया, जिसे "ट्रांसफार्मर" आर्किटेक्चर वाले मॉडलों के कुशल निष्पादन के लिए डिज़ाइन किया गया है।
• अतिरिक्त पैडिंग को सक्षम करने के लिए pad_to_bucket_boundary मॉडल प्रशिक्षण पैरामीटर जोड़ा गया जो बकेट आकार को length_bucket_width के गुणकों के साथ संरेखित करता है।
• SacreBLEU परियोजना से chrf और chrf++ मेट्रिक्स के लिए एकीकृत समर्थन, जो मशीन अनुवाद की तुलना संदर्भ मानव अनुवाद से करता है।
• ctranslate2_spec मॉडल विशेषता को हटा दिया गया है, जिसका अब CTranslate2 में उपयोग नहीं किया जाता है।

स्रोत: opennet.ru