OpenNMT 2.28.0 मशीन भाषांतर प्रणालीचे प्रकाशन

मशीन लर्निंग पद्धती वापरणाऱ्या OpenNMT 0.28.0 (ओपन न्यूरल मशीन ट्रान्सलेशन) मशीन ट्रान्सलेशन सिस्टमचे प्रकाशन प्रकाशित करण्यात आले आहे. न्यूरल नेटवर्क तयार करण्यासाठी, प्रकल्प टेन्सरफ्लो डीप मशीन लर्निंग लायब्ररीच्या क्षमतांचा वापर करतो. OpenNMT प्रकल्पाद्वारे विकसित केलेल्या मॉड्यूल्सचा कोड Python मध्ये लिहिला जातो आणि MIT परवान्याअंतर्गत वितरित केला जातो. रेडीमेड मॉडेल्स इंग्रजी, जर्मन आणि कॅटलान भाषांसाठी तयार केले जातात; इतर भाषांसाठी, तुम्ही स्वतंत्रपणे OPUS प्रकल्पातील डेटा सेटवर आधारित मॉडेल तयार करू शकता (प्रशिक्षणासाठी, दोन फायली सिस्टममध्ये हस्तांतरित केल्या जातात - एक मध्ये वाक्यांसह स्त्रोत भाषा, आणि दुसरी लक्ष्य भाषेत या वाक्यांच्या उच्च-गुणवत्तेच्या भाषांतरासह).

हा प्रकल्प SYSTRAN, मशीन ट्रान्सलेशन टूल्स तयार करण्यात तज्ञ असलेली कंपनी आणि मशीन लर्निंग सिस्टमसाठी मानवी भाषा मॉडेल विकसित करणार्‍या हार्वर्ड संशोधकांचा एक गट यांच्या सहभागाने विकसित केला जात आहे. वापरकर्ता इंटरफेस शक्य तितका सरलीकृत आहे आणि भाषांतर परिणाम जतन करण्यासाठी केवळ मजकूरासह इनपुट फाइल आणि फाइल निर्दिष्ट करणे आवश्यक आहे. विस्तार प्रणाली OpenNMT वर आधारित अतिरिक्त कार्यक्षमता लागू करणे शक्य करते, उदाहरणार्थ, स्वयं-सारांश, मजकूर वर्गीकरण आणि उपशीर्षक निर्मिती.

TensorFlow चा वापर तुम्हाला GPU ची क्षमता वापरण्याची परवानगी देतो (न्यूरल नेटवर्कला प्रशिक्षण देण्याची प्रक्रिया वेगवान करण्यासाठी. उत्पादनाचे वितरण सुलभ करण्यासाठी, प्रकल्प C++ - CTranslate2 मध्ये अनुवादकाची स्वयंपूर्ण आवृत्ती देखील विकसित करत आहे. , जे अतिरिक्त अवलंबनांचा संदर्भ न घेता पूर्व-प्रशिक्षित मॉडेल वापरते.

नवीन आवृत्ती प्रारंभिक_शिक्षण_दर पॅरामीटर जोडते आणि ट्रान्सफॉर्मर मॉडेल जनरेटर कॉन्फिगर करण्यासाठी अनेक नवीन युक्तिवाद (mha_bias आणि output_layer_bias) लागू करते. उर्वरित दोष निराकरणे द्वारे चिन्हांकित केले आहे.

स्त्रोत: opennet.ru