जीना एंबेडिंग के लिए ओपन सोर्स कोड, पाठ अर्थ के वेक्टर प्रतिनिधित्व के लिए एक मॉडल

जीना ने Apache 2.0 लाइसेंस के तहत वेक्टर टेक्स्ट प्रतिनिधित्व, jina-embeddings-v2 के लिए एक मशीन लर्निंग मॉडल ओपन-सोर्स किया है। मॉडल आपको 8192 वर्णों तक के मनमाने पाठ को वास्तविक संख्याओं के एक छोटे अनुक्रम में परिवर्तित करने की अनुमति देता है जो एक वेक्टर बनाता है जिसकी तुलना स्रोत पाठ से की जाती है और इसके शब्दार्थ (अर्थ) को पुन: पेश करता है। जीना एंबेडिंग पहला ओपन मशीन लर्निंग मॉडल था, जिसका प्रदर्शन ओपनएआई प्रोजेक्ट (टेक्स्ट-एंबेडिंग-एडीए-002) के मालिकाना टेक्स्ट वेक्टराइजेशन मॉडल के समान था, जो 8192 टोकन तक टेक्स्ट को प्रोसेस करने में भी सक्षम था।

दो उत्पन्न वैक्टरों के बीच की दूरी का उपयोग स्रोत ग्रंथों के अर्थ संबंधी संबंध को निर्धारित करने के लिए किया जा सकता है। व्यवहार में, उत्पन्न वैक्टर का उपयोग पाठों की समानता का विश्लेषण करने, विषय से संबंधित सामग्रियों की खोज को व्यवस्थित करने (शब्दार्थ निकटता द्वारा रैंकिंग परिणाम), अर्थ के आधार पर समूह पाठ, सिफारिशें उत्पन्न करने (समान पाठ स्ट्रिंग की एक सूची प्रदान करने) के लिए किया जा सकता है। विसंगतियों की पहचान करना, साहित्यिक चोरी का पता लगाना और परीक्षणों को वर्गीकृत करना। उपयोग के क्षेत्रों के उदाहरणों में कानूनी दस्तावेजों के विश्लेषण के लिए, व्यावसायिक विश्लेषण के लिए, वैज्ञानिक लेखों के प्रसंस्करण के लिए चिकित्सा अनुसंधान में, साहित्यिक आलोचना में, वित्तीय रिपोर्टों को पार्स करने के लिए और जटिल मुद्दों के चैटबॉट प्रसंस्करण की गुणवत्ता में सुधार के लिए मॉडल का उपयोग शामिल है।

जिना-एंबेडिंग मॉडल के दो संस्करण डाउनलोड के लिए उपलब्ध हैं (मूल - 0.27 जीबी और कम - 0.07 जीबी), अंग्रेजी में पाठ अनुक्रमों के 400 मिलियन जोड़े पर प्रशिक्षित, ज्ञान के विभिन्न क्षेत्रों को कवर करते हैं। प्रशिक्षण के दौरान, 512 टोकन के आकार वाले अनुक्रमों का उपयोग किया गया था, जिन्हें ALiBi (रैखिक बायसेस के साथ ध्यान) विधि का उपयोग करके 8192 के आकार में एक्सट्रपलेशन किया गया था।

मूल मॉडल में 137 मिलियन पैरामीटर शामिल हैं और इसे GPU के साथ स्थिर सिस्टम पर उपयोग के लिए डिज़ाइन किया गया है। कम किए गए मॉडल में 33 मिलियन पैरामीटर शामिल हैं, यह कम सटीकता प्रदान करता है और इसका उद्देश्य कम मात्रा में मेमोरी वाले मोबाइल उपकरणों और सिस्टम पर उपयोग करना है। निकट भविष्य में वे एक बड़ा मॉडल प्रकाशित करने की भी योजना बना रहे हैं जो 435 मिलियन मापदंडों को कवर करेगा। मॉडल का एक बहुभाषी संस्करण भी विकास में है, वर्तमान में जर्मन और स्पेनिश के लिए समर्थन पर ध्यान केंद्रित किया जा रहा है। एलएलएम टूलकिट के माध्यम से जिना-एम्बेडिंग मॉडल का उपयोग करने के लिए एक प्लगइन अलग से तैयार किया गया है।

स्रोत: opennet.ru