माइक्रोसॉफ्ट ने बिंग में प्रयुक्त वेक्टर सर्च लाइब्रेरी को ओपन सोर्स किया

माइक्रोसॉफ्ट कंपनी प्रकाशित मशीन लर्निंग लाइब्रेरी स्रोत कोड एसपीटीएजी (अंतरिक्ष विभाजन वृक्ष और ग्राफ़) अनुमानित एल्गोरिथ्म के कार्यान्वयन के साथ निकटतम पड़ोसी खोज. पुस्तकालय विकसित माइक्रोसॉफ्ट रिसर्च के अनुसंधान प्रभाग और खोज प्रौद्योगिकी विकास केंद्र (माइक्रोसॉफ्ट सर्च टेक्नोलॉजी सेंटर) में। व्यवहार में, एसपीटीएजी का उपयोग बिंग सर्च इंजन द्वारा खोज क्वेरी के संदर्भ के आधार पर सबसे प्रासंगिक परिणाम निर्धारित करने के लिए किया जाता है। कोड C++ में लिखा गया है द्वारा वितरित एमआईटी लाइसेंस के तहत. लिनक्स और विंडोज़ के लिए बिल्ड समर्थित है। पाइथॉन भाषा के लिए एक बंधन है।

इस तथ्य के बावजूद कि खोज इंजनों में वेक्टर स्टोरेज का उपयोग करने का विचार काफी लंबे समय से चल रहा है, व्यवहार में, वैक्टर और स्केलेबिलिटी सीमाओं के साथ संचालन की उच्च संसाधन तीव्रता से उनका कार्यान्वयन बाधित होता है। गहन मशीन सीखने के तरीकों को निकटतम पड़ोसी खोज एल्गोरिदम के साथ संयोजित करने से वेक्टर सिस्टम के प्रदर्शन और स्केलेबिलिटी को बड़े खोज इंजनों के लिए स्वीकार्य स्तर पर लाना संभव हो गया है। उदाहरण के लिए, बिंग में, 150 बिलियन से अधिक वैक्टर के वेक्टर इंडेक्स के लिए, सबसे प्रासंगिक परिणाम प्राप्त करने का समय 8 एमएस के भीतर है।

लाइब्रेरी में एक सूचकांक बनाने और वेक्टर खोजों को व्यवस्थित करने के लिए उपकरण शामिल हैं, साथ ही वैक्टर के बहुत बड़े संग्रह को कवर करने वाली एक वितरित ऑनलाइन खोज प्रणाली को बनाए रखने के लिए उपकरणों का एक सेट भी शामिल है। की पेशकश की निम्नलिखित मॉड्यूल: इंडेक्सिंग के लिए इंडेक्स बिल्डर, कई नोड्स के क्लस्टर में वितरित इंडेक्स का उपयोग करके खोज करने के लिए खोजकर्ता, नोड्स पर हैंडलर चलाने के लिए सर्वर, कई सर्वरों को एक में संयोजित करने के लिए एग्रीगेटर, और क्वेरी भेजने के लिए क्लाइंट। सूचकांक में नए वैक्टरों को शामिल करने और तुरंत वैक्टरों को हटाने का समर्थन किया जाता है।

लाइब्रेरी का तात्पर्य है कि संग्रह में संसाधित और प्रस्तुत किया गया डेटा संबंधित वैक्टर के रूप में स्वरूपित किया गया है जिसकी तुलना इसके आधार पर की जा सकती है इयूक्लिडियन (एल2)या कोज्या दूरी खोज क्वेरी ऐसे वेक्टर लौटाती है जिनके और मूल वेक्टर के बीच की दूरी न्यूनतम है। एसपीटीएजी वेक्टर स्पेस को व्यवस्थित करने के लिए दो तरीके प्रदान करता है: एसपीटीएजी-केडीटी (के-डायमेंशनल ट्री (केडी पेड़) और सापेक्ष पड़ोस ग्राफ) और एसपीटीएजी-बीकेटी (के-मीन्स ट्री (k-मतलब पेड़ और सापेक्ष पड़ोस ग्राफ)। पहली विधि में सूचकांक के साथ काम करते समय कम संसाधनों की आवश्यकता होती है, और दूसरा वैक्टर के बहुत बड़े संग्रह के लिए खोज परिणामों की उच्च सटीकता प्रदर्शित करता है।

साथ ही, वेक्टर खोज पाठ तक सीमित नहीं है और इसे मल्टीमीडिया जानकारी और छवियों के साथ-साथ स्वचालित रूप से अनुशंसाएं उत्पन्न करने वाले सिस्टम में भी लागू किया जा सकता है। उदाहरण के लिए, PyTorch फ्रेमवर्क पर आधारित एक प्रोटोटाइप ने छवियों में वस्तुओं की समानता के आधार पर खोज के लिए एक वेक्टर प्रणाली लागू की, जिसे जानवरों, बिल्लियों और कुत्तों की छवियों के साथ कई संदर्भ संग्रहों से डेटा का उपयोग करके बनाया गया था, जिन्हें वैक्टर के सेट में परिवर्तित किया गया था। . जब खोज के लिए एक आने वाली छवि प्राप्त होती है, तो इसे मशीन लर्निंग मॉडल का उपयोग करके एक वेक्टर में परिवर्तित किया जाता है, जिसके आधार पर एसपीटीएजी एल्गोरिदम का उपयोग करके सूचकांक से सबसे समान वैक्टर का चयन किया जाता है और परिणामस्वरूप संबंधित छवियां वापस आ जाती हैं।

स्रोत: opennet.ru