माइक्रोसफ्टले Bing मा प्रयोग गरिएको भेक्टर खोज पुस्तकालय ओपन सोर्स गर्यो

माइक्रोसफ्ट प्रकाशित मेसिन लर्निङ लाइब्रेरी स्रोत कोडहरू SPTAG (स्पेस विभाजन ट्री र ग्राफ) अनुमानित एल्गोरिदम को कार्यान्वयन संग निकटतम छिमेकी खोज। पुस्तकालय विकसित माइक्रोसफ्ट रिसर्च र खोज प्रविधि विकास केन्द्र (Microsoft खोज टेक्नोलोजी केन्द्र) को अनुसन्धान विभाग मा। अभ्यासमा, खोज प्रश्नहरूको सन्दर्भमा आधारित सबैभन्दा सान्दर्भिक परिणामहरू निर्धारण गर्न Bing खोज इन्जिनद्वारा SPTAG प्रयोग गरिन्छ। कोड C++ र मा लेखिएको छ द्वारा वितरित MIT लाइसेन्स अन्तर्गत। लिनक्स र विन्डोजको लागि निर्माण समर्थित छ। पाइथन भाषाको लागि बाध्यकारी छ।

खोज इन्जिनहरूमा भेक्टर भण्डारण प्रयोग गर्ने विचार लामो समयदेखि चलिरहेको छ भन्ने तथ्यको बावजुद, व्यवहारमा, तिनीहरूको कार्यान्वयन भेक्टरहरू र स्केलेबिलिटी सीमाहरूको साथ सञ्चालनको उच्च स्रोत तीव्रताले बाधित भएको छ। अनुमानित निकटतम छिमेकी खोज एल्गोरिदमहरूसँग गहिरो मेसिन लर्निङ विधिहरू संयोजन गर्नाले भेक्टर प्रणालीहरूको प्रदर्शन र स्केलेबिलिटीलाई ठूला खोज इन्जिनहरूका लागि स्वीकार्य स्तरमा ल्याउन सम्भव बनाएको छ। उदाहरणका लागि, Bing मा, 150 बिलियन भेक्टरहरूको भेक्टर अनुक्रमणिकाको लागि, सबैभन्दा सान्दर्भिक परिणामहरू ल्याउने समय 8 ms भित्र छ।

पुस्तकालयले अनुक्रमणिका निर्माण गर्न र भेक्टर खोजहरू व्यवस्थित गर्नका लागि उपकरणहरू समावेश गर्दछ, साथै भेक्टरहरूको धेरै ठूला संग्रहहरू कभर गर्ने वितरित अनलाइन खोज प्रणाली कायम राख्नका लागि उपकरणहरूको सेट समावेश गर्दछ। प्रस्ताव गरियो निम्न मोड्युलहरू: अनुक्रमणिकाको लागि अनुक्रमणिका निर्माणकर्ता, धेरै नोडहरूको क्लस्टरमा वितरित अनुक्रमणिका प्रयोग गरेर खोजी गर्ने खोजकर्ता, नोडहरूमा ह्यान्डलरहरू चलाउनको लागि सर्भर, धेरै सर्भरहरूलाई एकमा मिलाउनको लागि एग्रीगेटर, र क्वेरीहरू पठाउनको लागि ग्राहक। अनुक्रमणिकामा नयाँ भेक्टरहरू समावेश गर्न र फ्लाईमा भेक्टरहरू मेटाउन समर्थित छ।

पुस्तकालयले सङ्कलनमा प्रशोधित र प्रस्तुत डाटा सम्बन्धित भेक्टरहरूको रूपमा ढाँचामा आधारित छ भन्ने बुझाउँछ जुन आधारमा तुलना गर्न सकिन्छ। युक्लिडियन (L2) वा कोसाइन दूरीहरू खोज क्वेरीले भेक्टरहरू फर्काउँछ जसको तिनीहरू र मूल भेक्टर बीचको दूरी न्यूनतम छ। SPTAG ले भेक्टर स्पेस व्यवस्थित गर्न दुई तरिकाहरू प्रदान गर्दछ: SPTAG-KDT (K-dimensional Tree (kd-रूख) र सापेक्ष छिमेक ग्राफ) र SPTAG-BKT (k- मतलब रूख (k-को अर्थ रूख हो र सापेक्ष छिमेक ग्राफ)। पहिलो विधिले अनुक्रमणिकासँग काम गर्दा कम स्रोतहरू चाहिन्छ, र दोस्रोले भेक्टरहरूको धेरै ठूलो सङ्कलनका लागि खोज परिणामहरूको उच्च शुद्धता देखाउँछ।

एकै समयमा, भेक्टर खोज पाठमा सीमित छैन र मल्टिमिडिया जानकारी र छविहरूमा लागू गर्न सकिन्छ, साथै स्वचालित रूपमा सिफारिसहरू उत्पन्न गर्ने प्रणालीहरूमा। उदाहरणका लागि, PyTorch फ्रेमवर्कमा आधारित प्रोटोटाइपहरू मध्ये एउटाले छविहरूमा वस्तुहरूको समानताको आधारमा खोजी गर्न भेक्टर प्रणाली लागू गर्‍यो, जनावरहरू, बिरालोहरू र कुकुरहरूको छविहरू सहित धेरै सन्दर्भ संग्रहहरूबाट डाटा प्रयोग गरेर बनाइएको थियो, जुन भेक्टरहरूको सेटमा रूपान्तरण गरिएको थियो। । जब खोजको लागि आगमन छवि प्राप्त हुन्छ, यसलाई मेसिन लर्निङ मोडेल प्रयोग गरी भेक्टरमा रूपान्तरण गरिन्छ, जसको आधारमा SPTAG एल्गोरिदम प्रयोग गरी अनुक्रमणिकाबाट सबैभन्दा मिल्दो भेक्टरहरू चयन गरिन्छ र परिणाम स्वरूप सम्बन्धित छविहरू फर्काइन्छ।

स्रोत: opennet.ru