Bing-ൽ ഉപയോഗിക്കുന്ന വെക്റ്റർ സെർച്ച് ലൈബ്രറി മൈക്രോസോഫ്റ്റ് ഓപ്പൺ സോഴ്‌സ് ചെയ്തു

മൈക്രോസോഫ്റ്റ് പ്രസിദ്ധീകരിച്ചു മെഷീൻ ലേണിംഗ് ലൈബ്രറി സോഴ്സ് കോഡുകൾ SPTAG (സ്‌പേസ് പാർട്ടീഷൻ ട്രീയും ഗ്രാഫും) ഏകദേശ അൽഗോരിതം നടപ്പിലാക്കുന്നു അടുത്തുള്ള അയൽക്കാരൻ തിരയൽ. പുസ്തകശാല വികസിപ്പിച്ചെടുത്തു മൈക്രോസോഫ്റ്റ് റിസർച്ചിന്റെയും സെർച്ച് ടെക്നോളജി ഡെവലപ്മെന്റ് സെന്ററിന്റെയും (മൈക്രോസോഫ്റ്റ് സെർച്ച് ടെക്നോളജി സെന്റർ) ഗവേഷണ വിഭാഗത്തിൽ. പ്രായോഗികമായി, തിരയൽ അന്വേഷണങ്ങളുടെ സന്ദർഭത്തെ അടിസ്ഥാനമാക്കി ഏറ്റവും പ്രസക്തമായ ഫലങ്ങൾ നിർണ്ണയിക്കാൻ Bing തിരയൽ എഞ്ചിൻ SPTAG ഉപയോഗിക്കുന്നു. കോഡ് C++ ൽ എഴുതിയിരിക്കുന്നു വിതരണം ചെയ്തത് MIT ലൈസൻസിന് കീഴിൽ. ലിനക്സിനും വിൻഡോസിനും വേണ്ടിയുള്ള ബിൽഡ് പിന്തുണയ്ക്കുന്നു. പൈത്തൺ ഭാഷയ്ക്ക് ഒരു ബന്ധമുണ്ട്.

സെർച്ച് എഞ്ചിനുകളിൽ വെക്റ്റർ സംഭരണം ഉപയോഗിക്കുന്നതിനുള്ള ആശയം വളരെക്കാലമായി നിലനിൽക്കുന്നുണ്ടെങ്കിലും, പ്രായോഗികമായി, വെക്റ്ററുകളുള്ള പ്രവർത്തനങ്ങളുടെ ഉയർന്ന വിഭവ തീവ്രതയും സ്കേലബിലിറ്റി പരിമിതികളും കാരണം അവ നടപ്പിലാക്കുന്നത് തടസ്സപ്പെടുത്തുന്നു. ആഴത്തിലുള്ള മെഷീൻ ലേണിംഗ് രീതികൾ അടുത്തുള്ള അയൽക്കാരനായ സെർച്ച് അൽഗോരിതങ്ങളുമായി സംയോജിപ്പിക്കുന്നത് വെക്റ്റർ സിസ്റ്റങ്ങളുടെ പ്രകടനവും സ്കേലബിളിറ്റിയും വലിയ സെർച്ച് എഞ്ചിനുകൾക്ക് സ്വീകാര്യമായ തലത്തിലേക്ക് കൊണ്ടുവരുന്നത് സാധ്യമാക്കി. ഉദാഹരണത്തിന്, Bing-ൽ, 150 ബില്ല്യണിലധികം വെക്‌ടറുകളുടെ ഒരു വെക്‌റ്റർ സൂചികയ്‌ക്ക്, ഏറ്റവും പ്രസക്തമായ ഫലങ്ങൾ ലഭിക്കാനുള്ള സമയം 8 മി.എസിനുള്ളിലാണ്.

ഒരു സൂചിക നിർമ്മിക്കുന്നതിനും വെക്റ്റർ തിരയലുകൾ സംഘടിപ്പിക്കുന്നതിനുമുള്ള ഉപകരണങ്ങളും വെക്റ്ററുകളുടെ വലിയ ശേഖരം ഉൾക്കൊള്ളുന്ന ഒരു വിതരണം ചെയ്ത ഓൺലൈൻ തിരയൽ സംവിധാനം പരിപാലിക്കുന്നതിനുള്ള ഒരു കൂട്ടം ഉപകരണങ്ങളും ലൈബ്രറിയിൽ ഉൾപ്പെടുന്നു. വാഗ്ദാനം ചെയ്തു ഇനിപ്പറയുന്ന മൊഡ്യൂളുകൾ: ഇൻഡെക്‌സ് ചെയ്യുന്നതിനുള്ള ഇൻഡെക്‌സ് ബിൽഡർ, നിരവധി നോഡുകളുടെ ഒരു ക്ലസ്റ്ററിൽ വിതരണം ചെയ്യുന്ന ഒരു സൂചിക ഉപയോഗിച്ച് തിരയുന്നതിനുള്ള സെർച്ചർ, നോഡുകളിൽ ഹാൻഡ്‌ലറുകൾ പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള സെർവർ, നിരവധി സെർവറുകൾ ഒന്നായി സംയോജിപ്പിക്കുന്നതിനുള്ള അഗ്രഗേറ്റർ, ചോദ്യങ്ങൾ അയയ്‌ക്കുന്നതിനുള്ള ക്ലയന്റ്. ഇൻഡക്സിൽ പുതിയ വെക്റ്ററുകൾ ഉൾപ്പെടുത്തുന്നതും ഈച്ചയിൽ വെക്റ്ററുകൾ ഇല്ലാതാക്കുന്നതും പിന്തുണയ്ക്കുന്നു.

ശേഖരത്തിൽ പ്രോസസ്സ് ചെയ്യുകയും അവതരിപ്പിക്കുകയും ചെയ്യുന്ന ഡാറ്റ അനുബന്ധ വെക്‌ടറുകളുടെ രൂപത്തിൽ ഫോർമാറ്റ് ചെയ്‌തിരിക്കുന്നുവെന്ന് ലൈബ്രറി സൂചിപ്പിക്കുന്നു. യൂക്ലിഡിയൻ (L2) അല്ലെങ്കിൽ കോസൈൻ ദൂരങ്ങൾ തിരയൽ അന്വേഷണം വെക്‌ടറുകളും യഥാർത്ഥ വെക്‌ടറും തമ്മിലുള്ള ദൂരം കുറവുള്ള വെക്‌ടറുകൾ നൽകുന്നു. വെക്റ്റർ സ്പേസ് ക്രമീകരിക്കുന്നതിന് SPTAG രണ്ട് രീതികൾ നൽകുന്നു: SPTAG-KDT (കെ-ഡൈമൻഷണൽ ട്രീ (kd-മരം) ഒപ്പം ആപേക്ഷിക അയൽപക്ക ഗ്രാഫ്) കൂടാതെ SPTAG-BKT (k-എന്നാൽ വൃക്ഷം (കെ-എന്നാൽ വൃക്ഷം കൂടാതെ ആപേക്ഷിക അയൽപക്ക ഗ്രാഫ്). ഇൻഡെക്സുമായി പ്രവർത്തിക്കുമ്പോൾ ആദ്യ രീതിക്ക് കുറച്ച് വിഭവങ്ങൾ ആവശ്യമാണ്, രണ്ടാമത്തേത് വെക്റ്ററുകളുടെ വളരെ വലിയ ശേഖരങ്ങൾക്കായുള്ള തിരയൽ ഫലങ്ങളുടെ ഉയർന്ന കൃത്യത കാണിക്കുന്നു.

അതേ സമയം, വെക്റ്റർ തിരയൽ വാചകത്തിൽ മാത്രമായി പരിമിതപ്പെടുത്തിയിട്ടില്ല, കൂടാതെ മൾട്ടിമീഡിയ വിവരങ്ങളിലും ചിത്രങ്ങളിലും അതുപോലെ തന്നെ നിർദ്ദേശങ്ങൾ സ്വയമേവ സൃഷ്ടിക്കുന്നതിനുള്ള സിസ്റ്റങ്ങളിലും പ്രയോഗിക്കാൻ കഴിയും. ഉദാഹരണത്തിന്, PyTorch ചട്ടക്കൂടിനെ അടിസ്ഥാനമാക്കിയുള്ള പ്രോട്ടോടൈപ്പുകളിൽ ഒന്ന്, ചിത്രങ്ങളിലെ ഒബ്‌ജക്റ്റുകളുടെ സമാനതയെ അടിസ്ഥാനമാക്കി തിരയുന്നതിനായി ഒരു വെക്റ്റർ സിസ്റ്റം നടപ്പിലാക്കി, മൃഗങ്ങളുടെയും പൂച്ചകളുടെയും നായ്ക്കളുടെയും ചിത്രങ്ങളുള്ള നിരവധി റഫറൻസ് ശേഖരങ്ങളിൽ നിന്നുള്ള ഡാറ്റ ഉപയോഗിച്ച് നിർമ്മിച്ചത്, അവ വെക്റ്ററുകളുടെ സെറ്റുകളായി പരിവർത്തനം ചെയ്തു. . തിരയലിനായി ഒരു ഇൻകമിംഗ് ഇമേജ് ലഭിക്കുമ്പോൾ, അത് ഒരു മെഷീൻ ലേണിംഗ് മോഡൽ ഉപയോഗിച്ച് ഒരു വെക്റ്ററായി പരിവർത്തനം ചെയ്യപ്പെടുന്നു, അതിന്റെ അടിസ്ഥാനത്തിൽ SPTAG അൽഗോരിതം ഉപയോഗിച്ച് സൂചികയിൽ നിന്ന് ഏറ്റവും സമാനമായ വെക്റ്ററുകൾ തിരഞ്ഞെടുക്കുകയും അതിന്റെ ഫലമായി ബന്ധപ്പെട്ട ഇമേജുകൾ നൽകുകയും ചെയ്യുന്നു.

അവലംബം: opennet.ru