માઇક્રોસોફ્ટે Bing દ્વારા ઉપયોગમાં લેવાતી વેક્ટર સર્ચ લાઇબ્રેરી માટે કોડ ખોલ્યો છે

માઈક્રોસોફ્ટ પ્રકાશિત મશીન લર્નિંગ લાઇબ્રેરી સ્ત્રોત કોડ SPTAG (સ્પેસ પાર્ટીશન ટ્રી એન્ડ ગ્રાફ) અંદાજિત અલ્ગોરિધમના અમલીકરણ સાથે નજીકના પડોશી શોધ. પુસ્તકાલય વિકસિત માઈક્રોસોફ્ટ રિસર્ચ અને સર્ચ ટેક્નોલોજી ડેવલપમેન્ટ સેન્ટર (માઈક્રોસોફ્ટ સર્ચ ટેક્નોલોજી સેન્ટર) ના સંશોધન વિભાગમાં. વ્યવહારમાં, SPTAG નો ઉપયોગ Bing સર્ચ એન્જિન દ્વારા શોધ પ્રશ્નોના સંદર્ભના આધારે સૌથી વધુ સુસંગત પરિણામો નક્કી કરવા માટે થાય છે. કોડ C++ અને માં લખાયેલ છે દ્વારા વિતરિત MIT લાયસન્સ હેઠળ. Linux અને Windows માટે બિલ્ડ સપોર્ટેડ છે. Python ભાષા માટે બંધનકર્તા છે.

સર્ચ એન્જિનમાં વેક્ટર સ્ટોરેજનો ઉપયોગ કરવાનો વિચાર ઘણા લાંબા સમયથી ફરતો રહ્યો હોવા છતાં, વ્યવહારમાં, વેક્ટર અને માપનીયતા મર્યાદાઓ સાથેની કામગીરીની ઉચ્ચ સંસાધન તીવ્રતા દ્વારા તેમના અમલીકરણમાં અવરોધ આવે છે. આશરે નજીકના પડોશી શોધ અલ્ગોરિધમ્સ સાથે ડીપ મશીન લર્નિંગ પદ્ધતિઓનું સંયોજન એ વેક્ટર સિસ્ટમ્સની કામગીરી અને માપનીયતાને મોટા સર્ચ એન્જિનો માટે સ્વીકાર્ય સ્તર પર લાવવાનું શક્ય બનાવ્યું છે. ઉદાહરણ તરીકે, Bing માં, 150 બિલિયન વેક્ટરના વેક્ટર ઇન્ડેક્સ માટે, સૌથી વધુ સુસંગત પરિણામો મેળવવાનો સમય 8 ms ની અંદર છે.

લાઇબ્રેરીમાં ઇન્ડેક્સ બનાવવા અને વેક્ટર શોધને ગોઠવવા માટેના સાધનોનો સમાવેશ થાય છે, તેમજ વેક્ટરના ખૂબ મોટા સંગ્રહને આવરી લેતી વિતરિત ઑનલાઇન શોધ સિસ્ટમ જાળવવા માટેના સાધનોનો સમૂહ શામેલ છે. ઓફર કરે છે નીચેના મોડ્યુલો: ઈન્ડેક્સીંગ માટે ઈન્ડેક્સ બિલ્ડર, અનેક નોડ્સના ક્લસ્ટરમાં વિતરિત ઈન્ડેક્સનો ઉપયોગ કરીને શોધ કરવા માટે શોધકર્તા, નોડ્સ પર હેન્ડલર્સ ચલાવવા માટે સર્વર, એકમાં અનેક સર્વર્સને જોડવા માટે એગ્રીગેટર અને ક્વેરી મોકલવા માટે ક્લાયંટ. ઇન્ડેક્સમાં નવા વેક્ટર્સનો સમાવેશ અને ફ્લાય પરના વેક્ટર્સને કાઢી નાખવાને સપોર્ટ કરવામાં આવે છે.

લાઇબ્રેરી સૂચવે છે કે સંગ્રહમાં પ્રક્રિયા કરેલ અને પ્રસ્તુત ડેટા સંબંધિત વેક્ટરના સ્વરૂપમાં ફોર્મેટ કરવામાં આવે છે જેની તુલના તેના આધારે કરી શકાય છે યુક્લિડિયન (L2) અથવા કોસાઇન અંતર શોધ ક્વેરી એવા વેક્ટર્સ પરત કરે છે કે જેની તેમની અને મૂળ વેક્ટર વચ્ચેનું અંતર ન્યૂનતમ છે. SPTAG વેક્ટર સ્પેસ ગોઠવવા માટે બે પદ્ધતિઓ પ્રદાન કરે છે: SPTAG-KDT (K-ડાયમેન્શનલ ટ્રી (kd-વૃક્ષ) અને સંબંધિત પડોશી ગ્રાફ) અને SPTAG-BKT (k- એટલે વૃક્ષ (k- એટલે વૃક્ષ અને સંબંધિત પડોશી ગ્રાફ). ઇન્ડેક્સ સાથે કામ કરતી વખતે પ્રથમ પદ્ધતિમાં ઓછા સંસાધનોની જરૂર પડે છે, અને બીજી વેક્ટરના ખૂબ મોટા સંગ્રહ માટે શોધ પરિણામોની ઉચ્ચ ચોકસાઈ દર્શાવે છે.

તે જ સમયે, વેક્ટર શોધ ટેક્સ્ટ સુધી મર્યાદિત નથી અને મલ્ટીમીડિયા માહિતી અને છબીઓ તેમજ આપમેળે ભલામણો જનરેટ કરવા માટેની સિસ્ટમ્સમાં લાગુ કરી શકાય છે. ઉદાહરણ તરીકે, PyTorch ફ્રેમવર્ક પર આધારિત પ્રોટોટાઇપ્સમાંની એકે ઈમેજીસમાં ઓબ્જેક્ટની સમાનતાને આધારે શોધ માટે વેક્ટર સિસ્ટમ લાગુ કરી હતી, જે પ્રાણીઓ, બિલાડીઓ અને કૂતરાઓની છબીઓ સાથેના કેટલાક સંદર્ભ સંગ્રહમાંથી ડેટાનો ઉપયોગ કરીને બનાવવામાં આવી હતી, જે વેક્ટરના સેટમાં રૂપાંતરિત થઈ હતી. . જ્યારે શોધ માટે ઇનકમિંગ ઇમેજ પ્રાપ્ત થાય છે, ત્યારે તેને મશીન લર્નિંગ મોડલનો ઉપયોગ કરીને વેક્ટરમાં રૂપાંતરિત કરવામાં આવે છે, જેના આધારે SPTAG અલ્ગોરિધમનો ઉપયોગ કરીને અનુક્રમણિકામાંથી સૌથી સમાન વેક્ટર પસંદ કરવામાં આવે છે અને તેના પરિણામે સંબંધિત છબીઓ પરત કરવામાં આવે છે.

સોર્સ: opennet.ru