מיקרוסופט במקור פתוח של ספריית החיפוש הווקטורית המשמשת ב-Bing

מיקרוסופט опубликовала קודי מקור של ספריית למידת מכונה SPTAG (Space Partition Tree And Graph) עם יישום האלגוריתם המשוער חיפוש השכנים הקרובים ביותר. סִפְרִיָה מפותח בחטיבת המחקר של Microsoft Research ומרכז פיתוח טכנולוגיית החיפוש (Microsoft Search Technology Center). בפועל, SPTAG משמש את מנוע החיפוש Bing כדי לקבוע את התוצאות הרלוונטיות ביותר בהתבסס על ההקשר של שאילתות החיפוש. הקוד כתוב ב-C++ ו מופץ על ידי תחת רישיון MIT. Build עבור Linux ו-Windows נתמך. יש כריכה לשפת Python.

למרות העובדה שהרעיון של שימוש באחסון וקטור במנועי חיפוש מרחף כבר די הרבה זמן, בפועל, היישום שלהם נפגע על ידי עוצמת המשאבים הגבוהה של פעולות עם מגבלות וקטורים ומדרגיות. שילוב של שיטות למידת מכונה עמוקה עם אלגוריתמי חיפוש משוערים של השכנים הקרובים איפשר להביא את הביצועים והמדרגיות של מערכות וקטוריות לרמה המקובלת עבור מנועי חיפוש גדולים. לדוגמה, ב-Bing, עבור אינדקס וקטור של למעלה מ-150 מיליארד וקטורים, הזמן להביא את התוצאות הרלוונטיות ביותר הוא בתוך 8 אלפיות השנייה.

הספרייה כוללת כלים לבניית אינדקס וארגון חיפושים וקטוריים וכן מערך כלים לתחזוקת מערכת חיפוש מקוונת מבוזרת המכסה אוספים גדולים מאוד של וקטורים. מוּצָע המודולים הבאים: בונה אינדקס לאינדקס, מחפש לחיפוש באמצעות אינדקס המופץ באשכול של מספר צמתים, שרת להפעלת מטפלים בצמתים, Aggregator לשילוב מספר שרתים לאחד ולקוח לשליחת שאילתות. הכללת וקטורים חדשים באינדקס ומחיקת וקטורים תוך כדי תמיכה נתמכת.

הספרייה מרמזת שהנתונים המעובדים והמוצגים באוסף מעוצבים בצורה של וקטורים קשורים שניתן להשוות על סמך אוקלידי (L2) או קוסינוס מרחקים שאילתת החיפוש מחזירה וקטורים שהמרחק ביניהם לבין הווקטור המקורי הוא מינימלי. SPTAG מספקת שתי שיטות לארגון מרחב וקטורי: SPTAG-KDT (עץ ממדי K (עץ kd) ו גרף שכונה יחסי) ו-SPTAG-BKT (ק-פירושו עץ (k-פירושו עץ וגרף שכונה יחסי). השיטה הראשונה דורשת פחות משאבים בעבודה עם האינדקס, והשנייה מדגימה דיוק גבוה יותר של תוצאות החיפוש עבור אוספים גדולים מאוד של וקטורים.

יחד עם זאת, חיפוש וקטור אינו מוגבל לטקסט וניתן ליישם אותו על מידע ותמונות מולטימדיה, וכן במערכות להפקת המלצות אוטומטית. לדוגמה, אחד מאבות הטיפוס המבוסס על מסגרת PyTorch הטמיע מערכת וקטורית לחיפוש המבוססת על הדמיון של אובייקטים בתמונות, שנבנתה באמצעות נתונים ממספר אוספי התייחסות עם תמונות של חיות, חתולים וכלבים, שהומרו לקבוצות של וקטורים. . כאשר תמונה נכנסת מתקבלת לחיפוש, היא מומרת באמצעות מודל למידת מכונה לוקטור, על פיו נבחרים הווקטורים הדומים ביותר מהאינדקס באמצעות אלגוריתם SPTAG והתמונות המשויכות מוחזרות כתוצאה מכך.

מקור: OpenNet.ru