Microsoft اوپن سورس ویکٹر سرچ لائبريري کي Bing ۾ استعمال ڪيو

Microsoft شايع ٿيل مشين لرننگ لائبريري سورس ڪوڊ SPTAG (خلائي ورهاڱي جو وڻ ۽ گراف) لڳ ڀڳ الگورتھم جي عمل سان ويجهي پاڙيسري جي ڳولا. لائبريري ترقي يافته Microsoft ريسرچ ۽ سرچ ٽيڪنالاجي ڊولپمينٽ سينٽر (Microsoft سرچ ٽيڪنالاجي سينٽر) جي ريسرچ ڊويزن ۾. عملي طور تي، SPTAG استعمال ڪيو ويندو آهي Bing سرچ انجڻ جي ڳولا جي سوالن جي حوالي سان سڀ کان وڌيڪ لاڳاپيل نتيجن کي طئي ڪرڻ لاء. ڪوڊ C++ ۾ لکيل آهي ۽ طرفان ورهايل MIT لائسنس جي تحت. لينڪس ۽ ونڊوز لاء تعمير جي حمايت ڪئي وئي آهي. پٿون ٻولي لاءِ پابند آهي.

ان حقيقت جي باوجود ته سرچ انجڻ ۾ ویکٹر اسٽوريج استعمال ڪرڻ جو خيال ڪافي عرصي کان گردش ڪري رهيو آهي، عملي طور تي، انهن تي عمل درآمد ڪرڻ ۾ رڪاوٽ ٿيندي آهي آپريشنز جي اعلي وسيلن جي شدت سان ویکٹرز ۽ اسڪاليبلٽي حدن سان. ڊيپ مشين لرننگ طريقن کي ويجھي ويجھي پاڙيسري سرچ الگورٿمز سان گڏ ڪرڻ ان کي ممڪن بڻايو آھي ته ویکٹر سسٽم جي ڪارڪردگي ۽ اسڪاليبلٽي کي وڏي سرچ انجڻن لاءِ قابل قبول سطح تي آڻڻ. مثال طور، Bing ۾، 150 بلين ویکٹرز جي ویکٹر انڊيڪس لاءِ، سڀ کان وڌيڪ لاڳاپيل نتيجا حاصل ڪرڻ جو وقت 8 ms جي اندر آهي.

لئبرريءَ ۾ انڊيڪس ٺاهڻ ۽ ویکٹر جي ڳولا کي منظم ڪرڻ جا اوزار شامل آهن، انهي سان گڏ هڪ ورهايل آن لائين سرچ سسٽم کي برقرار رکڻ لاءِ اوزارن جو هڪ سيٽ به شامل آهي، جنهن ۾ ویکٹرز جي تمام وڏي مجموعن کي ڍڪي ٿو. آڇ ڪئي وئي ھيٺ ڏنل ماڊلز: انڊيڪس بلڊر انڊيڪسنگ لاءِ، ڳولا ڪندڙ انڊيڪس استعمال ڪندي ڪيترن ئي نوڊس جي ڪلستر ۾ ورهايل آھي، سرور نوڊس تي ھلندڙ ھينڊلر لاءِ، ڪيترن ئي سرورن کي ھڪڙي ۾ گڏ ڪرڻ لاءِ Aggregator، ۽ ڪلائنٽ سوال موڪلڻ لاءِ. انڊيڪس ۾ نون ویکٹرز کي شامل ڪرڻ ۽ فلائي تي ویکٹرز کي ختم ڪرڻ جي حمايت ڪئي وئي آھي.

لائبريريءَ جو مطلب آهي ته ڊيٽا پروسيس ٿيل ۽ جمع ۾ پيش ڪيل لاڳاپيل ویکٹر جي شڪل ۾ فارميٽ ڪئي وئي آهي جنهن جي بنياد تي مقابلو ڪري سگهجي ٿو. ايڪليڊين (L2) يا ڪوسائن فاصلو ڳولها سوال ویکٹر موٽائي ٿو جن جي وچ ۾ فاصلو ۽ اصل ویکٹر گهٽ ۾ گهٽ آهي. SPTAG ویکٹر اسپيس کي منظم ڪرڻ لاءِ ٻه طريقا مهيا ڪري ٿو: SPTAG-KDT (K-dimensional tree (kd-وڻ) ۽ لاڳاپيل پاڙيسري گراف) ۽ SPTAG-BKT (k- مطلب وڻ (k- يعني وڻ ۽ لاڳاپيل پاڙيسري گراف). انڊيڪس سان ڪم ڪرڻ دوران پهريون طريقو گهٽ وسيلن جي ضرورت آهي، ۽ ٻيو ویکٹرز جي تمام وڏي مجموعن لاءِ ڳولا جي نتيجن جي اعليٰ درستگي کي ظاهر ڪري ٿو.

ساڳئي وقت، ویکٹر ڳولا متن تائين محدود ناهي ۽ ملٽي ميڊيا جي معلومات ۽ تصويرن تي لاڳو ٿي سگهي ٿو، انهي سان گڏ خودڪار طريقي سان سفارشون پيدا ڪرڻ لاء سسٽم ۾. مثال طور، PyTorch فريم ورڪ جي بنياد تي پروٽوٽائپس مان هڪ هڪ ویکٹر سسٽم لاڳو ڪيو ويو آهي ڳولا لاءِ تصويرن ۾ شين جي هڪجهڙائي جي بنياد تي، ڪيترن ئي حوالن جي مجموعن مان ڊيٽا استعمال ڪندي جانورن، ٻليون ۽ ڪتن جي تصويرن سان گڏ ٺاهيا ويا، جن کي ویکٹر جي سيٽن ۾ تبديل ڪيو ويو. . جڏهن هڪ ايندڙ تصوير ڳولا لاءِ ملي ٿي، ان کي مشين لرننگ ماڊل استعمال ڪندي هڪ ویکٹر ۾ تبديل ڪيو ويندو آهي، جنهن جي بنياد تي سڀ کان وڌيڪ ملندڙ ویکٹر انڊيڪس مان چونڊيا ويندا آهن SPTAG الگورتھم استعمال ڪندي ۽ لاڳاپيل تصويرون نتيجي طور واپس ڪيون وينديون آهن.

جو ذريعو: opennet.ru

تبصرو شامل ڪريو