مائیکروسافٹ مشین لرننگ لائبریری سورس کوڈز (اسپیس پارٹیشن ٹری اینڈ گراف) تخمینی الگورتھم کے نفاذ کے ساتھ . کتب خانہ مائیکروسافٹ ریسرچ اور سرچ ٹیکنالوجی ڈویلپمنٹ سینٹر (مائیکروسافٹ سرچ ٹیکنالوجی سینٹر) کے ریسرچ ڈویژن میں۔ عملی طور پر، SPTAG کو Bing سرچ انجن تلاش کے سوالات کے سیاق و سباق کی بنیاد پر انتہائی متعلقہ نتائج کا تعین کرنے کے لیے استعمال کرتا ہے۔ کوڈ C++ اور میں لکھا گیا ہے۔ MIT لائسنس کے تحت۔ لینکس اور ونڈوز کے لیے تعمیر تعاون یافتہ ہے۔ ازگر کی زبان کے لیے ایک پابندی ہے۔
اس حقیقت کے باوجود کہ سرچ انجنوں میں ویکٹر سٹوریج کے استعمال کا خیال کافی عرصے سے گردش کر رہا ہے، عملی طور پر، ان کے نفاذ میں ویکٹرز اور اسکیل ایبلٹی حدود کے ساتھ آپریشنز کی اعلیٰ وسائل کی شدت کی وجہ سے رکاوٹ ہے۔ گہرے مشین سیکھنے کے طریقوں کو قریب ترین پڑوسی تلاش کے الگورتھم کے ساتھ ملا کر ویکٹر سسٹمز کی کارکردگی اور اسکیل ایبلٹی کو بڑے سرچ انجنوں کے لیے قابل قبول سطح پر لانا ممکن ہو گیا ہے۔ مثال کے طور پر، Bing میں، 150 بلین ویکٹر سے زیادہ کے ویکٹر انڈیکس کے لیے، سب سے زیادہ متعلقہ نتائج حاصل کرنے کا وقت 8 ms کے اندر ہے۔
لائبریری میں انڈیکس بنانے اور ویکٹر کی تلاش کو منظم کرنے کے لیے ٹولز شامل ہیں، نیز ویکٹرز کے بہت بڑے مجموعوں کا احاطہ کرنے والے تقسیم شدہ آن لائن سرچ سسٹم کو برقرار رکھنے کے لیے ٹولز کا ایک سیٹ۔ درج ذیل ماڈیولز: اشاریہ سازی کے لیے انڈیکس بلڈر، متعدد نوڈس کے کلسٹر میں تقسیم کردہ انڈیکس کا استعمال کرتے ہوئے تلاش کرنے والا، نوڈس پر ہینڈلرز چلانے کے لیے سرور، متعدد سرورز کو ایک میں ملانے کے لیے ایگریگیٹر، اور سوالات بھیجنے کے لیے کلائنٹ۔ انڈیکس میں نئے ویکٹرز کی شمولیت اور فلائی پر ویکٹرز کو حذف کرنے کی حمایت کی جاتی ہے۔
لائبریری کا مطلب یہ ہے کہ جمع کیے گئے اور جمع کیے گئے ڈیٹا کو متعلقہ ویکٹرز کی شکل میں فارمیٹ کیا جاتا ہے جن کا موازنہ کیا جا سکتا ہے (L2) یا فاصلے تلاش کا استفسار ایسے ویکٹر لوٹاتا ہے جن کے اور اصل ویکٹر کے درمیان فاصلہ کم سے کم ہے۔ SPTAG ویکٹر کی جگہ کو منظم کرنے کے دو طریقے فراہم کرتا ہے: SPTAG-KDT (K-dimensional tree () اور ) اور SPTAG-BKT (k- یعنی درخت ( اور رشتہ دار پڑوس کا گراف)۔ انڈیکس کے ساتھ کام کرتے وقت پہلا طریقہ کم وسائل کی ضرورت ہے، اور دوسرا ویکٹرز کے بہت بڑے مجموعوں کے لیے تلاش کے نتائج کی اعلیٰ درستگی کو ظاہر کرتا ہے۔
ایک ہی وقت میں، ویکٹر کی تلاش صرف متن تک محدود نہیں ہے اور اسے ملٹی میڈیا معلومات اور تصاویر کے ساتھ ساتھ خود کار طریقے سے سفارشات تیار کرنے کے نظام میں بھی لاگو کیا جا سکتا ہے۔ مثال کے طور پر، PyTorch فریم ورک پر مبنی پروٹو ٹائپس میں سے ایک نے تصاویر میں اشیاء کی مماثلت کی بنیاد پر تلاش کے لیے ایک ویکٹر سسٹم نافذ کیا، جس میں جانوروں، بلیوں اور کتوں کی تصاویر کے ساتھ کئی حوالہ جات کے ڈیٹا کا استعمال کرتے ہوئے بنایا گیا، جنہیں ویکٹر کے سیٹ میں تبدیل کیا گیا۔ . جب کوئی آنے والی تصویر تلاش کے لیے موصول ہوتی ہے، تو اسے مشین لرننگ ماڈل کا استعمال کرتے ہوئے ایک ویکٹر میں تبدیل کر دیا جاتا ہے، جس کی بنیاد پر SPTAG الگورتھم کا استعمال کرتے ہوئے انڈیکس سے سب سے ملتے جلتے ویکٹرز کو منتخب کیا جاتا ہے اور اس کے نتیجے میں متعلقہ تصاویر واپس کی جاتی ہیں۔
ماخذ: opennet.ru