মাইক্রোসফ্ট বিং দ্বারা ব্যবহৃত ভেক্টর অনুসন্ধান লাইব্রেরির কোডটি খুলেছে

মাইক্রোসফ্ট প্রকাশিত মেশিন লার্নিং লাইব্রেরি সোর্স কোড SPTAG (স্পেস পার্টিশন ট্রি এবং গ্রাফ) আনুমানিক অ্যালগরিদম বাস্তবায়নের সাথে নিকটতম প্রতিবেশী অনুসন্ধান. লাইব্রেরি উন্নত মাইক্রোসফট রিসার্চ এবং সার্চ টেকনোলজি ডেভেলপমেন্ট সেন্টার (মাইক্রোসফট সার্চ টেকনোলজি সেন্টার) এর গবেষণা বিভাগে। বাস্তবে, সার্চ কোয়েরির প্রেক্ষাপটের উপর ভিত্তি করে সবচেয়ে প্রাসঙ্গিক ফলাফল নির্ধারণ করতে Bing সার্চ ইঞ্জিন দ্বারা SPTAG ব্যবহার করা হয়। কোডটি C++ এ লেখা আছে এবং দ্বারা বিতরণ এমআইটি লাইসেন্সের অধীনে। লিনাক্স এবং উইন্ডোজের জন্য বিল্ড সমর্থিত। পাইথন ভাষার জন্য একটি বাঁধাই আছে।

সার্চ ইঞ্জিনে ভেক্টর স্টোরেজ ব্যবহার করার ধারণাটি বেশ দীর্ঘ সময় ধরে ভেসে আসছে তা সত্ত্বেও, বাস্তবে, ভেক্টর এবং স্কেলেবিলিটি সীমাবদ্ধতা সহ অপারেশনগুলির উচ্চ সম্পদের তীব্রতা দ্বারা তাদের বাস্তবায়ন বাধাগ্রস্ত হয়। আনুমানিক নিকটতম প্রতিবেশী অনুসন্ধান অ্যালগরিদমের সাথে গভীর মেশিন লার্নিং পদ্ধতিগুলিকে একত্রিত করার ফলে ভেক্টর সিস্টেমের কর্মক্ষমতা এবং স্কেলেবিলিটি বড় সার্চ ইঞ্জিনগুলির জন্য গ্রহণযোগ্য স্তরে আনা সম্ভব হয়েছে৷ উদাহরণস্বরূপ, Bing-এ, 150 বিলিয়ন ভেক্টরের একটি ভেক্টর সূচকের জন্য, সবচেয়ে প্রাসঙ্গিক ফলাফল আনার সময় হল 8 ms এর মধ্যে।

লাইব্রেরিতে একটি সূচক তৈরি এবং ভেক্টর অনুসন্ধানগুলি সংগঠিত করার জন্য সরঞ্জামগুলির পাশাপাশি ভেক্টরগুলির খুব বড় সংগ্রহকে কভার করে একটি বিতরণ করা অনলাইন অনুসন্ধান ব্যবস্থা বজায় রাখার জন্য সরঞ্জামগুলির একটি সেট অন্তর্ভুক্ত রয়েছে। অফার নিম্নলিখিত মডিউলগুলি: ইন্ডেক্সিংয়ের জন্য সূচক নির্মাতা, একাধিক নোডের ক্লাস্টারে বিতরণ করা একটি সূচক ব্যবহার করে অনুসন্ধানের জন্য অনুসন্ধানকারী, নোডে হ্যান্ডলার চালানোর জন্য সার্ভার, একাধিক সার্ভারকে একত্রিত করার জন্য অ্যাগ্রিগেটর এবং প্রশ্ন পাঠানোর জন্য ক্লায়েন্ট। ইনডেক্সে নতুন ভেক্টর অন্তর্ভুক্ত করা এবং ফ্লাইতে ভেক্টর মুছে ফেলা সমর্থিত।

লাইব্রেরিটি বোঝায় যে সংগ্রহে প্রসেস করা এবং উপস্থাপিত ডেটা সম্পর্কিত ভেক্টরের আকারে ফর্ম্যাট করা হয় যেগুলির উপর ভিত্তি করে তুলনা করা যেতে পারে ইউক্লিডীয় (L2) বা কোসাইন দূরত্ব অনুসন্ধান ক্যোয়ারী এমন ভেক্টর প্রদান করে যাদের তাদের এবং মূল ভেক্টরের মধ্যে দূরত্ব ন্যূনতম। SPTAG ভেক্টর স্থান সংগঠিত করার জন্য দুটি পদ্ধতি প্রদান করে: SPTAG-KDT (K-মাত্রিক গাছ (kd-বৃক্ষ) এবং আপেক্ষিক প্রতিবেশী গ্রাফ) এবং SPTAG-BKT (k- মানে গাছ (k- মানে গাছ এবং আপেক্ষিক প্রতিবেশী গ্রাফ)। প্রথম পদ্ধতিতে সূচকের সাথে কাজ করার সময় কম সম্পদের প্রয়োজন হয় এবং দ্বিতীয়টি ভেক্টরের খুব বড় সংগ্রহের জন্য অনুসন্ধান ফলাফলের উচ্চতর নির্ভুলতা প্রদর্শন করে।

একই সময়ে, ভেক্টর অনুসন্ধান পাঠ্যের মধ্যে সীমাবদ্ধ নয় এবং এটি মাল্টিমিডিয়া তথ্য এবং চিত্রগুলিতে প্রয়োগ করা যেতে পারে, সেইসাথে স্বয়ংক্রিয়ভাবে সুপারিশগুলি তৈরি করার জন্য সিস্টেমগুলিতে প্রয়োগ করা যেতে পারে। উদাহরণ স্বরূপ, PyTorch ফ্রেমওয়ার্কের উপর ভিত্তি করে প্রোটোটাইপগুলির মধ্যে একটি চিত্রে বস্তুর মিলের উপর ভিত্তি করে অনুসন্ধানের জন্য একটি ভেক্টর সিস্টেম প্রয়োগ করেছে, যা প্রাণী, বিড়াল এবং কুকুরের ছবি সহ বেশ কয়েকটি রেফারেন্স সংগ্রহ থেকে ডেটা ব্যবহার করে তৈরি করা হয়েছিল, যা ভেক্টরের সেটে রূপান্তরিত হয়েছিল। . যখন একটি ইনকামিং ইমেজ অনুসন্ধানের জন্য প্রাপ্ত হয়, তখন এটি একটি মেশিন লার্নিং মডেল ব্যবহার করে একটি ভেক্টরে রূপান্তরিত হয়, যার উপর ভিত্তি করে SPTAG অ্যালগরিদম ব্যবহার করে সূচক থেকে সবচেয়ে অনুরূপ ভেক্টর নির্বাচন করা হয় এবং ফলস্বরূপ সংশ্লিষ্ট ছবিগুলি ফেরত দেওয়া হয়।

উত্স: opennet.ru