Microsoft отворил кода на библиотеката за векторно търсене, използвана в Bing

Компания Microsoft е публикувала изходни текстове на библиотеката за машинно обучение SPTAG (Space Partition Tree And Graph) с реализация на алгоритъма за приблизителен търсене на най-близкия съсед. Библиотеката е разработена в изследователското подразделение на Microsoft Research и центъра за разработка на търсещи технологии (Microsoft Search Technology Center). В практиката SPTAG се прилага в търсещата система Bing за определяне на най-релевантните резултати с оглед контекста на търсенията. Кодът е написан на езика C++ и се разпространява е под лицензия MIT. Поддържа се версия за Linux и Windows. Има обвивка за езика Python.

Въпреки че идеите за прилагане на векторни хранилища в търсещите системи съществуват от известно време, на практика тяхното внедряване е затруднено от голямата ресурсна интензивност на операциите с вектори и ограниченията в мащабируемостта. Комбинирането на методи за дълбочинно машинно обучение с алгоритми за приблизително търсене на най-близкия съсед е позволило да се постигне производителност и мащабируемост на векторните системи на ниво, приемливо за големи търсещи системи. Например, в Bing за векторен индекс с размер над 150 милиарда вектора, времето за извличане на най-релевантните резултати е 8 мс.

В библиотеката са включени средства за изграждане на индекс и организиране на търсене на вектори, както и набор от инструменти за поддръжка на разпределена система за онлайн търсене, обхващаща много големи колекции от вектори. Предлагат се следните модули: index builder за индексиране, searcher за търсене с използване на индекса, разпределен в клъстер от няколко възела, сървър за стартиране на обработчици на възлите, Aggregator за обединяване на няколко сървъра в едно цяло и клиент за изпращане на запитвания. Поддържа се включване на нови вектори в индекса и премахване на вектори на летящо.

Библиотеката предполага, че обработваните и представени в колекцията данни са оформени като свързани вектори, които могат да се сравняват на базата на евклидови (L2) или косинусни разстояния. При търсене се връщат вектори, разстоянието между които и изходния вектор е минимално. В SPTAG се предлага два метода за организиране на векторното пространство: SPTAG-KDT (K-мерно дърво (kd-tree) и граф на относителните околности) и SPTAG-BKT (дерево на k-средните (k-means tree и граф на относителните околности). Първият метод изисква по-малко ресурси при работа с индекса, докато вторият показва по-висока точност на резултатите от търсенето при много големи колекции от вектори.

Векторното търсене не се ограничава само до текст, а може да бъде прилагано и за мултимедийна информация и изображения, както и в системи за автоматично генериране на препоръки. Например, в един от прототипите, базиран на фреймворка PyTorch, е реализирана векторна система за търсене, вземаща предвид сходството на обектите в изображения, изградена с помощта на данни от няколко еталонни колекции с изображения на животни, котки и кучета, които са преобразувани в набори от вектори. При получаване на входящо изображение за търсене, то се преобразува с помощта на модел за машинно обучение в вектор, на базата на който чрез алгоритъма SPTAG се изборяват най-сходните вектори от индекса и като резултат се връщат свързаните с тях изображения.

Източник: opennet.ru