Microsoft отвори кода за библиотеката за векторно търсене, използвана от Bing

Microsoft публикувано изходни кодове на библиотека за машинно обучение SPTAG (Space Partition Tree And Graph) с реализация на приблизителния алгоритъм търсене на най-близкия съсед. Библиотека развити в изследователския отдел на Microsoft Research и центъра за разработка на технологии за търсене (Microsoft Search Technology Center). На практика SPTAG се използва от търсачката Bing за определяне на най-подходящите резултати въз основа на контекста на заявките за търсене. Кодът е написан на C++ и разпространява се от под лиценз на MIT. Поддържа се компилация за Linux и Windows. Има обвързване за езика Python.

Въпреки факта, че идеята за използване на векторно съхранение в търсачките се носи от доста дълго време, на практика тяхното прилагане е възпрепятствано от високата ресурсна интензивност на операциите с вектори и ограниченията на мащабируемостта. Комбинирането на дълбоки методи за машинно обучение с приблизителни алгоритми за търсене на най-близки съседи направи възможно довеждането на производителността и мащабируемостта на векторните системи до ниво, приемливо за големи търсачки. Например в Bing, за векторен индекс от над 150 милиарда вектора, времето за извличане на най-подходящите резултати е в рамките на 8 ms.

Библиотеката включва инструменти за изграждане на индекс и организиране на векторни търсения, както и набор от инструменти за поддържане на разпределена система за онлайн търсене, обхващаща много големи колекции от вектори. Предлага се следните модули: създател на индекси за индексиране, търсач за търсене с помощта на индекс, разпределен в клъстер от няколко възела, сървър за стартиране на манипулатори на възли, агрегатор за комбиниране на няколко сървъра в един и клиент за изпращане на заявки. Поддържа се включване на нови вектори в индекса и изтриване на вектори в движение.

Библиотеката предполага, че данните, обработени и представени в колекцията, са форматирани под формата на свързани вектори, които могат да се сравняват въз основа на Евклидов (L2) или косинус разстояния Заявката за търсене връща вектори, чието разстояние между тях и оригиналния вектор е минимално. SPTAG предоставя два метода за организиране на векторно пространство: SPTAG-KDT (K-измерно дърво (kd-дърво) И графика на относително съседство) и SPTAG-BKT (k-означава дърво (k-означава дърво и графика на относително съседство). Първият метод изисква по-малко ресурси при работа с индекса, а вторият демонстрира по-висока точност на резултатите от търсенето за много големи колекции от вектори.

В същото време векторното търсене не се ограничава до текст и може да се прилага към мултимедийна информация и изображения, както и в системи за автоматично генериране на препоръки. Например, един от прототипите, базиран на рамката PyTorch, внедри векторна система за търсене въз основа на сходството на обекти в изображения, изградена с помощта на данни от няколко референтни колекции с изображения на животни, котки и кучета, които бяха преобразувани в набори от вектори . Когато входящо изображение бъде получено за търсене, то се преобразува с помощта на модел за машинно обучение във вектор, въз основа на който най-сходните вектори се избират от индекса с помощта на алгоритъма SPTAG и свързаните изображения се връщат като резултат.

Източник: opennet.ru