Мајкрософт со отворен код ја создаде библиотеката за векторско пребарување што се користи во Бинг

Мајкрософт објавено Изворни кодови на библиотеката за машинско учење SPTAG (Space Partition Tree And Graph) со имплементација на приближниот алгоритам пребарување на најблискиот сосед. Библиотека развиена во одделот за истражување на Microsoft Research и центарот за развој на технологија за пребарување (Microsoft Search Technology Center). Во пракса, SPTAG се користи од пребарувачот Bing за да ги одреди најрелевантните резултати врз основа на контекстот на барањата за пребарување. Кодот е напишан во C++ и дистрибуирани од под лиценца МИТ. Изградбата за Linux и Windows е поддржана. Постои обврзувачки за јазикот Пајтон.

И покрај фактот дека идејата за користење на векторско складирање во пребарувачите лебди наоколу доста долго, во пракса, нивната имплементација е попречена од високиот интензитет на ресурси на операциите со вектори и ограничувања на приспособливост. Комбинирањето на методите за длабоко машинско учење со приближните алгоритми за пребарување на најблискиот сосед овозможи да се доведат перформансите и приспособливоста на векторските системи на ниво прифатливо за големите пребарувачи. На пример, во Bing, за векторски индекс од над 150 милијарди вектори, времето за добивање на најрелевантните резултати е во рок од 8 ms.

Библиотеката вклучува алатки за градење индекс и организирање векторски пребарувања, како и збир на алатки за одржување на дистрибуиран онлајн систем за пребарување кој покрива многу големи збирки вектори. Понудена следните модули: градител на индекси за индексирање, пребарувач за пребарување со помош на индекс дистрибуиран во кластер од неколку јазли, сервер за извршување на ракувачи на јазли, Агрегатор за комбинирање на неколку сервери во еден и клиент за испраќање прашања. Поддржано е вклучување на нови вектори во индексот и бришење на вектори во лет.

Библиотеката имплицира дека податоците обработени и презентирани во збирката се форматирани во форма на поврзани вектори кои можат да се споредат врз основа на Евклидов (L2) или косинус растојанија Барањето за пребарување враќа вектори чие растојание помеѓу нив и оригиналниот вектор е минимално. SPTAG обезбедува два методи за организирање на векторски простор: SPTAG-KDT (К-димензионално дрво (kd-дрво) И графикон на релативно соседство) и SPTAG-BKT (k-значи дрво (к-значи дрво и графикон на релативно соседство). Првиот метод бара помалку ресурси при работа со индексот, а вториот покажува поголема точност на резултатите од пребарувањето за многу големи збирки вектори.

Во исто време, векторското пребарување не е ограничено на текст и може да се примени на мултимедијални информации и слики, како и во системи за автоматско генерирање препораки. На пример, еден од прототипите заснован на рамката PyTorch имплементираше векторски систем за пребарување врз основа на сличноста на предметите во сликите, изграден со помош на податоци од неколку референтни збирки со слики од животни, мачки и кучиња, кои беа претворени во збирки вектори. . Кога дојдовната слика е примена за пребарување, таа се претвора со помош на модел за машинско учење во вектор, врз основа на кој се избираат најслични вектори од индексот користејќи го алгоритмот SPTAG и како резултат се враќаат поврзаните слики.

Извор: opennet.ru