Microsoftu
Pomimo tego, że pomysł wykorzystania wektorów w wyszukiwarkach krąży już od dłuższego czasu, w praktyce ich realizację utrudnia duża zasobochłonność operacji na wektorach oraz ograniczenia skalowalności. Połączenie metod głębokiego uczenia maszynowego z algorytmami przybliżonego wyszukiwania najbliższych sąsiadów umożliwiło doprowadzenie wydajności i skalowalności systemów wektorowych do poziomu akceptowalnego dla dużych wyszukiwarek. Na przykład w Bing dla indeksu wektorów składającego się z ponad 150 miliardów wektorów czas pobrania najbardziej odpowiednich wyników mieści się w granicach 8 ms.
Biblioteka zawiera narzędzia do budowy indeksu i organizacji poszukiwań wektorów, a także zestaw narzędzi do utrzymywania rozproszonego systemu wyszukiwania online obejmującego bardzo duże zbiory wektorów.
Biblioteka zakłada, że dane przetwarzane i prezentowane w kolekcji są formatowane w postaci powiązanych wektorów, które można porównywać na podstawie
Jednocześnie wyszukiwanie wektorowe nie ogranicza się do tekstu i można je zastosować do informacji multimedialnych i obrazów, a także w systemach automatycznego generowania rekomendacji. Przykładowo w jednym z prototypów bazującym na frameworku PyTorch zaimplementowano wektorowy system wyszukiwania na podstawie podobieństwa obiektów na obrazach, zbudowany na podstawie danych z kilku zbiorów referencyjnych zawierających obrazy zwierząt, kotów i psów, które zostały przekonwertowane na zestawy wektorów . Kiedy przychodzący obraz jest odbierany do wyszukiwania, jest on konwertowany przy użyciu modelu uczenia maszynowego na wektor, na podstawie którego z indeksu za pomocą algorytmu SPTAG wybierane są najbardziej podobne wektory, a w rezultacie zwracane są skojarzone z nimi obrazy.
Źródło: opennet.ru