Microsoft avas Bingis kasutatava vektorotsingu raamatukogu koodi.

Microsoft avalikustas masinõppe raamatukogu algdokumendid SPTAG (Space Partition Tree And Graph) koos ligikaudse naaberotsingu algoritmi rakendusega. Raamatukogu on välja töötatud Microsoft Researchi uurimisosakonnas ja Microsofti Otsingutehnoloogia Keskuses. Praktikas kasutatakse SPTAG-i Bing’i otsingumootoris, et määrata konteksti põhjal kõige asjakohasemad tulemused. Kood on kirjutatud C++ keeles ja levitatakse töötatakse MIT litsentsi all. Toetatud on Linuxi ja Windowsi versioon.

Kuigi idee vektoriteiriumide rakendamisest otsingusüsteemides on juba ammu olemas, takistavad nende kasutuselevõttu suured ressursisoovitused vektorite operatsioonide ja skaleeritavuse piirangud. Süvamasinõppe meetodite ja ligikaudse naaberotsingu algoritmide ühendamine on võimaldanud viia vektorsüsteemide jõudluse ja skaleeritavuse tasemeni, mis on vastuvõetav suurtele otsingusüsteemidele. Näiteks Bing’is, kus on vektorindeks, mille suurus on üle 150 miljardi vektori, kulub kõige asjakohasemate tulemuste saamiseks alla 8 ms.

Raamatukogu sisaldab vahendeid indeksite koostamiseks ja vektorite otsingu korraldamiseks, samuti kogumit tööriistu jaotatud online-otsingusüsteemi toetamiseks, mis katab väga suuri vektorkogusid. Pakutakse järgnevaid mooduleid: indeksiehitaja indekseerimiseks, otsija indeksi alusel otsimiseks, jaotatud klastris mitme sõlme vahel, server töötluse käivitamiseks sõlmedes, Aggregator mitme serveri ühendamiseks üheks ja klient päringute edastamiseks. Uute vektorite lisamine indekssi ja vektorite eemaldamine toimub jooksvalt.

Raamatukogu eeldab, et töödeldud ja kogude esitatud andmed on esitatud seotud vektoritena, mida saab võrrelda euclidean (L2) või kosinus vahemaa alusel. Otsingu päringu korral tagastatakse vektoreid, mille vahemaa algvektoriga on minimaalne. SPTAG-is on kaks meetodit vektoriruumi korraldamiseks: SPTAG-KDT (K-dimensionaalne puu (kd-tree) ja suhete naabruskonna graaf) ja SPTAG-BKT (k-meetodite puu (k-means tree ja suhteline naabruskond). Esimene meetod nõuab indeksi tööks vähem ressursse, teine aga näitab väga suurte vektorikogumite puhul kõrgemat otsingutulemustele täpsust.

Samas ei piirdu vektoriline otsing tekstiga, vaid seda saab rakendada ka multimeedia teabele ja piltidele ning automaatse soovitussüsteemide jaoks. Näiteks, ühes prototüübis, mis põhineb PyTorchi raamistikul, on rakendatud vektoriline süsteem objektide sarnasuse põhjal piltide otsinguks, mis on üles ehitatud mitmest standardkogumist loomade, kasside ja koerte piltidelt, mis on muudetud vektoriteks. Kui sisendpilt saadetakse otsingu jaoks, muudetakse see masinõppe mudeli abil vektoriks, mille alusel valitakse SPTAG algoritmi abil indeksist kõige sarnasemad vektorid ja tulemusena tagastatakse nendega seotud pildid.

Allikas: opennet.ru