Microsoft louvri sous bibliyotèk rechèch vektè yo itilize nan Bing

Konpayi Microsoft pibliye kòd sous bibliyotèk aprantisaj machin SPTAG (Pye bwa patisyon espas ak graf) ak aplikasyon algorithm apwoksimatif la rechèch vwazen ki pi pre. Bibliyotèk devlope nan divizyon rechèch Microsoft Research ak sant devlopman teknoloji rechèch (Microsoft Search Technology Center). Nan pratik, motè rechèch Bing itilize SPTAG pou detèmine rezilta ki pi enpòtan yo ki baze sou kontèks rechèch rechèch la. Kòd la ekri nan C++ ak distribiye pa anba lisans MIT. Bati pou Linux ak Windows sipòte. Gen yon obligatwa pou lang Python.

Malgre lefèt ke lide pou itilize depo vektè nan motè rechèch yo ap flote alantou pou yon bon bout tan, an pratik, aplikasyon yo antrave pa gwo entansite resous operasyon yo ak vektè ak limit évolutivité. Konbine metòd aprantisaj machin gwo twou san fon ak algoritm rechèch vwazen ki pi pre apwoksimatif te fè li posib pou pote pèfòmans ak évolutivité nan sistèm vektè nan yon nivo akseptab pou gwo motè rechèch. Pou egzanp, nan Bing, pou yon endèks vektè ki gen plis pase 150 milya dola, tan pou jwenn rezilta ki pi enpòtan yo se nan 8 ms.

Bibliyotèk la gen ladan zouti pou konstwi yon endèks ak òganize rechèch vektè, ansanm ak yon seri zouti pou kenbe yon sistèm rechèch distribye sou entènèt ki kouvri gwo koleksyon vektè. Ofri modil sa yo: builder endèks pou Indexing, rechèch pou fè rechèch lè l sèvi avèk yon endèks distribye nan yon gwoup nan plizyè nœuds, sèvè pou kouri okipe sou nœuds, Aggregator pou konbine plizyè sèvè nan yon sèl, ak kliyan pou voye demann. Enklizyon nouvo vektè nan endèks la ak sipresyon vektè sou vole a sipòte.

Bibliyotèk la vle di ke done yo trete ak prezante nan koleksyon an fòma sou fòm vektè ki gen rapò ki ka konpare baze sou Eklidyen (L2) oswa kosinin distans Rekèt rechèch la retounen vektè ki gen distans ant yo ak vektè orijinal la minim. SPTAG bay de metòd pou òganize espas vektè: SPTAG-KDT (K-dimansyon pyebwa (kd-pyebwa) ak graf relatif katye) ak SPTAG-BKT (k-vle di pyebwa (k-vle di pye bwa ak graf relatif katye). Premye metòd la mande mwens resous lè w ap travay ak endèks la, epi dezyèm lan demontre pi gwo presizyon nan rezilta rechèch la pou koleksyon vektè gwo anpil.

An menm tan an, rechèch vektè pa limite a tèks epi yo ka aplike nan enfòmasyon miltimedya ak imaj, osi byen ke nan sistèm pou otomatikman jenere rekòmandasyon. Pou egzanp, youn nan pwototip ki baze sou fondasyon PyTorch te aplike yon sistèm vektè pou rechèch ki baze sou resanblans objè ki nan imaj, ki te konstwi lè l sèvi avèk done ki sòti nan plizyè koleksyon referans ak imaj bèt, chat ak chen, ki te konvèti nan seri vektè. . Lè yo resevwa yon imaj fèk ap rantre pou rechèch, li konvèti lè l sèvi avèk yon modèl aprantisaj machin nan yon vektè, ki baze sou ki vektè ki pi sanble yo chwazi nan endèks la lè l sèvi avèk algorithm SPTAG la ak imaj ki asosye yo retounen kòm yon rezilta.

Sous: opennet.ru

Add nouvo kòmantè