D’fhoinsigh Microsoft an leabharlann cuardaigh veicteora a úsáidtear i Bing

Microsoft foilsithe Cóid fhoinse leabharlainne meaisínfhoghlama SPTAG (Crann Deighiltí Spáis agus Graf) le cur i bhfeidhm an neas-algartam cuardach comharsa is gaire. Leabharlann forbartha sa rannán taighde de Microsoft Research agus san ionad forbartha teicneolaíochta cuardaigh (Microsoft Search Technology Centre). Go praiticiúil, úsáideann inneall cuardaigh Bing SPTAG chun na torthaí is ábhartha a chinneadh bunaithe ar chomhthéacs na gceisteanna cuardaigh. Tá an cód scríofa i C++ agus dáilte ag faoi ​​cheadúnas MIT. Tacaítear le Build for Linux agus Windows. Tá ceangal ann don teanga Python.

In ainneoin go bhfuil an smaoineamh stórála veicteora a úsáid in innill chuardaigh ag snámh thart le fada an lá, go praiticiúil, cuirtear bac ar a gcur chun feidhme ag déine ard acmhainní na n-oibríochtaí le veicteoirí agus teorainneacha inscálaithe. Trí mhodhanna domhainfhoghlama meaisín a chomhcheangal le neas-halgartaim cuardaigh na gcomharsan is féidir feidhmíocht agus inscálaitheacht na gcóras veicteora a thabhairt go leibhéal atá inghlactha d'innill chuardaigh mhóra. Mar shampla, i Bing, i gcás innéacs veicteoir de níos mó ná 150 billiún veicteoir, tá an t-am chun na torthaí is ábhartha a fháil laistigh de 8 ms.

Áiríonn an leabharlann uirlisí chun innéacs a thógáil agus cuardaigh veicteoirí a eagrú, chomh maith le sraith uirlisí chun córas cuardaigh dáilte ar líne a chothabháil a chlúdaíonn bailiúcháin an-mhór veicteoirí. Ar fáil na modúil seo a leanas: tógálaí innéacs le haghaidh innéacsú, cuardaigh le haghaidh cuardaigh ag baint úsáide as innéacs a dháiltear i gcnuasach roinnt nóid, freastalaí chun láimhseálaithe a rith ar nóid, Comhbhailitheoir chun roinnt freastalaithe a chomhcheangal i gceann amháin, agus cliant chun ceisteanna a sheoladh. Tacaítear le veicteoirí nua a áireamh san innéacs agus le scriosadh veicteoirí ar an eitilt.

Tugann an leabharlann le tuiscint go ndéantar na sonraí a phróiseáiltear agus a chuirtear i láthair sa bhailiúchán a fhormáidiú i bhfoirm veicteoirí gaolmhara ar féidir iad a chur i gcomparáid bunaithe ar Eoiclídeach (L2) nó cóisín faid Tugann an cheist chuardaigh veicteoirí ar ais nach bhfuil ach achar íosta eatarthu agus an bunveicteoir. Soláthraíonn SPTAG dhá mhodh chun spás veicteora a eagrú: SPTAG-KDT (crann K-dimensional (kd-crann) Agus graf comharsanachta coibhneasta) agus SPTAG-BKT (k-ciallaíonn crann (k-ciallaíonn crann agus graf comharsanachta coibhneasta). Teastaíonn níos lú acmhainní ón gcéad mhodh agus tú ag obair leis an innéacs, agus léiríonn an dara modh cruinneas níos airde de thorthaí cuardaigh do bhailiúcháin an-mhór veicteoirí.

Ag an am céanna, níl cuardach veicteora teoranta do théacs agus is féidir é a chur i bhfeidhm ar fhaisnéis agus ar íomhánna ilmheán, chomh maith le córais chun moltaí a ghiniúint go huathoibríoch. Mar shampla, chuir ceann de na fréamhshamhlacha atá bunaithe ar chreat PyTorch i bhfeidhm córas veicteoireach chun cuardach a dhéanamh bunaithe ar chosúlacht rudaí in íomhánna, tógtha ag baint úsáide as sonraí ó roinnt bailiúcháin tagartha le híomhánna d'ainmhithe, cait agus madraí, a tiontaíodh ina thacair de veicteoirí. . Nuair a fhaightear íomhá ag teacht isteach le haghaidh cuardaigh, déantar é a thiontú ag baint úsáide as múnla meaisínfhoghlama go veicteoir, bunaithe ar a roghnaítear na veicteoirí is cosúla ón innéacs ag baint úsáide as an algartam SPTAG agus cuirtear na híomhánna gaolmhara ar ais mar thoradh air sin.

Foinse: oscailtenet.ru

Add a comment