HNSW<\/a><\/noindex> (Hierarchical Navigable Small World grafikonok). Ez egy hierarchikus modell, amely lehet\u0151v\u00e9 teszi, hogy n\u00e9h\u00e1ny milliszekundum alatt megtal\u00e1ljuk a felhaszn\u00e1l\u00f3 sz\u00e1m\u00e1ra legk\u00f6zelebbi N vektort egy milli\u00f3s adatb\u00e1zisb\u00f3l. El\u0151zetesen offline index\u00e1ljuk az \u00f6sszes dokumentumunkat. Mivel az indexben a keres\u00e9s el\u00e9g gyorsan m\u0171k\u00f6dik, ha t\u00f6bb er\u0151s embedder \u00e1ll rendelkez\u00e9sre, k\u00e9sz\u00edthet\u00fcnk t\u00f6bb indexet (minden embedderhez egy indexet), \u00e9s minden egyes indexhez val\u00f3s id\u0151ben hozz\u00e1f\u00e9rhet\u00fcnk.<\/p>\nT\u00f6bb t\u00edzezer dokumentum marad a felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra. Ez m\u00e9g mindig sok a jellemz\u0151k \u00f6sszesz\u00e1ml\u00e1l\u00e1s\u00e1hoz, \u00edgy ezen a ponton k\u00f6nny\u00edtett rangsorol\u00e1st alkalmazunk - egy nehezebb rangsor k\u00f6nny\u00edtett modellj\u00e9t, kevesebb jellemz\u0151vel. A feladat az, hogy megj\u00f3soljuk, mely dokumentumok szerepelnek a neh\u00e9z modell legjobb helyein. A legmagasabb predikci\u00f3val rendelkez\u0151 dokumentumokat haszn\u00e1ljuk a neh\u00e9z modellben, teh\u00e1t a rangsorol\u00e1s utols\u00f3 szakasz\u00e1ban. Ez a megk\u00f6zel\u00edt\u00e9s lehet\u0151v\u00e9 teszi, hogy n\u00e9h\u00e1ny tizedm\u00e1sodperc alatt a felhaszn\u00e1l\u00f3nak sz\u00e1nt dokumentumok alapj\u00e1t a milli\u00f3kr\u00f3l ezerre cs\u00f6kkents\u00fck.<\/p>\n
ALS l\u00e9p\u00e9s fut\u00e1si id\u0151ben<\/h2>\n \nHogyan lehet figyelembe venni a felhaszn\u00e1l\u00f3i visszajelz\u00e9st azonnal kattint\u00e1s ut\u00e1n?<\/b><\/p>\n
Fontos t\u00e9nyez\u0151 a javaslatokban a felhaszn\u00e1l\u00f3i visszajelz\u00e9sre val\u00f3 reakci\u00f3 id\u0151. Ez k\u00fcl\u00f6n\u00f6sen fontos \u00faj felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra: amikor valaki \u00e9ppen csak elkezdi haszn\u00e1lni az aj\u00e1nl\u00f3 rendszert, egy nem szem\u00e9lyre szabott, k\u00fcl\u00f6nb\u00f6z\u0151 tematik\u00e1j\u00fa dokumentumokb\u00f3l \u00e1ll\u00f3 men\u00fct kap. Amint az els\u0151 kattint\u00e1st v\u00e9grehajtja, ezt azonnal figyelembe kell venni \u00e9s a preferenci\u00e1ihoz igazodni. Ha minden t\u00e9nyez\u0151t offline sz\u00e1m\u00edtunk, a rendszer gyors reakci\u00f3ja lehetetlenn\u00e9 v\u00e1lik a k\u00e9sleltet\u00e9s miatt. Ez\u00e9rt a felhaszn\u00e1l\u00f3i tev\u00e9kenys\u00e9geket val\u00f3s id\u0151ben kell feldolgozni. E c\u00e9lokra fut\u00e1si id\u0151ben ALS l\u00e9p\u00e9st haszn\u00e1lunk a felhaszn\u00e1l\u00f3i vektor\u00e1lis reprezent\u00e1ci\u00f3 kialak\u00edt\u00e1s\u00e1hoz.<\/p>\n
Tegy\u00fck fel, hogy minden dokumentumnak van vektor\u00e1lis reprezent\u00e1ci\u00f3ja. P\u00e9ld\u00e1ul offline, a cikk sz\u00f6vege alapj\u00e1n l\u00e9trehozhatjuk az embeddingeket ELMo, BERT vagy m\u00e1s g\u00e9pi tanul\u00e1si modellek seg\u00edts\u00e9g\u00e9vel. Hogyan lehet a felhaszn\u00e1l\u00f3k vektor\u00e1lis reprezent\u00e1ci\u00f3j\u00e1t ugyanabban a t\u00e9rben megszerezni az interakci\u00f3ik alapj\u00e1n a rendszerben?<\/p>\n
A felhaszn\u00e1l\u00f3-dokumentum m\u00e1trix form\u00e1l\u00e1s\u00e1nak \u00e9s lebont\u00e1s\u00e1nak \u00e1ltal\u00e1nos elve<\/b>Legyen m felhaszn\u00e1l\u00f3nk \u00e9s n dokumentumunk. N\u00e9h\u00e1ny felhaszn\u00e1l\u00f3 eset\u00e9ben ismert a dokumentumokkal kapcsolatos viszonyuk. Ezt az inform\u00e1ci\u00f3t egy m x n m\u00e1trix form\u00e1j\u00e1ban lehet megjelen\u00edteni: a sorok a felhaszn\u00e1l\u00f3knak, az oszlopok a dokumentumoknak felelnek meg. Mivel a legt\u00f6bb dokumentumot az emberek nem l\u00e1tt\u00e1k, a m\u00e1trix nagy r\u00e9sze \u00fcresen marad, m\u00edg m\u00e1s cell\u00e1k ki lesznek t\u00f6ltve. Minden esem\u00e9nyhez (tetszik, nem tetszik, kattint\u00e1s) a m\u00e1trixban van valamilyen \u00e9rt\u00e9k \u2013 de vizsg\u00e1ljunk meg egy egyszer\u0171s\u00edtett modellt, ahol a tetszik 1-nek, a nem tetszik pedig -1-nek felel meg.<\/p>\n
Bontsuk a m\u00e1trixot k\u00e9t r\u00e9szre: P (m x d) \u00e9s Q (d x n), ahol d a vektoresem\u00e9ny dimenzi\u00f3ja (\u00e1ltal\u00e1ban ez egy kis sz\u00e1m). Ekkor minden objektumhoz d-dimenzi\u00f3s vektor fog tartozni (a felhaszn\u00e1l\u00f3nak a P m\u00e1trix sor\u00e1ban, a dokumentumnak a Q m\u00e1trix oszlop\u00e1ban). Ezek a vektorok szolg\u00e1lnak az adott objektumok be\u00e1gyaz\u00e1sak\u00e9nt. Ahhoz, hogy el\u0151re jelezz\u00fck, hogy egy felhaszn\u00e1l\u00f3nak tetszeni fog-e a dokumentum, egyszer\u0171en megszorozzuk \u0151ket be\u00e1gyaz\u00e1saikkal.<\/p>\n
\nItt rui a felhaszn\u00e1l\u00f3 u \u00e9s az i dokumentum k\u00f6z\u00f6tti interakci\u00f3, qi az i dokumentum vektora, pu pedig a felhaszn\u00e1l\u00f3 u vektora.<\/p>\n
Ez\u00e9rt a k\u00f6z\u00e9p\u00e9rt\u00e9k n\u00e9gyzetes hiba szempontj\u00e1b\u00f3l optim\u00e1lis felhaszn\u00e1l\u00f3i vektor (a dokumentum vektorok r\u00f6gz\u00edt\u00e9se mellett) analitikusan tal\u00e1lhat\u00f3 meg a megfelel\u0151 line\u00e1ris regresszi\u00f3 megold\u00e1s\u00e1val.<\/p>\n
Ezt \"ALS l\u00e9p\u00e9snek\" h\u00edvj\u00e1k. Az ALS algoritmus abban \u00e1ll, hogy felv\u00e1ltva r\u00f6gz\u00edtj\u00fck az egyik m\u00e1trixot (felhaszn\u00e1l\u00f3k \u00e9s cikkek) \u00e9s friss\u00edtj\u00fck a m\u00e1sikat, keresve az optim\u00e1lis megold\u00e1st.<\/p>\n
Szerencs\u00e9re a felhaszn\u00e1l\u00f3i vektorok megtal\u00e1l\u00e1sa egy viszonylag gyors m\u0171velet, amelyet fut\u00e1si id\u0151ben el lehet v\u00e9gezni vektoros utas\u00edt\u00e1sok seg\u00edts\u00e9g\u00e9vel. Ez a tr\u00fckk lehet\u0151v\u00e9 teszi, hogy azonnal figyelembe vegy\u00fck a felhaszn\u00e1l\u00f3i visszajelz\u00e9st a rangsorol\u00e1s sor\u00e1n. Ugyanez a be\u00e1gyaz\u00e1s felhaszn\u00e1lhat\u00f3 a kNN-indexben a jel\u00f6ltek sz\u0171r\u00e9s\u00e9nek jav\u00edt\u00e1s\u00e1ra.<\/p>\n
Elosztott kollaborat\u00edv sz\u0171r\u00e9s<\/h2>\n \nHogyan v\u00e9gezz\u00fcnk inkrement\u00e1lis elosztott m\u00e1trix faktor\u00e1l\u00e1st, \u00e9s gyorsan tal\u00e1ljunk vektork\u00e9pviseletet \u00faj cikkekhez?<\/b><\/p>\n
A tartalom nem az egyetlen forr\u00e1sa a javaslatoknak. Egy m\u00e1sik fontos forr\u00e1s a kooperat\u00edv inform\u00e1ci\u00f3. A j\u00f3 rangsorol\u00e1si jelek hagyom\u00e1nyosan a felhaszn\u00e1l\u00f3-dokumentum m\u00e1trix sz\u00e9tszed\u00e9s\u00e9b\u0151l sz\u00e1rmaznak. Azonban amikor megpr\u00f3b\u00e1ltuk ezt a sz\u00e9tszed\u00e9st v\u00e9grehajtani, probl\u00e9m\u00e1kba \u00fctk\u00f6zt\u00fcnk:<\/p>\n
1. M\u0171velet\u00fcnkben milli\u00f3nyi dokumentum \u00e9s t\u00edzmilli\u00f3 felhaszn\u00e1l\u00f3 van. A m\u00e1trix nem f\u00e9r el egy g\u00e9pen, r\u00e1ad\u00e1sul a sz\u00e9tszed\u00e9s nagyon hosszadalmas lenne.
A felsorolt probl\u00e9m\u00e1k megold\u00e1s\u00e1hoz v\u00e9grehajtottuk a felhaszn\u00e1l\u00f3-dokumentum m\u00e1trix eloszt\u00e1s\u00e1t gyakori inkrement\u00e1lis friss\u00edt\u00e9ssel. Hogyan m\u0171k\u00f6dik ez pontosan?<\/p>\n
Tegy\u00fck fel, hogy van egy N g\u00e9pb\u0151l \u00e1ll\u00f3 klaszter\u00fcnk (N sz\u00e1mos a sz\u00e1zakban), \u00e9s el szeretn\u00e9nk v\u00e9gezni egy elosztott sz\u00e9tszed\u00e9st egy olyan m\u00e1trixon, amely nem f\u00e9r el egy g\u00e9pen. A k\u00e9rd\u00e9s \u2014 hogyan lehet ezt a sz\u00e9tszed\u00e9st v\u00e9grehajtani \u00fagy, hogy egyr\u00e9szt minden g\u00e9pen elegend\u0151 adat legyen, m\u00e1sr\u00e9szt pedig a sz\u00e1m\u00edt\u00e1sok f\u00fcggetlenek maradjanak? <\/p>\n
Ez a tr\u00fckk t\u00f6bb kor sor\u00e1n kereszt\u00fcl megism\u00e9telhet\u0151 a modell konvergenci\u00e1j\u00e1nak el\u00e9r\u00e9s\u00e9ig, fokozatosan v\u00e1ltoztatva a r\u00f6gz\u00edtett m\u00e1trixon. De m\u00e9g \u00edgy is a m\u00e1trix felbont\u00e1sa \u00f3r\u00e1kig tarthat. \u00c9s ez nem oldja meg a probl\u00e9m\u00e1t, hogy gyorsan kell megtartani az \u00faj dokumentumok be\u00e1gyaz\u00e1s\u00e1t, valamint friss\u00edteni azokat a be\u00e1gyaz\u00e1sokat, amelyekr\u0151l kev\u00e9s inform\u00e1ci\u00f3 \u00e1llt rendelkez\u00e9sre a modell ki\u00e9p\u00edt\u00e9sekor. <\/p>\n
Seg\u00edtett nek\u00fcnk a modell gyors inkrement\u00e1lis friss\u00edt\u00e9s\u00e9nek bevezet\u00e9se. Tegy\u00fck fel, hogy van egy jelenlegi betan\u00edtott modell\u00fcnk. A betan\u00edt\u00e1sa \u00f3ta \u00faj cikkek jelentek meg, amelyekkel a felhaszn\u00e1l\u00f3ink interakci\u00f3ba l\u00e9ptek, \u00e9s olyan cikkek, amelyek betan\u00edt\u00e1s k\u00f6zben kev\u00e9s interakci\u00f3t kaptak. Az ilyen cikkek gyors be\u00e1gyaz\u00e1s\u00e1nak el\u00e9r\u00e9s\u00e9hez haszn\u00e1ljuk a felhaszn\u00e1l\u00f3k be\u00e1gyaz\u00e1sait, amelyek az els\u0151 nagyobb modellbetan\u00edt\u00e1s sor\u00e1n k\u00e9sz\u00fcltek, \u00e9s egy ALS l\u00e9p\u00e9st v\u00e9gz\u00fcnk, hogy a dokumentumok m\u00e1trix\u00e1t kisz\u00e1molhassuk egy r\u00f6gz\u00edtett felhaszn\u00e1l\u00f3i m\u00e1trixon. Ez lehet\u0151v\u00e9 teszi sz\u00e1munkra, hogy a be\u00e1gyaz\u00e1sokat meglehet\u0151sen gyorsan \u2014 n\u00e9h\u00e1ny percen bel\u00fcl a dokumentum k\u00f6zz\u00e9t\u00e9tele ut\u00e1n \u2014 megszerezz\u00fck, \u00e9s gyakran friss\u00edts\u00fck a friss dokumentumok be\u00e1gyaz\u00e1sait.<\/p>\n
Annak \u00e9rdek\u00e9ben, hogy a javaslatok sor\u00e1n az emberi tev\u00e9kenys\u00e9geket azonnal figyelembe vegy\u00fck, a fut\u00e1si id\u0151ben nem haszn\u00e1lunk offline k\u00f6rnyezetb\u0151l sz\u00e1rmaz\u00f3 felhaszn\u00e1l\u00f3i be\u00e1gyaz\u00e1sokat. Ehelyett ALS l\u00e9p\u00e9st v\u00e9gz\u00fcnk, \u00e9s megkapjuk a felhaszn\u00e1l\u00f3 aktu\u00e1lis vektort.<\/p>\n
\u00c1thelyez\u00e9s egy m\u00e1sik dom\u00e9nbe<\/h2>\n \nHogyan haszn\u00e1lhat\u00f3 a felhaszn\u00e1l\u00f3i visszajelz\u00e9s a sz\u00f6veges cikkekhez a vide\u00f3k vektoralap\u00fa reprezent\u00e1ci\u00f3j\u00e1nak fel\u00e9p\u00edt\u00e9s\u00e9re?<\/b><\/p>\n
Eredetileg csak sz\u00f6veges cikkeket aj\u00e1nlottunk, ez\u00e9rt sok algoritmusunk erre a tartalom t\u00edpusra van optimaliz\u00e1lva. De amikor m\u00e1s t\u00edpus\u00fa tartalmakat adtunk hozz\u00e1, a modellek adapt\u00e1ci\u00f3j\u00e1nak sz\u00fcks\u00e9gess\u00e9g\u00e9vel szembes\u00fclt\u00fcnk. Hogyan oldottuk meg ezt a feladatot a vide\u00f3k eset\u00e9ben? Az egyik lehet\u0151s\u00e9g az, hogy az \u00f6sszes modellt a null\u00e1r\u00f3l \u00fajra betan\u00edtjuk. De ez id\u0151ig\u00e9nyes, r\u00e1ad\u00e1sul egyes algoritmusok ig\u00e9nyesek a tanul\u00e1si minta nagys\u00e1g\u00e1ra, amelyb\u0151l az \u00faj t\u00edpus\u00fa tartalom eset\u00e9ben az els\u0151 pillanatokban m\u00e9g nem \u00e1ll rendelkez\u00e9sre a sz\u00fcks\u00e9ges mennyis\u00e9g.<\/p>\n
M\u00e1s k\u00fcl\u00f6nb\u00f6z\u0151 utat v\u00e1lasztottunk, \u00e9s \u00fajra felhaszn\u00e1ltuk a vide\u00f3sz\u00f6vegmodelleket. A vide\u00f3k vektoros reprezent\u00e1ci\u00f3j\u00e1nak l\u00e9trehoz\u00e1s\u00e1ban ugyanaz a tr\u00fckk seg\u00edtett az ALS-szel. A felhaszn\u00e1l\u00f3i vektoros reprezent\u00e1ci\u00f3t sz\u00f6veges cikkek alapj\u00e1n vett\u00fck, \u00e9s ALS l\u00e9p\u00e9st hajtottunk v\u00e9gre a vide\u00f3megtekint\u00e9sekr\u0151l sz\u00e1rmaz\u00f3 inform\u00e1ci\u00f3k felhaszn\u00e1l\u00e1s\u00e1val. \u00cdgy k\u00f6nnyen megkaptuk a vide\u00f3 vektoros reprezent\u00e1ci\u00f3j\u00e1t. Fut\u00e1sid\u0151ben egyszer\u0171en kisz\u00e1m\u00edtjuk a k\u00f6zels\u00e9get a felhaszn\u00e1l\u00f3i vektor \u00e9s a vide\u00f3 vektora k\u00f6z\u00f6tt.<\/p>\n
Z\u00e1r\u00e1s<\/h2>\n \nA val\u00f3s idej\u0171 aj\u00e1nl\u00f3rendszer magj\u00e1nak fejleszt\u00e9se sz\u00e1mos feladattal j\u00e1r. Gyorsan kell feldolgozni az adatokat, \u00e9s ML-m\u00f3dszereket kell alkalmazni ezek hat\u00e9kony felhaszn\u00e1l\u00e1s\u00e1hoz; bonyolult elosztott rendszereket kell \u00e9p\u00edteni, amelyek minim\u00e1lis id\u0151 alatt k\u00e9pesek feldolgozni a felhaszn\u00e1l\u00f3i jeleket \u00e9s az \u00faj tartalmi egys\u00e9geket; \u00e9s m\u00e9g sok m\u00e1s feladat.<\/p>\n
A megl\u00e9v\u0151 rendszerben, amelynek fel\u00e9p\u00edt\u00e9s\u00e9t le\u00edrtam, a felhaszn\u00e1l\u00f3i aj\u00e1nl\u00e1sok min\u0151s\u00e9ge n\u0151 a aktivit\u00e1ssal \u00e9s a szolg\u00e1ltat\u00e1sban elt\u00f6lt\u00f6tt id\u0151vel. \u00c1m itt rejlik a legf\u0151bb neh\u00e9zs\u00e9g is: a rendszernek neh\u00e9z azonnal meg\u00e9rteni egy olyan szem\u00e9ly \u00e9rdekl\u0151d\u00e9si k\u00f6r\u00e9t, aki alig l\u00e9pett interakci\u00f3ba a tartalommal. Az \u00faj felhaszn\u00e1l\u00f3k aj\u00e1nl\u00e1sainak jav\u00edt\u00e1sa a kulcsfontoss\u00e1g\u00fa feladatunk. Tov\u00e1bbra is optimaliz\u00e1lni fogjuk az algoritmusokat, hogy a sz\u00e1mukra relev\u00e1ns tartalom gyorsabban eljusson az \u0151 h\u00edrfolyamukba, m\u00edg a nem relev\u00e1ns ne jelenjen meg.habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u041f\u0430\u0440\u0445\u043e\u043c\u0435\u043d\u043a\u043e, \u044f ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u042f\u043d\u0434\u0435\u043a\u0441.\u0414\u0437\u0435\u043d \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418\u0437 \u043f\u043e\u0441\u0442\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0432\u0441\u0435\u0433\u043e \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f; \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0438\u0437 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":71853,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-71852","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Hogyan](\"\/wp-content\/uploads\/2020\/02\/d63caf9162ca3533548fdef9cd740c24.png\")