HNSW<\/a><\/noindex> (Hijerarhijski navigacijski mali svijetovi). Ovo je hijerarhijski model koji omogu\u0107ava pronala\u017eenje N najbli\u017eih vektora za korisnika iz baze od milijun dokumenata u nekoliko milisekundi. Unaprijed indeksiramo cijelu na\u0161u bazu dokumenata izvan mre\u017ee. Kako pretra\u017eivanje u indeksu radi prili\u010dno brzo, uz nekoliko jakih ugradnji, mo\u017eemo stvoriti nekoliko indeksa (po jedan indeks za svaku ugradnju) i obra\u0107ati se svakom od njih u stvarnom vremenu.<\/p>\nImamo desetke tisu\u0107a dokumenata za svakog korisnika. To je jo\u0161 uvijek mnogo za brojanje svih zna\u010dajki, pa u ovoj fazi primjenjujemo lagano rangiranje \u2014 pojednostavljeni model te\u0161kog rangiranja s manjim brojem zna\u010dajki. Cilj je predvidjeti koji \u0107e dokumenti biti na vrhu kod te\u0161kog modela. Dokumenti s najve\u0107im predikcijama \u0107e se koristiti u te\u0161kom modelu, tj. u posljednjoj fazi rangiranja. Ovaj pristup omogu\u0107uje smanjenje broja dokumenata koje korisnik razmatra s milijuna na tisu\u0107e u desetinama milisekundi.<\/p>\n
ALS korak u stvarnom vremenu<\/h2>\n \nKako uzeti u obzir povratne informacije korisnika odmah nakon klika?<\/b><\/p>\n
Va\u017ean faktor u preporukama je vrijeme reakcije na povratne informacije korisnika. To je posebno va\u017eno za nove korisnike: kada osoba prvi put po\u010dne koristiti preporu\u010deni sustav, dobiva nepersonalizirani tijek raznolikih dokumenata. \u010cim izvr\u0161i prvi klik, potrebno je odmah uzeti to u obzir i prilagoditi se njenim interesima. Ako se svi faktori ra\u010dunaju offline, brza reakcija sustava postaje nemogu\u0107a zbog ka\u0161njenja. Stoga je potrebno obraditi korisni\u010dke radnje u stvarnom vremenu. U tu svrhu koristimo ALS korak u stvarnom vremenu za izgradnju vektorskog prikaza korisnika.<\/p>\n
Pretpostavimo da imamo vektorski prikaz za sve dokumente. Na primjer, mo\u017eemo offline izgraditi embeddinge na temelju teksta \u010dlanka koriste\u0107i ELMo, BERT ili druge modele strojnog u\u010denja. Kako mo\u017eemo dobiti vektorski prikaz korisnika u istom prostoru na temelju njihovih interakcija u sustavu?<\/p>\n
Op\u0107i princip formiranja i dekompozicije matrice korisnik-dokument<\/b>Pretpostavimo da imamo m korisnika i n dokumenata. Za neke korisnike poznat je njihov odnos prema nekim dokumentima. Tada se te informacije mogu predstaviti u obliku matrice m x n: redovi odgovaraju korisnicima, a stupci dokumentima. Budu\u0107i da ve\u0107ina dokumenata korisnik nije vidio, ve\u0107i dio polja matrice \u0107e ostati prazan, dok \u0107e neka druga biti ispunjena. Za svaki doga\u0111aj (lajk, dislajk, klik) u matrici predvi\u0111ena je neka vrijednost \u2014 no, razmotrimo pojednostavljeni model u kojem lajku odgovara 1, a dislajku \u20131.<\/p>\n
Razlo\u017eimo matricu na dvije: P (m x d) i Q (d x n), gdje je d dimenzija vektorskog prikaza (obi\u010dno je to malo broj). Tada \u0107e svakom objektu odgovarati d-dimenzionalni vektor (korisniku \u2014 red u matrici P, dokumentu \u2014 stupac u matrici Q). Ovi vektori bit \u0107e ugradnje odgovaraju\u0107ih objekata. Da bismo predvidjeli ho\u0107e li se korisniku svidjeti dokument, jednostavno mo\u017eemo pomno\u017eiti njihove ugradnje.<\/p>\n
\nOvdje rui predstavlja interakciju korisnika u s dokumentom i, qi \u2014 vektor dokumenta i, pu \u2014 vektor korisnika u.<\/p>\n
Tada se optimalni vektor korisnika s obzirom na srednju kvadratnu pogre\u0161ku (pri fiksnim vektorima dokumenata) analiti\u010dki dobiva rje\u0161avanjem odgovaraju\u0107e linearne regresije.<\/p>\n
To se naziva \u201ekorak ALS\u201c. Sam algoritam ALS sastoji se u tome da naizmjence fiksiramo jednu od matrica (korisnika i dokumenata) i a\u017euriramo drugu, nalaze\u0107i optimalno rje\u0161enje.<\/p>\n
Sre\u0107om, pronala\u017eenje vektorskog prikaza korisnika \u2014 prili\u010dno je brza operacija koja se mo\u017ee izvoditi u runtime-u, koriste\u0107i vektorske instrukcije. Ova metoda omogu\u0107uje odmah uzimanje u obzir povratnih informacija korisnika u rangiranju. Ista ugradnja mo\u017ee se koristiti i u kNN indeksu za pobolj\u0161anje selekcije kandidata.<\/p>\n
Distribuirana kolaborativna filtracija<\/h2>\n \nKako provesti inkrementalnu distribuiranu faktorizaciju matrice i brzo prona\u0107i vektorski prikaz novih \u010dlanaka?<\/b><\/p>\n
Sadr\u017eaj nije jedini izvor signala za preporuke. Drugi va\u017ean izvor je kolaborativna informacija. Dobre indikacije u rangiranju tradicionalno se mogu dobiti iz raspodjele matrice korisnik-dokument. Me\u0111utim, prilikom poku\u0161aja razlaganja suo\u010dili smo se s problemima:<\/p>\n
1. Imamo milijune dokumenata i desetke milijuna korisnika. Matrica se ne mo\u017ee potpuno smjestiti na jednom stroju, i razlaganje \u0107e trajati dugo.
Kako bismo rije\u0161ili navedene probleme, implementirali smo distribuirano razlaganje matrice korisnik-dokument s \u010destim inkrementalnim a\u017euriranjem. Kako to\u010dno to funkcionira?<\/p>\n
Pretpostavimo da imamo klaster od N strojeva (N se ra\u010duna u stotinama) i \u017eelimo izvr\u0161iti distribuirano razlaganje matrice koja se ne mo\u017ee smjestiti na jednom stroju. Pitanje je \u2014 kako izvr\u0161iti to razlaganje, tako da, s jedne strane, svaki stroj ima dovoljno podataka, a s druge strane, da su izra\u010duni neovisni? <\/p>\n
Ovu tehniku mo\u017eemo ponavljati kroz nekoliko epoha do konvergencije modela, izmjenjuju\u0107i fiksnu matricu. No, \u010dak i tada, razlaganje matrice mo\u017ee trajati nekoliko sati. To ne rje\u0161ava problem brzog dobivanja ugradnji novih dokumenata i a\u017euriranja ugradnji onih koji su imali malo informacija prilikom izrade modela. <\/p>\n
Pomoglo nam je uvo\u0111enje brzih inkrementalnih a\u017euriranja modela. Pretpostavimo da imamo trenutni obu\u010deni model. Od vremena njegovog treniranja pojavili su se novi \u010dlanci s kojima su na\u0161i korisnici komunicirali, kao i \u010dlanci koji su imali malo interakcija tijekom obuke. Za brzo dobivanje ugradnji takvih \u010dlanaka koristimo ugradnje korisnika dobivene tijekom prvog velikog treniranja modela i radimo jedan korak ALS kako bismo izra\u010dunali matricu dokumenata uz fiksnu matricu korisnika. To omogu\u0107ava brzo dobivanje ugradnji \u2014 unutar nekoliko minuta nakon objave dokumenta \u2014 i \u010desto a\u017euriranje ugradnji svje\u017eih dokumenata.<\/p>\n
Kako bismo odmah uzeli u obzir ljudske akcije za preporuke, u runtime-u ne koristimo ugradnje korisnika dobivene offline. Umjesto toga, radimo korak ALS i dobivamo relevantni vektor korisnika.<\/p>\n
Prijenos na drugu domenu<\/h2>\n \nKako iskoristiti povratne informacije korisnika o tekstualnim \u010dlancima za izgradnju vektorskog prikaza video sadr\u017eaja?<\/b><\/p>\n
Isprva smo preporu\u010divali samo tekstualne \u010dlanke, stoga su mnogi na\u0161i algoritmi prilago\u0111eni ovom tipu sadr\u017eaja. Me\u0111utim, prilikom dodavanja sadr\u017eaja druge vrste suo\u010dili smo se s potrebom adaptacije modela. Kako smo rije\u0161ili ovaj problem na primjeru videa? Jedna od opcija je ponovno obu\u010davanje svih modela od nule. No, to traje dugo, a dio algoritama zahtijeva veliku koli\u010dinu podataka za obuku, koje jo\u0161 uvijek nemamo u potrebnoj koli\u010dini za novi tip sadr\u017eaja u prvim trenucima njegove prisutnosti na servisu.<\/p>\n
Odlu\u010dili smo se za druga\u010diji pristup i ponovo iskoristili modele tekstova za video. U stvaranju vektorskih prikaza videa pomogla nam je ista ona tehnika s ALS-om. Uzeli smo vektorski prikaz korisnika temeljen na tekstualnim \u010dlancima i napravili ALS korak koriste\u0107i podatke o pregledima videa. Tako smo lako dobili vektorski prikaz videa. Tijekom izvo\u0111enja jednostavno izra\u010dunavamo bliskost izme\u0111u vektora korisnika, dobivenog na temelju tekstualnih \u010dlanaka, i vektora videa.<\/p>\n
Zaklju\u010dak<\/h2>\n \nRazvoj jezgre sustava preporuka u stvarnom vremenu suo\u010den je s mnogim izazovima. Potrebno je brzo obraditi podatke i primijeniti metode strojnog u\u010denja za u\u010dinkovitu upotrebu tih podataka; graditi slo\u017eene distribuirane sustave sposobne obraditi korisni\u010dke signale i nove jedinice sadr\u017eaja u minimalnom vremenu; i mnoge druge zadatke.<\/p>\n
U trenutnom sustavu, \u010dija svojstva opisujem, kvaliteta preporuka za korisnika raste s njegovom aktivno\u0161\u0107u i du\u017einom boravka na usluzi. No, naravno, tu le\u017ei i najve\u0107i izazov: sustavu je te\u0161ko odmah razumjeti interese osobe koja je malo interagirala s sadr\u017eajem. Pobolj\u0161anje preporuka za nove korisnike na\u0161 je klju\u010dni zadatak. Nastavit \u0107emo optimizirati algoritme kako bi relevantan sadr\u017eaj br\u017ee do\u0161ao u njihov feed, a nerelevantan se ne prikazivao.habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u041f\u0430\u0440\u0445\u043e\u043c\u0435\u043d\u043a\u043e, \u044f ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u042f\u043d\u0434\u0435\u043a\u0441.\u0414\u0437\u0435\u043d \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418\u0437 \u043f\u043e\u0441\u0442\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0432\u0441\u0435\u0433\u043e \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f; \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0438\u0437 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":71853,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-71852","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Kako](\"\/wp-content\/uploads\/2020\/02\/d63caf9162ca3533548fdef9cd740c24.png\")