Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Përshëndetje të gjithëve! Quhem Sasha, jam CTO & Co-Founder në LoyaltyLab. Dy vjet më parë, unë me shokët e mi, siç bëjnë të gjithë studentët e varfër, shkonim për birrë në dyqanin më të afërt në shtëpi. Na shqetësonte shumë që retailer-i, duke ditur se do të shkonim për birrë, nuk ofronte zbritje për patate të skuqura ose krekerë, pavarësisht se kaq logjike ishte! Nuk e kuptuam se pse ndodhte kjo situatë dhe vendosëm të krijonim kompaninë tonë. Dhe si një bonus, të lëshonim vetë zbritje çdo të premte për ato patate të skuqura.

Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Dhe arrita deri aty sa me materialin e anës teknike të produktit të flas në NVIDIA GTC. Jemi të lumtur që ndjejmë përvoja me komunitetin, prandaj po e publikoj referatin tim në formën e një artikulli.

Hyrje

Siç ndodh me të gjithë në fillim të rrugës, filluam me një pasqyrë të mënyrës se si bëhen sistemet rekomanduese. Dhe arkitektura më e njohur ishte tipi i mëposhtëm:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Ajo përbëhet nga dy pjesë:

  1. Mostrimi i kandidatëve për rekomandime me një model të thjeshtë dhe të shpejtë, zakonisht kolaborativ.
  2. Rangu i kandidatëve me një model më të ndërlikuar dhe më të ngadaltë përmbajtësor, duke marrë parasysh të gjitha karakteristikat e mundshme në të dhëna.

Këtu dhe në vijim do të përdorim terminat e mëposhtëm:

  • candidate/kandidat pĂ«r rekomandime — njĂ« çift user-product, e cila potencialisht mund tĂ« pĂ«rfshihet nĂ« rekomandimet nĂ« prodhim.
  • candidates extraction/extractor/metodologji e ekstraktimit tĂ« kandidatĂ«ve — procesi ose metoda e nxjerrjes sĂ« "kandidatĂ«ve pĂ«r rekomandime" nĂ« bazĂ« tĂ« tĂ« dhĂ«nave tĂ« disponueshme.

NĂ« hapin e parĂ« zakonisht pĂ«rdoren variacione tĂ« ndryshme tĂ« filtrimit kolaborativ. MĂ« e njohura Ă«shtĂ« ALS. ËshtĂ« befasuese se shumica e artikujve pĂ«r sistemet rekomanduese zbullojnĂ« vetĂ«m pĂ«rmirĂ«sime tĂ« ndryshme tĂ« modeleve kolaborative nĂ« hapin e parĂ«, por pak kush flet pĂ«r metoda tĂ« tjera mostrimi. PĂ«r ne, qasja e pĂ«rdorimit tĂ« vetĂ«m modeleve kolaborative dhe optimizimeve tĂ« ndryshme me to nuk na dha cilĂ«sinĂ« e pritur, prandaj e thelluam kĂ«rkimin pikĂ«risht nĂ« kĂ«tĂ« pjesĂ«. Dhe nĂ« fund tĂ« artikullit do tĂ« tregoj se sa shumĂ« arritĂ«m tĂ« pĂ«rmirĂ«sojmĂ« ALS, i cili ishte baza pĂ«r ne.

Para se të kaloj në përshkrimin e qasjes sonë, është e rëndësishme të theksoj se gjatë rekomandimeve në kohë reale, kur është e nevojshme të merret parasysh të dhënat që ndodhin 30 minuta më parë, ndoshta nuk ka shumë qasje që mund të funksionojnë brenda kohës së nevojshme. Por, në rastin tonë, rekomandimet nuk ndodhin më shumë se një herë në ditë, dhe në shumicën e rasteve një herë në javë, duke na dhënë mundësinë të përdorim modele më komplekse dhe të rrisim cilësinë ndjeshëm.

Të marim si bazë ato metrika që tregon vetëm ALS në detyrën e ekstraktimit të kandidatëve. Metrikat kryesore që ndjekim janë si më poshtë:

  • Precision — shifra e kandidatĂ«ve tĂ« zgjedhur saktĂ« nga tĂ« mostratuarit.
  • Recall — shifra e ndodhur e kandidatĂ«ve nga ata qĂ« kanĂ« qĂ«nĂ« vĂ«rtet nĂ« intervalin target.
  • F1-score — F-metra, e llogaritur mbi dy pikĂ«t e mĂ«parshme.

Po ashtu do të shikojmë mbi metrikat e modelit përfundimtar pas mësimit të rritjes gradiante me karakteristika të tjera përmbajtësore. Këtu gjithashtu janë 3 metrika kryesore:

  • precision@5 — ndarja mesatare e produkteve nga top-5 me probabilitet pĂ«r çdo blerĂ«s.
  • response-rate@5 — konverzimi i blerĂ«sve nga vizita nĂ« dyqan nĂ« blerjen e tĂ« paktĂ«n njĂ« oferte personale (nĂ« njĂ« ofertĂ« janĂ« 5 produkte).
  • avg roc-auc pĂ«r pĂ«rdorues — mesatarja roc-auc pĂ«r çdo blerĂ«s.

ËshtĂ« e rĂ«ndĂ«sishme tĂ« theksohet se tĂ« gjitha metrikat e pĂ«rmendura matĂ«n nĂ« cross-validation me seria tĂ« dhĂ«nash tĂ« kohĂ«ve, dmth trajnimet bĂ«hen nĂ« javĂ«t e para k, dhe pĂ«r tĂ« dhĂ«nat e testit merret java k+1. KĂ«shtu, luhatjet sezonale reflektohen minimalisht mbi interpretimin e cilĂ«sisĂ« sĂ« modeleve. MĂ« tej, nĂ« tĂ« gjitha grafit do tĂ« thotĂ« se boshti horizontal pĂ«rfaqĂ«son numrin e javĂ«s nĂ« cross-validation, dhe boshti vertikal vlerĂ«n e metrikĂ«s pĂ«rkatĂ«se. TĂ« gjithĂ« grafit janĂ« ndĂ«rtuar mbi tĂ« dhĂ«nat transaksionale tĂ« njĂ« klienti, pĂ«r tĂ« siguruar njĂ« krahasim tĂ« saktĂ« midis tyre.

Para se të filloj përshkrimin e qasjes sonë, le të shikojmë fillimisht mbi bazën që përfaqëson një model të mësuar ALS.
Metrikat për ekstraktimin e kandidatëve:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Metrikat përfundimtare:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Unë i konsideroj të gjitha implementimet e algoritmeve si një hipotezë biznesi. Kështu, shumë përafërsisht, çdo model kolaborativ mund të shikohet si një hipotezë që "njerëzit kanë prirjen të blejnë atë që blejnë njerëz të ngjashëm me ta". Siç e thashë më parë, ne nuk u kufizuam vetëm në këtë semantikë dhe ja cilat hipoteza të tjera funksionojnë mjaft mirë mbi të dhënat në dyqane offline:

  1. ÇfarĂ« keni blerĂ« mĂ« parĂ«.
  2. E ngjashme me atë që keni blerë më parë.
  3. Periudha e blerjes së kaluar.
  4. Popullore sipas kategorive/brandeve.
  5. Blerje të renditura të produkteve të ndryshme nga java në javë (zinxhirët Markov).
  6. Produkte të ngjashme për blerësit, sipas karakteristikave të ndërtuara nga modele të ndryshme (Word2Vec, DSSM, etj.).

ÇfarĂ« ka blerĂ« mĂ« parĂ«

Heuristika më e dukshme, e cila funksionon shumë mirë në tregtinë e produkteve. Këtu marrim të gjitha produktet që poseduesi i kartës së besnikërisë i bleu gjatë K ditëve të fundit (zakonisht 1-3 javë), ose K ditë nga një vit më parë. Duke aplikuar vetëm këtë metodë, arrijmë metrikat e mëposhtme:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Këtu është mjaft e dukshme që, sa më gjatë ta marrim periudhën, aq më shumë kemi recall dhe më pak precision e anasjelltas. Rezultatet më të mira mesatarisht për klientët japin "javët e fundit 2".

Produkte të ngjashme me ato që blenë më parë

Nuk është befasuese që për tregtinë e produkteve "çfarë ka blerë më parë" funksionon mirë, por të nxjerrësh kandidatë vetëm nga ajo që përdoruesi ka blerë në të kaluarën nuk është shumë e mençur, sepse nuk do të jetë lehtë të befasosh blerësin me ndonjë produkt të ri. Prandaj propozojmë të përmirësojmë pak këtë heuristik duke përdorur po ato modele kolaborative. Nga vektorët që kemi marrë gjatë trajnimit ALS, mund të nxjerrim produkte të ngjashme me ato që përdoruesi ka blerë tashmë. Kjo ide është shumë e ngjashme me "video të ngjashme" në shërbimet e transmetimit të përmbajtjes, por sepse ne nuk e dimë se çfarë është duke ngrënë/blerë në atë moment përdoruesi, na mbetet të kërkojmë vetëm për atë që ai ka blerë, sidomos sepse ne tashmë e dimë se sa mirë funksionon. Duke aplikuar një metodë të tillë në transaksionet e përdoruesve për dy javët e fundit arrijmë metrikat e mëposhtme:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

KĂ«tu k — numri i produkteve tĂ« ngjashme qĂ« nxirren pĂ«r çdo produkt tĂ« blerĂ« nga klienti nĂ« 14 ditĂ«t e fundit.
Ky qasje ka funksionuar sidomos mirë për klientin, për të cilin ishte kritikisht e rëndësishme të mos rekomandohej asgjë që kishte qenë tashmë në historinë e blerjeve të përdoruesit.

Periudha e blerjes së kaluara

Siç e kemi zbuluar, pĂ«r shkak tĂ« periudhave tĂ« larta tĂ« blerjes sĂ« produkteve, qasja e parĂ« funksionon mirĂ« nĂ« specifikĂ«n tonĂ«. Por si ta trajtojmĂ« produktet si detergentĂ« pĂ«r larje/shampo/etj.? Pra, produkte tĂ« tilla qĂ« nuk kanĂ« nevojĂ« pĂ«r t'u blerĂ« çdo javĂ«-dy dhe qĂ« metodat e mĂ«parshme nuk mund tĂ« nxjerrin. Nga kĂ«tu del ideja e mĂ«poshtme — tĂ« llogaritĂ«sh periudhĂ«n e blerjes sĂ« çdo produkti mesatarisht pĂ«r blerĂ«sit qĂ« e kanĂ« blerĂ« atĂ« mĂ« shumĂ« k herĂ«. Pastaj tĂ« nxirrni ato qĂ« me siguri janĂ« ndalur pĂ«r blerĂ«sin. Periodat e llogaritura pĂ«r produktet mund tĂ« verifikohen me sy pĂ«r arsyetueshmĂ«ri:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Pastaj do të shohim nëse fundi i periudhës të produktit bie në intervalin e kohës kur rekomandimet do të dalin në prodhim dhe të provojmë atë që bie brenda. Një ilustërim i qasjes mund të jetë kështu:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Këtu kemi dy raste kryesore që mund të shqyrtojmë:

  1. A duhet të provojmë produktet për blerësit që kanë blerë produktin më pak se K herë.
  2. A duhet të provojmë produktin nëse fundi i periudhës e tij bie para fillimit të intervalit të targetuar.

Në grafikun e ardhshëm shihen rezultatet e arritura nga kjo metodë me hiperparametra të ndryshëm:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
ft — TĂ« marrim vetĂ«m blerĂ«sit qĂ« kanĂ« blerĂ« produktin tĂ« paktĂ«n K (kĂ«tu K=5) herĂ«
tm — TĂ« marrim vetĂ«m kandidatĂ« qĂ« bien brenda intervalit tĂ« targetuar

Nuk është befasuese që në këtë gjendje (0, 0) recalli më i madh dhe precisioni më i vogël në këtë mënyrë, pasi në këto kushte nxirren sa më shumë kandidatë. Megjithatë, rezultatet më të mira arrihen kur ne nuk provonim produktet për blerësit që kishin blerë produktin konkret më pak se precizitet, pasi kjo gjendje tërheq më shumë kandidatë. Megjithatë, rezultatet më të mira arrihen kur ne nuk e përzgjedhim mallin për blerësit që kanë blerë një produkt të caktuar më pak se k herë dhe nxirrnim gjithashtu produkte, fundi i periudhës së të cilave bie para intervalit të targetuar.

Popullor për kategorinë

NjĂ« tjetĂ«r ide mjaft e dukshme — tĂ« provojmĂ« produkte popullore sipas kategorive tĂ« ndryshme ose markave. KĂ«tu pĂ«r çdo blerĂ«s llogarisim top-k "tĂ« preferuarat" kategori/marka dhe nxjerrim "popullore" nga kjo kategori/markĂ«. NĂ« rastin tonĂ«, do tĂ« pĂ«rcaktojmĂ« "tĂ« preferuarat" dhe "popullore" sipas numrit tĂ« blerjeve tĂ« produkteve. NjĂ« pĂ«rfitim shtesĂ« i kĂ«tij qasje Ă«shtĂ« aplikueshmĂ«ria nĂ« rastin e nisjes sĂ« ftohtĂ«. QĂ« do tĂ« thotĂ« pĂ«r blerĂ«sit qĂ« kanĂ« bĂ«rĂ« ose shumĂ« pak blerje, ose qĂ« nuk janĂ« kthyer pĂ«r njĂ« kohĂ« tĂ« gjatĂ«, ose qĂ« kanĂ« vetĂ«m regjistruar kartĂ«n e besnikĂ«risĂ«. PĂ«r ta, Ă«shtĂ« mĂ« e lehtĂ« dhe mĂ« mirĂ« tĂ« ofrosh produkte nga tĂ« preferuarat e blerĂ«sve me histori tĂ« njohur. Metrikat rezultuese janĂ« si mĂ« poshtĂ«:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
Numri pas fjalës "kategoria" tregon nivelin e thellësisë së kategorisë.

Në përgjithësi, gjithashtu nuk është befasuese që rezultatet më të mira arrihen nga kategoritë më të ngushta, pasi ato nxjerrin produkte "të preferuara" më të sakta për blerësit.

Blerjet e ndërlikuara të produkteve të ndryshme nga java në javë

NjĂ« qasje interesante, qĂ« nuk e kam parĂ« nĂ« artikuj pĂ«r sistemet rekomanduese — njĂ« metodĂ« statistike e thjeshtĂ« dhe funksionale e zinxhirit tĂ« Markovit. KĂ«tu ne marim 2 javĂ« tĂ« ndryshme, dhe pastaj pĂ«r çdo blerĂ«s ndĂ«rtuam çiftet e produkteve [bleu nĂ« javĂ«n i]-[bleu nĂ« javĂ«n j], ku j > i, dhe nga kĂ«tu llogarisim pĂ«r çdo produkt probabilitetin e kalimit nĂ« njĂ« produkt tjetĂ«r javĂ«n e ardhshme. Pra, pĂ«r çdo çift produktesh producti-productj llogarisim numrin e tyre nĂ« çiftet e gjetura dhe e ndajmĂ« me numrin e çifteve ku producti ishte nĂ« javĂ«n e parĂ«. PĂ«r tĂ« nxjerrĂ« kandidatĂ«t, marrim arkĂ«n e fundit tĂ« blerĂ«sit dhe nxjerrim top-k produktet e ardhshme mĂ« tĂ« mundshme nga matrica e kalimeve qĂ« morĂ«m. Procesi i ndĂ«rtimit tĂ« matrica sĂ« kalimeve duket kĂ«shtu:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Nga shembujt realë në matricën e probabiliteteve të kalimeve shohim fenomenet interesante të mëposhtme:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
Këtu mund të vërejmë varësi interesante, që dalin në sjelljen e konsumatorëve: për shembull, adhuruesit e agrumeve ose marka e qumështit, nga e cila ka një probabilitet të lartë kalimi në një tjetër. Po ashtu, nuk është e çuditshme që produktet me një frekuencë të lartë të blerjeve të përsëritura, siç është gjalpi, gjithashtu ndodhen këtu.

Metrixet në metodën e zinxhirit të Markovit janë si më poshtë:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
k — numri i produkteve qĂ« nxirren pĂ«r çdo produkt tĂ« blerĂ« nga tranzaksoni i fundit i blerĂ«sit.
Siç e shohim, rezultati më i mirë është dhënë nga konfigurations me k=4. Rritja në javën 4 mund të shpjegohet me sjelljen sezonale gjatë festave. 

Produkte të ngjashme për blerësit, sipas karakteristikave, të ndërtuara nga modele të ndryshme

KĂ«tu kemi arritur nĂ« pjesĂ«n mĂ« tĂ« vĂ«shtirĂ« dhe interesante — kĂ«rkimi i fqinjĂ«ve mĂ« tĂ« afĂ«rt sipas vektorĂ«ve tĂ« blerĂ«sve dhe produkteve, tĂ« ndĂ«rtuara nga modele tĂ« ndryshme. NĂ« punĂ«n tonĂ« ne pĂ«rdorim 3 modele tĂ« tilla:

  • ALS
  • Word2Vec (Item2Vec pĂ«r kĂ«to detyra)
  • DSSM

Me ALS tashmĂ« kemi analizuar, mund ta lexojmĂ« pĂ«r mĂ«nyrĂ«n se si mĂ«sohet ai kĂ«tu. NĂ« rastin e Word2Vec, ne pĂ«rdorim implementimin e njohur tĂ« modelit nga gensim. Me analogji me tekstet, e pĂ«rkufizojmĂ« propozimin si arkĂ«n e blerjes. KĂ«shtu, kur ndĂ«rtuam vektorin e produktit, modeli mĂ«son tĂ« parashikojĂ« “kontekstin” e produktit nĂ« arkĂ« (produktet e tjera nĂ« arkĂ«). NĂ« tĂ« dhĂ«nat e ecommerce Ă«shtĂ« mĂ« mirĂ« tĂ« pĂ«rdorim sesionin e blerĂ«sit nĂ« vend tĂ« arkĂ«t, pĂ«r kĂ«tĂ« e kanĂ« shkruar shumĂ« mirĂ« njerĂ«zit nga Ozon. DSSM Ă«shtĂ« mĂ« interesante pĂ«r t'u shqyrtuar. Fillimisht e kishin shkruar njerĂ«zit nga Microsoft, si njĂ« model pĂ«r kĂ«rkime, kĂ«tu mund tĂ« lexoni dokumentin origjinal tĂ« kĂ«rkimit. Arkitektura e modelit duket kĂ«shtu:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

KĂ«tu Q — kĂ«rkesa, kĂ«rkesa e pĂ«rdoruesit, D[i] — dokumenti, faqja nĂ« internet. NĂ« hyrje tĂ« modelit hyjnĂ« karakteristikat e kĂ«rkesĂ«s dhe tĂ« faqeve, pĂ«rkatĂ«sisht. Pas çdo shtrese hyrĂ«se ka disa shtresa tĂ« plota (multilayer perceptron). MĂ« pas modeli mĂ«son tĂ« minimizojĂ« kosinusin ndĂ«rmjet vektorĂ«ve qĂ« rezultojnĂ« nĂ« shtresat e fundit tĂ« modelit.
NĂ« detyrat e rekomandimeve pĂ«rdoret e njĂ«jta arkitekturĂ«, pĂ«rveç se nĂ« vend tĂ« kĂ«rkesĂ«s kemi pĂ«rdoruesin, dhe nĂ« vend tĂ« faqeve — produktet. Dhe nĂ« rastin tonĂ«, njĂ« arkitekturĂ« e tillĂ« transformohet nĂ« kĂ«tĂ«:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Tani pĂ«r tĂ« verifikuar rezultatet, mbetet tĂ« mbulojmĂ« momentin e fundit — nĂ«se nĂ« rastin e ALS dhe DSSM, vektorĂ«t e pĂ«rdoruesve janĂ« tĂ« definuar, nĂ« rastin e Word2Vec kemi vetĂ«m vektorat e produkteve. KĂ«tu pĂ«r ndĂ«rtimin e vektorit tĂ« pĂ«rdoruesit, ne kemi pĂ«rcaktuar 3 qasje kryesore:

  1. Thjesht t'i shtojmë vektorët, kështu që për distancën kosin e kemi thjesht mesataren e produkteve në historinë e blerjeve.
  2. Shtimi i vektorëve me një pesha të caktuar sipas kohës.
  3. Pesha e produkteve me koeficientin TF-IDF.

NĂ« rastin e peshoj linjare tĂ« vektorit tĂ« blerĂ«sit, ne e mbĂ«shtesim nĂ« hipotezĂ«n se produkti qĂ« pĂ«rdoruesi e bleu dje ndikon mĂ« shumĂ« nĂ« sjelljen e tij, sesa produkti qĂ« ai bleu gjashtĂ« muaj mĂ« parĂ«. KĂ«shtu llogarisim javĂ«n e kaluar tĂ« blerĂ«sit me njĂ« koeficient 1, dhe atĂ« qĂ« ndodhi mĂ« herĂ«t me koeficientĂ«t œ, ⅓, etj.:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

PĂ«r koeficientĂ«t TF-IDF bĂ«jmĂ« pikĂ«risht atĂ« qĂ« bĂ«jmĂ« edhe nĂ« TF-IDF pĂ«r tekstet, pĂ«rveçse e llogarisim blerĂ«sin si dokument, dhe arkĂ«n si propozim, pĂ«rkatĂ«sisht, fjala — produkt. KĂ«shtu, vektori i pĂ«rdoruesit do tĂ« lĂ«vizĂ« mĂ« shumĂ« nĂ« drejtim tĂ« produkteve tĂ« rralla, ndĂ«rsa produktet e zakonshme dhe tĂ« njohura pĂ«r pĂ«rdoruesin nuk do tĂ« ndikojnĂ« shumĂ« nĂ« tĂ«. Qasja mund tĂ« ilustrohet kĂ«shtu:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Tani le të shohim metrikat. Këto janë rezultatet e ALS:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
Metrikat për Item2Vec me variacione të ndryshme të ndërtimit të vektorit të blerësit:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
Në këtë rast përdoret pikërisht modeli i njëjtë, që është në bazën e tij. Diferenca është vetëm se cila k do të përdorim. Për të përdorur vetëm modelet kolaboruese, na duhen rreth 50-70 produkte më të afërta për çdo blerës.

Dhe metrike lidhur me DSSM:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Si të bashkohen të gjitha metodat?

Sigurisht, do të thoni se është e mrekullueshme, por çfarë të bëni me një grup kaq të madh veglash për nxjerrjen e kandidatëve? Si të përshtatet konfigurimi optimal për të dhënat tuaja? Këtu lindin disa sfida:

  1. Duhet dikush të kufizojë hapësirën e kërkimit të hiperparametrave në çdo metodë. Sigurisht, ajo është diskrete kudo, por numri i pikave të mundshme është shumë i madh.
  2. Si të zgjedhim konfigurimin më të mirë për një metrikë të caktuar nga një mostër e vogël të metodave specifike me hiperparametra të caktuar?

Nuk kemi gjetur njĂ« pĂ«rgjigje tĂ« saktĂ« pĂ«r pyetjen e parĂ« deri tani, prandaj ne dalim nga pĂ«rvoja e mĂ«poshtme: pĂ«r secilĂ«n metodĂ« Ă«shtĂ« shkruar njĂ« kufizues i hapĂ«sirĂ«s sĂ« kĂ«rkimit tĂ« hiperparametrave, duke u bazuar nĂ« disa statistika tĂ« tĂ« dhĂ«nave qĂ« kemi. NĂ« kĂ«tĂ« mĂ«nyrĂ«, duke e ditur periudhĂ«n mesatare ndĂ«rmjet blerjeve tĂ« njerĂ«zve, mund tĂ« supozojmĂ« se me çfarĂ« periudhe duhet tĂ« pĂ«rdorim metodĂ«n “ato qĂ« janĂ« blerĂ« tashmĂ«â€ dhe “periudha e blerjeve tĂ« kaluara”.

Pas kalimit nëpër një numër të arsyeshëm variacionesh të metodave të ndryshme, do të vërejmë se çdo realizim nxjerr një numër të caktuar kandidatësh dhe ka një vlerë të caktuar për ne të metrikës (recall). Ne duam të fitojmë një numër të caktuar kandidatësh, në përputhje me kapacitetet tona të lejuara të llogaritjeve, me metrikën më të lartë të mundshme. Këtu, problemi lidhet bukur me problemin e ruksakut.
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Këtu numri i kandidatëve është pesha e pllakës, dhe recall i metodës është vlera e saj. Megjithatë, ka edhe 2 pika që duhet të merren parasysh gjatë realizimit të algoritmit:

  • Metodat mund tĂ« kenĂ« mbivendosje nĂ« kandidatĂ«t qĂ« nxjerrin.
  • NĂ« disa raste, tĂ« marrĂ«sh njĂ« metodĂ« dy herĂ« me parametra tĂ« ndryshĂ«m do tĂ« ishte e saktĂ« dhe kandidatĂ«t nga dalja e parĂ« nuk do tĂ« jenĂ« njĂ« nĂ«ngrup i tĂ« dytĂ«ve.

Për shembull, nëse e marrim realizimin e metodës 'ato që janë blerë tashmë' me intervale të ndryshme për nxjerrjen, atëherë grumbujt e kandidatëve do të përfshihen njëri brenda tjetrit. Në të njëjtën kohë, parametra të ndryshëm në 'blerjet periodike' nuk japin një mbivendosje të plotë. Prandaj, ne ndanë metodat e mostrimit me parametra të ndryshëm në blloqe, në mënyrë që nga secili bllok të marrim jo më shumë se një qasje nxjerrje me hiperparametra specifikë. Për këtë, duhet të jemi kreativë në realizimin e problemit të ruksakut, por asimptotika dhe rezultati nga kjo nuk do të ndryshojnë.

Kjo kombinim e mençur na lejon të arrijmë metrika të mëposhtme në krahasim me modelet thjesht kolaborative:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
Në metrikat finale shohim një panoramë të tillë:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Megjithatë, këtu mund të vërehet se ka mbetur një pikë e mbuluar për rekomandimet që janë të dobishme për biznesin. Aktualisht thjesht kemi mësuar të parashikojmë me saktësi se çfarë do të blejë përdoruesi, për shembull, javën tjetër. Por thjesht të ofrosh një zbritje për atë që ai do të blejë nuk është aspak interesante. Megjithatë, është e shkëlqyer të maksimizosh pritshmërinë, për shembull, të metrikave të mëposhtme:

  1. Margjinën/ tregun e produktit sipas rekomandimeve personale.
  2. Çmimin mesatar tĂ« blerĂ«sve.
  3. Frekuencën e vizitave.

Kështu, ne shumëzojmë probabilitetet e marra me faktorë të ndryshëm dhe i rendisim sërish në mënyrë që në krye të listës të jenë produktet që ndikojnë në metrikat më sipër. Nuk ka një zgjidhje të gatshme se cili qasje është më e mira për t'u përdorur. Edhe ne eksperimentojmë me këta faktorë drejt prodhimit. Por këtu janë disa teknika interesante, të cilat shpesh na sjellin rezultate më të mira:

  1. Së pari, shumëzojmë me çmimin/marginën e produktit.
  2. Së dyti, shumëzojmë me çmimin mesatar, në të cilin zakonisht shikohet produkti. Kështu, në krye dalin produkte, që zakonisht blihen së bashku me diçka tjetër.
  3. Së treti, shumëzojmë me frekuencën mesatare të vizitave të blerësve për këtë produkt, sipas hipotezës se ky produkt nxit kthimin më të shpeshtë për të.

Pas eksperimenteve me faktorët kemi marrë metrika të mëposhtme në prodhim:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline
KĂ«tu konvertimi i pĂ«rgjithshĂ«m tĂ« produkteve — pjesa e produkteve tĂ« blera nga tĂ« gjitha produktet nĂ« rekomandimet qĂ« ne kemi gjeneruar.

Lexuesi i vëmendshëm do të vërejë një dallim të rëndësishëm midis metrikeve offline dhe online. Kjo sjellje shpjegohet nga fakti se jo të gjithë filtrat dinamikë për produktet që mund të rekomandohen mund të merren parasysh gjatë mësimit të modelit. Për ne, është normale që gjysma e kandidatëve të nxjerrë të mund të filtrohen, kjo specifikë është karakteristike për industrinë tonë.

Në lidhje me të ardhurat, historia duket kështu, është e dukshme se pas lansimit të rekomandimeve, të ardhurat e grupit testues rriten ndjeshëm, tani rritja mesatare e të ardhurave me rekomandimet tona është 3-4%:
Si e përmirësuam ndjeshëm cilësinë e rekomandimeve në shitjen me pakicë offline

Në përfundim, dua të them se, nëse ju nevojiten rekomandime jo në kohë reale, një përmirësim i madh në cilësi ndodhi në eksperimente me nxjerrjen e kandidatëve për rekomandime. Një kohë e madhe për gjenerimin e tyre jep mundësinë për të kombinuar shumë metoda të mira, që përmbledhshëm do të japin rezultate të shkëlqeve për biznesin.

Do tĂ« isha i lumtur tĂ« flisja nĂ« komentet me tĂ« gjithĂ« ata qĂ« e konsiderojnĂ« materialin tĂ«rheqĂ«s. Pyetje mund tĂ« mĂ« bĂ«ni personalisht nĂ« telegram. Gjithashtu, ndaj mendimet e mia mbi AI/nisjet nĂ« telegram — mirĂ«seardhĂ«t 🙂

Burimi: habr.com

Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster