Kumusta tanan! Ako si Sasha, ako CTO & Co-Founder sa LoyaltyLab. Duha ka tuig ang milabay, ang akong mga higala ug ako, sama sa tanan nga mga kabus nga estudyante, miadto sa gabii alang sa beer sa labing duol nga tindahan duol sa balay. Nasuko kaayo kami nga ang retailer, nga nahibal-an nga moadto kami alang sa serbesa, wala maghatag diskwento sa mga chips o crackers, bisan kung kini makatarunganon! Wala kami makasabut ngano nga kini nga kahimtang nahitabo ug nakahukom sa paghimo sa among kaugalingon nga kompanya. Aw, ingon nga usa ka bonus, isulat ang mga diskwento alang sa imong kaugalingon matag Biyernes alang sa parehas nga mga chips.

Ug ang tanan miabot sa punto nga ako nakigsulti sa materyal sa teknikal nga bahin sa produkto sa NVIDIA GTC. Nalipay kami nga ipaambit ang among trabaho sa komunidad, mao nga akong gi-post ang akong report sa porma sa usa ka artikulo.

Pasiuna

Sama sa tanan sa sinugdanan sa panaw, nagsugod kami sa usa ka kinatibuk-ang ideya kung giunsa paghimo ang mga sistema sa rekomendasyon. Ug ang arkitektura sa mosunud nga tipo nahimo nga labing inila:

Kini naglangkob sa duha ka bahin:

1. Pag-sample sa mga kandidato alang sa mga rekomendasyon pinaagi sa usa ka yano ug paspas nga modelo, kasagaran magtinabangay.
2. Pag-ranggo sa mga kandidato pinaagi sa usa ka mas komplikado ug hinay nga modelo sa sulud, nga gikonsiderar ang tanan nga posible nga mga bahin sa datos.

Dinhi ug sa ubos akong gamiton ang mosunod nga mga termino:

• kandidato / kandidato alang sa mga rekomendasyon - usa ka pares sa user-produkto, nga posibleng makuha sa mga rekomendasyon sa produksyon.
• pamaagi sa pagkuha sa mga kandidato / extractor / kandidato — usa ka proseso o pamaagi sa pagkuha sa “mga kandidato alang sa mga rekomendasyon” gikan sa anaa nga datos.

Sa unang lakang, lain-laing mga variation sa collaborative pagsala kasagaran gigamit. Ang labing popular - ALS. Katingad-an, kadaghanan sa mga artikulo bahin sa mga sistema sa tigrekomenda nagpadayag lamang sa lainlaing mga pag-uswag sa mga nagtinabangay nga mga modelo sa una nga yugto, apan wala’y usa nga naghisgot bahin sa ubang mga pamaagi sa sampling. Alang kanamo, ang pamaagi sa paggamit lamang sa mga collaborative nga mga modelo ug lain-laing mga pag-optimize uban kanila wala molihok sa kalidad nga among gipaabut, mao nga among gituki ang panukiduki labi na sa kini nga bahin. Ug sa katapusan sa artikulo akong ipakita kung unsa ka dako ang among nahimo sa pagpalambo sa ALS, nga mao ang among baseline.

Sa wala pa ako magpadayon sa paghulagway sa among pamaagi, hinungdanon nga matikdan nga sa mga rekomendasyon sa realtime, kung hinungdanon alang kanamo nga tagdon ang mga datos nga nahitabo 30 minuto ang milabay, wala’y daghang mga pamaagi nga magamit sa husto nga oras. Apan, sa among kaso, kinahanglan namon nga mangolekta og mga rekomendasyon nga dili molapas sa kausa sa usa ka adlaw, ug sa kadaghanan nga mga kaso - kausa sa usa ka semana, nga naghatag kanamo og higayon nga magamit ang mga komplikado nga modelo ug padaghanon ang kalidad.

Atong kuhaon alang sa baseline kung unsa nga mga sukatan ang gipakita lamang sa ALS sa tahas sa pagkuha sa mga kandidato. Ang yawe nga mga sukatan nga among gibantayan mao ang:

• Precision - ang proporsyon sa husto nga gipili nga mga kandidato gikan sa mga sample.
• Hinumdumi - ang proporsyon sa mga kandidato nga nahitabo gikan sa mga naa gyud sa target interval.
• F1-score - F-score kalkulado sa miaging duha ka puntos.

Atong tan-awon usab ang mga sukatan sa katapusan nga modelo pagkahuman sa pagbansay sa gradient nga pagpadako nga adunay dugang nga mga bahin sa sulud. Adunay usab 3 nga panguna nga sukatan:

• precision@5 — average nga porsyento sa mga hit gikan sa top 5 pinaagi sa posibilidad sa matag kustomer.
• response-rate@5 — pagkakabig sa mga pumapalit gikan sa pagbisita sa tindahan ngadto sa pagpalit sa labing menos usa ka personal nga tanyag (usa ka tanyag adunay 5 ka produkto).
• avg roc-auc kada user - medium roc-auc alang sa matag pumapalit.

Mahinungdanon nga timan-an nga kining tanan nga mga sukatan gisukod sa time-series nga cross-validation, nga mao, ang pagbansay mahitabo sa unang k semana, ug k + 1 ka semana gikuha ingon nga pagsulay data. Busa, ang seasonal ups/downs adunay gamay nga epekto sa interpretasyon sa kalidad sa mga modelo. Dugang pa, sa tanan nga mga tsart, ang abscissa axis magpakita sa numero sa semana sa cross-validation, ug ang ordinate axis magpakita sa bili sa gitakda nga metric. Ang tanan nga mga graph gibase sa transactional data sa usa ka kliyente, aron ang pagtandi tali kanila husto.

Sa dili pa kita magsugod sa paghulagway sa atong pamaagi, atong tan-awon una ang baseline, nga mao ang ALS nga gibansay nga modelo.
Mga Sukatan sa Pagkuha sa Kandidato:

Katapusan nga sukatan:

Gitratar nako ang tanan nga mga pagpatuman sa mga algorithm ingon usa ka klase nga hypothesis sa negosyo. Sa ingon, halos kaayo, ang bisan unsang collaborative nga mga modelo mahimong isipon nga usa ka pangagpas nga "ang mga tawo adunay kalagmitan nga mopalit kung unsa ang gipalit sa mga tawo nga gusto nila". Sama sa akong giingon, wala namon gilimitahan ang among kaugalingon sa ingon nga mga semantiko, ug aniay pipila nga mga pangagpas nga maayo pa nga nagtrabaho sa datos sa offline nga tingi:

1. Unsa imong gipalit kaniadto.
2. Parehas sa akong gipalit kaniadto.
3. Ang panahon sa usa ka dugay nga nangagi nga pagpalit.
4. Popular sa kategorya/brand.
5. Alternatibo nga pagpalit sa lainlaing mga butang matag semana (Markov chain).
6. Susama nga mga produkto sa mga pumapalit, sumala sa mga kinaiya nga gitukod sa lainlaing mga modelo (Word2Vec, DSSM, ug uban pa).

Unsa imong gipalit kaniadto

Ang labing klaro nga heuristic nga nagtrabaho pag-ayo sa grocery retail. Dinhi among gikuha ang tanan nga mga butang nga gipalit sa tag-iya sa loyalty card sa miaging K nga mga adlaw (kasagaran 1-3 ka semana), o K adlaw sa usa ka tuig ang milabay. Ang pagpadapat lamang niini nga pamaagi, atong makuha ang mosunod nga mga sukdanan:

Klaro kaayo dinhi nga kung daghan ang atong gikuha ang panahon, mas daghan ang nahinumdom ug dili kaayo tukma nga naa kanato ug vice versa. Ang mas maayo nga mga resulta sa kasagaran alang sa mga kliyente naghatag sa "katapusang 2 ka semana".

Parehas sa akong gipalit kaniadto

Dili ikatingala, ang "unsay gipalit kaniadto" maayo alang sa grocery retail, apan ang pagkuha sa mga kandidato lamang gikan sa kung unsa ang napalit sa user dili kaayo cool, tungod kay kini dili tingali nga posible nga matingala ang pumapalit sa pipila ka bag-ong produkto. Busa, among gisugyot nga gamay nga pauswagon kini nga heuristic gamit ang parehas nga collaborative nga mga modelo. Gikan sa mga vector nga among nadawat sa panahon sa pagbansay sa ALS, mahimo nimong makuha ang parehas nga mga produkto sa napalit na sa tiggamit. Kini nga ideya susama kaayo sa "parehas nga mga video" sa mga serbisyo sa pagtan-aw sa sulud sa video, apan tungod kay wala kami nahibal-an kung unsa ang gikaon / gipalit sa tiggamit sa usa ka partikular nga higayon, mahimo ra naton pangitaon ang usa ka butang nga parehas ra sa iyang napalit, labi na kay nahibal-an na naton kung unsa kini ka maayo. Ang pagpadapat niini nga pamaagi sa mga transaksyon sa user sa milabay nga 2 ka semana, atong makuha ang mosunod nga mga sukdanan:

kini mao ang k - ang gidaghanon sa susamang mga produkto nga makuha alang sa matag produkto nga gipalit sa pumapalit sa miaging 14 ka adlaw.
Kini nga pamaagi maayo kaayo alang kanamo sa usa ka kliyente nga kritikal nga dili magrekomenda kung unsa ang naa sa kasaysayan sa pagpalit sa tiggamit.

Dugay na nga panahon sa pagpalit

Sama sa nahibal-an na namon, tungod sa kadaghan sa pagpalit sa mga butang, ang una nga pamaagi maayo alang sa among mga detalye. Apan unsa ang mahitungod sa mga butang sama sa paghugas sa powder/shampoo/etc. Kana mao, uban sa mga produkto nga dili tingali kinahanglan matag semana o duha ug nga ang mga nangaging mga pamaagi dili makuha. Nagpasabot kini sa mosunod nga ideya - gisugyot nga kuwentahon ang panahon sa pagpalit sa matag produkto sa kasagaran alang sa mga pumapalit nga mipalit sa produkto nga mas daghan. k kausa. Ug unya kuhaa ang lagmit nahutdan na sa pumapalit. Ang kalkulado nga mga panahon alang sa mga butang mahimong masusi sa mga mata alang sa igong:

Ug unya atong tan-awon kung ang katapusan sa panahon sa produkto mahulog sa sulod sa agwat sa oras kung ang mga rekomendasyon naa sa paghimo ug pag-sample kung unsa ang nahulog. Ang pamaagi mahimong gihulagway sama niini:

Ania kami adunay 2 nga nag-unang mga kaso nga mahimong konsiderahon:

1. Kung magsampol sa mga produkto alang sa mga kustomer nga mipalit sa produkto nga wala’y K beses.
2. Kung i-sample ang produkto kung ang katapusan sa panahon niini mahulog sa wala pa magsugod ang target interval.

Ang mosunud nga graph nagpakita kung unsa ang mga sangputanan nga makab-ot sa ingon nga pamaagi sa lainlaing mga hyperparameter:

ft - Dad-a lamang ang mga pumapalit nga mipalit sa produkto labing menos K (dinhi K = 5) ka beses
tm - Dad-a lamang ang mga kandidato nga nahulog sa target interval

Dili ikatingala, makahimo (0, 0) ang kinadak-an Hinumdomi ug ang pinakagamay katukma, tungod kay ubos niini nga kondisyon ang kadaghanan sa mga kandidato gikuha. Bisan pa, ang labing kaayo nga mga sangputanan makuha kung dili kami mag-sample sa mga produkto alang sa mga kostumer nga mipalit sa usa ka partikular nga produkto nga ubos pa sa k mga panahon ug kinuha, lakip sa ubang mga butang, mga butang kansang panahon matapos mahulog sa wala pa ang target interval.

Popular sa Kategorya

Ang laing klaro nga ideya mao ang pag-sample sa mga sikat nga produkto sa lainlaing mga kategorya o tatak. Dinhi among gikalkula ang matag kustomer ibabaw-k "paborito" nga mga kategorya/brand ug kuhaa ang "popular" gikan sa kana nga kategorya/brand. Sa among kaso, among gihubit ang "paborito" ug "popular" pinaagi sa gidaghanon sa gipamalit nga produkto. Ang usa ka dugang nga bentaha sa kini nga pamaagi mao ang paggamit niini sa usa ka bugnaw nga kaso sa pagsugod. Kana mao, alang sa mga kostumer nga nakahimo bisan gamay ra kaayo nga gipamalit, o wala sa tindahan sa dugay nga panahon, o sa kinatibuk-an nag-isyu lamang sa usa ka loyalty card. Alang kanila, mas sayon ​​ug labing maayo ang paglabay sa mga butang gikan sa popular sa mga pumapalit nga adunay kasamtangan nga kasaysayan. Ang metrics mao ang mosunod:

Dinhi, ang numero pagkahuman sa pulong nga "kategorya" nagpasabut sa lebel sa nesting sa kategorya.

Sa kinatibuk-an, dili usab ikatingala nga ang mas pig-ot nga mga kategorya nakab-ot ang mas maayo nga mga resulta, tungod kay sila nagkuha sa mas tukma nga "paborito" nga mga produkto alang sa mga pumapalit.

Alternatibo nga pagpalit sa lainlaing mga butang matag semana

Ang usa ka makapaikag nga pamaagi nga wala nako makita sa mga artikulo bahin sa mga sistema sa rekomendasyon usa ka medyo yano ug sa samang higayon nagtrabaho nga pamaagi sa istatistika sa mga kadena sa Markov. Dinhi mikuha kami og 2 ka lain-laing mga semana, unya alang sa matag kustomer nagtukod kami og mga parisan sa mga produkto [gipalit sa semana i]-[gipalit sa semana j], diin j > i, ug gikan dinhi atong kalkulado alang sa matag produkto ang kalagmitan sa pagbalhin ngadto sa laing produkto sunod semana. Sa ato pa, alang sa matag parisan sa mga butang produkto-produktoj ihap ang ilang gidaghanon sa nakit-an nga mga pares ug bahina sa gidaghanon sa mga pares, diin produktoi diha sa unang semana. Aron makuha ang mga kandidato, gikuha namon ang katapusang tseke sa pumapalit ug makuha ibabaw-k ang lagmit nga sunod nga mga produkto gikan sa transition matrix nga among nakuha. Ang proseso sa pagtukod sa usa ka transition matrix ingon niini:

Gikan sa tinuod nga mga pananglitan sa matrix sa mga posibilidad sa transisyon, atong makita ang mosunod nga makapaikag nga mga panghitabo:

Dinhi mahimo nimong mamatikdan ang makapaikag nga mga dependency nga gipadayag sa pamatasan sa mga konsumedor: pananglitan, ang mga mahigugmaon sa citrus o usa ka brand sa gatas, diin sila lagmit nga mobalhin sa lain. Dili usab ikatingala nga ang mga butang nga adunay taas nga gibalikbalik nga pagpalit, sama sa mantekilya, natapos usab dinhi.

Ang mga sukatan sa pamaagi nga adunay mga kadena sa Markov mao ang mga musunud:

k - ang gidaghanon sa mga produkto nga makuha alang sa matag butang nga gipalit gikan sa katapusang transaksyon sa pumapalit.
Sama sa atong makita, ang configuration sa k=4 nagpakita sa labing maayo nga resulta. Ang spike sa semana 4 mahimong ipasabut sa us aka seasonal nga pamatasan sa mga holiday. 

Susama nga mga produkto sa mga pumapalit, sumala sa mga kinaiya nga gitukod sa lainlaing mga modelo

Mao nga moabut kami sa labing lisud ug makapaikag nga bahin - ang pagpangita alang sa labing duol nga mga silingan sa mga vector sa mga pumapalit ug mga produkto nga gitukod sumala sa lainlaing mga modelo. Sa among trabaho, gigamit namon ang 3 nga ingon nga mga modelo:

• ALS
• Word2Vec (Item2Vec alang sa ingon nga mga buluhaton)
• DSSM

Nahisgotan na namo ang ALS, mabasa nimo kung giunsa kini pagkat-on dinhi. Sa kaso sa Word2Vec, among gigamit ang iladong pagpatuman sa modelo gikan sa gensim. Pinaagi sa analohiya sa mga teksto, among gihubit ang tanyag ingon usa ka resibo sa pagpalit. Sa ingon, sa paghimo sa vector sa produkto, ang modelo nakakat-on sa pagtagna sa "konteksto" niini alang sa produkto sa resibo (ang nahabilin nga mga butang sa resibo). Sa datos sa ecommerce, mas maayo nga gamiton ang sesyon sa pumapalit kaysa usa ka resibo, ang mga lalaki gikan sa Ozon. Ug ang DSSM mas makapaikag nga i-disassemble. Kini orihinal nga gisulat sa mga lalaki gikan sa Microsoft isip usa ka modelo sa pagpangita, mabasa nimo ang orihinal nga research paper dinhi. Ang arkitektura sa modelo ingon niini:

kini mao ang Q - pangutana, pangutana sa pagpangita sa user, D[i] - dokumento, panid sa web. Ang input sa modelo makadawat sa mga timailhan sa hangyo ug mga panid, matag usa. Ang matag input layer gisundan sa usa ka gidaghanon sa hingpit nga konektado nga mga layer (multlayer perceptron). Sunod, ang modelo nakakat-on sa pagpamenos sa cosine tali sa mga vector nga nakuha sa katapusang mga lut-od sa modelo.
Ang mga buluhaton sa rekomendasyon naggamit sa parehas nga arkitektura, apan imbis nga usa ka hangyo, adunay usa ka tiggamit, ug imbis nga mga panid, adunay mga produkto. Ug sa among kaso, kini nga arkitektura gibag-o sa mga musunud:

Karon, aron masusi ang mga resulta, kini nagpabilin sa pagtabon sa katapusan nga punto - kung sa kaso sa ALS ug DSSM kita adunay tin-aw nga gihubit nga mga vector sa gumagamit, nan sa kaso sa Word2Vec kita adunay mga vector sa produkto lamang. Dinhi, aron makahimo usa ka vector sa gumagamit, nahibal-an namon ang 3 nga panguna nga mga pamaagi:

1. Idugang lang ang mga vector, unya alang sa gilay-on sa cosine kini nahimo nga nag-average lang kami sa mga produkto sa kasaysayan sa pagpamalit.
2. Summation sa mga vector nga adunay pipila ka oras nga gibug-aton.
3. Pagtimbang sa mga butang nga adunay TF-IDF coefficient.

Sa kaso sa linear weighting sa buyer vector, mipadayon kami gikan sa hypothesis nga ang produkto nga gipalit sa user kagahapon adunay mas dako nga impluwensya sa iyang kinaiya kaysa sa produkto nga iyang gipalit unom ka bulan ang milabay. Mao nga gikonsiderar namon ang miaging semana sa pumapalit nga adunay coefficient nga 1, ug kung unsa ang sunod nga nahitabo sa mga coefficient nga ½, ⅓, ug uban pa:

Alang sa mga coefficient sa TF-IDF, parehas ang among gibuhat sa TF-IDF alang sa mga teksto, gikonsiderar ra namon ang pumapalit ingon usa ka dokumento, ug ang resibo ingon usa ka tanyag, sa tinuud, ang pulong usa ka produkto. Busa ang user vector mas mobalhin ngadto sa talagsaon nga mga butang, ug ang mga butang nga kanunay ug pamilyar sa pumapalit dili kaayo makausab niini. Ang pamaagi mahimong gihulagway sama niini:

Karon atong tan-awon ang metrics. Mao kini ang hitsura sa mga resulta sa ALS:

Mga sukatan sa Item2Vec nga adunay lainlaing mga kalainan sa paghimo sa vector sa pumapalit:

Sa kini nga kaso, parehas nga modelo ang gigamit sama sa among baseline. Ang kalainan lang kay kung asa k atong gamiton. Aron magamit lamang ang mga modelo nga nagtinabangay, kinahanglan nimo nga magkuha mga 50-70 nga labing duol nga mga produkto alang sa matag kustomer.

Ug DSSM metrics:

Unsa nga paagi sa paghiusa sa tanan nga mga pamaagi?

Nindot, giingon nimo, apan unsa ang buhaton sa ingon ka dako nga hugpong sa mga himan sa pagkuha sa kandidato? Giunsa pagpili ang labing maayo nga pag-configure alang sa imong datos? Ania kami adunay daghang mga problema:

1. Kinahanglan nga limitahan ang lugar sa pagpangita alang sa mga hyperparameter sa matag pamaagi. Kini, siyempre, discrete bisan asa, apan ang gidaghanon sa posible nga mga punto dako kaayo.
2. Giunsa pagpili ang labing kaayo nga pagsulud alang sa imong sukatan gamit ang usa ka gamay nga limitado nga sample sa piho nga mga pamaagi nga adunay piho nga mga hyperparameter?

Wala pa kami makit-an nga dili klaro nga husto nga tubag sa una nga pangutana, mao nga nagpadayon kami gikan sa mga musunud: alang sa matag pamaagi, usa ka hyperparameter search space limiter ang gisulat, depende sa pipila nga estadistika sa datos nga naa kanamo. Busa, nahibal-an ang kasagaran nga panahon tali sa mga gipamalit gikan sa mga tawo, makatag-an kita kung unsang panahona ang gamiton sa "unsay napalit na" ug "ang panahon sa dugay na nga pagpalit" nga pamaagi.

Ug human nga naagian nato ang igong gidaghanon sa mga variation sa lain-laing mga pamaagi, atong namatikdan ang mosunod: ang matag pagpatuman nagkuha ug usa ka piho nga gidaghanon sa mga kandidato ug adunay piho nga bili sa metric (recall) nga yawe alang kanato. Gusto namon nga makakuha usa ka piho nga gidaghanon sa mga kandidato sa kinatibuk-an, depende sa among gitugotan nga gahum sa pag-compute, nga adunay labing taas nga posible nga sukatan. Dinhi ang problema maayo nga nahugno sa problema sa knapsack.

Dinhi ang gidaghanon sa mga kandidato mao ang gibug-aton sa ingot, ug ang pamaagi sa paghinumdom mao ang bili niini. Bisan pa, adunay 2 pa nga mga punto nga kinahanglan nga tagdon kung ipatuman ang algorithm:

• Mahimong nagsapaw ang mga pamaagi sa mga kandidato nga ilang gibira.
• Sa pipila ka mga kaso, husto ang pagkuha sa usa ka pamaagi kaduha nga adunay lainlaing mga parameter, ug ang mga kandidato sa output sa una dili usa ka subset sa ikaduha.

Pananglitan, kung atong kuhaon ang pagpatuman sa "unsay gipalit" nga pamaagi nga adunay lainlaing mga agwat alang sa pagkuha, nan ang ilang mga set sa mga kandidato magsalag sa usag usa. Sa parehas nga oras, ang lainlaing mga parameter sa "periodic nga pagpalit" sa exit wala maghatag usa ka kompleto nga intersection. Busa, gibahin namon ang mga pamaagi sa sampling nga adunay lainlaing mga parameter sa mga bloke aron gikan sa matag bloke gusto namon nga makuha ang labing kadaghan nga pamaagi sa pagkuha nga adunay piho nga mga hyperparameter. Aron mahimo kini, kinahanglan nimo nga limbongan ang gamay sa pagpatuman sa problema sa knapsack, apan ang mga asymptotics ug ang resulta dili mausab gikan niini.

Ang ingon nga usa ka maalamon nga kombinasyon nagtugot kanamo nga makuha ang mga mosunud nga sukatan kung itandi sa yano nga mga modelo nga nagtinabangay:

Sa katapusang metrics atong makita ang mosunod nga hulagway:

Bisan pa, dinhi imong makita nga adunay usa ka wala'y tabon nga punto alang sa mga rekomendasyon nga mapuslanon alang sa negosyo. Karon nahibal-an na namon kung giunsa ang pagtagna nga cool kung unsa ang paliton sa tiggamit, pananglitan, sa sunod semana. Apan ang paghatag lang og diskwento sa kamatuoran nga mopalit pa siya dili kaayo cool. Apan maayo nga mapadako ang pagpaabut, pananglitan, sa mga mosunud nga sukatan:

1. Margin/turnover base sa personal nga mga rekomendasyon.
2. Average nga pagsusi sa mga pumapalit.
3. frequency sa pagbisita.

Mao nga gipadaghan namon ang nakuha nga mga probabilidad sa lainlaing mga coefficient ug gi-ranggo kini pag-usab aron ang tumoy naglakip sa mga produkto nga makaapekto sa mga sukatan sa ibabaw. Wala’y andam nga solusyon dinhi, kung unsang pamaagi ang mas maayo nga gamiton. Bisan kami nag-eksperimento sa ingon nga mga coefficient direkta sa produksiyon. Apan aniay pipila ka makaiikag nga mga limbong nga kasagarang naghatag kanato sa labing maayong mga resulta:

1. I-multiply sa presyo/margin sa butang.
2. I-multiply sa kasagaran nga tseke diin mahitabo ang produkto. Mao nga mogawas ang mga butang nga kasagarang kuhaon nila ang lain.
3. Pagdaghan sa kasagaran nga kasubsob sa mga pagbisita sa mga pumapalit niini nga produkto, base sa pangagpas nga kini nga produkto naghagit sa mas kanunay nga pagbalik niini.

Pagkahuman sa pag-eksperimento sa mga coefficient, nakuha namon ang mga mosunud nga sukatan sa produksiyon:

kini mao ang kinatibuk-ang pagkakabig sa produkto - ang bahin sa gipalit nga mga produkto gikan sa tanan nga mga produkto sa mga rekomendasyon nga among nahimo.

Ang usa ka matinagdanon nga magbabasa makamatikod sa usa ka hinungdanon nga kalainan tali sa offline ug online nga mga sukatan. Kini nga pamatasan gipatin-aw sa kamatuoran nga dili tanan nga dinamikong mga pagsala alang sa mga produkto nga mahimong irekomendar mahimong makonsiderar kung gibansay ang modelo. Kini usa ka normal nga istorya alang kanamo kung ang katunga sa mga nakuha nga mga kandidato mahimong ma-filter, ang ingon nga espesipiko kasagaran sa among industriya.

Sa mga termino sa kita, nakuha ang mosunud nga istorya, klaro nga pagkahuman sa paglansad sa mga rekomendasyon, ang kita sa grupo sa pagsulay kusog nga nagtubo, karon ang kasagaran nga pagtaas sa kita sa among mga rekomendasyon mao ang 3-4%:

Sa konklusyon, gusto nakong isulti nga kung kinahanglan nimo ang dili realtime nga mga rekomendasyon, nan ang usa ka dako kaayo nga pagtaas sa kalidad makita sa mga eksperimento sa pagkuha sa mga kandidato alang sa mga rekomendasyon. Ang usa ka dako nga oras sa pagmugna niini nagpaposible sa paghiusa sa daghang maayong mga pamaagi, nga sa kinatibuk-an maghatag mga cool nga resulta alang sa negosyo.

Malipay ako nga makig-chat sa mga komento sa tanan nga nakakaplag sa materyal nga makapaikag. Pwede ka mangutana nako sa personal telegram. Gipaambit usab nako ang akong mga hunahuna sa AI / mga pagsugod sa akong channel sa telegrama — welcome :)

Source: www.habr.com