Hæ allir! Ég heiti Sasha, ég er tæknistjóri og meðstofnandi hjá LoyaltyLab. Fyrir tveimur árum fórum við vinir mínir, eins og allir fátækir námsmenn, á kvöldin til að kaupa bjór í næstu búð sem er nálægt húsinu okkar. Okkur var mjög brugðið að söluaðilinn, vitandi að við myndum koma í bjór, bauð ekki afslátt af franskar eða kex, þó þetta væri svo rökrétt! Við skildum ekki hvers vegna þetta ástand var að gerast og ákváðum að stofna okkar eigið fyrirtæki. Jæja, sem bónus, gefðu þér afslátt á hverjum föstudegi af sömu spilapeningunum.

Og þetta kom allt á þann stað að ég er að kynna efni um tæknilega hlið vörunnar kl NVIDIA GTC. Við erum ánægð með að deila vinnu okkar með samfélaginu, svo ég birti skýrslu mína í formi greinar.

Inngangur

Eins og allir aðrir í upphafi ferðalagsins byrjuðum við á yfirliti yfir hvernig meðmælakerfi eru gerð. Og vinsælasta arkitektúrinn reyndist vera eftirfarandi tegund:

Það samanstendur af tveimur hlutum:

1. Taka sýnishorn af umsækjendum fyrir tilmæli með því að nota einfalt og fljótlegt líkan, venjulega í samvinnu.
2. Röðun umsækjenda með flóknara og hægara efnislíkan, að teknu tilliti til allra mögulegra eiginleika gagna.

Hér á eftir mun ég nota eftirfarandi hugtök:

• frambjóðandi/frambjóðandi til meðmæla — notanda-vörupar sem hugsanlega gæti verið innifalið í ráðleggingum í framleiðslu.
• frambjóðendur útdráttur/útdráttur/frambjóðandi útdráttaraðferð — ferli eða aðferð til að draga „umsækjendur um tilmæli“ úr tiltækum gögnum.

Fyrsta skrefið felur venjulega í sér að nota mismunandi afbrigði af samvinnusíun. Vinsælasta - ALS. Það kemur á óvart að flestar greinar um meðmælakerfi sýna aðeins ýmsar endurbætur á samvinnulíkönum á fyrsta stigi, en enginn talar mikið um aðrar sýnatökuaðferðir. Fyrir okkur virkaði sú nálgun að nota eingöngu samvinnulíkön og ýmsar hagræðingar með þeim ekki með þeim gæðum sem við bjuggumst við, svo við pældum í rannsóknum sérstaklega á þessum hluta. Og í lok greinarinnar mun ég sýna hversu mikið okkur tókst að bæta ALS, sem var grunnlínan okkar.

Áður en ég held áfram að lýsa nálgun okkar er mikilvægt að hafa í huga að í rauntímaráðleggingum, þegar það er mikilvægt fyrir okkur að taka tillit til gagna sem áttu sér stað fyrir 30 mínútum, eru í raun ekki margar aðferðir sem geta virkað á tilskildum tíma. En í okkar tilviki verðum við að safna ráðleggingum ekki meira en einu sinni á dag og í flestum tilfellum - einu sinni í viku, sem gefur okkur tækifæri til að nota flóknar gerðir og bæta gæði margfalt.

Tökum sem grunn hvaða mælikvarða aðeins ALS sýnir á því verkefni að draga fram umsækjendur. Helstu mælikvarðar sem við fylgjumst með eru:

• Nákvæmni - hlutfall rétt valinna umsækjenda úr úrtakinu.
• Muna er hlutfall frambjóðenda sem gerðist af þeim sem voru í raun á markbilinu.
• F1-stig - F-mál reiknað út frá tveimur fyrri stigum.

Við munum einnig skoða mæligildi loka líkansins eftir að hafa þjálfað hallaaukningu með viðbótareiginleikum efnis. Það eru líka 3 meginmælikvarðar hér:

• precision@5 - meðalhlutfall vara af efstu 5 miðað við líkur fyrir hvern kaupanda.
• response-rate@5 - umbreyting viðskiptavina frá heimsókn í verslun yfir í kaup á að minnsta kosti einu persónulegu tilboði (5 vörur í einu tilboði).
• meðaltal roc-auc á hvern notanda - meðaltal roc-auc fyrir hvern kaupanda.

Það er mikilvægt að hafa í huga að allar þessar mælingar eru mældar á krossfullgilding tímaraðar, það er þjálfun á sér stað fyrstu k vikurnar og k+1 vika er tekin sem prófgögn. Þannig höfðu árstíðabundnar hæðir og lægðir lágmarks áhrif á túlkun á gæðum líkananna. Nánar á öllum línuritum mun abscissa-ásinn gefa til kynna vikunúmerið í krossgildingu og ordinataásinn mun gefa til kynna gildi tilgreinds mæligildis. Öll línurit eru byggð á viðskiptagögnum frá einum viðskiptavini þannig að samanburður á milli sé réttur.

Áður en við byrjum að lýsa nálgun okkar, lítum við fyrst á grunnlínuna, sem er ALS-þjálfað líkan.
Mælingar til að sækja umsækjendur:

Lokatölur:

Ég meðhöndla allar útfærslur á reikniritum sem einhvers konar viðskiptatilgátu. Þannig má í grófum dráttum líta á hvaða samstarfslíkan sem er sem tilgátu um að „fólk hafi tilhneigingu til að kaupa það sem fólk svipað og það kaupir. Eins og ég sagði þegar, takmörkuðum við okkur ekki við slíka merkingarfræði, og hér eru nokkrar tilgátur sem virka vel á gögnum í offline smásölu:

1. Sem ég hef þegar keypt áður.
2. Svipað og ég keypti áður.
3. Tímabil löngu liðinna kaupa.
4. Vinsælt eftir flokkum/tegundum.
5. Til skiptis kaupa mismunandi vörur frá viku til viku (Markov keðjur).
6. Svipaðar vörur og kaupendur, samkvæmt eiginleikum byggðar af mismunandi gerðum (Word2Vec, DSSM, osfrv.).

Hvað keyptir þú áður?

Augljósasta heuristic sem virkar mjög vel í matvöruverslun. Hér tökum við allar vörur sem vildarkortshafi keypti á síðustu K dögum (venjulega 1-3 vikur), eða K dögum fyrir ári síðan. Með því að nota aðeins þessa aðferð fáum við eftirfarandi mælikvarða:

Hér er það alveg augljóst að því lengur sem við tökum tímabilið, því meiri munun höfum við og því minni nákvæmni höfum við og öfugt. Að meðaltali gefa „síðustu 2 vikur“ betri niðurstöður fyrir viðskiptavini.

Svipað og ég keypti áður

Það kemur ekki á óvart að fyrir matvöruverslun virkar "það sem ég keypti áður" vel, en að draga frambjóðendur aðeins úr því sem notandinn hefur þegar keypt er ekki mjög flott, því það er ólíklegt að það komi kaupandanum á óvart með einhverri nýrri vöru. Þess vegna leggjum við til að bæta aðeins þessa heuristic með því að nota sömu samvinnulíkönin. Frá vektorunum sem við fengum í ALS þjálfun getum við fengið svipaðar vörur og notandinn hefur þegar keypt. Þessi hugmynd er mjög svipuð „svipuðum myndböndum“ í þjónustu til að skoða myndbandsefni, en þar sem við vitum ekki hvað notandinn er að borða/kaupa á tilteknu augnabliki, getum við aðeins leitað að svipuðum og því sem hann hefur þegar keypt, sérstaklega þar sem við Við vitum nú þegar hversu vel það virkar. Með því að beita þessari aðferð á notendafærslur á síðustu 2 vikum fáum við eftirfarandi mælikvarða:

Hér k — fjöldi svipaðra vara sem eru sóttar fyrir hverja vöru sem kaupandi hefur keypt á síðustu 14 dögum.
Þessi nálgun virkaði sérstaklega vel fyrir viðskiptavini okkar, fyrir hann var mikilvægt að mæla ekki með neinu sem var þegar í kaupsögu notandans.

Seint kauptímabil

Eins og við höfum þegar komist að, vegna mikillar tíðni vörukaupa, virkar fyrsta aðferðin vel fyrir sérstakar þarfir okkar. En hvað með vörur eins og þvottaduft/sjampó/o.s.frv. Það er, með vörum sem ólíklegt er að þörf sé á í hverri eða tvær vikur og fyrri aðferðir geta ekki unnið úr. Þetta leiðir til eftirfarandi hugmyndar - lagt er til að reikna út kauptímabil hverrar vöru að meðaltali fyrir viðskiptavini sem keyptu vöruna meira k einu sinni. Og draga svo það sem kaupandinn hefur líklegast þegar klárast. Hægt er að athuga útreiknað tímabil fyrir vörur með augum þínum til að fullnægja:

Og þá munum við skoða hvort lok vörutímabilsins falli innan þess tímabils þegar ráðleggingarnar verða í framleiðslu og sýnishorn hvað gerist. Hægt er að lýsa nálguninni þannig:

Hér höfum við 2 megintilvik sem koma til greina:

1. Er nauðsynlegt að sýna vörur frá viðskiptavinum sem hafa keypt vöruna minna en K sinnum.
2. Er nauðsynlegt að taka sýnishorn af vöru ef lok tímabils hennar fellur fyrir upphaf marktímabils.

Eftirfarandi línurit sýnir hvaða árangri þessi aðferð nær með mismunandi ofbreytum:

ft — Taktu aðeins viðskiptavini sem hafa keypt vöruna að minnsta kosti K (hér K=5) sinnum
tm — Taktu aðeins umsækjendur sem falla innan markabilsins

Það kemur ekki á óvart að hann geti (0, 0) sá stærsti muna og minnstu nákvæmni, þar sem við þetta skilyrði eru flestir umsækjendur sóttir. Bestur árangur næst þó þegar við tökum ekki sýnishorn af vörum fyrir viðskiptavini sem keyptu tiltekna vöru minna en k tímum og útdrætti, þar með talið vörur, en lok tímabilsins er á undan markmiðsbilinu.

Vinsælt eftir flokkum

Önnur nokkuð augljós hugmynd er að sýna vinsælar vörur í mismunandi flokkum eða vörumerkjum. Hér reiknum við fyrir hvern kaupanda topp-k „uppáhalds“ flokka/vörumerki og draga „vinsælt“ út úr þessum flokki/vörumerki. Í okkar tilviki munum við ákvarða „uppáhald“ og „vinsælt“ eftir fjölda kaupa á vörunni. Annar kostur þessarar aðferðar er notagildi hennar í kaldræsingu. Það er að segja fyrir viðskiptavini sem annað hvort hafa keypt mjög lítið, ekki farið í búð í langan tíma eða nýbúið að gefa út vildarkort. Fyrir þá er auðveldara og betra að geyma vörur sem eru vinsælar hjá viðskiptavinum og eiga sér sögu. Mælikvarðarnir sem myndast eru:

Hér þýðir talan á eftir orðinu „flokkur“ varpstig flokksins.

Á heildina litið kemur það heldur ekki á óvart að þrengri flokkar ná betri árangri, þar sem þeir draga út nákvæmari „uppáhalds“ vörur fyrir kaupendur.

Til skiptis kaupa mismunandi vörur frá viku til viku

Áhugaverð nálgun sem ég hef ekki séð í greinum um meðmælakerfi er frekar einföld og á sama tíma virka tölfræðileg aðferð Markov keðja. Hér tökum við 2 mismunandi vikur, síðan smíðum við vörupör fyrir hvern viðskiptavin [keypt í viku i]-[keypt í viku j], þar sem j > i, og héðan reiknum við út fyrir hverja vöru líkurnar á að skipta yfir í aðra vöru í næstu viku. Það er, fyrir hvert par af vörum producti-productj Við teljum fjölda þeirra í fundnum pörum og deilum með fjölda para, þar sem vörur var í fyrstu vikunni. Til að draga út umsækjendur, tökum við síðustu kvittun kaupanda og dregur út topp-k líklegastar næstu vörur úr umbreytingarfylki sem við fengum. Ferlið við að smíða umbreytingarfylki lítur svona út:

Frá raunverulegum dæmum í umbreytingarlíkindafylki sjáum við eftirfarandi áhugaverða fyrirbæri:

Hér getur þú tekið eftir áhugaverðum ósjálfstæði sem koma í ljós í neytendahegðun: til dæmis unnendur sítrusávaxta eða mjólkurtegundar sem þeir munu líklega skipta yfir í aðra. Það kemur heldur ekki á óvart að vörur sem eru með mikla endurtekna innkaupatíðni, eins og smjör, lendi líka hér.

Mælingarnar í aðferðinni með Markov keðjum eru sem hér segir:

k — fjöldi vara sem eru sóttar fyrir hverja keypta vöru frá síðustu viðskiptum kaupanda.
Eins og við sjáum er besta niðurstaðan sýnd af uppsetningunni með k=4. Aukinn í viku 4 má skýra með árstíðabundinni hegðun í kringum hátíðirnar. 

Svipaðar vörur og kaupendur, í samræmi við eiginleika byggðar af mismunandi gerðum

Nú erum við komin að erfiðasta og áhugaverðasta hlutanum - leit að næstu nágrönnum byggt á vektorum viðskiptavina og vörum sem eru byggðar eftir ýmsum gerðum. Í vinnu okkar notum við 3 slíkar gerðir:

• ALS
• Word2Vec (Item2Vec fyrir slík verkefni)
• DSSM

Við höfum þegar tekist á við ALS, þú getur lesið um hvernig það lærir hér. Í tilviki Word2Vec notum við vel þekkta útfærslu líkansins frá gensim. Á hliðstæðan hátt við textana skilgreinum við tilboðið sem kaupkvittun. Þannig, þegar afurðarvigur er smíðaður, lærir líkanið að spá fyrir vöruna í kvittuninni „samhengi“ hennar (afurðirnar sem eftir eru í kvittuninni). Í netverslunargögnum er betra að nota fund kaupanda í stað kvittunar; krakkarnir frá Ozon. Og DSSM er áhugaverðara að flokka. Upphaflega var það skrifað af krökkunum frá Microsoft sem fyrirmynd fyrir leit, Þú getur lesið upprunalegu rannsóknarritgerðina hér. Arkitektúr líkansins lítur svona út:

Hér Q — fyrirspurn, notendaleitarfyrirspurn, D[i] — skjal, internetsíða. Inntakið í líkanið er eiginleikar beiðninnar og síðna, í sömu röð. Eftir hvert inntakslag er fjöldi fulltengdra laga (fjöllaga skynjara). Næst lærir líkanið að lágmarka kósínus milli vigra sem fást í síðustu lögum líkansins.
Meðmælisverkefni nota nákvæmlega sama arkitektúr, aðeins í stað beiðni er notandi og í stað síðna eru vörur. Og í okkar tilviki er þessum arkitektúr umbreytt í eftirfarandi:

Nú, til að athuga niðurstöðurnar, er enn eftir að ná yfir síðasta atriðið - ef í tilviki ALS og DSSM höfum við skilgreint notendavigra sérstaklega, þá höfum við aðeins vöruvigur í tilfelli Word2Vec. Hér, til að byggja upp notendavektorinn, höfum við skilgreint 3 meginaðferðir:

1. Bættu bara vigunum við, þá kemur í ljós að við tókum einfaldlega meðaltal vörunnar í innkaupasögunni fyrir kósínusfjarlægðina.
2. Vektorsamantekt með nokkurri tímavigtun.
3. Vöruvigtun með TF-IDF stuðli.

Þegar um er að ræða línulega vigtun kaupendavigurs er gengið út frá þeirri tilgátu að varan sem notandinn keypti í gær hafi meiri áhrif á hegðun hans en varan sem hann keypti fyrir sex mánuðum. Þannig að við lítum á fyrri viku kaupandans með líkurnar 1, og það sem gerðist næst með líkurnar á ½, ⅓ osfrv.:

Fyrir TF-IDF-stuðla gerum við nákvæmlega það sama og í TF-IDF fyrir texta, aðeins við lítum á kaupandann sem skjal og ávísunina sem tilboð, í sömu röð, orðið er vara. Þannig mun vektor notandans færast meira í átt að sjaldgæfum vörum, á meðan tíðar og kunnuglegar vörur fyrir kaupandann munu ekki breyta því mikið. Hægt er að lýsa nálguninni svona:

Nú skulum við líta á mælikvarðana. Svona líta ALS niðurstöðurnar út:

Mælingar fyrir Item2Vec með mismunandi afbrigðum af smíði kaupendavigursins:

Í þessu tilviki er nákvæmlega sama líkan notað og í grunnlínu okkar. Eini munurinn er hvaða k við munum nota. Til þess að nota eingöngu samvinnulíkön þarf að taka um 50-70 vörur sem næst eru fyrir hvern viðskiptavin.

Og mælikvarðar samkvæmt DSSM:

Hvernig á að sameina allar aðferðir?

Flott, segirðu, en hvað á að gera við svona stórt sett af útdráttarverkfærum umsækjenda? Hvernig á að velja bestu stillingu fyrir gögnin þín? Hér höfum við nokkur vandamál:

1. Nauðsynlegt er að takmarka leitarrýmið fyrir ofurfæribreytur á einhvern hátt í hverri aðferð. Það er auðvitað stakt alls staðar, en fjöldi mögulegra punkta er mjög mikill.
2. Með því að nota lítið takmarkað sýnishorn af tilteknum aðferðum með tilteknum ofurbreytum, hvernig geturðu valið bestu uppsetninguna fyrir mæligildið þitt?

Við höfum ekki enn fundið endanlega rétt svar við fyrstu spurningunni, þannig að við förum út frá eftirfarandi: fyrir hverja aðferð er leitarrýmistakmörkun fyrir ofviða skrifuð, allt eftir tölfræði um gögnin sem við höfum. Þannig að, með því að vita meðaltímabilið á milli kaupa frá fólki, getum við giskað á með hvaða tímabili við notum aðferðina „hvað hefur þegar verið keypt“ og „tímabil löngu liðinna kaupa“.

Og eftir að við höfum farið í gegnum ákveðinn fullnægjandi fjölda afbrigða af mismunandi aðferðum, tökum við eftir eftirfarandi: hver útfærsla dregur út ákveðinn fjölda umsækjenda og hefur ákveðið gildi lykilmælingarinnar fyrir okkur (innköllun). Við viljum fá samtals ákveðinn fjölda umsækjenda, allt eftir leyfilegum tölvugetu okkar, með hæstu mögulegu mæligildi. Hér fellur vandamálið fallega saman í bakpokavandann.

Hér er fjöldi umsækjenda þyngd hleifsins og innköllunaraðferðin er gildi þess. Hins vegar eru 2 atriði í viðbót sem ætti að hafa í huga þegar reikniritið er innleitt:

• Aðferðir kunna að hafa skörun í umsækjendum sem þeir sækja.
• Í sumum tilfellum mun það vera rétt að nota eina aðferð tvisvar með mismunandi færibreytum og framleiðsla umsækjanda frá þeirri fyrri verður ekki hlutmengi hinnar.

Til dæmis, ef við tökum innleiðingu „það sem ég hef þegar keypt“ aðferðina með mismunandi millibili til að sækja, þá verða umsækjendur þeirra hreiður inn í hvort annað. Á sama tíma veita mismunandi breytur í „reglubundnum kaupum“ við brottför ekki fullkomin gatnamót. Þess vegna skiptum við sýnatökuaðferðum með mismunandi breytum í blokkir þannig að úr hverri blokk viljum við í mesta lagi taka eina útdráttaraðferð með tilteknum ofbreytum. Til að gera þetta þarftu að vera svolítið snjall við að útfæra bagpokavandann, en einkennalausnin og niðurstaðan munu ekki breytast.

Þessi snjalla samsetning gerir okkur kleift að fá eftirfarandi mælikvarða í samanburði við einfaldlega samvinnulíkön:

Í lokamælingum sjáum við eftirfarandi mynd:

Hins vegar, hér getur þú tekið eftir því að það er einn afhjúpaður punktur fyrir ráðleggingar sem eru gagnlegar fyrir fyrirtæki. Nú höfum við bara lært hvernig á að gera frábært starf við að spá fyrir um hvað notandinn mun kaupa, til dæmis í næstu viku. En einfaldlega að gefa afslátt af einhverju sem hann mun nú þegar kaupa er ekki mjög flott. En það er töff að hámarka væntingar, til dæmis, fyrir eftirfarandi mælikvarða:

1. Framlegð/velta byggð á persónulegum ráðleggingum.
2. Meðaltal viðskiptavina ávísun.
3. Tíðni heimsókna.

Þannig að við margföldum líkindin sem fengust með mismunandi stuðlum og endurröðum þá þannig að vörurnar sem hafa áhrif á mælikvarðana hér að ofan nái efst. Það er engin tilbúin lausn fyrir hvaða aðferð er best að nota. Við gerum meira að segja tilraunir með slíka stuðla beint í framleiðslu. En hér eru áhugaverðar aðferðir sem oftast gefa okkur bestan árangur:

1. Margfaldaðu með verði/framlegð vörunnar.
2. Margfaldaðu með meðalkvittuninni sem varan birtist í. Þannig að vörur munu koma upp, sem þeir taka venjulega eitthvað annað.
3. Margfaldaðu með meðaltalstíðni heimsókna kaupenda þessarar vöru, byggt á þeirri tilgátu að þessi vara veki fólk til að koma oftar til baka.

Eftir að hafa gert tilraunir með stuðla, fengum við eftirfarandi mælikvarða í framleiðslu:

Hér heildarvöruviðskipti — hlutdeild keyptra vara af öllum vörum í tilmælunum sem við bjuggum til.

Athugull lesandi mun taka eftir verulegum mun á mælingum án nettengingar og á netinu. Þessi hegðun skýrist af því að ekki er hægt að taka tillit til allra kraftmikilla sía fyrir vörur sem hægt er að mæla með við þjálfun líkansins. Fyrir okkur er það eðlileg saga þegar hægt er að sía út helming þeirra umsækjenda sem sóttir eru; þessi sérstaða er dæmigerð í okkar iðnaði.

Hvað tekjur varðar er eftirfarandi saga fengin, það er ljóst að eftir að ráðleggingar voru settar eru tekjur prófunarhópsins að vaxa mikið, nú er meðalaukning tekna með ráðleggingum okkar 3-4%:

Að lokum vil ég segja að ef þú þarft ráðleggingar sem ekki eru í rauntíma, þá má finna mjög mikla aukningu á gæðum í tilraunum með að draga fram umsækjendur um meðmæli. Mikill tími fyrir þeirra kynslóð gerir það að verkum að hægt er að sameina margar góðar aðferðir sem samtals skila miklum árangri fyrir reksturinn.

Ég mun vera feginn að spjalla í athugasemdum við alla sem finnst efnið áhugavert. Þú getur spurt mig persónulega spurninga á símskeyti. Ég deili líka hugsunum mínum um gervigreind / gangsetning í mínum símskeyti rás - velkominn :)

Heimild: www.habr.com