Hoi allegearre! Myn namme is Sasha, ik bin CTO & mei-oprjochter by LoyaltyLab. Twa jier lyn giene myn freonen en ik, lykas alle earme studinten, jûns om bier te keapjen yn de tichtstbye winkel by ús hûs. Wy wiene tige oerstjoer dat de winkelier, wittende dat wy foar bier komme soene, gjin koarting op chips of crackers oanbiede, hoewol dit sa logysk wie! Wy begrepen net wêrom dizze situaasje bart en besletten om ús eigen bedriuw te begjinnen. No, as bonus, jou dysels koartingen elke freed op deselde chips.
En it allegear kaam ta it punt dêr't ik presintearje materiaal op de technyske kant fan it produkt by . Wy binne bliid om ús wurk te dielen mei de mienskip, dus ik publisearje myn rapport yn 'e foarm fan in artikel.
Ynlieding
Lykas elkenien oan it begjin fan 'e reis, binne wy begûn mei in oersjoch fan hoe't oanbefellingssystemen wurde makke. En de populêrste arsjitektuer die bliken de folgjende type te wêzen:
It bestiet út twa dielen:
- Sampling fan kandidaten foar oanbefellings mei in ienfâldich en fluch model, meastentiids in gearwurkjend.
- Ranking fan kandidaten mei in komplekser en stadiger ynhâldmodel, rekken hâldend mei alle mooglike funksjes yn 'e gegevens.
Hjirnei sil ik de folgjende termen brûke:
- kandidaat / kandidaat foar oanbefellings - in brûker-produktpaar dat mooglik yn oanbefellings yn produksje kin wurde opnaam.
- kandidaten extractor / extractor / kandidaat extractor metoade - in proses of metoade foar it ekstrahearjen fan "oanbefellingskandidaten" út beskikbere gegevens.
De earste stap omfettet normaal gebrûk fan ferskate farianten fan gearwurkjende filtering. De populêrste - . It is ferrassend dat de measte artikels oer oanbefellingssystemen allinich ferskate ferbetterings oan gearwurkingsmodellen yn 'e earste etappe litte, mar gjinien praat folle oer oare samplingmetoaden. Foar ús wurke de oanpak fan it brûken fan allinich gearwurkjende modellen en ferskate optimalisaasjes mei har net mei de kwaliteit dy't wy ferwachte, dus wy groeven spesifyk yn ûndersyk nei dit diel. En oan 'e ein fan it artikel sil ik sjen litte hoefolle wy ALS koene ferbetterje, wat ús basisline wie.
Foardat ik trochgean mei it beskriuwen fan ús oanpak, is it wichtich om te notearjen dat yn realtime oanbefellings, as it wichtich is foar ús om gegevens te rekkenjen dy't 30 minuten lyn barde, d'r echt net in protte oanpak binne dy't kinne wurkje yn 'e fereaske tiid. Mar, yn ús gefal, wy moatte sammelje oanbefellings net mear as ien kear deis, en yn de measte gefallen - ien kear yn 'e wike, dat jout ús de kâns om te brûken komplekse modellen en ferbetterjen kwaliteit ferskate kearen.
Litte wy as basisline nimme hokker metriken allinich ALS toant op 'e taak om kandidaten te ekstrahearjen. De wichtichste metriken dy't wy kontrolearje binne:
- Precision - it oanpart fan korrekt selektearre kandidaten út 'e sampled.
- Recall is it oanpart fan kandidaten dat barde út dyjingen dy't eins wiene yn it doel ynterval.
- F1-score - F-maat berekkene op de foarige twa punten.
Wy sille ek sjen nei de metriken fan it definitive model nei training gradientfergrutting mei ekstra ynhâldfunksjes. D'r binne hjir ek 3 haadmetriken:
- precision@5 - it gemiddelde persintaazje produkten út 'e top 5 yn termen fan kâns foar elke keaper.
- response-rate@5 - konverzje fan klanten fan in besite oan 'e winkel nei de oankeap fan op syn minst ien persoanlik oanbod (5 produkten yn ien oanbod).
- avg roc-auc per brûker - gemiddelde foar elke keaper.
It is wichtich om te merken dat al dizze metriken wurde mjitten op , dat is, training komt yn 'e earste k wiken, en k + 1 wike wurdt nommen as testgegevens. Sa hienen seizoenen ups en downs minimale ynfloed op 'e ynterpretaasje fan' e kwaliteit fan 'e modellen. Fierder op alle grafiken sil de abscissa-as it wikenûmer yn krúsvalidaasje oanjaan, en de ordinate-as sil de wearde fan 'e spesifisearre metrike oanjaan. Alle grafiken binne basearre op transaksjegegevens fan ien klant, sadat fergelikingen tusken elkoar korrekt binne.
Foardat wy ús oanpak begjinne te beskriuwen, sjogge wy earst nei de basisline, dat is in ALS-trained model.
Metriken foar opheljen fan kandidaten:
Finale metriken:
Ik behannelje alle ymplemintaasjes fan algoritmen as in soarte fan saaklike hypoteze. Sa, heul rûchwei, kin elk gearwurkjend model wurde beskôge as in hypoteze dat "minsken de neiging hawwe te keapjen wat minsken lykje op har keapje." Lykas ik al sei, hawwe wy ússels net beheind ta sokke semantyk, en hjir binne wat hypotezen dy't goed wurkje op gegevens yn offline retail:
- Dy't ik al earder kocht ha.
- Fergelykber mei wat ik earder kocht.
- Periode fan in lang ferline oankeap.
- Populêr per kategory / merk.
- Alternatyf oankeapen fan ferskate guod fan wike oant wike (Markov keatlingen).
- Fergelykbere produkten foar keapers, neffens skaaimerken boud troch ferskate modellen (Word2Vec, DSSM, ensfh.).
Wat hast earder kocht?
De meast foar de hân lizzende heuristyk dy't heul goed wurket yn winkelferkeap. Hjir nimme wy al it guod dat de loyaliteit card holder kocht yn de lêste K dagen (meastentiids 1-3 wiken), of K dagen in jier lyn. As wy allinich dizze metoade tapasse, krije wy de folgjende metriken:
Hjir is it dúdlik dat hoe langer wy de perioade nimme, hoe mear herinnering wy hawwe en hoe minder krektens wy hawwe en oarsom. Gemiddeld jouwe de "lêste 2 wiken" bettere resultaten foar kliïnten.
Fergelykber mei wat ik earder kocht
It is net ferrassend dat "wat ik earder kocht" goed wurket, mar it útlûken fan kandidaten allinich út wat de brûker al kocht hat, is net heul cool, om't it net wierskynlik is om de keaper te ferrassen mei wat nij produkt. Dêrom stelle wy foar om dizze heuristyk wat te ferbetterjen mei deselde gearwurkingsmodellen. Fan 'e vectoren dy't wy krigen hawwe tidens ALS-training, kinne wy ferlykbere produkten krije as wat de brûker al hat kocht. Dit idee is heul ferlykber mei "ferlykbere fideo's" yn tsjinsten foar it besjen fan fideo-ynhâld, mar om't wy net witte wat de brûker op in bepaald momint yt/keapet, kinne wy allinich sykje nei ferlykbere fideo's as wat hy al kocht hat, foaral sûnt wy Wy witte al hoe goed it wurket. As wy dizze metoade tapasse op brûkerstransaksjes yn 'e lêste 2 wiken, krije wy de folgjende metriken:
it is k - it oantal ferlykbere produkten dat wurdt ophelle foar elk produkt kocht troch de keaper yn 'e lêste 14 dagen.
Dizze oanpak wurke foaral goed foar ús kliïnt, foar wa't it kritysk wie om neat oan te rieden dat al yn 'e oankeapskiednis fan' e brûker stie.
Lette oankeap perioade
Lykas wy al fûn hawwe, wurket de earste oanpak goed foar ús spesifike behoeften, troch de hege frekwinsje fan oankeap fan guod. Mar hoe sit it mei guod lykas waskpoeier/shampoo/ ensfh. Dat is, mei produkten dy't net wierskynlik elke wike as twa nedich binne en dy't eardere metoaden net útpakke kinne. Dit liedt ta it folgjende idee - it wurdt foarsteld om de perioade fan oankeap fan elk produkt gemiddeld te berekkenjen foar klanten dy't it produkt mear kochten k ienris. En dan útpakke wat de keaper nei alle gedachten al út is. De berekkene perioaden foar guod kinne wurde kontrolearre mei jo eagen foar adekwaatheid:
En dan sille wy sjen oft it ein fan 'e produktperioade binnen it tiidynterval falt as de oanbefellings yn produksje sille wêze en probearje wat der bart. De oanpak kin sa yllustrearre wurde:
Hjir hawwe wy 2 haadgefallen dy't kinne wurde beskôge:
- Is it nedich om te stekproef produkten fan klanten dy't hawwe kocht it produkt minder as K kear.
- Is it nedich om in produkt te stekken as it ein fan har perioade falt foar it begjin fan it doelynterval.
De folgjende grafyk lit sjen hokker resultaten dizze metoade berikt mei ferskate hyperparameters:
ft - Nim allinich klanten dy't it produkt op syn minst K (hjir K = 5) kear hawwe kocht
tm - Nim allinich kandidaten dy't binnen it doelynterval falle
It is net ferrassend dat hy kin (0, 0) de grutste recall en de lytste krektens, om't ûnder dizze betingst de measte kandidaten ophelle wurde. De bêste resultaten wurde lykwols berikt as wy gjin produkten probearje foar klanten dy't in bepaald produkt minder hawwe kocht as k tiden en extract, ynklusyf guod, de ein fan 'e perioade fan dat falt foar it doel ynterval.
Populêr per kategory
In oar frij foar de hân lizzende idee is om populêre produkten te stekken yn ferskate kategoryen as merken. Hjir berekkenje wy foar elke keaper top-k "favorite" kategoryen / merken en extract "populêr" út dizze kategory / merk. Yn ús gefal sille wy "favoryt" en "populêr" bepale troch it oantal oankeapen fan it produkt. In ekstra foardiel fan dizze oanpak is har tapasberens yn 'e kjeldstartgefal. Dat is, foar klanten dy't òf hiel min oankeapen dien hawwe, of in lange tiid net yn 'e winkel west hawwe, of krekt in loyaliteitskaart hawwe útjûn. Foar harren is it makliker en better om items op te slaan dy't populêr binne by klanten en in skiednis hawwe. De resultearjende metriken binne:
Hjir betsjut it nûmer nei it wurd "kategory" it nivo fan nêst fan 'e kategory.
Oer it algemien is it ek net ferrassend dat smellere kategoryen bettere resultaten berikke, om't se krekter "favoriete" produkten foar shoppers ekstrahearje.
Alternatyf oankeapen fan ferskate guod fan wike oant wike
In nijsgjirrige oanpak dy't ik net sjoen haw yn artikels oer oanbefellingssystemen is in frij ienfâldige en tagelyk wurkjende statistyske metoade fan Markov-keatlingen. Hjir nimme wy 2 ferskillende wiken, dan bouwe wy foar elke klant pear produkten [kocht yn wike i]-[kocht yn wike j], wêrby j > i, en fanôf hjir berekkenje wy foar elk produkt de kâns om nije wike nei in oar produkt te wikseljen. Dat is, foar elk pear guod produkti-produktj Wy telle harren oantal yn de fûn pearen en diele troch it oantal pearen, wêr produkten wie yn 'e earste wike. Om kandidaten út te heljen, nimme wy de lêste ûntfangst fan 'e keaper en extract top-k de meast wierskynlik folgjende produkten út de oergong matrix wy krigen. It proses fan it bouwen fan in oergongsmatrix sjocht der sa út:
Fan echte foarbylden yn 'e oergongsprobabiliteitsmatrix sjogge wy de folgjende nijsgjirrige ferskynsels:
Hjir kinne jo nijsgjirrige ôfhinklikens fernimme dy't iepenbiere wurde yn konsumintegedrach: bygelyks leafhawwers fan citrusfruchten of in merk fan molke wêrfan se wierskynlik sille oerstappe nei in oar. It is ek net ferrassend dat produkten mei in hege frekwinsje fan werhelle oankeapen, lykas bûter, hjir ek einigje.
De metriken yn 'e metoade mei Markov-keatlingen binne as folget:
k - it oantal produkten dat wurdt ophelle foar elk kocht produkt út de lêste transaksje fan de keaper.
Sa't wy sjen kinne, wurdt it bêste resultaat werjûn troch de konfiguraasje mei k = 4. De pyk yn wike 4 kin ferklearre wurde troch seizoensgedrach om de feestdagen hinne.
Fergelykbere produkten foar keapers, neffens skaaimerken boud troch ferskate modellen
No binne wy kommen ta it dreechste en nijsgjirrige diel - sykjen nei neiste buorlju basearre op vectoren fan klanten en produkten boud neffens ferskate modellen. Yn ús wurk brûke wy 3 sokke modellen:
- ALS
- Word2Vec (Item2Vec foar sokke taken)
- DSSM
Wy hawwe al behannele mei ALS, jo kinne lêze oer hoe't it leart . Yn it gefal fan Word2Vec brûke wy de bekende ymplemintaasje fan it model fan gensim. Nei analogy mei de teksten definiearje wy it oanbod as in oankeapbewiis. Sa leart it model by it konstruearjen fan in produktvektor om foar it produkt yn 'e ûntfangst syn "kontekst" te foarsizzen (de oerbleaune produkten yn 'e ûntfangst). Yn e-commerce gegevens is it better om de sesje fan 'e keaper te brûken ynstee fan in kwitânsje; de jonges fan . En DSSM is nijsgjirriger om te parsearjen. Yn it earstoan waard it skreaun troch de jonges fan Microsoft as in model foar sykjen, . De arsjitektuer fan it model sjocht der sa út:
it is Q - query, brûkerssykfraach, D[i] - dokumint, ynternetside. De ynfier nei it model is respektivelik de attributen fan it fersyk en siden. Nei eltse ynfier laach der binne in oantal folslein ferbûn lagen (multilayer perceptron). Dêrnei leart it model de cosinus te minimalisearjen tusken de fektors krigen yn 'e lêste lagen fan it model.
Oanbefellingstaken brûke krekt deselde arsjitektuer, allinich ynstee fan in fersyk is in brûker, en ynstee fan siden binne produkten. En yn ús gefal, dizze arsjitektuer wurdt omfoarme ta de folgjende:
No, om de resultaten te kontrolearjen, bliuwt it om it lêste punt te dekken - as wy yn it gefal fan ALS en DSSM eksplisyt definieare brûkersfektors hawwe, dan hawwe wy yn it gefal fan Word2Vec allinich produktfektors. Hjir, om de brûkersvektor te bouwen, hawwe wy 3 haadbenaderingen definieare:
- Foegje gewoan de fektors ta, dan docht foar de kosinusôfstân bliken dat wy de produkten yn 'e oankeapskiednis gewoan gemiddeld hawwe.
- Vector summation mei wat tiid gewicht.
- Weagjen guod mei TF-IDF koeffizient.
Yn it gefal fan lineêre gewichting fan 'e keapfektor geane wy út fan' e hypoteze dat it produkt dat de brûker juster kocht hat in gruttere ynfloed op syn gedrach as it produkt dat hy seis moanne lyn kocht. Dat wy beskôgje de foarige wike fan 'e keaper mei kânsen fan 1, en wat der dêrnei barde mei kânsen fan ½, ⅓, ensfh.
Foar TF-IDF-koëffisjinten dogge wy krekt itselde as yn TF-IDF foar teksten, allinich beskôgje wy de keaper as in dokumint, en de kontrôle as in oanbod, respektivelik, it wurd is in produkt. Op dizze manier sil de vector fan 'e brûker mear nei seldsume guod ferskowe, wylst faak en fertroud guod foar de keaper it net folle feroarje. De oanpak kin sa yllustrearre wurde:
Litte wy no nei de metriken sjen. Dit is hoe't de ALS-resultaten der útsjen:
Metriken foar Item2Vec mei ferskate farianten fan it bouwen fan de keapfektor:
Yn dit gefal wurdt krekt itselde model brûkt as yn ús baseline. It ienige ferskil is hokker k wy sille brûke. Om allinich gearwurkjende modellen te brûken, moatte jo foar elke klant sawat 50-70 tichtstbyste produkten nimme.
En metriken neffens DSSM:
Hoe kinne jo alle metoaden kombinearje?
Cool, sizze jo, mar wat te dwaan mei sa'n grutte set fan ark foar kandidaat-ekstraksje? Hoe kinne jo de optimale konfiguraasje kieze foar jo gegevens? Hjir hawwe wy ferskate problemen:
- It is needsaaklik om op ien of oare manier de sykromte foar hyperparameters yn elke metoade te beheinen. It is, fansels, diskreet oeral, mar it oantal mooglike punten is hiel grut.
- Mei help fan in lyts beheind stekproef fan spesifike metoaden mei spesifike hyperparameters, hoe kinne jo de bêste konfiguraasje foar jo metrike selektearje?
Wy hawwe noch gjin definityf korrekt antwurd fûn op 'e earste fraach, dus geane wy út fan it folgjende: foar elke metoade wurdt in hyperparameter sykromtebeheiner skreaun, ôfhinklik fan guon statistiken oer de gegevens dy't wy hawwe. Sa kinne wy witte fan 'e gemiddelde perioade tusken oankeapen fan minsken, kinne wy riede mei hokker perioade de metoade "wat is al kocht" en "perioade fan in lang ferline oankeap" brûke.
En neidat wy hawwe gien troch in bepaald adekwaat oantal fariaasjes fan ferskillende metoaden, wy note de folgjende: elke ymplemintaasje extracts in bepaald oantal kandidaten en hat in bepaalde wearde fan de kaai metric foar ús (recall). Wy wolle in totaal fan in bepaald oantal kandidaten krije, ôfhinklik fan ús tastiene rekkenkrêft, mei de heechst mooglike metryske. Hjir falt it probleem prachtich yn it rugzakprobleem.
Hjir is it oantal kandidaten it gewicht fan 'e ingot, en de weromropmetoade is har wearde. D'r binne lykwols noch 2 punten dy't rekken holden wurde moatte by it ymplementearjen fan it algoritme:
- Metoaden kinne oerlaapje yn 'e kandidaten dy't se ophelje.
- Yn guon gefallen sil it korrekt wêze om ien metoade twa kear te nimmen mei ferskate parameters, en de kandidaatútfier fan 'e earste sil gjin subset fan' e twadde wêze.
As wy bygelyks de ymplemintaasje nimme fan 'e metoade "wat ik al kocht haw" mei ferskate yntervallen foar opheljen, dan wurde har sets fan kandidaten yn elkoar nestele. Tagelyk jouwe ferskate parameters yn "periodike oankeapen" by de útgong gjin folsleine krusing. Dêrom ferdiele wy de sampling-oanpak mei ferskate parameters yn blokken, sadat wy fan elk blok op syn heechst ien ekstraksje-oanpak wolle nimme mei spesifike hyperparameters. Om dit te dwaan, moatte jo in bytsje tûk krije by it útfieren fan it probleem fan 'e knapzak, mar de asymptotika en it resultaat sille net feroarje.
Dizze tûke kombinaasje lit ús de folgjende metriken krije yn ferliking mei gewoan gearwurkjende modellen:
Yn 'e lêste metriken sjogge wy de folgjende ôfbylding:
Hjir kinne jo lykwols merke dat d'r ien ûntdutsen punt is foar oanbefellings dy't nuttich binne foar bedriuw. No hawwe wy krekt leard hoe't jo in geweldige baan kinne dwaan om te foarsizzen wat de brûker sil keapje, bygelyks nije wike. Mar gewoan in koarting jaan op eat dat er al keapje sil is net hiel cool. Mar it is cool om de ferwachting te maksimalisearjen, bygelyks fan 'e folgjende metriken:
- Marge / omset basearre op persoanlike oanbefellings.
- Gemiddelde klant kontrôle.
- Frekwinsje fan besites.
Dat wy fermannichfâldigje de krigen kânsen mei ferskate koeffizienten en rangearje se opnij sadat de produkten dy't de boppesteande metriken beynfloedzje nei de top komme. D'r is gjin klearebare oplossing foar hokker oanpak it bêste is om te brûken. Wy eksperimintearje sels mei sokke koeffizienten direkt yn produksje. Mar hjir binne nijsgjirrige techniken dy't ús meastentiids de bêste resultaten jouwe:
- Fermannichfâldigje mei de priis / marzje fan it produkt.
- Fermannichfâldigje mei de gemiddelde ûntfangst wêryn it produkt ferskynt. Sa komt der guod oan, dêr't se meastentiids wat oars mei nimme.
- Fermannichfâldigje mei de gemiddelde frekwinsje fan besites troch keapers fan dit produkt, basearre op de hypoteze dat dit produkt minsken útlokt om it faker werom te kommen.
Nei it útfieren fan eksperiminten mei koeffizienten krigen wy de folgjende metriken yn produksje:
it is algemiene produkten konverzje - it oandiel fan oankochte produkten út alle produkten yn 'e oanbefellings dy't wy genereare.
De attente lêzer sil in signifikant ferskil fernimme tusken offline en online metriken. Dit gedrach wurdt ferklearre troch it feit dat net alle dynamyske filters foar produkten dy't kinne wurde oanrikkemandearre kinne wurde rekken holden by it oplieden fan it model. Foar ús is it in normaal ferhaal as de helte fan 'e ophelle kandidaten kin wurde filtere; dizze spesifisiteit is typysk yn ús sektor.
Yn termen fan ynkomsten wurdt it folgjende ferhaal krigen, it is dúdlik dat nei de lansearring fan oanbefellings de ynkomsten fan 'e testgroep sterk groeit, no is de gemiddelde ferheging fan ynkomsten mei ús oanbefellingen 3-4%:
As konklúzje wol ik sizze dat as jo net-realtime oanbefellings nedich binne, dan kin in heul grutte ferheging fan kwaliteit fûn wurde yn eksperiminten mei it ekstrahearjen fan kandidaten foar oanbefellings. In grutte hoemannichte tiid foar har generaasje makket it mooglik om in protte goede metoaden te kombinearjen, dy't yn totaal geweldige resultaten sille jaan foar it bedriuw.
Ik sil bliid wêze om te petearjen yn 'e opmerkings mei elkenien dy't it materiaal ynteressant fynt. Jo kinne my persoanlik fragen stelle by . Ik diele ek myn gedachten oer AI / startups yn myn - Wolkom :)
Boarne: www.habr.com