Pershendetje te gjitheve! Emri im është Sasha, unë jam CTO dhe bashkë-themelues në LoyaltyLab. Dy vjet më parë, unë dhe miqtë e mi, si të gjithë studentët e varfër, shkuam në mbrëmje për birrë në dyqanin më të afërt pranë shtëpisë. Ne u mërzitëm shumë që shitësi me pakicë, duke e ditur se do të vinim për birrë, nuk ofroi zbritje në patate të skuqura apo krisur, megjithëse kjo është kaq e logjikshme! Ne nuk e kuptuam pse po ndodh kjo situatë dhe vendosëm të krijonim kompaninë tonë. Epo, si bonus, shkruani zbritje për veten tuaj çdo të premte për të njëjtat patate të skuqura.
Dhe gjithçka arriti në pikën që unë flas me materiale në anën teknike të produktit . Ne jemi të lumtur të ndajmë punën tonë me komunitetin, ndaj po postoj raportin tim në formën e një artikulli.
Paraqitje
Si të gjithë në fillim të udhëtimit, ne filluam me një përmbledhje të mënyrës se si krijohen sistemet e rekomanduesve. Dhe arkitektura e llojit të mëposhtëm doli të ishte më e popullarizuara:
Ai përbëhet nga dy pjesë:
- Kampionimi i kandidatëve për rekomandime sipas një modeli të thjeshtë dhe të shpejtë, zakonisht bashkëpunues.
- Renditja e kandidatëve sipas një modeli përmbajtjeje më komplekse dhe më të ngadaltë, duke marrë parasysh të gjitha veçoritë e mundshme në të dhëna.
Këtu dhe më poshtë do të përdor termat e mëposhtëm:
- kandidat/kandidat për rekomandime - një palë produkti-përdorues, i cili potencialisht mund të futet në rekomandime në prodhim.
- metoda e nxjerrjes/ekstraktuesit/kandidatit për nxjerrjen e kandidatëve — një proces ose metodë për nxjerrjen e "kandidatëve për rekomandime" nga të dhënat e disponueshme.
Në hapin e parë, zakonisht përdoren variacione të ndryshme të filtrimit bashkëpunues. Më e njohura - . Çuditërisht, shumica e artikujve rreth sistemeve rekomanduese zbulojnë vetëm përmirësime të ndryshme të modeleve bashkëpunuese në fazën e parë, por askush nuk flet për metoda të tjera kampionimi. Tek ne, qasja e përdorimit vetëm të modeleve bashkëpunuese dhe optimizimeve të ndryshme me to nuk funksionoi me cilësinë që prisnim, ndaj u gërmuam në kërkime posaçërisht për këtë pjesë. Dhe në fund të artikullit do të tregoj se sa mundëm të përmirësonim ALS, që ishte baza jonë.
Përpara se të kaloj në përshkrimin e qasjes sonë, është e rëndësishme të theksohet se me rekomandimet në kohë reale, kur është e rëndësishme për ne të marrim parasysh të dhënat që kanë ndodhur 30 minuta më parë, nuk ka vërtet shumë qasje që mund të funksionojnë në kohën e duhur. Por, në rastin tonë, ne duhet të mbledhim rekomandime jo më shumë se një herë në ditë, dhe në shumicën e rasteve - një herë në javë, gjë që na jep mundësinë të përdorim modele komplekse dhe të shumëfishojmë cilësinë.
Le të marrim për bazën se çfarë metrike tregon vetëm ALS për detyrën e nxjerrjes së kandidatëve. Metrikat kryesore që monitorojmë janë:
- Saktësia - përqindja e kandidatëve të përzgjedhur saktë nga ata të kampionuar.
- Kujtoni - përqindja e kandidatëve që ndodhi nga ata që ishin në të vërtetë në intervalin e synuar.
- Rezultati F1 - rezultati F i llogaritur në dy pikët e mëparshme.
Ne do të shikojmë gjithashtu matjet e modelit përfundimtar pas rritjes së gradientit të trajnimit me veçori shtesë të përmbajtjes. Ekzistojnë gjithashtu 3 metrikë kryesore:
- precision@5 — përqindja mesatare e goditjeve nga 5 të parat sipas probabilitetit për çdo klient.
- përgjigje-rate@5 — konvertimi i blerësve nga një vizitë në dyqan në blerjen e të paktën një oferte personale (një ofertë përmban 5 produkte).
- mesatare roc-auc për përdorues - mesatar për çdo blerës.
Është e rëndësishme të theksohet se të gjitha këto metrika maten në , domethënë, trajnimi zhvillohet në k javët e para, dhe k + 1 javë merren si të dhëna testimi. Kështu, uljet/ngritjet sezonale patën një efekt minimal në interpretimin e cilësisë së modeleve. Më tej, në të gjitha grafikët, boshti i abshisave do të tregojë numrin e javës në verifikim të kryqëzuar, dhe boshti i ordinatave do të tregojë vlerën e metrikës së specifikuar. Të gjithë grafikët bazohen në të dhënat transaksionale të një klienti, në mënyrë që krahasimi mes tyre të jetë i saktë.
Përpara se të fillojmë të përshkruajmë qasjen tonë, le të hedhim një vështrim në bazën, që është modeli i trajnuar me ALS.
Metrikat e nxjerrjes së kandidatit:
Metrikat përfundimtare:
Unë i trajtoj të gjitha zbatimet e algoritmeve si një lloj hipoteze biznesi. Kështu, përafërsisht, çdo model bashkëpunues mund të konsiderohet si një hipotezë se "njerëzit priren të blejnë atë që blejnë njerëzit si ata". Siç thashë, ne nuk e kufizuam veten në semantikë të tillë, dhe këtu janë disa hipoteza që ende funksionojnë mirë në të dhënat në shitjen me pakicë offline:
- Çfarë keni blerë më parë.
- Ngjashëm me atë që kam blerë më parë.
- Periudha e një blerjeje të gjatë.
- I njohur sipas kategorisë/markës.
- Blerjet alternative të mallrave të ndryshme nga java në javë (zinxhirët Markov).
- Produkte të ngjashme me blerësit, sipas karakteristikave të ndërtuara nga modele të ndryshme (Word2Vec, DSSM, etj.).
Çfarë keni blerë më parë
Heuristika më e dukshme që funksionon shumë mirë në shitjen me pakicë të ushqimeve. Këtu marrim të gjitha mallrat që mbajtësi i kartës së besnikërisë bleu në K ditët e fundit (zakonisht 1-3 javë), ose K ditë një vit më parë. Duke aplikuar vetëm këtë metodë, marrim matjet e mëposhtme:
Është mjaft e qartë këtu se sa më shumë të marrim periudhën, aq më shumë kujtim dhe më pak saktësi kemi dhe anasjelltas. Rezultate më të mira mesatarisht për klientët japin "2 javët e fundit".
Ngjashëm me atë që kam blerë më parë
Jo çuditërisht, për shitjen me pakicë të ushqimeve, "ajo që ka blerë më parë" funksionon mirë, por nxjerrja e kandidatëve vetëm nga ajo që përdoruesi ka blerë tashmë nuk është shumë e lezetshme, sepse nuk ka gjasa që do të jetë e mundur të befasojë blerësin me ndonjë produkt të ri. Prandaj, ne propozojmë të përmirësojmë pak këtë heuristik duke përdorur të njëjtat modele bashkëpunuese. Nga vektorët që kemi marrë gjatë trajnimit ALS, mund të merrni produkte të ngjashme me ato që përdoruesi ka blerë tashmë. Kjo ide është shumë e ngjashme me "video të ngjashme" në shërbimet e shikimit të përmbajtjes video, por duke qenë se ne nuk e dimë se çfarë po ha/blen përdoruesi në një moment të caktuar, ne mund të kërkojmë vetëm diçka të ngjashme vetëm me atë që ai ka blerë tashmë. veçanërisht pasi ne tashmë e dimë se sa mirë funksionon. Duke aplikuar këtë metodë në transaksionet e përdoruesve gjatë 2 javëve të fundit, marrim matjet e mëposhtme:
Këtu k - numri i produkteve të ngjashme që janë marrë për çdo produkt të blerë nga blerësi në 14 ditët e fundit.
Kjo qasje funksionoi veçanërisht mirë për ne për një klient që ishte kritik të mos rekomandonte fare atë që ishte tashmë në historikun e blerjeve të përdoruesit.
Periudha e blerjes e kaluar e gjatë
Siç kemi zbuluar tashmë, për shkak të frekuencës së lartë të blerjes së mallrave, qasja e parë funksionon mirë për specifikat tona. Por çfarë ndodh me mallrat si pluhur larës/shampo/etj. Kjo do të thotë, me produkte që nuk ka gjasa të nevojiten çdo javë ose dy dhe të cilat metodat e mëparshme nuk mund t'i nxjerrin. Kjo nënkupton idenë e mëposhtme - propozohet të llogaritet mesatarisht periudha e blerjes së secilit produkt për blerësit që kanë blerë produktin më shumë. k një herë. Dhe pastaj nxirrni atë që ka shumë të ngjarë që blerësi të ketë mbaruar tashmë. Periudhat e llogaritura për mallrat mund të kontrollohen me sy për përshtatshmërinë:
Dhe më pas do të shohim nëse fundi i periudhës së produktit bie brenda intervalit kohor kur rekomandimet do të jenë në prodhim dhe të mostrësojmë se çfarë bie. Qasja mund të ilustrohet si kjo:
Këtu kemi 2 raste kryesore që mund të merren parasysh:
- Nëse do të provoni produkte për klientët që e blenë produktin më pak se K herë.
- Nëse do të mostrohet produkti nëse fundi i periudhës së tij bie përpara fillimit të intervalit të synuar.
Grafiku i mëposhtëm tregon se çfarë rezultatesh arrin një metodë e tillë me hiperparametra të ndryshëm:
ft - Merrni vetëm blerësit që kanë blerë produktin të paktën K (këtu K = 5) herë
tm — Merrni vetëm kandidatët që bien në intervalin e synuar
Jo çuditërisht, në gjendje (0, 0) me i madhi kujtoj dhe më i vogli saktësi, pasi në këtë kusht nxirren më së shumti kandidatë. Megjithatë, rezultatet më të mira arrihen kur ne nuk marrim mostra të produkteve për klientët që blenë një produkt të caktuar më pak se k herë dhe nxjerr, ndër të tjera, mallra, periudha e të cilave përfundon para intervalit të synuar.
Popullore sipas kategorisë
Një ide tjetër mjaft e qartë është të provoni produkte të njohura nëpër kategori ose marka të ndryshme. Këtu ne llogarisim për çdo klient top-k Kategoritë/markat "e preferuara" dhe nxirrni "të njohura" nga ajo kategori/markë. Në rastin tonë, ne përcaktojmë "të preferuar" dhe "popullor" nga numri i blerjeve të produktit. Një avantazh shtesë i kësaj qasjeje është zbatueshmëria e saj në rastin e fillimit të ftohtë. Kjo do të thotë, për klientët që kanë bërë ose shumë pak blerje, ose nuk kanë qenë në dyqan për një kohë të gjatë, ose në përgjithësi kanë lëshuar vetëm një kartë besnikërie. Për ta, është më e lehtë dhe më e mirë për të hedhur mallra nga të njohurit me blerësit me një histori ekzistuese. Metrikat janë si më poshtë:
Këtu, numri pas fjalës "kategori" nënkupton nivelin e foleve të kategorisë.
Në përgjithësi, gjithashtu nuk është për t'u habitur që kategoritë më të ngushta arrijnë rezultate më të mira, pasi nxjerrin produkte më të sakta "të preferuara" për blerësit.
Blerjet alternative të mallrave të ndryshme nga java në javë
Një qasje interesante që nuk e kam parë në artikuj rreth sistemeve rekomanduese është një metodë statistikore mjaft e thjeshtë dhe në të njëjtën kohë funksionale e zinxhirëve Markov. Këtu marrim 2 javë të ndryshme, më pas për çdo klient ndërtojmë çifte produktesh [blerë në javën i]-[blerë në javën j], ku j > i, dhe prej këtu llogarisim për çdo produkt probabilitetin e kalimit në një produkt tjetër javën e ardhshme. Kjo është, për çdo palë mallra produkti-produktj numëroni numrin e tyre në çiftet e gjetura dhe pjesëtoni me numrin e çifteve, ku prodhimi ishte në javën e parë. Për të nxjerrë kandidatët, marrim kontrollin e fundit të blerësit dhe marrim top-k produktet e ardhshme më të mundshme nga matrica e tranzicionit që kemi marrë. Procesi i ndërtimit të një matrice tranzicioni duket si ky:
Nga shembujt realë në matricën e probabiliteteve të tranzicionit, shohim fenomenet e mëposhtme interesante:
Këtu mund të vëreni varësi interesante që zbulohen në sjelljen e konsumatorit: për shembull, adhuruesit e agrumeve ose një markë qumështi, nga e cila ka shumë të ngjarë të kalojnë në një tjetër. Gjithashtu nuk është për t'u habitur që artikujt me blerje të përsëritura të larta, si gjalpi, gjithashtu përfundojnë këtu.
Metrikat në metodën me zinxhirët Markov janë si më poshtë:
k - numri i produkteve që merren për çdo artikull të blerë nga transaksioni i fundit i blerësit.
Siç mund ta shohim, konfigurimi me k=4 tregon rezultatin më të mirë. Rritja në javën e 4 mund të shpjegohet me sjelljen sezonale rreth festave.
Produkte të ngjashme me blerësit, sipas karakteristikave të ndërtuara nga modele të ndryshme
Kështu vijmë te pjesa më e vështirë dhe interesante - kërkimi i fqinjëve më të afërt në vektorët e blerësve dhe produkteve të ndërtuara sipas modeleve të ndryshme. Në punën tonë, ne përdorim 3 modele të tilla:
- ALS
- Word2Vec (Item2Vec për detyra të tilla)
- DSSM
Ne tashmë jemi marrë me ALS, mund të lexoni se si mëson . Në rastin e Word2Vec, ne përdorim zbatimin e njohur të modelit nga gensim. Në analogji me tekstet, ofertën e përkufizojmë si faturë blerjeje. Kështu, kur ndërton vektorin e produktit, modeli mëson të parashikojë "kontekstin" e tij për produktin në faturë (pjesën tjetër të mallrave në faturë). Në të dhënat e tregtisë elektronike, është më mirë të përdorni seancën e blerësit në vend të një faturë, djemtë nga . Dhe DSSM është më interesante për t'u çmontuar. Fillimisht ishte shkruar nga djemtë nga Microsoft si një model kërkimi, . Arkitektura e modelit duket si kjo:
Këtu Q - pyetje, pyetja e kërkimit të përdoruesit, D[i] - dokument, faqe interneti. Hyrja e modelit merr përkatësisht shenjat e kërkesës dhe faqet. Çdo shtresë hyrëse ndiqet nga një numër shtresash plotësisht të lidhura (perceptron me shumë shtresa). Më pas, modeli mëson të minimizojë kosinusin midis vektorëve të marrë në shtresat e fundit të modelit.
Detyrat e rekomandimit përdorin saktësisht të njëjtën arkitekturë, por në vend të një kërkese ka një përdorues dhe në vend të faqeve ka produkte. Dhe në rastin tonë, kjo arkitekturë shndërrohet në sa vijon:
Tani, për të kontrolluar rezultatet, mbetet të mbulojmë pikën e fundit - nëse në rastin e ALS dhe DSSM kemi përcaktuar qartë vektorët e përdoruesit, atëherë në rastin e Word2Vec kemi vetëm vektorë produkti. Këtu, për të ndërtuar një vektor përdoruesi, ne kemi identifikuar 3 qasje kryesore:
- Thjesht shtoni vektorët, pastaj për distancën kosinus rezulton se ne thjesht kemi mesataren e produkteve në historinë e blerjeve.
- Përmbledhja e vektorëve me një peshim të caktuar kohor.
- Peshimi i mallit me koeficient TF-IDF.
Në rastin e peshimit linear të vektorit të blerësit, ne vijmë nga hipoteza se produkti që përdoruesi bleu dje ka një ndikim më të madh në sjelljen e tij sesa produkti që ai bleu gjashtë muaj më parë. Pra, ne e konsiderojmë javën e mëparshme të blerësit me një koeficient 1, dhe atë që ndodhi më pas me koeficientët ½, ⅓, etj.:
Për koeficientët TF-IDF, ne bëjmë saktësisht të njëjtën gjë si në TF-IDF për tekstet, vetëm që blerësin e konsiderojmë si dokument, dhe faturën si ofertë, përkatësisht fjala është produkt. Pra, vektori i përdoruesit do të zhvendoset më shumë drejt mallrave të rralla dhe mallrat që janë të shpeshta dhe të njohura për blerësin nuk do ta ndryshojnë shumë atë. Qasja mund të ilustrohet si kjo:
Tani le të shohim metrikën. Ja si duken rezultatet e ALS:
Metrikat nga Item2Vec me variacione të ndryshme të ndërtimit të vektorit blerës:
Në këtë rast, përdoret saktësisht i njëjti model si në bazën tonë. Dallimi i vetëm është se cilin k do të përdorim. Për të përdorur vetëm modele bashkëpunuese, duhet të merrni rreth 50-70 produkte më të afërta për çdo klient.
Dhe metrikat e DSSM:
Si të kombinohen të gjitha metodat?
E bukur, thoni ju, por çfarë të bëni me një grup kaq të madh mjetesh për nxjerrjen e kandidatëve? Si të zgjidhni konfigurimin optimal për të dhënat tuaja? Këtu kemi disa probleme:
- Është e nevojshme të kufizohet disi hapësira e kërkimit për hiperparametrat në secilën metodë. Sigurisht, është diskret kudo, por numri i pikave të mundshme është shumë i madh.
- Si të zgjidhni konfigurimin më të mirë për metrikën tuaj duke përdorur një mostër të vogël të kufizuar të metodave specifike me hiperparametra specifikë?
Ne nuk kemi gjetur ende një përgjigje të saktë pa mëdyshje për pyetjen e parë, kështu që vazhdojmë nga sa vijon: për secilën metodë, shkruhet një kufizues i hapësirës së kërkimit hiperparametër, në varësi të disa statistikave të të dhënave që kemi. Kështu, duke ditur periudhën mesatare midis blerjeve nga njerëzit, mund të hamendësojmë se me çfarë periudhe duhet të përdorim metodën "çfarë është blerë tashmë" dhe "periudhën e një blerjeje të kaluar të gjatë".
Dhe pasi kemi kaluar nëpër një numër adekuat të variacioneve të metodave të ndryshme, vërejmë sa vijon: çdo zbatim nxjerr një numër të caktuar kandidatësh dhe ka një vlerë të caktuar të metrikës (rikujtimit) që është kyç për ne. Ne duam të marrim një numër të caktuar kandidatësh në total, në varësi të fuqisë sonë llogaritëse të lejueshme, me metrikën më të lartë të mundshme. Këtu problemi shembet bukur në problemin e çantës.
Këtu numri i kandidatëve është pesha e shufrës, dhe rikthimi i metodës është vlera e saj. Sidoqoftë, ka edhe 2 pika të tjera që duhet të merren parasysh gjatë zbatimit të algoritmit:
- Metodat mund të kenë mbivendosje në kandidatët që ata tërheqin.
- Në disa raste, do të jetë e saktë të merret një metodë dy herë me parametra të ndryshëm, dhe kandidatët në dalje të së parës nuk do të jenë një nëngrup i të dytës.
Për shembull, nëse marrim zbatimin e metodës "çfarë është blerë tashmë" me intervale të ndryshme për nxjerrje, atëherë grupet e tyre të kandidatëve do të futen në njëra-tjetrën. Në të njëjtën kohë, parametra të ndryshëm në "blerjet periodike" në dalje nuk japin një kryqëzim të plotë. Prandaj, ne i ndajmë metodat e marrjes së mostrave me parametra të ndryshëm në blloqe në mënyrë që nga secili bllok të dëshirojmë të marrim më së shumti një qasje të nxjerrjes me hiperparametra specifikë. Për ta bërë këtë, duhet të mashtroni pak në zbatimin e problemit të çantës, por asimptotika dhe rezultati nuk do të ndryshojnë nga kjo.
Një kombinim i tillë i zgjuar na lejon të marrim matjet e mëposhtme në krahasim me modelet thjesht bashkëpunuese:
Në matjet përfundimtare shohim foton e mëposhtme:
Sidoqoftë, këtu mund të shihni se ekziston një pikë e zbuluar për rekomandimet që janë të dobishme për biznesin. Tani sapo mësuam se si të parashikojmë qetësisht se çfarë do të blejë përdoruesi, për shembull, javën e ardhshme. Por thjesht të japësh një zbritje për faktin se ai do të blejë gjithsesi nuk është shumë e lezetshme. Por është mirë të maksimizosh pritshmërinë, për shembull, të matjeve të mëposhtme:
- Marzhi/xhiro bazuar në rekomandimet personale.
- Kontrolli mesatar i blerësve.
- frekuenca e vizitave.
Pra, ne i shumëzojmë probabilitetet e fituara me koeficientë të ndryshëm dhe i rirenditim ato në mënyrë që në krye të përfshijë produkte që ndikojnë në metrikat e mësipërme. Këtu nuk ka zgjidhje të gatshme, cila qasje është më e mirë për t'u përdorur. Edhe ne po eksperimentojmë me koeficientë të tillë direkt në prodhim. Por këtu janë disa truke interesante që më shpesh na japin rezultatet më të mira:
- Shumëzoni me çmimin/marzhin e artikullit.
- Shumëzoni me kontrollin mesatar në të cilin shfaqet produkti. Kështu do të dalin malli me të cilin zakonisht marrin diçka tjetër.
- Shumëzohet me shpeshtësinë mesatare të vizitave nga blerësit e këtij produkti, bazuar në hipotezën se ky produkt provokon kthime më të shpeshta për të.
Pas eksperimentimit me koeficientët, morëm metrikat e mëposhtme në prodhim:
Këtu konvertimi i përgjithshëm i produktit - pjesa e produkteve të blera nga të gjitha produktet në rekomandimet që kemi gjeneruar.
Një lexues i vëmendshëm do të vërejë një ndryshim të rëndësishëm midis matjeve offline dhe atyre në internet. Kjo sjellje shpjegohet me faktin se jo të gjithë filtrat dinamikë për produktet që mund të rekomandohen mund të merren parasysh gjatë trajnimit të modelit. Është një histori normale për ne kur gjysma e kandidatëve të nxjerrë mund të filtrohen, një specifikë e tillë është tipike në industrinë tonë.
Për sa i përket të ardhurave, është marrë historia e mëposhtme, është e qartë se pas fillimit të rekomandimeve, të ardhurat e grupit të testimit po rriten fuqishëm, tani rritja mesatare e të ardhurave me rekomandimet tona është 3-4%:
Si përfundim, dua të them se nëse keni nevojë për rekomandime jo në kohë reale, atëherë një rritje shumë e madhe e cilësisë konstatohet në eksperimentet me nxjerrjen e kandidatëve për rekomandime. Një sasi e madhe kohe për t'i gjeneruar ato bën të mundur kombinimin e shumë metodave të mira, të cilat në total do të japin rezultate fantastike për biznesin.
Do të jem i lumtur të bisedoj në komente me të gjithë ata që e shohin materialin interesant. Ju mund të më bëni pyetje personalisht . Unë gjithashtu ndaj mendimet e mia për AI / startups në tim — mirë se vini 🙂
Burimi: www.habr.com