Moien alleguer! Mäin Numm ass Sasha, ech sinn CTO & Co-Founder bei LoyaltyLab. Virun XNUMX Joer si meng Frënn an ech, wéi all aarm Studenten, owes gaang fir Béier am nooste Buttek bei eisem Haus ze kafen. Mir ware ganz opgeregt datt den Händler, wousst datt mir fir Béier kommen, keng Remise op Chips oder Cracker ubidden, obwuel dëst sou logesch war! Mir hunn net verstanen firwat dës Situatioun geschitt ass an hunn decidéiert eis eegen Firma ze grënnen. Gutt, als Bonus, gitt Iech all Freideg Rabatt op déiselwecht Chips.

An et ass alles op de Punkt komm, wou ech Material op der technescher Säit vum Produkt presentéieren NVIDIA GTC. Mir si frou eis Aarbecht mat der Gemeinschaft ze deelen, dofir publizéieren ech mäi Bericht a Form vun engem Artikel.

Aféierung

Wéi all déi aner am Ufank vun der Rees, hu mir ugefaang mat engem Iwwerbléck iwwer wéi Empfehlungssystemer gemaach ginn. An déi populärste Architektur huet sech als folgend Typ erausgestallt:

Et besteet aus zwee Deeler:

1. Sampling Kandidaten fir Empfehlungen mat engem einfachen a séiere Modell, normalerweis e kollaborativen.
2. Ranking vu Kandidaten mat engem méi komplexen a luesen Inhaltsmodell, andeems Dir all méiglech Features an den Daten berücksichtegt.

Heino benotzen ech déi folgend Begrëffer:

• Kandidat / Kandidat fir Recommandatiounen - e Benotzer-Produktpaar dat potenziell an Empfehlungen an der Produktioun abegraff ka ginn.
• Kandidaten Extraktioun / Extraktor / Kandidat Extraktioun Method - e Prozess oder Method fir "Empfehlungskandidaten" aus verfügbaren Donnéeën ze extrahieren.

Den éischte Schrëtt beinhalt normalerweis d'Benotzung vu verschiddene Variatiounen vu kollaborativen Filteren. Déi beléifste - ALS. Et ass iwwerraschend datt déi meescht Artikelen iwwer Empfehlersystemer nëmme verschidde Verbesserunge fir Kollaboratiounsmodeller op der éischter Etapp weisen, awer keen schwätzt vill iwwer aner Probemethoden. Fir eis huet d'Approche fir nëmmen kollaborativ Modeller a verschidde Optimisatiounen mat hinnen ze benotzen net mat der Qualitéit geschafft, déi mir erwaart hunn, also hu mir an d'Fuerschung speziell op dësem Deel gegruewen. An um Enn vum Artikel wäert ech weisen wéi vill mir konnten ALS verbesseren, dat war eis Basis.

Ier ech weidergoe fir eis Approche ze beschreiwen, ass et wichteg ze bemierken datt an Echtzäit Empfehlungen, wann et wichteg ass fir eis Daten ze berücksichtegen, déi virun 30 Minutte geschitt sinn, et wierklech net vill Approche sinn déi an der erfuerderter Zäit funktionnéiere kënnen. Awer an eisem Fall musse mir Empfehlungen net méi wéi eemol am Dag sammelen, an an deene meeschte Fäll - eemol d'Woch, wat eis d'Méiglechkeet gëtt komplex Modeller ze benotzen an d'Qualitéit e puermol ze verbesseren.

Loosst eis als Basis huelen wat Metriken nëmmen ALS weist op d'Aufgab fir Kandidaten ze extrahieren. D'Schlëssel Metriken déi mir iwwerwaachen sinn:

• Präzisioun - den Undeel vu korrekt ausgewielte Kandidaten aus de geprobéierten.
• D'Erënnerung ass den Undeel vu Kandidaten, déi geschitt sinn aus deenen, déi tatsächlech am Zilintervall waren.
• F1-Score - F-Mooss op déi zwee virdrun Punkten berechent.

Mir wäerten och d'Metriken vum finalen Modell kucken no Training Gradient Boost mat zousätzlech Inhaltsfeatures. Et ginn och 3 Haaptmetriken hei:

• Präzisioun @ 5 - den duerchschnëttleche Prozentsaz vun de Produkter aus den Top 5 wat d'Wahrscheinlechkeet fir all Keefer ugeet.
• response-rate@5 - Konversioun vu Clienten vun engem Besuch am Geschäft bis zum Kaf vun mindestens eng perséinlech Offer (5 Produkter an enger Offer).
• avg roc-auc pro Benotzer - Duerchschnëtt roc-auc fir all Keefer.

Et ass wichteg ze bemierken datt all dës Metriken gemooss ginn Zäit-Serie Kräiz-Validatioun, dat heescht, Training geschitt an den éischte k Wochen, an k+1 Woch gëtt als Testdaten geholl. Also, saisonal Ups a Downs haten e minimalen Impakt op d'Interpretatioun vun der Qualitéit vun de Modeller. Weider op all Grafike weist d'Abscissaachs d'Wochnummer an der Kräizvalidatioun un, an d'Ordinateachs weist de Wäert vun der spezifizéierter Metrik un. All Grafike baséieren op Transaktiounsdaten vun engem Client sou datt Vergläicher tëschtenee richteg sinn.

Ier mer ufänken eis Approche ze beschreiwen, kucke mir als éischt d'Basislinn, wat en ALS-trainéierte Modell ass.
Kandidatur Retrieval Metriken:

Finale Metriken:

Ech behandelen all Implementatioune vun Algorithmen als eng Aart vu Geschäftshypothese. Also, ganz ongeféier, kann all kollaborativ Modell als Hypothes ugesi ginn datt "Leit tendéieren ze kafen wat d'Leit ähnlech wéi si kafen." Wéi ech scho gesot hunn, hu mir eis net op sou Semantik limitéiert, an hei sinn e puer Hypothesen déi gutt op Daten am offline Retail funktionnéieren:

1. Déi ech scho virdru kaaft hunn.
2. Ähnlech wéi wat ech virdru kaaft hunn.
3. Period vun engem laange vergaangene Kaf.
4. Populär no Kategorie / Mark.
5. Alternativ Akeef vu verschiddene Wueren vu Woch zu Woch (Markov Ketten).
6. Ähnlech Produkter fir Keefer, no Charakteristiken, déi vu verschiddene Modeller gebaut ginn (Word2Vec, DSSM, etc.).

Wat hutt Dir virdru kaaft?

Déi offensichtlechst Heuristik déi ganz gutt am Epicerie funktionnéiert. Hei hu mir all d'Wueren, déi de Loyalitéitskaarthalter an de leschte K Deeg kaaft huet (normalerweis 1-3 Wochen), oder K Deeg virun engem Joer. Wann Dir nëmmen dës Method applizéiert, kréie mir déi folgend Metriken:

Hei ass et ganz offensichtlech datt wat méi laang mir d'Period huelen, dest méi Erënnerung hu mir a wat manner Präzisioun mir hunn a vice versa. Am Duerchschnëtt ginn déi "läscht 2 Wochen" besser Resultater fir Clienten.

Ähnlech wéi wat ech virdru kaaft hunn

Et ass net iwwerraschend datt fir Epicerie "wat ech virdru kaaft hunn" gutt funktionnéiert, awer d'Kandidaten nëmmen aus deem wat de Benotzer kaaft huet ass net ganz cool, well et ass onwahrscheinlech de Keefer mat engem neie Produkt ze iwwerraschen. Dofir proposéiere mir dës Heuristik liicht ze verbesseren andeems se déiselwecht Kollaboratiounsmodeller benotzen. Vun de Vektoren, déi mir während der ALS Training kritt hunn, kënne mir ähnlech Produkter kréien wéi de Benotzer scho kaaft huet. Dës Iddi ass ganz ähnlech wéi "ähnlech Videoen" a Servicer fir Videoinhalt ze gesinn, awer well mir net wësse wat de Benotzer zu engem bestëmmte Moment ësst/kaaft, kënne mir nëmmen no ähnleche sichen wéi dat wat hie scho kaaft huet, besonnesch well mir Mir wëssen schonn wéi gutt et funktionnéiert. Wann Dir dës Method op Benotzertransaktiounen an de leschten 2 Wochen applizéiert, kréie mir déi folgend Metriken:

et ass k - d'Zuel vun ähnlechen Produkter déi fir all Produkt vum Keefer an de leschten 14 Deeg kaaft ginn.
Dës Approche huet besonnesch gutt fir eise Client geschafft, fir deen et kritesch war näischt ze recommandéieren wat schonn an der Akafsgeschicht vum Benotzer war.

Spéit Akaf Period

Wéi mir schonn erausfonnt hunn, duerch déi héich Frequenz vu Wueren ze kafen, funktionnéiert déi éischt Approche gutt fir eis spezifesch Besoinen. Awer wat iwwer Wueren wéi Wäschpulver / Shampoing / asw. Dat ass, mat Produkter déi onwahrscheinlech all Woch oder zwou gebraucht ginn an déi fréier Methoden net extrahieren. Dëst féiert zu der folgender Iddi - et gëtt proposéiert d'Period vum Kaf vun all Produkt am Duerchschnëtt ze berechnen fir Clienten déi de Produit méi kaaft hunn k eemol. An dann extrahéieren wat de Keefer héchstwahrscheinlech schonn ausgaang ass. Déi berechent Perioden fir Wueren kënne mat Ären Ae gepréift ginn fir Adäquatitéit:

An da wäerte mir kucken ob d'Enn vun der Produktperiod am Zäitintervall fällt wann d'Empfehlungen an der Produktioun sinn a probéieren wat geschitt. D'Approche kann esou illustréiert ginn:

Hei hu mir 2 Haaptfäll déi berécksiichtegt kënne ginn:

1. Ass et néideg Produkter vu Clienten ze probéieren déi de Produit manner wéi K Mol kaaft hunn.
2. Ass et néideg e Produkt ze probéieren wann d'Enn vu senger Period virum Ufank vum Zilintervall fällt.

Déi folgend Grafik weist wéi eng Resultater dës Method mat verschiddenen Hyperparameter erreecht:

ft - Huelt nëmme Clienten déi de Produit op d'mannst K (hei K=5) Mol kaaft hunn
tm - Huelt nëmmen Kandidaten déi am Zilintervall falen

Et ass net iwwerraschend datt hien fäeg ass (0, 0) gréissten Réckruff an déi klengst Präzisioun, well ënnert dëser Bedingung déi meeschte Kandidaten zréckgeholl ginn. Wéi och ëmmer, déi bescht Resultater ginn erreecht wann mir keng Produkter probéieren fir Clienten déi e bestëmmt Produkt manner kaaft hunn wéi k mol an Extrait, dorënner Wueren, d'Enn vun der Period vun deem Falen virun der Zil- Intervall.

Populär no Kategorie

Eng aner zimlech offensichtlech Iddi ass populär Produkter a verschiddene Kategorien oder Marken ze probéieren. Hei berechene mir fir all Keefer top-k "Léifsten" Kategorien / Marken an Extrait "populär" aus dëser Kategorie / Mark. An eisem Fall wäerte mir "Léifsten" a "populär" bestëmmen duerch d'Zuel vun de Kaf vum Produkt. En zousätzleche Virdeel vun dëser Approche ass seng Applikatioun am Kale Start Fall. Dat ass, fir Clienten, déi entweder ganz wéineg Akeef gemaach hunn, oder fir eng laang Zäit net an de Buttek war, oder just eng Loyalitéit Kaart erausginn. Fir si ass et méi einfach a besser Saachen ze stockéieren déi populär bei de Clienten sinn an eng Geschicht hunn. Déi resultéierend Metriken sinn:

Hei heescht d'Zuel nom Wuert "Kategorie" den Niveau vum Nesting vun der Kategorie.

Am Allgemengen ass et och net iwwerraschend datt méi schmuel Kategorien besser Resultater erreechen, well se méi genee "Lieblings" Produkter fir Shopper extrahéieren.

Alternativ Akeef vu verschiddene Wueren vu Woch zu Woch

Eng interessant Approche, déi ech net an Artikelen iwwer Empfehlungssystemer gesinn hunn, ass eng zimlech einfach a gläichzäiteg funktionéierend statistesch Method vu Markov Ketten. Hei huele mir 2 verschidde Wochen, dann bauen mir fir all Client Pairen Produkter [kaf an der Woch i]-[kaf an der Woch j], wou j > i, a vun hei aus berechnen mir fir all Produit d'Wahrscheinlechkeet fir d'nächst Woch op en anert Produkt ze wiesselen. Dat ass, fir all Pair vu Wueren produkti-produktj Mir zielen hir Zuel an de fonnt Puer an deelen duerch d'Zuel vun de Puer, wou Produiten war an der éischter Woch. Fir d'Kandidaten ze extrahieren, huelen mir de leschte Empfang vum Keefer an extrahéieren top-k déi wahrscheinlech nächst Produkter aus der Iwwergangsmatrix déi mir kritt hunn. De Prozess vun der Konstruktioun vun enger Iwwergangsmatrix gesäit esou aus:

Aus realen Beispiller an der Iwwergangswahrscheinlechkeetsmatrix gesi mir déi folgend interessant Phänomener:

Hei kënnt Dir interessant Ofhängegkeeten bemierken, déi am Konsumentverhalen opgedeckt ginn: zum Beispill, d'Liebhaber vun Zitrusfrüchte oder eng Mark vu Mëllech, aus där se wahrscheinlech op eng aner wiesselen. Et ass och net iwwerraschend datt Produkter mat enger héijer Frequenz vu widderhuelende Akeef, wéi Botter, och hei ophalen.

D'Metriken an der Method mat Markov Ketten sinn wéi follegt:

k - d'Zuel vun de Produkter, déi fir all kaaft Produkt aus der leschter Transaktioun vum Keefer ofgeholl ginn.
Wéi mir kënne gesinn, gëtt dat bescht Resultat vun der Konfiguratioun mat k = 4 gewisen. D'Spike an der Woch 4 kann duerch saisonal Verhalen ronderëm d'Feierdeeg erkläert ginn. 

Ähnlech Produkter fir Keefer, no Charakteristiken, déi vu verschiddene Modeller gebaut ginn

Elo si mer zum schwieregsten an interessantsten Deel komm - Sich no noosten Noperen op Basis vu Vecteure vu Clienten a Produkter no verschiddene Modeller gebaut. An eiser Aarbecht benotze mir 3 esou Modeller:

• ALS
• Word2Vec (Item2Vec fir sou Aufgaben)
• DSSM

Mir hu scho mat ALS beschäftegt, Dir kënnt iwwer liesen wéi et léiert hei. Am Fall vun Word2Vec benotzen mir déi bekannte Ëmsetzung vum Modell aus gensim. An Analogie mat den Texter definéiere mir d'Offer als Akafserklärung. Also, wann Dir e Produktvektor konstruéiert, léiert de Modell fir de Produkt am Empfang säi "Kontext" virauszesoen (déi verbleiwen Produkter an der Empfang). An Ecommerce Daten ass et besser d'Sessioun vum Keefer ze benotzen amplaz vun engem Empfang; d'Jongen aus Ozon. An DSSM ass méi interessant ze analyséieren. Am Ufank gouf et vun de Kärelen vu Microsoft als Modell fir Sich geschriwwen, Dir kënnt d'Original Fuerschung Pabeier hei liesen. D'Architektur vum Modell gesäit esou aus:

et ass Q - Ufro, Benotzer Sich Ufro, D [i] - Dokument, Internet Säit. Den Input zum Modell sinn d'Attributer vun der Ufro respektiv Säiten. No all Input Layer ginn et eng Rei vu voll verbonne Schichten (Multilayer Perceptron). Als nächst léiert de Modell d'Kosinus tëscht de Vektoren, déi an de leschte Schichten vum Modell kritt goufen, ze minimiséieren.
Recommandatioun Aufgaben benotzen genee déi selwecht Architektur, nëmmen amplaz vun enger Ufro gëtt et e Benotzer, an amplaz Säiten ginn et Produkter. An an eisem Fall ass dës Architektur an déi folgend transforméiert:

Elo, fir d'Resultater ze kontrolléieren, bleift et fir de leschte Punkt ze decken - wa mir am Fall vun ALS an DSSM explizit Benotzervektoren definéiert hunn, dann hu mir am Fall vu Word2Vec nëmme Produktvektoren. Hei, fir de Benotzervektor ze bauen, hu mir 3 Haapt Approche definéiert:

1. Füügt einfach d'Vektoren derbäi, da stellt sech fir d'Cosinus-Distanz eraus datt mir d'Produkter an der Kaafgeschicht einfach duerchschnëttlech gemaach hunn.
2. Vector Summatioun mat e puer Zäit Gewiicht.
3. Wueren mat TF-IDF Koeffizient.

Am Fall vun linear Gewiicht vun de Keefer Vecteure, gi mir aus der Hypothes, datt de Produit, datt de Benotzer gëschter kaaft huet e gréisseren Afloss op säi Verhalen wéi de Produit, datt hie sechs Méint kaaft huet. Also mir betruechten dem Keefer seng viregt Woch mat Chance vun 1, a wat duerno geschitt ass mat Chance vun ½, ⅓, etc.:

Fir TF-IDF Koeffizienten maache mir genau d'selwecht wéi an TF-IDF fir Texter, nëmme mir betruechten de Keefer als Dokument, an de Scheck als Offer, respektiv d'Wuert ass e Produkt. Op dës Manéier wäert de Vektor vum Benotzer méi a selten Wueren réckelen, während dacks a vertraute Wueren fir de Keefer et net vill änneren. D'Approche kann esou illustréiert ginn:

Loosst eis elo d'Metriken kucken. Dëst ass wéi d'ALS Resultater ausgesinn:

Metriken fir Item2Vec mat verschiddene Variatiounen vum Bau vum Keefervektor:

An dësem Fall gëtt genau dee selwechte Modell benotzt wéi an eiser Basis. Deen eenzegen Ënnerscheed ass wéi eng k mir benotzen. Fir nëmmen Kollaboratiounsmodeller ze benotzen, musst Dir ongeféier 50-70 nooste Produkter fir all Client huelen.

A Metriken no DSSM:

Wéi all Methoden ze kombinéieren?

Cool, sot Dir, awer wat maache mat sou enger grousser Set vu Kandidatenextraktiounsinstrumenter? Wéi wielen ech déi optimal Konfiguratioun fir Är Donnéeën? Hei hu mir e puer Problemer:

1. Et ass néideg iergendwéi de Sichraum fir Hyperparameter an all Method ze limitéieren. Et ass natierlech iwwerall diskret, awer d'Zuel vu méigleche Punkten ass ganz grouss.
2. Mat enger klenger limitéierter Probe vu spezifesche Methoden mat spezifesche Hyperparameter, wéi kënnt Dir déi bescht Konfiguratioun fir Är Metrik auswielen?

Mir hunn nach keng definitiv korrekt Äntwert op déi éischt Fro fonnt, also gi mir vun de folgende vir: fir all Method gëtt en Hyperparameter Sichraumlimiter geschriwwe, jee no e puer Statistiken iwwer d'Donnéeën déi mir hunn. Also, wann Dir d'Moyenne Period tëscht Akeef vu Leit kennt, kënne mir roden mat wéi enger Period d'Methode "wat scho kaaft gouf" an "Period vun enger laanger Vergaangenheet" Method ze benotzen.

A nodeems mir eng gewëssen adäquat Zuel vu Variatioune vu verschiddene Methoden duerchgaange sinn, bemierken mir déi folgend: all Ëmsetzung extrahéiert eng gewëssen Zuel vu Kandidaten an huet e gewësse Wäert vun der Schlësselmetrik fir eis (Erënnerung). Mir wëllen am Ganzen eng gewëssen Unzuel u Kandidaten kréien, ofhängeg vun eiser zulässlecher Rechenkraaft, mat der héchster méiglecher Metrik. Hei klappt de Problem schéin an de Rucksakproblem.

Hei ass d'Zuel vun de Kandidaten d'Gewiicht vum Ingot, an d'Erënnerungsmethod ass säi Wäert. Wéi och ëmmer, et ginn 2 méi Punkten déi berécksiichtegt solle ginn wann Dir den Algorithmus implementéiert:

• Methoden kënnen iwwerlappt an de Kandidaten déi se recuperéieren.
• An e puer Fäll wäert et richteg sinn eng Method zweemol mat verschiddene Parameteren ze huelen, an d'Kandidatoutput vun der éischter wäert net en Ënnerdeel vun der zweeter sinn.

Zum Beispill, wa mir d'Ëmsetzung vun der Method "wat ech scho kaaft hunn" mat verschiddenen Intervalle fir d'Erhuelung huelen, da ginn hir Sätz vu Kandidaten anenee nestéiert. Zur selwechter Zäit, verschidde Parameteren an "periodesch Akeef" op der Sortie bidden keng komplett Kräizung. Dofir deele mir d'Probe-Approche mat verschiddene Parameteren a Blocks op, sou datt mir aus all Block maximal eng Extraktioun Approche mat spezifesche Hyperparameter wëllen huelen. Fir dëst ze maachen, musst Dir e bësse clever an der Ëmsetzung vum Knapsackproblem kréien, awer d'Asymptotik an d'Resultat wäerten net änneren.

Dës intelligent Kombinatioun erlaabt eis déi folgend Metriken am Verglach mat einfache kollaborativen Modeller ze kréien:

An de leschte Metriken gesi mir déi folgend Bild:

Wéi och ëmmer, hei kënnt Dir bemierken datt et een opgedeckte Punkt ass fir Empfehlungen déi nëtzlech sinn fir d'Geschäft. Elo hu mir just geléiert wéi mir eng super Aarbecht maache fir virauszesoen wat de Benotzer kaaft, zum Beispill d'nächst Woch. Awer einfach eng Remise op eppes ze ginn, wat hie scho kafe wäert ass net ganz cool. Awer et ass cool d'Erwaardung ze maximéieren, zum Beispill, vun de folgende Metriken:

1. Margin / Ëmsaz baséiert op perséinleche Empfehlungen.
2. Duerchschnëtt Client kontrolléieren.
3. Heefegkeet vun Visiten.

Also multiplizéieren mir déi kritt Wahrscheinlechkeeten mat verschiddene Koeffizienten a rerangéieren se sou datt d'Produkter déi d'Metriken uewe beaflossen un d'Spëtzt kommen. Et gëtt keng fäerdeg Léisung fir wéi eng Approche am beschten ass ze benotzen. Mir experimentéiere souguer mat esou Koeffizienten direkt an der Produktioun. Awer hei sinn interessant Techniken déi eis meeschtens déi bescht Resultater ginn:

1. Multiplizéieren mam Präis / Marge vum Produkt.
2. Multiplizéiert mat der Moyenne Empfang an där de Produit erschéngt. Also Wueren kommen op, mat deenen se normalerweis eppes anescht huelen.
3. Multiplizéiert mat der duerchschnëttlecher Frequenz vu Besuche vu Keefer vun dësem Produkt, baséiert op der Hypothese datt dëst Produkt d'Leit provozéiert fir méi dacks zréckzekommen.

Nodeems mir Experimenter mat Koeffizienten gemaach hunn, hu mir déi folgend Metriken an der Produktioun kritt:

et ass allgemeng Produit Konversioun - den Undeel vun de kaafte Produkter aus alle Produkter an de Empfehlungen déi mir generéiert hunn.

En opmierksam Lieser bemierkt e wesentlechen Ënnerscheed tëscht offline an Online Metriken. Dëst Verhalen gëtt erkläert vun der Tatsaach datt net all dynamesch Filtere fir Produkter déi recommandéiert kënne berécksiichtegt ginn beim Training vum Modell. Fir eis ass et eng normal Geschicht wann d'Halschent vun den ofgehalene Kandidaten ausfiltréiert kënne ginn; dës Spezifizitéit ass typesch an eiser Industrie.

Wat d'Recetten ugeet, gëtt déi folgend Geschicht kritt, et ass kloer datt nom Start vun de Empfehlungen d'Recetten vun der Testgrupp staark wuessen, elo ass d'Duerchschnëttserhéijung vun de Recetten mat eise Empfehlungen 3-4%:

Zu Conclusioun wëll ech soen datt wann Dir net-Echtzäit Empfehlungen braucht, da kann eng ganz grouss Erhéijung vun der Qualitéit an Experimenter fonnt ginn fir Kandidaten fir Empfehlungen ze extrahieren. Eng grouss Zäit fir hir Generatioun mécht et méiglech vill gutt Methoden ze kombinéieren, déi am Ganzen super Resultater fir d'Geschäft ginn.

Ech wäert frou sinn an de Kommentarer mat jidderengem ze chatten deen d'Material interessant fënnt. Dir kënnt mech perséinlech Froen stellen um Hëllefe profitéieren. Ech deelen och meng Gedanken iwwer AI / Startups a mengem Telegram Kanal - Wëllkomm :)

Source: will.com