Heiansdo, fir e Problem ze léisen, musst Dir et just aus engem anere Wénkel kucken. Och wann an de leschten 10 Joer ähnlech Problemer op déiselwecht Manéier mat verschiddenen Effekter geléist goufen, ass et net e Fakt datt dës Method déi eenzeg ass.
Et gëtt esou en Thema wéi Client Churn. D'Saach ass inévitabel, well Cliente vun all Firma kënnen aus ville Grënn ophalen hir Produkter oder Servicer ze benotzen. Natierlech, fir eng Firma, Churn ass eng natierlech, awer net déi wënschenswäert Handlung, sou datt jiddereen probéiert dës Churn ze minimiséieren. Besser nach, virauszesoen d'Wahrscheinlechkeet vu Churn fir eng bestëmmte Kategorie vu Benotzer, oder e spezifesche Benotzer, a proposéiert e puer Schrëtt fir se ze halen.
Et ass noutwendeg fir de Client ze analyséieren an ze probéieren, wa méiglech, aus op d'mannst de folgende Grënn:
- nei Clienten unzezéien ass méi deier wéi Retentiounsprozeduren. Fir nei Clienten unzezéien, als Regel, musst Dir e puer Sue verbréngen (Reklammen), während existent Clienten mat enger spezieller Offer mat spezielle Konditiounen ageschalt kënne ginn;
- D'Grënn ze verstoen firwat Cliente verloossen ass de Schlëssel fir d'Produkter a Servicer ze verbesseren.
Et gi Standard Approche fir Churn virauszesoen. Awer bei engem vun den AI Championnat hu mir beschloss d'Weibull Verdeelung dofir ze probéieren. Et gëtt am meeschte benotzt fir Iwwerliewensanalyse, Wiederprevisioun, Naturkatastrophanalyse, Industrietechnik an dergläiche. Weibull Verdeelung ass eng speziell Verdeelungsfunktioun parametriséiert vun zwee Parameteren 
и .
Wikipedia
Am Allgemengen ass et eng interessant Saach, awer fir Ausfluss prognostizéiert, an am Fintech am Allgemengen, gëtt et net sou dacks benotzt. Ënnert dem Schnëtt wäerte mir Iech soen wéi mir (Data Mining Laboratory) dëst gemaach hunn, gläichzäiteg Gold bei der Artificial Intelligence Championship an der Kategorie "AI in Banks" gewonnen.
Iwwer churn am Allgemengen
Loosst eis e bëssen verstoen wat Client Churn ass a firwat et sou wichteg ass. Eng Clientsbasis ass wichteg fir e Geschäft. Nei Clientë kommen op dës Basis, zum Beispill, iwwer e Produkt oder Service vun enger Annonce geléiert hunn, liewen fir eng Zäit (aktiv benotzen d'Produkter) an no enger Zäit stoppen se ze benotzen. Dës Period gëtt de "Client Lifecycle" genannt - e Begrëff, deen d'Etappen beschreift, déi e Client duerchgeet wann hien iwwer e Produkt léiert, eng Kafdecisioun hëlt, bezilt, benotzt a gëtt e treie Konsument, a schlussendlech ophält d'Produkt ze benotzen. aus engem oder anere Grond. Deementspriechend ass Churn déi lescht Etapp vum Liewenszyklus vum Client, wann de Client ophält d'Servicer ze benotzen, a fir e Geschäft heescht dat datt de Client opgehalen huet Gewënn oder e Virdeel iwwerhaapt ze bréngen.
All Bank Client ass eng spezifesch Persoun, déi eng oder aner Bankkaart speziell fir seng Besoinen wielt. Wann Dir dacks reest, kënnt eng Kaart mat Meilen praktesch. Kaaft vill - Moien, Cashback Kaart. Hie keeft vill an spezifesch Geschäfter - an et gëtt schonn e spezielle Partner Plastik fir dës. Natierlech gëtt heiansdo eng Kaart ausgewielt op Basis vum Critère "Bëllegst Service". Am Allgemengen sinn et genuch Variabelen hei.
An eng Persoun wielt och d'Bank selwer - ass et kee Sënn fir eng Kaart vun enger Bank ze wielen, deenen hir Filialen nëmmen zu Moskau an der Regioun sinn, wann Dir vu Khabarovsk sidd? Och wann eng Kaart vun esou enger Bank op d'mannst 2 Mol méi rentabel ass, ass d'Präsenz vu Bankzweige an der Géigend nach ëmmer e wichtege Critère. Jo, 2019 ass schonn do an digital ass eis alles, awer eng Rei Problemer mat e puer Banke kënnen nëmmen an enger Branche geléist ginn. Plus, erëm, en Deel vun der Bevëlkerung vertraut eng kierperlech Bank vill méi wéi eng Applikatioun op engem Smartphone, dëst muss och berücksichtegt ginn.
Als Resultat kann eng Persoun vill Grënn hunn fir Bankprodukter ze refuséieren (oder d'Bank selwer). Ech hunn Aarbechtsplazen geännert, an de Kaartentarif huet sech vum Gehalt op "Fir just Mortals" geännert, wat manner rentabel ass. Ech geplënnert an eng aner Stad wou et keng Bank Filialen sinn. Ech hunn d'Interaktioun mam onqualifizéierten Bedreiwer an der Branche net gär. Dat ass, et kann nach méi Grënn ginn fir e Kont zoumaachen wéi fir de Produit ze benotzen.
An de Client kann net nëmmen kloer seng Absicht ausdrécken - an d'Bank kommen an eng Ausso schreiwen, awer einfach ophalen d'Produkter ze benotzen ouni de Kontrakt ofzeschléissen. Et gouf decidéiert Maschinnléieren an AI ze benotzen fir sou Probleemer ze verstoen.
Desweideren, Client Churn kann an all Industrie geschéien (Telecom, Internet Ubidder, Versécherungsgesellschaften, am Allgemengen, wou et eng Client Basis a periodesch Transaktiounen ass).
Wat hu mir gemaach
Éischt vun all, war et néideg eng kloer Grenz ze beschreiwen - aus wéi enger Zäit fänken mir de Client ze verloossen ze betruecht. Aus der Siicht vun der Bank, déi eis Daten fir eis Aarbecht zur Verfügung gestallt huet, war den Aktivitéitsstatus vum Client binär - hien ass entweder aktiv oder net. Et war en ACTIVE_FLAG Fändel an der "Aktivitéit" Dësch, de Wäert vun deem entweder "0" oder "1" ("Inaktiv" respektiv "Aktiv" kéint sinn). An alles wier gutt, awer eng Persoun ass sou datt hien et fir eng Zäit aktiv benotze kann, an dann fir e Mount aus der aktiver Lëscht falen - hien ass krank, ass an en anert Land an d'Vakanz gaang oder ass souguer e Test gaangen. Kaart vun enger anerer Bank. Oder vläicht no enger laanger Period vun Inaktivitéit, fänken erëm d'Servicer vun der Bank ze benotzen
Dofir hu mir décidéiert eng Period vun Inaktivitéit eng gewësse kontinuéierlech Zäit ze nennen wärend de Fändel dofir op "0" gesat gouf.
D'Clientë réckelen vun inaktiv op aktiv no Perioden vun Inaktivitéit vu verschiddene Längt. Mir hunn d'Méiglechkeet de Grad vum empiresche Wäert "Zouverlässegkeet vun Perioden vun Inaktivitéit" ze berechnen - dat ass d'Wahrscheinlechkeet datt eng Persoun erëm Bankprodukter no temporärer Inaktivitéit benotzt.
Zum Beispill weist dës Grafik d'Resumption vun Aktivitéit (ACTIVE_FLAG=1) vu Clienten no e puer Méint Inaktivitéit (ACTIVE_FLAG=0).
Hei wäerte mir e bëssen d'Datebank klären, mat deem mir ugefaang hunn ze schaffen. Also huet d'Bank aggregéiert Informatioun fir 19 Méint an de folgenden Dëscher geliwwert:
- "Aktivitéit" - monatlecht Client Transaktiounen (duerch Kaarten, am Internet Banking an Handy Banking), dorënner Paieziedel an Informatiounen iwwert Ëmsaz.
- "Kaarten" - Daten iwwer all Kaarten, déi de Client huet, mat engem detailléierte Tarifplang.
- "Ofkommes" - Informatiounen iwwert d'Accorde vum Client (souwuel oppen an zou): Prêten, Dépôten, etc., besot de Parameteren vun all.
- "Clienten" - eng Rei vun demographeschen Donnéeën (Geschlecht an Alter) an der Disponibilitéit vun Kontakt Informatiounen.
Fir d'Aarbecht brauche mir all Dëscher ausser der "Kaart".
Et war eng aner Schwieregkeet hei - an dësen Donnéeën huet d'Bank net uginn wat fir eng Aktivitéit op de Kaarten stattfonnt huet. Dat ass, mir konnten verstoen ob et Transaktiounen waren oder net, awer mir konnten hir Aart net méi bestëmmen. Dofir war et onkloer ob de Client Bargeld ofhëlt, eng Pai kritt oder d'Suen op Akeef ausginn. Mir haten och keng Donnéeën iwwer de Kontensaldo, wat nëtzlech gewiescht wier.
D'Probe selwer war onparteiesch - an dëser Sektioun, iwwer 19 Méint, huet d'Bank keng Versuche gemaach fir Clienten ze halen an den Ausfluss ze minimiséieren.
Also, iwwer Perioden vun Inaktivitéit.
Fir eng Definitioun vu Churn ze formuléieren, muss eng Period vun Inaktivitéit ausgewielt ginn. Fir eng Churn Prognose zu engem Zäitpunkt ze kreéieren , Dir musst eng Clientsgeschicht vu mindestens 3 Méint an engem Intervall hunn . Eis Geschicht war limitéiert op 19 Méint, also hu mir decidéiert eng Period vun Inaktivitéit vu 6 Méint ze huelen, wa verfügbar. A fir de Minimum Period fir eng héich-Qualitéit Prognosen, hu mir 3 Méint. Mir hunn d'Zuele fir 3 a 6 Méint empiresch geholl baséiert op enger Analyse vum Clientdatenverhalen.
Mir formuléiert d'Definitioun vu Churn wéi follegt: Mount vum Client Churn dat ass den éischte Mount mat ACTIVE_FLAG=0, wou ab dësem Mount op d'mannst sechs nofolgend Nullen am ACTIVE_FLAG Feld sinn, dat heescht de Mount aus deem de Client 6 Méint laang inaktiv war.
Zuel vu Clienten déi lénks
Zuel vun de Rescht Clienten
Wéi gëtt Churn berechent?
An esou Concoursen, an an der Praxis am Allgemengen, gëtt oft op dës Manéier Ausfluss virausgesot. De Client benotzt Produkter a Servicer zu verschiddenen Zäitperioden, Daten iwwer Interaktioun mat him sinn als Vecteure vun Features vun enger fixer Längt n duergestallt. Meeschtens enthält dës Informatioun:
- Daten déi de Benotzer charakteriséieren (demographesch Donnéeën, Marketingsegment).
- Geschicht vun der Notzung vu Bankeprodukter a Servicer (dëst sinn Clientsaktiounen déi ëmmer un eng spezifesch Zäit oder Period vum Intervall gebonnen sinn, dee mir brauchen).
- Extern Donnéeën, wann et méiglech war et ze kréien - zum Beispill, Rezensiounen aus sozialen Netzwierker.
An duerno ofgeleet se eng Definitioun vu Churn, anescht fir all Aufgab. Da benotze se e Maschinnléier Algorithmus, deen d'Wahrscheinlechkeet virausgesot datt e Client fortgeet baséiert op engem Vektor vu Faktoren . Fir den Algorithmus ze trainéieren, gëtt ee vun de bekannte Kadere benotzt fir Ensemblen vun Entscheedungsbeem ze bauen, , , oder Ännerungen dovun.
Den Algorithmus selwer ass net schlecht, awer et huet e puer sérieux Nodeeler wann et drëm geet Churn virauszesoen.
- Hien huet keng sougenannt "Erënnerung". Den Input vum Modell ass eng spezifizéiert Zuel vu Funktiounen, déi dem aktuellen Zäitpunkt entspriechen. Fir Informatiounen iwwert d'Geschicht vun Ännerungen am Parameteren ze späicheren, ass et néideg speziell Fonctiounen ze berechnen, datt Ännerungen am Parameteren iwwer Zäit charakteriséieren, zum Beispill, d'Zuel oder Betrag vun Bank Transaktiounen iwwer de leschten 1,2,3, XNUMX, XNUMX Méint. Dës Approche kann nëmmen deelweis d'Natur vun temporäre Ännerungen reflektéieren.
- Fixed Prognosen Horizont. De Modell ass fäeg de Client Churn fir eng virdefinéiert Zäit ze prediéieren, zum Beispill eng Prognose ee Mount am Viraus. Wann eng Prognose fir eng aner Zäit erfuerderlech ass, zum Beispill dräi Méint, da musst Dir den Trainingsset opbauen an en neie Modell nei trainéieren.
Eis Approche
Mir hunn direkt decidéiert datt mir keng Standard Approche benotzen. Nieft eis hunn sech nach 497 Leit fir de Championnat ugemellt, déi jidderee vill Erfahrung hannert sech haten. Also probéiert eppes no engem Standardschema an esou Konditiounen ze maachen ass net eng gutt Iddi.
A mir hunn ugefaang d'Problemer ze léisen, déi mam binäre Klassifikatiounsmodell konfrontéiert sinn, andeems mir d'Wahrscheinlechkeetsverdeelung vun de Client-Churnzäiten viraussoen. Eng ähnlech Approche kann gesi ginn , et erlaabt Iech de Churn méi flexibel virauszesoen a méi komplex Hypothesen ze testen wéi an der klassescher Approche. Als Famill vu Verdeelungen, déi d'Ausflusszäit modelléieren, hu mir d'Verdeelung gewielt fir seng verbreet Notzung an der Iwwerliewensanalyse. D'Behuele vum Client kann als eng Zort Iwwerliewe ugesi ginn.
Hei sinn Beispiller vu Weibull Wahrscheinlechkeet Dicht Verdeelungen je Parameteren и :
Dëst ass d'Wahrscheinlechkeet Dicht Funktioun vun dräi verschiddene Clienten churn iwwer Zäit. Zäit gëtt a Méint presentéiert. An anere Wierder, dës Grafik weist wéini e Client am meeschte wahrscheinlech an den nächsten zwee Méint churnéiert.Wéi Dir gesitt, huet e Client mat enger Verdeelung e méi grousst Potenzial fir méi fréi ze verloossen wéi Cliente mam Weibull(2, 0.5) a Weibull (3,1) Verdeelungen.
D'Resultat ass e Modell dee fir all Client, fir all
Mount prognostizéiert d'Parameter vun der Weibull Verdeelung, déi am Beschten d'Optriede vun der Wahrscheinlechkeet vum Ausfluss iwwer Zäit reflektéiert. Méi detailléiert:
- D'Zilfeatures am Trainingsset sinn d'Zäit déi bleift bis de Churn an engem spezifesche Mount fir e spezifesche Client.
- Wann et kee Churn Taux fir e Client gëtt, huelen mir un datt d'Churn Zäit méi grouss ass wéi d'Zuel vu Méint vum aktuelle Mount bis zum Enn vun der Geschicht déi mir hunn.
- Modell benotzt: widderhuelend neuralt Netzwierk mat LSTM Layer.
- Als Verloschtfunktioun benotze mir déi negativ Log-Wahrscheinlechkeetsfunktioun fir d'Weibull Verdeelung.
Hei sinn d'Virdeeler vun dëser Method:
- Wahrscheinlechkeet Verdeelung, zousätzlech zu der offensichtlecher Méiglechkeet vun der binärer Klassifikatioun, erlaabt flexibel Viraussoen vu verschiddenen Eventer, zum Beispill, ob e Client d'Servicer vun der Bank bannent 3 Méint ophält. Och, wann néideg, kënne verschidde Metriken iwwer dës Verdeelung duerchschnëttlech ginn.
- De LSTM widderhuelend neural Netzwierk huet Erënnerung a benotzt effektiv déi ganz verfügbar Geschicht. Wéi d'Geschicht erweidert oder raffinéiert gëtt, erhéicht d'Genauegkeet.
- D'Approche kann einfach skaléiert ginn wann Dir Zäitperioden a méi kleng opdeelt (zum Beispill wann Dir Méint a Wochen opdeelt).
Awer et ass net genuch fir e gudde Modell ze kreéieren; Dir musst och seng Qualitéit richteg evaluéieren.
Wéi gouf d'Qualitéit bewäert?
Mir hunn Lift Curve als Metrik gewielt. Et gëtt am Geschäft fir sou Fäll benotzt wéinst senger kloerer Interpretatioun, et ass gutt beschriwwen и . Wann Dir d'Bedeitung vun dëser Metrik an engem Saz beschreift, wier et "Wéi oft mécht den Algorithmus déi bescht Prognose an der éischter % wéi zoufälleg."
Training Modeller
D'Konkurrenzbedéngungen hunn net eng spezifesch Qualitéitsmetrik etabléiert, duerch déi verschidde Modeller an Approche kënne vergläichen. Ausserdeem kann d'Definitioun vu Churn anescht sinn a kann vun der Problemausso ofhängeg sinn, déi am Tour duerch Geschäftsziler bestëmmt gëtt. Dofir, fir ze verstoen wéi eng Method besser ass, hu mir zwee Modeller trainéiert:
- Eng allgemeng benotzt binär Klassifikatioun Approche mat engem Ensemble Decisioun Bam Maschinn Léieren Algorithmus ();
- Weibull-LSTM Modell
Den Testset bestoung aus 500 virausgewielten Clienten déi net am Trainingsset waren. Hyper-Parameteren goufen fir de Modell ausgewielt mat Kräizvalidatioun, opgedeelt vum Client. Déi selwecht Sets vu Features goufen benotzt fir all Modell ze trainéieren.
Wéinst der Tatsaach, datt de Modell kee Gedächtnis huet, goufen speziell Funktiounen dofir geholl, déi de Verhältnis vun den Ännerungen an de Parameteren fir ee Mount zum Duerchschnëttswäert fir Parameteren an de leschten dräi Méint weisen. Wat charakteriséiert den Taux vun Ännerung vun Wäerter iwwer déi lescht Period vun dräi Méint. Ouni dëst wier de Random Forest-baséiert Modell am Nodeel par rapport zu Weibull-LSTM.
Firwat LSTM mat Weibull Verdeelung ass besser wéi eng Ensemblen Décisioun Bam Approche
Alles ass kloer hei an nëmmen e puer Biller.
Verglach vun Lift Curve fir de klassesche Algorithmus a Weibull-LSTM
Verglach vun der Lift Curve Metrik no Mount fir de klassesche Algorithmus a Weibull-LSTM
Am Allgemengen ass LSTM iwwerhaapt dem klassesche Algorithmus a bal alle Fäll.
Churn Prognose
E Modell baséiert op engem widderholl neural Reseau mat LSTM Zellen mat Weibull Verdeelung kann churn Viraus virauszesoen, Zum Beispill, Viraus Client churn bannent den nächsten n Méint. Betruecht de Fall fir n = 3. An dësem Fall, fir all Mount, muss d'neural Reseau richteg bestëmmen ob de Client wäert verloossen, ab dem nächste Mount a bis den nth Mount. An anere Wierder, et muss richteg bestëmmen ob de Client no n Méint bleift. Dëst kann als Prognose am Viraus considéréiert ginn: de Moment virauszesoen, wou de Client just ugefaang ze denken iwwer d'Verlassung.
Loosst eis Lift Curve fir Weibull-LSTM 1, 2 an 3 Méint virum Ausfluss vergläichen:
Mir hu schonn uewe geschriwwen datt d'Prognosen fir Clienten, déi eng Zäit laang net méi aktiv sinn, och wichteg sinn. Dofir wäerte mir hei zu der Probe esou Fäll bäidroen, wann de fortgaang Client scho fir een oder zwee Méint inaktiv war, a kucken ob Weibull-LSTM esou Fäll korrekt als Churn klasséiert. Well esou Fäll an der Probe präsent waren, erwaarden mir datt d'Netzwierk se gutt behandelt:
Client Retention
Eigentlech ass dëst d'Haapt Saach, déi ka gemaach ginn, an der Hand Informatioun ze hunn datt esou an esou Cliente sech virbereeden fir de Produkt ze stoppen. Apropos e Modell ze bauen deen de Clienten eppes nëtzlech ka bidden fir se ze behalen, dëst kann net gemaach ginn wann Dir keng Geschicht vun ähnlechen Versuche hutt déi gutt ophalen.
Mir haten net esou eng Geschicht, also hu mir et esou decidéiert.
- Mir bauen e Modell deen interessant Produkter fir all Client identifizéiert.
- All Mount lafe mir de Klassifizéierer an identifizéieren potenziell verloosse Clienten.
- Mir bidden e puer Clienten de Produit, laut dem Modell vum Punkt 1, an erënneren eis Aktiounen.
- No e puer Méint kucke mir wéi eng vun dëse potenziell verloosse Clienten verlooss hunn a wat bliwwen ass. Sou bilden mir eng Trainingsprobe.
- Mir trainéieren de Modell mat der Geschicht, déi am Schrëtt 4 kritt gouf.
- Optional widderhuelen mir d'Prozedur, ersetzen de Modell vum Schrëtt 1 mam Modell deen am Schrëtt 5 kritt gouf.
En Test vun der Qualitéit vun esou Retentioun kann duerch regelméisseg A / B Tester gemaach ginn - mir trennen Clienten déi potenziell an zwou Gruppen verloossen. Mir bidden Produkter un engem baséiert op eisem Retentiounsmodell, an dem aneren bidde mir näischt. Mir hu beschloss, e Modell ze trainéieren, dee schonn um Punkt 1 vun eisem Beispill nëtzlech ka sinn.
Mir wollten d'Segmentatioun esou interpretéierbar wéi méiglech maachen. Fir dëst ze maachen, hu mir e puer Funktiounen ausgewielt, déi einfach interpretéiert kënne ginn: d'Gesamtzuel vun den Transaktiounen, Léin, Gesamtkontomsaz, Alter, Geschlecht. Fonctiounen aus der Tabell "Kaarten" goufen net als oninformativ berücksichtegt, an d'Features vun der Tabell 3 "Kontrakter" goufen net berücksichtegt wéinst der Komplexitéit vun der Veraarbechtung fir Datenleckage tëscht der Validatiounsset an dem Trainingsset ze vermeiden.
Clustering gouf mat Gaussesche Mëschungsmodeller duerchgefouert. Den Akaike Informatiounscritère huet eis erlaabt 2 Optima ze bestëmmen. Den éischten Optimum entsprécht 1 Cluster. Déi zweet Optimum, manner ausgeschwat, entsprécht 80 Cluster. Baséierend op dësem Resultat kënne mir déi folgend Conclusioun zéien: et ass extrem schwéier Daten an Cluster opzedeelen ouni a priori gegeben Informatioun. Fir bessere Clustering braucht Dir Daten déi all Client am Detail beschreift.
Dofir gouf de Problem vum iwwerwaachte Léieren berücksichtegt fir all eenzel Client en anert Produkt ze bidden. Déi folgend Produkter goufen considéréiert: "Term Depot", "Kreditkaart", "Overdraft", "Konsumentekredit", "Autosprêt", "Hypothéik".
D'Donnéeën enthalen eng méi Zort Produkt: "Kontaktuell". Awer mir hunn et net berücksichtegt wéinst sengem nidderegen Informatiounsinhalt. Fir Benotzer déi Bankcliente sinn, d.h. huet net opgehalen seng Produkter ze benotzen, e Modell gouf gebaut fir virauszesoen wéi ee Produkt hinnen interesséiere kéint. Logistesch Regressioun gouf als Modell gewielt, an de Liftwäert fir déi éischt 10 Prozentile gouf als Qualitéitsbewäertungsmetrik benotzt.
D'Qualitéit vum Modell kann an der Figur bewäert ginn.
Produit Empfehlung Modell Resultater fir Clienten
D 'Resultat
Dës Approche huet eis éischt Plaz an der Kategorie "AI in Banks" bei der RAIF-Challenge 2017 AI Championship bruecht.
Anscheinend war den Haapt Saach de Problem aus engem onkonventionelle Wénkel unzegoen an eng Method ze benotzen déi normalerweis fir aner Situatiounen benotzt gëtt.
Och wann e massiven Ausfluss vu Benotzer vläicht eng Naturkatastroph fir Servicer sinn.
Dës Method kann fir all aner Beräich Rechnung gedroe ginn, wou et wichteg ass, Rechnung ze huelen Outflow, net nëmmen Banken. Zum Beispill hu mir et benotzt fir eisen eegenen Ausfluss ze berechnen - an de Siberesche a St.
"Data Mining Laboratory" Firma "Sichportal "Sputnik"
Source: will.com