Néha ahhoz, hogy megoldjunk egy problémát, egyszerűen más szemszögből kell ránéznünk. Még ha az elmúlt 10 évben ezekkel a problémákkal mindig ugyanazzal a módszerrel is kezelték, különböző hatásokkal, nem biztos, hogy ez az egyetlen módszer.
Van egy téma, ami a vásárlók elvándorlása. Ez elkerülhetetlen, mert bármely cég vásárlói számos okból abbahagyhatják a termékeik vagy szolgáltatásaik használatát. Nyilvánvaló, hogy a cég számára ez az elvándorlás — bár természetes — de nem a legkívánatosabb dolog, ezért mindenki arra törekszik, hogy minimalizálja ezt. Még jobb lenne előre jelezni a különböző felhasználói kategóriák vagy egy adott felhasználó elvándorlásának valószínűségét, és javasolni valamilyen lépéseket a megtartásukhoz.
A vásárlók elemzése és megtartásra való törekvés, ha lehetséges, legalább a következő okokból szükséges:
- az új vásárlók megszerzése drágább, mint a megtartási folyamatok. Az új vásárlók megszerzésére általában költségeket kell fordítani (hirdetés), miközben a meglévő vásárlókat egy különleges ajánlattal, különleges feltételekkel aktiválhatjuk;
- a vásárlók távozásának okainak megértése kulcs a termékek és szolgáltatások fejlesztéséhez.
Vannak standard megközelítések a vásárlói elvándorlás előrejelzésére. De az egyik mesterséges intelligenciával kapcsolatos versenyen úgy döntöttünk, hogy kipróbáljuk ehhez a Weibull-eloszlást. Leggyakrabban a túlélés elemzésére, időjárás előrejelzésére, természeti katasztrófák elemzésére, ipari mérnöki alkalmazásokra és hasonlókra használják. A Weibull-eloszlás egy speciális eloszlási függvény, amelyet két paraméter paraméterez. 
és 
.
Wikipedia
Összességében érdekes dolog, de a vásárlói elvándorlás előrejelzésére, és általában a fintechben, nem annyira gyakran használják. A továbbiakban elmondjuk, hogyan csináltuk mi (Intelligens Adat-elemző Labor) ezt, miközben aranyat nyertünk az Mesterséges Intelligencia Bajnokság „AI a bankokban” kategóriájában.
A vásárlói elvándorlásról általában
Nézzük meg egy kicsit, mi az ügyféllemorzsolódás és miért olyan fontos. Az üzlet számára fontos az ügyfélkör. Ebbe a körbe új ügyfelek lépnek be, például, amikor egy hirdetésből értesülnek egy termékről vagy szolgáltatásról, egy ideig aktívan használják a termékeket, majd idővel abbahagyják a használatot. Ezt az időszakot nevezzük "Ügyfél életciklusnak" (angolul Customer Lifecycle) — ez a kifejezés leírja azokat a szakaszokat, amelyeken az ügyfél átmegy, amikor megismeri a terméket, vásárlási döntést hoz, kifizet, használja és hűséges fogyasztóvá válik, végül pedig különböző okok miatt abbahagyja a használatot. Így az ügyféllemorzsolódás az ügyfél életciklusának záró szakasza, amikor az ügyfél abbahagyja a szolgáltatások igénybevételét, ami az üzlet számára azt jelenti, hogy az ügyfél már nem hoz profitot vagy bármilyen hasznot.
Minden banki ügyfél konkrét személy, aki saját igényei szerint választ egy vagy másik bankkártyát. Gyakran utazik — jól jön egy kilométergyűjtő kártya. Sok vásárlása van — üdvözöljük, a cashback-kártya. Sok vásárlás egy adott boltban — erre már van speciális partneri kártya. Természetesen néha a kártya kiválasztása a "Legolcsóbb szolgáltatás" kritériuma alapján történik. Szóval, elég sok változó van itt.
Ezenkívül az emberek a bankot is maguk választják — mi értelme van egy olyan bankkártyát választani, amelynek fiókjai csak Moszkvában és környékén vannak, ha te Habarovszkból származol? Még ha a bank ilyen kártyája kétszer előnyösebb is, a bank közeli fiókjának megléte továbbra is fontos szempont. Igen, 2019 már itt van, és a digital a mi mindenünkké vált, de számos kérdést bizonyos bankok esetében csak a fiókban lehet megoldani. Plusz, ismét, egyes emberek sokkal inkább bíznak a fizikai bankban, nem pedig egy okostelefonos alkalmazásban, ezt is figyelembe kell venni.
Ennek következtében számos oka lehet az ügyfél banki termékek (vagy maga a bank) elutasításának. Munkahelyet váltott, és a kártya tarifája a "Bér-"-ről "Átlagos halandókra" változott, ami kevésbé előnyös. Más városba költözött, ahol nincsenek banki fiókok. Nem tetszett a tapasztalata a nem képzett ügyintézővel a fiókban. Tehát a számla megszüntetésének okai akár bőségesebbek is lehetnek, mint a termék használatának indokai.
Ezenkívül az ügyfél nemcsak kifejezetten kinyilváníthatja szándékát — elmegy a bankba és benyújt egy kérelmet, hanem egyszerűen abbahagyhatja a termékek használatát anélkül, hogy megszüntetné a szerződést. Az ilyen feladatok megértéséhez döntöttünk úgy, hogy gépi tanulást és mesterséges intelligenciát használunk.
Emellett az ügyfelek elvándorlása bármely iparágban előfordulhat (távközlés, internetszolgáltatók, biztosítótársaságok, lényegében bárhol, ahol ügyfélbázis és időszakos tranzakciók vannak).
Mit tettünk
Először is, világosan meg kellett határozni a határvonalat — mikortól kezdve számítjuk az ügyfelet eltűntnek. A bank szempontjából, amely az adatokat biztosította számunkra, az ügyfél aktivitási állapota bináris volt — vagy aktív, vagy nem. Volt egy ACTIVE_FLAG zászló az "Aktivitás" táblázatban, amelynek értéke lehetett "0" vagy "1" (tulajdonképpen "Nem aktív" vagy "Aktív"). Minden rendben lenne, de az emberek olyanok, hogy egy ideig aktívan használják a szolgáltatásokat, majd egy hónapra eltűnnek az aktívok közül — megbetegednek, külföldre utaznak pihenni, vagy esetleg más bank kártyáját tesztelik. Vagy akár hosszú inaktív időszak után újra kezdenek banki szolgáltatásokat igénybe venni.
Ezért úgy döntöttünk, hogy az inaktivitás időszakát egy adott folytonos időintervallumként határozzuk meg, amely során a zászló értéke "0"-ra állt.
Az ügyfelek változatos hosszúságú inaktív időszakokból visszatérnek az aktív státuszba. Lehetőségünk nyílik arra, hogy kiszámítsuk az "inaktív időszakok megbízhatósága" empirikus érték mértékét — tehát annak valószínűségét, hogy az ember ismét használni kezdi a bank termékeit egy időszakos inaktivitás után.
Például, ezen a grafikonon látható az ügyfelek aktivitásának (ACTIVE_FLAG=1) helyreállása néhány hónapos inaktivitás (ACTIVE_FLAG=0) után.
Itt egy kicsit pontosítjuk az adatokat, amelyekkel kezdtünk dolgozni. Tehát a bank összesített információkat nyújtott be 19 hónapról az alábbi táblázatokban:
- "Aktivitás" — az ügyfelek havi tranzakciói (kártyákon, online bankban és mobilbankban), beleértve a fizetések és a forgalmi adatok információit.
- "Kártyák" — az ügyfél által birtokolt összes kártyára vonatkozó adatok, részletes díjszabási táblázattal.
- A „Szerződések” a kliens szerződéseiről szóló információk (nyitott és zárt): hitelek, betétek és egyéb, az egyes paraméterek megjelölésével.
- A „Kliensek” demográfiai adatok (nem és életkor) és a kapcsolattartási adatok megléte.
A munkához szükségünk volt az összes táblázatra, kivéve a „Térképek”-et.
A nehézség itt az volt, hogy ezekben az adatokban a bank nem jelezte, hogy pontosan milyen tranzakciók zajlottak a kártyákon. Tehát azt meg tudtuk állapítani, hogy voltak-e tranzakciók, de a típusukat már nem. Így nem volt világos, hogy a kliens készpénzt vett fel, bérleti díjat kapott, vagy vásárlásokra költötte a pénzét. Ráadásul nem voltak adataink a számlák egyenlegéről, ami hasznos lett volna.
A kiválasztás önálló volt – ezen a szelete a bank 19 hónap alatt nem tett semmilyen próbálkozást az ügyfelek megtartására és az elfolyás minimalizálására.
Nos, itt a passzív időszakokról van szó.
Az elfolyás meghatározásához ki kell választani egy passzív időszakot. Ahhoz, hogy előrejelzést készítsünk az elfolyásról egy adott időpontban, 
minimum 3 hónapos ügyféltörténetre van szükség az időszakban. 
A történetünk 19 hónapra korlátozódott, ezért úgy döntöttünk, hogy a passzív időszakot 6 hónapra vesszük, ha van. A minőségi előrejelzéshez minimális időszaknak 3 hónapot határoztunk meg. A 3 és 6 hónapos számokat empirikusan választottuk a kliensek viselkedésének elemzéséből.
Az elfolyás meghatározását így fogalmaztuk meg: az ügyfél elfolyási hónapja 
az az első hónap, amikor az ACTIVE_FLAG=0, és ettől a hónaptól kezdve legalább hat egymást követő nulla van az ACTIVE_FLAG mezőben, más szóval, a hónap, amellyel az ügyfél 6 hónapig nem volt aktív.
A távozott ügyfelek száma
A megmaradt ügyfelek száma
Azt tartják, hogy az elfolyás
Ilyen versenyeken, és úgy általában a gyakorlatban az elfolyást gyakran ezzel a módszerrel becsülik. Az ügyfél különböző időpontokban használja a termékeket és szolgáltatásokat, az interakcióról szóló adatait pedig egy rögzített hosszúságú n-es jellemzővektor formájában mutatják be. Leggyakrabban ebbe az információba tartozik:
- A felhasználót jellemző adatok (demográfiai adatok, piaci szegmens).
- A banki termékek és szolgáltatások használatának története (ezek a kliens cselekedetei, amelyek mindig egy adott időponthoz vagy a számunkra szükséges időszakhoz kötődnek).
- Külső adatok, ha sikerült azokat megkapni — például vélemények a közösségi médiából.
Csak ezt követően határozzák meg a lemorzsolódás fogalmát, azaz saját megközelítésük szerint minden feladatnál. Ezután használják a gépi tanulás algoritmusát, amely előre jelzi az ügyfél távozásának valószínűségét. 
a tényezők vektorán alapul. 
. Az algoritmus tanítására a döntési fák ensemble építésére szolgáló ismert keretrendszereket alkalmaznak, , , vagy azok módosítói.
Magában az algoritmus nem rossz, de a lemorzsolódás előrejelzésében van néhány komoly hátránya.
- Nincs úgynevezett "memóriája". A modell bemenetére a megadott számú jellemző érkezik, amelyek a jelen időpontnak felelnek meg. Ahhoz, hogy a paraméterek változásának történetét rögzíthessük, speciális jellemzők kiszámítására van szükség, amelyek a paraméterek időbeli változásait jellemzik, például a banki tranzakciók számát vagy összegét az utolsó 1, 2, 3 hónapban. Ez a megközelítés csak részben tükrözi az időbeli változások jellegét.
- Rögzített előrejelzési horizont. A modell csak egy előre meghatározott időintervallumra képes előre jelezni az ügyfelek lemorzsolódását, például egy hónapra előre. Ha más időintervallumra van szükség, például három hónapra, akkor az oktatási mintát újra kell építeni és egy új modellt kell betanítani.
A megközelítésünk
Azonnal eldöntöttük, hogy nem használjuk a szabványos megközelítéseket. A bajnokságban mellettünk 497 másik résztvevő is regisztrált, akik közül mindenkinek jelentős tapasztalata volt. Tehát megpróbálni valami szokásos sémát követni ilyen körülmények között — nem a legjobb ötlet.
És elkezdtük a bináris klasszifikációs modell előtt álló problémákat a tényezők lemorzsolódásának valószínűségi eloszlásának előrejelzésével kezelni. Ez a megközelítés rugalmasabb mozzanatokat tesz lehetővé az előrejelzésben és bonyolultabb hipotézisek tesztelésére, mint a klasszikus megközelítések. Az ügyfél lemorzsolódásának időtartamát modellező eloszlások családjaként a Weibull-eloszlást választottuk за его широкое применение в анализе выживаемости. Поведение клиента можно рассматривать как своего рода выживаемость.
Itt vannak a Weibull valószínűségi sűrűség eloszlások példái a paraméterek függvényében. 
és 
:
Ez a három különböző ügyfél ügyfél-elvándorlásának valószínűségi eloszlását mutatja az idő függvényében. Az idő hónapokban került bemutatásra. Más szavakkal, ez a grafikon megmutatja, mikor a legvalószínűbb, hogy az ügyfél az elkövetkező két hónapban el fog vándorolni. Mint látható, az eloszlással rendelkező ügyfél nagyobb potenciállal bír arra, hogy korábban távozzon, mint a Weibull(2, 0.5) és Weibull(3,1) eloszlású ügyfelek.
Végül egy olyan modellt kapunk, amely minden ügyfél számára bármely hónapban előrejelzi a Weibull eloszlás paramétereit, amelyek a legjobban tükrözik az elvándorlás valószínűségét az idő függvényében. Részletesebben:
A célzott jellemzők a tanuló mintában: az idő, amely az adott hónapig hátra van az elvándorlásig egy konkrét ügyfél esetében.
- Ha az ügyfél elvándorlási mutatójával nem rendelkezünk, feltételezzük, hogy az elvándorlás időpontja későbbi, mint a hónapok számának kezdetétől, a jelenlegi időpontig és a fennálló történetéig.
- Használt modell: rekurzív neurális hálózat LSTM réteggel.
- A veszteségfüggvényként a Weibull eloszlás negatív logaritmikus valószínűségi függvényét használjuk.
- Íme, hogy milyen előnyei vannak ennek a módszernek:
A valószínűségi eloszlás, a magától értetődő bináris osztályozáson kívül, rugalmasan lehetővé teszi különböző események előrejelzését, például, hogy az ügyfél abbahagyja-e a banki szolgáltatások igénybevételét 3 hónapon belül. Ezenkívül, ha szükséges, ezzel az eloszlással különböző mutatók átlagolhatók.
- A LSTM rekurzív neurális hálózat memóriával rendelkezik, és hatékonyan használja fel a teljes történeti adatot. A történet bővítése vagy pontosítása segíti a pontosság növekedését.
- A megközelítést zökkenőmentesen lehet skálázni, ha az időintervallumokat kisebb egységekre bontjuk (például a hónapokat hetekre).
- De nem elegendő egy jó modellt létrehozni, a minőségét is megfelelően kell értékelni.
Hogyan értékeltük a minőséget
A metrikaként a Lift Curve-t választottuk. Ezt az üzleti életben ilyen esetekben használják a könnyen érthető értelmezése miatt, jól le van írva.
Ha egy mondatban fogalmazzuk meg ennek a metrikának az értelmét, így hangzik: „Hányszorosát előrejelezheti az algoritmus az első és % -ban, mint véletlenszerűen”. 
Modelleket tanítunk.
Обучаем модели
A versenyfeltételek nem határoztak meg konkrét minőségi metrikát, amellyel különböző modellek és megközelítések összehasonlíthatók lennének. Sőt, a lemorzsolódás fogalmának meghatározása változó lehet, és függhet a feladat megfogalmazásától, amely viszont a üzleti célok által van meghatározva. Ezért annak érdekében, hogy megértsük, melyik módszer a jobb, két modellt képeztünk ki:
- A gépi tanuláson alapuló döntési fák ensemble-jének bináris osztályozásához gyakran használt megközelítés ();
- Weibull-LSTM modell
A tesztelő minta 500 előre kiválasztott ügyfélből állt, akik nem voltak benne a tanulási mintában. A modellhez hiperparaméterek kiválasztása történt kereszt-validációval, az ügyfelek szerinti bontásban. Minden modellhez azonos jellemzőkészletek kerültek felhasználásra.
Mivel a modell nem rendelkezik memóriával, ezért különböző jellemzőket vettek figyelembe, amelyek megmutatták egy hónap paramétereinek változásának arányát az elmúlt három hónap átlagos paramétereihez képest. Ez jellemezte az utolsó három hónap értékeinek változási sebességét. E nélkül a Random Forest alapú modell előnyben lett volna a Weibull-LSTM-mel szemben.
Miért jobb az LSTM Weibull-eloszlással, mint a döntési fák ensemble-jén alapuló megközelítés
Itt mindez kétségtelenül látható, szinte egy-két képpel.
A Lift Curve összehasonlítása a klasszikus algoritmus és a Weibull-LSTM között
A Lift Curve metrika havi összehasonlítása a klasszikus algoritmus és a Weibull-LSTM között
Összességében az LSTM szinte minden esetben felülmúlja a klasszikus algoritmust.
Lemorzsolódás előrejelzése
A Weibull-eloszlással rendelkező LSTM cellákkal működő rekurzív neurális hálózaton alapuló modell előre tudja jelezni a lemorzsolódást, például meg tudja előre mondani, hogy egy ügyfél az elkövetkező n hónapban távozik-e. Vegyük a n = 3 esetet. Ebben az esetben a neurális hálónak minden hónapban helyesen kell meghatároznia, hogy az ügyfél távozik-e a következő hónaptól kezdve a n-edik hónapig. Más szóval, helyesen kell megmondania, hogy az ügyfél marad-e n hónap elteltével. Ez előrejelzésnek tekinthető: annak előrejelzése, mikor kezdett el az ügyfél távozni gondolkodni.
Hasonlítsuk össze a Weibull-LSTM Lift Curve-ját 1, 2 és 3 hónappal a lemorzsolódás előtt:
Már írtunk róla, hogy fontosak azok az előrejelzések is, amelyeket azoknak az ügyfeleknek készítenek, akik egy időre aktivitásukból kiesnek. Ezért ezen a ponton hozzátesszük a mintához azokat az eseteket, amikor az ügyfél már egy vagy két hónapja inaktív volt, és ellenőrizzük, hogy a Weibull-LSTM helyesen osztályozza-e ezeket az eseteket elvándorlásként. Mivel ezek az esetek jelen voltak a mintában, arra számítunk, hogy a hálózat jól fogja kezelni őket:
Ügyféltartás
Igazából ez az a fő dolog, amit tehetünk, ha tudjuk, hogy bizonyos ügyfelek készülnek abbahagyni a termék használatát. Ha az ügyfelek megtartására hasznos ajánlásokat ajánló modell felépítéséről beszélünk — ezt nem tudjuk megvalósítani, ha nincsenek az ilyen próbálkozásokról pozitív tapasztalataink.
Nekünk nem volt ilyen tapasztalatunk, ezért így döntöttünk.
- Modellek építése, amelyek érdekes termékeket határoznak meg minden ügyfél számára.
- Minden hónapban futtatjuk a klasszifikátort, és meghatározzuk a potenciálisan elvándorló ügyfeleket.
- Az ügyfelek egy részének kínálunk termékeket az 1. pontban lévő modell szerint, és rögzítjük a tevékenységeinket.
- Néhány hónap elteltével megnézzük, hogy ezek közül a potenciálisan elvándorló ügyfelek közül ki távozott, és ki maradt. Ezzel alakítjuk ki a tanuló mintát.
- A 4. pontban szerzett történeten tanítjuk a modellt.
- Opcionálisan megismételjük az eljárást, cserélve az 1. pontból származó modellt a 5. pontban kapott modellel.
Az ilyen tartási intézkedés minőségének ellenőrzése általános A/B tesztelés lehet — elosztjuk az elvándorlásra potenciálisan hajlamos ügyfeleket két csoportra. Az egyiket a tartási modellünk alapján ajánlott termékekkel látjuk el, míg a másiknak semmit nem ajánlunk. Úgy döntöttünk, hogy modellt tanítunk, amely hasznot hozhat már az 1. pontban a példánkban.
A szegmentációt a lehető legérthetőbbé akartuk tenni. Ehhez kiválasztottunk néhány olyan jellemzőt, amely könnyen értelmezhető volt: a tranzakciók összesített száma, a fizetés, a számla összesített forgalma, az életkor, a nem. A 'Kártyák' táblázat jellemzőit nem vettük figyelembe, mivel információban szegények voltak, míg a 3. 'Szerződések' táblázat jellemzőit azért nem, mert bonyolultabb feldolgozást igényeltek, hogy elkerüljük az adatszivárgást a validációs és a tanuló minta között.
A klaszterezést Gaussian keverési modellek segítségével végezték. Az Akaike-információs kritérium lehetővé tette 2 optimális megoldás meghatározását. Az első optimum az 1 klasztert képviseli. A második, kevésbé kifejezett optimum 80 klasztert képvisel. E megállapítás alapján a következő következtetést vonhatjuk le: az adatokat rendkívül nehéz klaszterekre osztani a priori megadott információk nélkül. A jobb minőségű klaszterezéshez olyan adatokra van szükség, amelyek részletesen leírják az egyes ügyfeleket.
Ezért megvizsgálták a felügyelt tanulás problémáját, hogy minden egyes ügyfél számára saját terméket ajánlhassanak. A következő termékeket vették fontolóra: „Rövid távú betét”, „Hitelkártya”, „Overdraft”, „Fogyasztói hitel”, „Autóhitel”, „Jóváhagyott hitel”.
Az adatok között volt egy másik terméktípus is: „Folyószámla”. De ezt nem vizsgáltuk a kis információtartalom miatt. Azoknak a felhasználóknak, akik a bank ügyfelei, azaz nem hagyták abba a termékek használatát, egy modellt építettek, amely megjósolja, mely termék lehet érdekes számukra. A modell logisztikus regressziót használt, az értékelési metrikaként pedig a Lift értékét az első 10 percentilisben.
A modell minőségét a képen lehet értékelni.
A termékajánlási modell eredményei az ügyfelek számára
Result
Ez a megközelítés hozta meg számunkra az első helyet az „AI a bankokban” kategóriában a 2017-es RAIF-Challenge mesterséges intelligencia versenyen.
Nyilvánvalóan a legfőbb az volt, hogy a problémát nem a megszokott nézőpontból közelítsük meg, és olyan módszert alkalmazzunk, amit más helyzetekben szoktak használni.
Bár a felhasználók tömeges elvándorlása valóban lehet a szolgáltatások számára természeti katasztrófa.
Ezt a módszert más területeken is érdemes figyelembe venni, ahol fontos a kivándorlás figyelembevétele, nemcsak a bankok esetében. Például mi is használtuk a saját kivándorlásunk számítására — a Rosztelekom szibériai és pétervári fiókjában.
A „Kutató a Data Science Laboratóriuma” a „Műhold keresőportál” vállalat.
Forrás: habr.com
