Kuidas me ennustasime töötajate lahkumist nagu looduskatastroofi

Mõnikord on mingi probleemi lahendamiseks vaja lihtsalt sellele teisest vaatenurgast pilk heita. Ehkki viimased kümme aastat on sarnaseid probleeme lahendatud ühtmoodi, eri tulemustega, ei pruugi see olla ainus võimalus.

On selline teema nagu klientide lahkumine. See on paratamatu, kuna igasuguste põhjuste tõttu võivad kliendid igal ettevõttel lõpetada selle toodete või teenuste kasutamise. Loomulikult on lahkumine ettevõtte jaoks, kuigi loomulik, ebasoovitav, seega püütakse seda protsessi minimeerida. Veel parem oleks prognoosida lahkumise tõenäosust teatud kasutajate kategooriate või konkreetsete kasutajate osas ja pakkuda lahendusi nende hoidmiseks.

Kliendi analüüsimine ja proovimine teda hoida, kui see on võimalik, on vajalik vähemalt järgmistel põhjustel:

• uute klientide kaasamine on kulukam kui hoidmisprotseduurid. Uute klientide kaasamiseks on tavaliselt vaja kulutada teatud raha (reklaam), samas kui olemasolevaid kliente saab aktiveerida eripakkumisega spetsiaalsete tingimustega;
• Kliendi lahkumise põhjuste mõistmine on võti toodete ja teenuste parendamiseks.

Eksisteerivad standardsed lähenemisviisid lahkumise prognoosimiseks. Kuid ühel tehisintellekti meistrivõistlusel otsustasime proovida selleks Weibulli jaotust. Seda kasutatakse peamiselt ellujäämise analüüsis, ilmaprognoosimisel, looduskatastroofide analüüsimisel, tööstuslikus inseneritehnikas ja mujal. Weibulli jaotus on spetsiaalne jaotuse funktsioon, mida iseloomustavad kaks parameetrit. ja .

Vikipeedia

Üldiselt on see põnev teema, kuid lahkumise prognoosimiseks ning laiemalt finantstehnoloogias ei kasutata seda just sageli. Allpool räägime, kuidas me (Andmeanalüüsi Labor) seda tegime, samal ajal teenides kuldmedali tehisintellekti meistrivõistlustel kategoorias „AI panganduses”.

Lahkumisest tervikuna

Vaatame veidi lähemalt, mis on kliendi voolavus ja miks see on nii oluline. Äri jaoks on oluline kliendibaas. See hõlmab uusi kliente, kes saavad teadlikuks tootest või teenusest reklaami kaudu, elavad mõnda aega (kasutavad aktiivselt tooteid) ja mõne aja pärast lõpetavad kasutamise. Seda perioodi nimetatakse "Kliendi elutsükliks" (ingl. k. Customer Lifecycle) – see on termin, mis kirjeldab etappe, mille klient läbib, kui ta saab teavet tootest, teeb ostuotsuse, maksab, kasutab ning saab lojaalseks tarbijaks, kuni lõpuks lõpetab kasutamise erinevatel põhjustel. Seega, voolavus on kliendi elutsükli viimane etapp, mil klient lõpetab teenuste kasutamise, ja äri jaoks tähendab see, et klient on lakkaudnud kasumlik olema ja ei too enam kasu.

Iga panga klient on konkreetne inimene, kes valib endale sobiva pangakaardi. Reisimiseks vajab ta võib-olla miili kaarti. Kui ta ostab palju, siis tere, tagasimaksekaart. Kui palju ostetakse spetsiifilistes poodides, siis on olemas ka spetsiaalne partnerkaardivalik. Muidugi, mõnikord valitakse kaart ka kriteeriumi järgi: "kõige odavam teenindus." Ühesõnaga, siin on piisavalt muutujaid.

Inimene valib ka pankade vahel — milleks valida pangakaart pangalt, mille filiaalid asuvad ainult Moskvast ja selle ümbrusest, kui oled Habarovskist? Isegi kui selle panga kaart on kaks korda soodsam, on filiaalide kohalolek oluline kriteerium. Jah, 2019 on juba kohal ja digitaalne on meie kõik, kuid teatud küsimusi mõnede pankadega saab lahendada vaid filiaalis. Lisaks, osa elanikkonnast usaldab palju rohkem füüsilist panka kui nutitelefonis olevat rakendust, seda tuleb samuti arvesse võtta.

Seetõttu võib inimesel olla palju põhjuseid pangatooteid (või isegi pangast) loobuda. Töökoha vahetus võib viia kaartide tariifi muutumiseni palgatariifist "Tavainimesele", mis on vähem soodne. Kolimine teise linna, kus panga filiaale pole. Ebaõnnestunud suhtlemine kvalifitseerimata teenindajaga pangas. Seega võib arvelduskonto sulgemiseks olla isegi palju rohkem põhjuseid kui toote kasutamiseks.

Lisaks ei pruugi klient mitte ainult selgelt oma kavatsusest teada anda — tulla pangas ja kirjutada avaldus, vaid lihtsalt lõpetada toodete kasutamine, katkestamata lepingut. Just selliste probleemide mõistmiseks otsustatigi kasutada masinõpet ja tehisintellekti.

Veelgi enam, klientide lahkumine võib toimuda igas valdkonnas (telekommunikatsioon, interneti teenusepakkujad, kindlustusettevõtted — üldiselt igal pool, kus on kliendibaas ja perioodilised tehingud).

Mida me tegime

Esiteks pidime määratlema selge piiri — millal hakkame klienti lahkunudena arvesse võtma. Panga vaatepunktist, mis andis meile tööks andmed, oli kliendi aktiivsus binaarne — ta on kas aktiivne või mitte. "ACTIVE_FLAG" lipp oli "Aktiivsus" tabelis, mille väärtus võis olla kas "0" või "1" (vastavalt "Passiivne" ja "Aktiivne"). Kõik oleks hästi, kui inimene ei oleks selline, et ta võib mingil hetkel aktiivselt teenuseid kasutada, aga seejärel jääda kuuks ajaks mitteaktiivseks — haigestus, läks teise riiki puhkama või koguni hakkas proovima teise panga kaarti. Võib-olla pärast pikka mitteaktiivsuse perioodi hakkab ta jälle pangateenuseid kasutama.

Seega otsustasime, et mitteaktiivsuse perioodiks peetakse kindlat katkematut ajavahemikku, mille jooksul tema lipp oli määratud väärtusele "0".

Kliendid muutuvad mitteaktiivsetest aktiivseteks pärast erineva kestusega mitteaktiivsuse perioode. Meil on võimalus arvutada empiirilise suuruse "mitteaktiivsuse perioodide usaldusväärsus" — see tähendab, kui tõenäoline on, et inimene hakkab pärast ajutist mitteaktiivsust uuesti panga teenuseid kasutama.

Näiteks on sellel graafikul näidatud klientide aktiivsuse taastumine (ACTIVE_FLAG=1) pärast mitme kuu mitteaktiivsust (ACTIVE_FLAG=0).

Siin täiendame andmekogumit, millega me töötama hakkasime. Seega esitas pank 19 kuu kokkuvõtlikku teavet järgmistes tabelites:

• "Aktiivsus" — klientide igakuised tehingud (kaardid, internetipank ja mobiilipank), sealhulgas palga väljamaksed ja käibeteave.
• "Kaardid" — kõikide kliendi kaartide andmed, koos üksikasjaliku hinnakujundusega.
• "Lepingud" — kliendi lepingute teave (nii avatud kui suletud): laenud, hoiused ja muud, koos igaühe parameetritega.
• "Kliendid" — demograafiliste andmete kogum (sugu ja vanus) ning kontaktandmete olemasolu.

Kasutamiseks vajasime kõiki tabelite, välja arvatud „Kaardid“.

Siin oli keerukus selles, et nendes andmetes ei märkinud pank, milline konkreetne tegevus kaardiga toimus. See tähendab, et me saime aru, kas tehingud toimusid või mitte, kuid me ei suutnud määrata nende tüüpi. Seetõttu ei olnud selge, kas klient võttis sularaha, sai palka või kulutas raha ostele. Ja meil polnud ka andmeid arvelduskontode jääkide kohta, mis oleks olnud kasulikud.

Valim ise oli mitteasetatud — sellel lõikes ei olnud pank 19 kuu jooksul teinud ühtegi katset klientide hoidmiseks ja lahkumise vähendamiseks.

Nii et, räägime mitteaktiivsuse perioodidest.

Lahkumise määratlemiseks tuleb valida mitteaktiivsuse periood. Et luua lahkumise prognoos kindlal ajahetkel, peame olema vähemalt 3 kuu kliendi ajalugu ajavahemikus . Ajalugu oli meil piiratud 19 kuuga, seetõttu otsustasime võtta mitteaktiivsuse perioodiks 6 kuud, kui see on olemas. Kui kvaliteetse prognoosi jaoks võtsime minimaalse perioodi 3 kuud. Numbrid 3 ja 6 kuud võtsime empiiriliselt nende klientide käitumise analüüsi alusel.

Kliendi lahkumise määratlemine on selline: lahkumise kuu see on esimene kuu, kus ACTIVE_FLAG=0, kus alates sellest kuust on ACTIVE_FLAG väljal kuus järjestikku nulli, teisisõnu, kuu, mil klient oli 6 kuud mitteaktiivne.

Kadunud klientide arv

Jäävate klientide arv

Kuidas on tavaks pidada lahkumist

Sellistes võistlustes, aga ka tegelikult, prognoositakse lahkumist üsna tihti just seda teed. Klient kasutab tooteid ja teenuseid erinevatel aegadel, tema suhtlemise andmed esitatakse fikseeritud pikkusega tunnuste vektorina n. Enamasti sisaldab see teave:

• Kasutaja iseloomustavad andmed (demograafilised andmed, turusegment).
• Pangandustoodete ja -teenuste kasutamise ajalugu (need on klientide toimingud, mis on alati seotud konkreetse aja või ajavahemikuga, mis meid huvitab).
• Välised andmed, kui need on kätte saadud — näiteks sotsiaalmeedia arvustused.

Ja pärast seda tuua välja kliendivoolu määratlus, mis on iga ülesande jaoks omamoodi. Seejärel kasutatakse masinõppe algoritmi, mis prognoosib kliendi lahkumise tõenäosust. faktoreid arvesse võttes . Algoritmi õpetamiseks kasutatakse ühte tuntud otsustuspuid kokkuvad fookusraamistiku raamistikku, XGBoost, LightGBM, CatBoost või nende modifikatsioone.

Algoritm iseenesest pole halb, kuid just klientide voogude prognoosimise osas on tal mitmeid tõsiseid puudusi.

• Tal puudub nii öeldud "mälu". Mudeli sisendiks on määratud hulk tunnuseid, mis vastavad praegusele ajahetkele. Ajaloo teabe salvestamiseks parameetrite muutumise kohta on vajalik arvutada spetsiaalsed tunnused, mis iseloomustavad parameetrite ajas muutumist, näiteks pankade tehingute arv või summa viimase 1, 2, 3 kuu jooksul. Selline lähenemine võib vaid osaliselt peegeldada ajas toimuvaid muutusi.
• Fikseeritud prognoosimishorisont. Mudel suudab ennustada klientide lahkumist ainult eelnevalt määratud ajavahemikuks, näiteks ühe kuu ette. Kui on vaja prognoosi teise ajavahemiku, näiteks kolme kuu jaoks, tuleb treenimiskogum ümber korraldada ja uut mudelit treenida.

Meie lähenemine

Otsustasime kohe, et ei kasuta tavapäraseid lähenemisi. Meie kõrval on registreerunud veel 497 inimest, kellel on tugev kogemus. Seega on tavapärasel skeemil katsetamine sellistes tingimustes mitte kõige parem mõte.

Ja hakkasime lahendama mudeli binaarse klassifikatsiooni probleeme klientide lahkumise tõenäosuse jaotuse prognoosimise kaudu. Sellist lähenemist on võimalik vaadata siit, see võimaldab ennustada lahkumist paindlikumalt ja kontrollida keerukamaid hüpoteese kui klassikaline lähenemine. Lahkumise ajakava mudelina valisime jaotuse Weibulli lai kasutamine ellujäämise analüüsis. Kliendi käitumist saab käsitleda omamoodi ellujäämisena.

Need probabilistlikud tihedusjaotused Weibulli järgi olenevalt parameetritest ja :

See on kolme erineva kliendi kliendist lahkumise tõenäosuse jaotuse tihedus ajas. Aeg on esitatud kuude kaupa. Teisisõnu, see diagramm näitab, millal on kõige tõenäolisem, et klient lahkub järgmise kahe kuu jooksul. Nagu näha, on kliendil, kellel on jaotus, suurem tõenäosus lahkuda varem kui klientidel, kelle jaotused on Weibull(2, 0.5) ja Weibull(3,1).

Tulemuseks on mudel, mis prognoosib iga kliendi jaoks igal kuul Weibulli jaotuse parameetreid, mis peegeldavad kõige paremini lahkumise tõenäosuse muutumist ajas. Kui rääkida lähemalt:
Sihtmärgi tunnused koolitusandmestikus — aeg, mis jääb lahkumiseni konkreetse kuu jaoks konkreetse kliendi puhul.

• Kui kliendil pole lahkumisnäitajat, eeldame, et lahkumise aeg on pikem kui kuude arv alates praegusest hetkest kuni meie olemasoleva ajaloo lõpuni.
• Kasutatav mudel: korduvneuraalvõrk LSTM-kihiga.
• Kasutatav mudel: korduv närvivõrk LSTM kihiga.
• Kahjuks funktsioonina kaotuse kasutatakse negatiivset logaritmilist tõenäosusfunktsiooni Weibli jaotuse jaoks.

Siin on selle meetodi eelised:

• Tõenäosusjaotus, välja arvatud ilmne võimalus binaarsete klassifikatsioonide jaoks, võimaldab paindlikult ennustada erinevaid sündmusi, näiteks kas klient lõpetab panga teenuste kasutamise kolme kuu jooksul. Samuti on võimalik selle jaotuse alusel erinevaid mõõdikuid keskmistada.
• LSTM-rekurrentsel närvivõrgul on mälu ja see kasutab tõhusalt kogu olemasolevat ajalugu. Ajaloo laiendamisel või täpsustamisel täpsus suureneb.
• Meetodit saab probleemideta skaleerida, jagades ajavahemikke väiksemateks (näiteks kuudeks nädalateks).

Kuid hea mudeli loomine ei piisa, tuleb ka korralikult hinnata selle kvaliteeti.

Kuidas kvaliteeti hinnati

Kuna mõõdikuna valisime Lift Curve'i. Seda kasutatakse äris sarnastes olukordades arusaadava tõlgenduse tõttu, see on hästi dokumenteeritud. siin ja siit. Kui iseloomustada selle mõõdiku mõtet ühe lausega, siis oleks see "Mitu korda on algoritm paremat ennustust teinud esimestel %, kui juhuslikult.

Treenerid mudelid

Võistluse tingimustes ei ole kindlaks määratud konkreetset kvaliteedikriteeriumi, mille alusel erinevaid mudeleid ja lähenemist võrrelda. Veelgi enam, arusaam lahkumise mõistest võib olla erinev ja sõltuda probleemist, mille määravad omakorda äri eesmärgid. Seetõttu, et mõista, milline meetod on parem, koolitasime kahte mudelit:

1. Tihti kasutatud lähenemine binaarse klassifitseerimisega masinõppe algoritmiga, mis põhineb otsustusk puudel (LightGBM);
2. Weibull-LSTM mudel

Testkomplekt koosnes 500 eelnevalt valitud kliendist, kes ei olnud koolituskomplektis. Mudeli hüperparameetrite määramine viidi läbi ristvalideerimisega kliendipõhiste jagamisega. Iga mudeli treenimiseks kasutati samu tunnuste komplekte.

Kuna mudelil ei ole mälu, kasutasime spetsiaalseid tunnuseid, mis näitasid ühe kuu parameetrite muutumise suhet viimase kolme kuu keskmisega. See iseloomustas viimase kolme kuu jooksul väärtuste muutumise kiirus. Ilma selleta oleks Random Foresti mudel eelnevalt kaotanud Weibull-LSTM'i suhtes.

Kuidas Weibull-LSTM on parem kui tasandite puude ansamblipõhine lähenemine?

Siin on kõik selgelt näidatud paaris pildis.

Lift Curve'i võrdlus klassikalise algoritmi ja Weibull-LSTM vahel.

Lift Curve'i meetri võrdlus kuude kaupa klassikalise algoritmi ja Weibull-LSTM vahel.

Kokkuvõttes ületab LSTM klassikalist algoritmi peaaegu igas olukorras.

Kliendi lahkumise prognoosimine

Weibull-LSTM mudel, mis põhineb korduvatel närvivõrkudel LSTM rakkudega, suudab ennustada klientide voolavust ette, näiteks prognoosida kliendi lahkumist järgmise n kuu jooksul. Oletame, et n = 3. Sellisel juhul peab närvivõrk igakuise jaoks õigesti määrama: kas klient lahkub alates järgmisest kuust kuni n-nda kuuni. Teisisõnu, ta peab õigesti määrama, kas klient jääb n kuu jooksul. Seda võib pidada ennetavaks prognoosiks: ette ennustamine, millal klient hakkas mõtlema lahkumisele.

Võrreldakse Weibull-LSTM-i tõste kõverat 1, 2 ja 3 kuud enne voolavust:

Oleme juba varem maininud, et olulised on ka prognoosid, mis on tehtud klientide jaoks, kes on mingiks ajaks aktiivsest välja langenud. Seetõttu lisame siia valimisse sellised juhud, kui lahkunud klient oli juba olnud mitteaktiivne üks või kaks kuud, ning kontrollime, kas Weibull-LSTM suudab sellised juhud õigesti voolavuseks klassifitseerida. Kuna sellised juhud olid valimis, ootame, et võrk suudab nendega hästi toime tulla:

Kliendi hoidmine

Tegelikult on see peamine, mida saab teha, omades teavet selle kohta, et sellised kliendid on lõpetamas toodete kasutamise. Rääkides mudeli loomise kohta, mis võiks pakkuda klientidele midagi kasulikku, et neid hoida — seda ei saa teha, kui teil puudub ajalugu sarnaste katsetega, mis on hästi lõppenud.

Meil pole sellist ajalugu olnud, seega otsustasime selle nii teha.

1. Ehitus mudel, mis määrab iga kliendi huvidega tooted.
2. Iga kuu käivitame klassifitseerija ja määrame potentsiaalselt lahkuvaid kliente.
3. Mõnele kliendile pakume toodet vastavalt punktis 1 kirjeldatud mudelile, salvestame oma tegevuse.
4. Mõne kuu pärast vaatame, kes neist potentsiaalselt lahkuvatest klientidest lahkus ja kes jäi. Nii moodustame koolituste komplekti.
5. Treening mudel selle ajaloo peal, mis saadi punktis 4.
6. Valikuliselt kordame protseduuri, asendades punktis 1 oleva mudeli punktis 5 saadud mudeliga.

Kvaliteedi kontrollimiseks võime kasutada tavalist A/B-testeeringut — jagame potentsiaalselt lahkuvaid kliente kaheks rühmaks. Ühele pakume tooteid meie säilitusmudeli põhjal, teisele ei paku me midagi. Otsustasime treenida mudelit, mis võiks olla kasulik juba meie näitena toodud esimeses punktis.

Soovisime, et segmentatsioon oleks võimalikult tõlgendatav. Selleks valisime mitu tunnust, mis oleksid kergesti tõlgendatavad: üldine tehingute arv, palk, konto kogukäive, vanus, sugu. Tabeli "Kaardid" tunnuseid ei arvestatud, kuna need on vähe informatiivsed, ning tabeli 3 "Lepingud" tunnuseid ei arvestatud töötlemise keerukuse tõttu, et vältida andmete leket valideerimishulgaga ja treeninghulgaga.

Klastri tegemiseks kasutati Gaussian mixture modele. Akaike informatsioonikriteerium võimaldas tuvastada kaks optima. Esimene optima vastab ühele klastrile. Teine, vähem väljendunud, vastab 80 klastrile. Selle tulemuse põhjal võib teha järgmist järeldust: andmete jaotamine klastriteks on äärmiselt keeruline ilma eelnevalt määratud teabeta. Kvaliteetsema klastrite loomise jaoks on vajalikud andmed, mis kirjeldavad iga klienti üksikasjalikult.

Seetõttu uuriti juhendatud õppimise ülesannet, et pakkuda igale eraldi kliendile sobivat toodet. Vaadati järgmisi tooteid: "Tähtaegne hoiustus", "Krediitkaart", "Overdraft", "Tarbijalaen", "Autolaen", "Hüpoteek".

Andmekogumis oli veel üks toote liik: "Praegune konto". Kuid me ei käsitlenud seda, kuna selle info sisu oli vähene. Panga klientide, st nende kasutajate, kes on endiselt pankade teenustega seotud, baasil loodi mudel, mis ennustas, milline toode võiks neile huvi pakkuda. Mudelina valiti logistiline regressioon ning kvaliteedi hindamise meetrikana kasutati Lift väärtust esimestes 10 procendis.

Mudeli kvaliteeti saab hinnata jooniselt.

Tootesoovituste mudeli tulemused klientidele

Kokkuvõte

Just see lähenemine tõi meile esikoha "AI pankades" nominatsioonis RAIF-Challenge 2017 tehisintellekti võistlusel.

Ilmselt oli peamine siiski probleemile läheneda ebatraditsiooniliselt ning kasutada meetodit, mis on tavaliselt mõeldud muudes olukordades kasutamiseks.

Kuigi massiline kasutajate väljajõudmine võib teenuste jaoks olla tõeline looduskatastroof.

Seda meetodit tasub silmas pidada ka muudes valdkondades, kus on tähtis arvestada klientide lahkumisega, mitte ainult pankades. Näiteks kasutasime seda ka oma lahkumise arvutamiseks – Siberi ja Peterburi filiaalides Rostelecomis.

Andmeanalüüsi labor "Otsingupõhise portaal "Sputnik"

Allikas: habr.com