Joskus ongelman ratkaisemiseksi sinun on vain katsottava sitä eri näkökulmasta. Vaikka viimeisten 10 vuoden aikana samanlaisia ongelmia on ratkaistu samalla tavalla eri vaikutuksilla, ei ole tosiasia, että tämä menetelmä olisi ainoa.
On olemassa sellainen aihe kuin asiakasvaihtuvuus. Asia on väistämätön, koska minkä tahansa yrityksen asiakkaat voivat monesta syystä lopettaa sen tuotteiden tai palveluiden käytön. Tietenkin yritykselle vaihtuvuus on luonnollinen, mutta ei halutuin toimenpide, joten jokainen yrittää minimoida tämän vaihtuvuuden. Parempi vielä, ennustaa vaihtuvuuden todennäköisyyttä tietylle käyttäjäryhmälle tai tietylle käyttäjälle ja ehdottaa joitakin toimenpiteitä heidän säilyttämiseksi.
On tarpeen analysoida ja yrittää pitää asiakas, mikäli mahdollista, ainakin seuraavista syistä:
- uusien asiakkaiden houkutteleminen on kalliimpaa kuin säilyttämismenettelyt. Uusien asiakkaiden houkuttelemiseksi sinun on yleensä käytettävä rahaa (mainontaan), kun taas nykyiset asiakkaat voidaan aktivoida erikoistarjouksella erityisillä ehdoilla;
- Asiakkaiden lähtemisen syiden ymmärtäminen on avain tuotteiden ja palvelujen parantamiseen.
On olemassa tavallisia lähestymistapoja vaihtuvuuden ennustamiseen. Mutta yhdessä tekoälyn mestaruuskilpailuista päätimme kokeilla Weibull-jakelua tätä varten. Sitä käytetään useimmiten selviytymisanalyysiin, sääennusteisiin, luonnonkatastrofianalyysiin, teollisuustekniikkaan ja vastaaviin. Weibull-jakauma on erityinen jakautumisfunktio, joka parametroidaan kahdella parametrilla 
и .
Wikipedia
Yleisesti ottaen se on mielenkiintoinen asia, mutta ulosvirtausten ennustamiseen ja fintechissä yleensäkin sitä ei käytetä kovin usein. Leikkauksen alla kerromme, kuinka me (Data Mining Laboratory) teimme tämän ja voitimme samalla kultaa Artificial Intelligence Championship -sarjassa "AI in Banks" -kategoriassa.
Puhumisesta yleisesti
Ymmärretään hieman, mitä asiakasvaihtuvuus on ja miksi se on niin tärkeää. Asiakaskunta on yritykselle tärkeä. Tälle tukiasemalle tulee uusia asiakkaita esimerkiksi saatuaan tietää tuotteesta tai palvelusta mainoksesta, elää jonkin aikaa (käytä tuotteita aktiivisesti) ja jonkin ajan kuluttua lopettaa sen käytön. Tätä ajanjaksoa kutsutaan "Customer Lifecycle" -termi, joka kuvaa vaiheita, jotka asiakas käy läpi, kun hän saa tietää tuotteesta, tekee ostopäätöksen, maksaa, käyttää ja tulee uskolliseksi kuluttajaksi ja lopulta lopettaa tuotteen käytön. syystä tai toisesta. Näin ollen vaihtuvuus on asiakkaan elinkaaren viimeinen vaihe, jolloin asiakas lopettaa palvelujen käytön, mikä tarkoittaa yritykselle sitä, että asiakas on lakannut tuottamasta voittoa tai mitään hyötyä ollenkaan.
Jokainen pankkiasiakas on tietty henkilö, joka valitsee yhden tai toisen pankkikortin nimenomaan tarpeidensa mukaan. Jos matkustat usein, kilometrikortista on hyötyä. Ostaa paljon - hei, cashback-kortti. Hän ostaa paljon tietyistä kaupoista - ja tätä varten on jo erityinen kumppanimuovi. Tietenkin joskus kortti valitaan "Halvin palvelu" -kriteerin perusteella. Yleensä tässä on tarpeeksi muuttujia.
Ja ihminen valitsee myös itse pankin - onko mitään järkeä valita korttia pankista, jonka konttorit ovat vain Moskovassa ja alueella, kun olet Habarovskista? Vaikka tällaisen pankin kortti olisi vähintään 2 kertaa kannattavampi, pankkikonttoreiden läsnäolo lähellä on silti tärkeä kriteeri. Kyllä, 2019 on jo täällä ja digitaalisuus on meidän kaikkemme, mutta monet pankkien ongelmat voidaan ratkaista vain konttorissa. Lisäksi osa väestöstä luottaa fyysiseen pankkiin paljon enemmän kuin älypuhelimen sovellukseen, tämä on myös otettava huomioon.
Tämän seurauksena henkilöllä voi olla monia syitä kieltäytyä pankin tuotteista (tai itse pankista). Vaihdoin työpaikkaa, ja korttitariffi muuttui palkasta "pelkälle kuolevaiselle", mikä on vähemmän kannattavaa. Muutin toiseen kaupunkiin, jossa ei ole pankkikonttoreita. En pitänyt vuorovaikutuksesta sivuliikkeen pätemättömän operaattorin kanssa. Eli tilin sulkemiseen voi olla jopa enemmän syitä kuin tuotteen käyttämiseen.
Ja asiakas ei voi vain ilmaista selkeästi aikomuksensa - tulla pankkiin ja kirjoittaa lausunto, vaan yksinkertaisesti lopettaa tuotteiden käytön irtisanomatta sopimusta. Tällaisten ongelmien ymmärtämiseen päätettiin käyttää koneoppimista ja tekoälyä.
Lisäksi asiakkaiden vaihtuvuus voi tapahtua millä tahansa toimialalla (televiestintä, Internet-palveluntarjoajat, vakuutusyhtiöt yleensä, missä tahansa on asiakaskuntaa ja säännöllisiä tapahtumia).
Mitä me olemme tehneet
Ensinnäkin oli tarpeen kuvata selkeä raja - mistä lähtien alamme katsoa asiakkaan lähteneen. Työmme tiedot toimittaneen pankin näkökulmasta asiakkaan aktiivisuustila oli binäärinen - hän joko on aktiivinen tai ei. "Activity"-taulukossa oli ACTIVE_FLAG-lippu, jonka arvo saattoi olla joko "0" tai "1" ("ei-aktiivinen" ja "aktiivinen" vastaavasti). Ja kaikki olisi hyvin, mutta ihminen on sellainen, että hän voi käyttää sitä aktiivisesti jonkin aikaa ja sitten putoaa aktiivisten listalta kuukaudeksi - hän sairastui, meni toiseen maahan lomalle tai jopa meni testaamaan kortti toisesta pankista. Tai ehkä pitkän käyttämättömyyden jälkeen alkaa taas käyttämään pankin palveluita
Siksi päätimme kutsua toimettomuusjaksoa tietyksi jatkuvaksi ajanjaksoksi, jonka aikana sen lippu asetettiin arvoon "0".
Asiakkaat siirtyvät passiivisista aktiivisiin eripituisten epäaktiivisuusjaksojen jälkeen. Meillä on mahdollisuus laskea empiirisen arvon aste "toimettomuusjaksojen luotettavuus" eli todennäköisyys, että henkilö alkaa käyttää uudelleen pankkituotteita tilapäisen epäaktiivisuuden jälkeen.
Tämä kaavio näyttää esimerkiksi asiakkaiden toiminnan jatkamisen (ACTIVE_FLAG=1) useiden kuukausien käyttämättömyyden jälkeen (ACTIVE_FLAG=0).
Tässä selvennämme hieman tietojoukkoa, jonka kanssa aloimme työskennellä. Pankki toimitti siis koottuja tietoja 19 kuukauden ajalta seuraavissa taulukoissa:
- "Activity" - kuukausittaiset asiakastapahtumat (korteilla, verkkopankissa ja mobiilipankissa), mukaan lukien palkanlaskenta ja tiedot liikevaihdosta.
- "Kortit" - tiedot kaikista asiakkaalla olevista korteista yksityiskohtaisella tariffiaikataululla.
- "Sopimukset" - tiedot asiakkaan sopimuksista (sekä avoimista että suljetuista): lainat, talletukset jne., joissa ilmoitetaan kunkin parametrit.
- "Asiakkaat" - joukko demografisia tietoja (sukupuoli ja ikä) ja yhteystietojen saatavuus.
Työhön tarvitsimme kaikki pöydät paitsi "kartan".
Tässä oli toinenkin vaikeus - näissä tiedoissa pankki ei ilmoittanut, millaista toimintaa korteilla tapahtui. Toisin sanoen saatoimme ymmärtää, oliko tapahtumia vai ei, mutta emme voineet enää määrittää niiden tyyppiä. Siksi jäi epäselväksi, nostiko asiakas käteistä, saiko hän palkkaa vai käyttikö hän rahat ostoihin. Meillä ei myöskään ollut tietoja tilisaldoista, mikä olisi ollut hyödyllistä.
Otos itsessään oli puolueeton – tässä otoksessa pankki ei 19 kuukauden aikana yrittänyt pitää asiakkaita ja minimoimaan ulosvirtausta.
Eli toimettomuusjaksoista.
Vaihtuvuuden määritelmän muotoilemiseksi on valittava toimettomuusjakso. Vaihtuvuusennusteen luominen tiettynä ajankohtana , sinulla on oltava asiakashistoria vähintään 3 kuukauden välein . Historiamme oli rajoitettu 19 kuukauteen, joten päätimme ottaa 6 kuukauden toimettomuusjakson, jos mahdollista. Ja laadukkaan ennusteen vähimmäisjaksoon kului 3 kuukautta. Otimme 3 ja 6 kuukauden luvut empiirisesti asiakkaiden datakäyttäytymisen analyysin perusteella.
Muotoilimme vaihtuvuuden määritelmän seuraavasti: asiakasvaihtuvuuden kuukausi tämä on ensimmäinen kuukausi, jossa ACTIVE_FLAG=0, jolloin tästä kuukaudesta alkaen ACTIVE_FLAG-kentässä on vähintään kuusi peräkkäistä nollaa, eli kuukausi, josta lähtien asiakas oli epäaktiivinen 6 kuukautta.
Poistuneiden asiakkaiden määrä
Jäljellä olevien asiakkaiden määrä
Miten vaihtuvuus lasketaan?
Tällaisissa kilpailuissa ja käytännössä yleensäkin ulosvirtaus ennustetaan usein tällä tavalla. Asiakas käyttää tuotteita ja palveluita eri ajanjaksoina, tiedot hänen kanssaan tapahtuvasta vuorovaikutuksesta esitetään kiinteän pituisten n piirteiden vektorina. Useimmiten nämä tiedot sisältävät:
- Käyttäjää kuvaavat tiedot (demografiset tiedot, markkinointisegmentti).
- Pankkituotteiden ja -palveluiden käyttöhistoria (nämä ovat asiakkaan toimintoja, jotka on aina sidottu tiettyyn aikaan tai ajanjaksoon, jota tarvitsemme).
- Ulkoiset tiedot, jos se oli mahdollista saada - esimerkiksi arvostelut sosiaalisista verkostoista.
Ja sen jälkeen he johtavat vaihtuvuuden määritelmän, joka on erilainen kullekin tehtävälle. Sitten he käyttävät koneoppimisalgoritmia, joka ennustaa asiakkaan lähtemisen todennäköisyyden tekijävektorin perusteella . Algoritmin kouluttamiseen käytetään yhtä tunnetuista kehyksistä päätöspuiden ryhmien muodostamiseen, , , tai sen muunnelmia.
Algoritmi itsessään ei ole huono, mutta sillä on useita vakavia haittoja vaihtuvuuden ennustamisessa.
- Hänellä ei ole niin kutsuttua "muistia". Mallin syöte on tietty määrä ominaisuuksia, jotka vastaavat nykyistä ajankohtaa. Tietojen tallentamiseksi parametrien muutoshistoriasta on tarpeen laskea erityispiirteitä, jotka kuvaavat parametrien muutoksia ajan myötä, esimerkiksi pankkitapahtumien lukumäärä tai määrä viimeisen 1,2,3, XNUMX, XNUMX kuukauden ajalta. Tämä lähestymistapa voi vain osittain kuvastaa tilapäisten muutosten luonnetta.
- Kiinteä ennustehorisontti. Malli pystyy ennustamaan asiakkaiden vaihtuvuuden vain ennalta määrätylle ajanjaksolle, esimerkiksi ennusteen kuukautta etukäteen. Jos ennustetta tarvitaan toiselle ajanjaksolle, esimerkiksi kolmelle kuukaudelle, sinun on rakennettava koulutussarja uudelleen ja koulutettava uusi malli.
Meidän lähestymistapamme
Päätimme heti, että emme käytä vakiomenetelmiä. Meidän lisäksi mestaruuteen ilmoittautui 497 henkilöä, joilla jokaisella oli takanaan huomattava kokemus. Joten yrittää tehdä jotain vakiojärjestelmän mukaan tällaisissa olosuhteissa ei ole hyvä idea.
Ja aloimme ratkaista binääriluokittelumallin ongelmia ennustamalla asiakkaiden vaihtuvuusaikojen todennäköisyysjakaumaa. Samanlainen lähestymistapa voidaan nähdä , sen avulla voit ennustaa vaihtuvuutta joustavammin ja testata monimutkaisempia hypoteeseja kuin klassisella lähestymistavalla. Ulosvirtausaikaa mallintavien jakaumien perheeksi valitsimme jakauman sen laajalle levinneelle eloonjäämisanalyysille. Asiakkaan käyttäytymistä voidaan pitää eräänlaisena selviytymisenä.
Tässä on esimerkkejä Weibullin todennäköisyystiheysjakaumista parametreista riippuen и :
Tämä on kolmen eri asiakkaan vaihtuvuuden todennäköisyystiheysfunktio ajan kuluessa. Aika esitetään kuukausina. Toisin sanoen tämä kaavio näyttää, milloin asiakas todennäköisimmin vaihtuu seuraavien kahden kuukauden aikana. Kuten näette, asiakkaalla, jolla on jakelu, on suurempi mahdollisuus lähteä aikaisemmin kuin asiakkailla, joilla on Weibull(2, 0.5) ja Weibull (3,1) jakaumat.
Tuloksena on malli, joka sopii jokaiselle asiakkaalle, jokaiselle
kuukausi ennustaa Weibull-jakauman parametrit, mikä heijastaa parhaiten ulosvirtauksen todennäköisyyttä ajan kuluessa. Yksityiskohtaisemmin:
- Harjoittelusarjan tavoiteominaisuudet ovat tietyn asiakkaan tietyn kuukauden vaihtumiseen jäljellä oleva aika.
- Jos asiakkaalla ei ole vaihtuvuusprosenttia, oletamme vaihtumisajan olevan suurempi kuin kuukausien lukumäärä kuluvasta kuukaudesta historiamme loppuun.
- Käytetty malli: toistuva neuroverkko LSTM-kerroksella.
- Häviöfunktiona käytämme Weibull-jakauman negatiivista log-todennäköisyysfunktiota.
Tässä ovat tämän menetelmän edut:
- Todennäköisyysjakauma mahdollistaa ilmeisen binääriluokittelumahdollisuuden lisäksi erilaisten tapahtumien joustavan ennustamisen, esimerkiksi sen, lopettaako asiakas pankin palvelujen käytön 3 kuukauden sisällä. Tämän jakauman perusteella voidaan myös tarvittaessa laskea keskiarvo eri mittareista.
- Toistuvassa LSTM-hermoverkossa on muistia ja se käyttää tehokkaasti koko käytettävissä olevan historian. Kun tarinaa laajennetaan tai jalostetaan, tarkkuus kasvaa.
- Lähestymistapa on helposti skaalattavissa jakamalla aikajaksoja pienempiin (esimerkiksi jaettaessa kuukausia viikkoihin).
Mutta hyvän mallin luominen ei riitä, vaan sen laatu on myös arvioitava kunnolla.
Miten laatu arvioitiin?
Valitsimme mittariksi nousukäyrän. Sitä käytetään liiketoiminnassa tällaisiin tapauksiin sen selkeän tulkinnan vuoksi, se on hyvin kuvattu и . Jos kuvailet tämän mittarin merkitystä yhdellä lauseella, se olisi "Kuinka monta kertaa algoritmi tekee parhaan ennusteen ensimmäisessä % kuin satunnaisesti."
Koulutusmallit
Kilpailuehdot eivät luoneet erityistä laatumittaria, jonka avulla eri malleja ja lähestymistapoja voitaisiin verrata. Lisäksi vaihtuvuuden määritelmä voi olla erilainen ja se voi riippua ongelman ilmaisusta, joka puolestaan määräytyy liiketoiminnan tavoitteiden perusteella. Siksi, jotta voimme ymmärtää, mikä menetelmä on parempi, koulutimme kaksi mallia:
- Yleisesti käytetty binääriluokittelutapa, jossa käytetään ensemble-päätöspuun koneoppimisalgoritmia ();
- Weibull-LSTM malli
Testisarjaan kuului 500 esivalittua asiakasta, jotka eivät olleet koulutussarjassa. Hyperparametrit valittiin mallille ristiinvalidoinnin avulla asiakkaan mukaan eriteltynä. Jokaisen mallin kouluttamiseen käytettiin samoja ominaisuuksia.
Koska mallissa ei ole muistia, sille otettiin erityisiä ominaisuuksia, jotka näyttävät yhden kuukauden parametrien muutosten suhteen parametrien keskiarvoon viimeisen kolmen kuukauden aikana. Mikä oli ominaista arvojen muutosnopeudelle viimeisen kolmen kuukauden aikana. Ilman tätä Random Forest -pohjainen malli olisi epäedullisessa asemassa Weibull-LSTM:ään verrattuna.
Miksi LSTM Weibull-jakelulla on parempi kuin ensemble-päätöspuun lähestymistapa
Kaikki on selvää täällä muutamassa kuvassa.
Klassisen algoritmin ja Weibull-LSTM:n nousukäyrän vertailu
Klassisen algoritmin ja Weibull-LSTM:n nousukäyrämetriikan vertailu kuukausittain
Yleisesti ottaen LSTM on klassista algoritmia parempi lähes kaikissa tapauksissa.
Vaihtuvuusennuste
Malli, joka perustuu toistuvaan hermoverkkoon, jossa on LSTM-soluja Weibull-jakaumalla, voi ennustaa vaihtuvuuden etukäteen, esimerkiksi asiakkaan vaihtuvuuden seuraavan n kuukauden aikana. Tarkastellaan tapausta n = 3. Tässä tapauksessa hermoverkon on jokaiselle kuukaudelle määritettävä oikein, lähteekö asiakas seuraavasta kuukaudesta n. kuukauteen asti. Toisin sanoen sen on määritettävä oikein, jääkö asiakas n kuukauden kuluttua. Tätä voidaan pitää ennusteena etukäteen: sen hetken ennustaminen, jolloin asiakas oli juuri alkanut miettiä lähtöä.
Verrataan Weibull-LSTM:n nostokäyrää 1, 2 ja 3 kuukautta ennen ulosvirtausta:
Olemme jo kirjoittaneet edellä, että myös ennusteet, jotka tehdään asiakkaille, jotka eivät ole enää pitkään aikaan aktiivisia, ovat tärkeitä. Tästä syystä lisäämme tähän otokseen tapaukset, joissa poistunut asiakas on jo ollut epäaktiivinen yhden tai kaksi kuukautta, ja tarkistamme, että Weibull-LSTM luokittelee tällaiset tapaukset oikein vaihtuviksi. Koska tällaisia tapauksia oli otoksessa, odotamme verkoston käsittelevän ne hyvin:
Asiakkaan säilyttäminen
Itse asiassa tämä on tärkein asia, joka voidaan tehdä, kun tieto on siitä, että tällaiset ja sellaiset asiakkaat valmistautuvat lopettamaan tuotteen käytön. Kun puhutaan mallin rakentamisesta, joka voisi tarjota asiakkaille jotain hyödyllistä heidän säilyttämiseksi, niin sitä ei voi tehdä, jos sinulla ei ole historiaa vastaavia yrityksiä, jotka päättyvät hyvin.
Meillä ei ollut tällaista tarinaa, joten päätimme sen näin.
- Rakennamme mallia, joka tunnistaa jokaiselle asiakkaalle kiinnostavat tuotteet.
- Suoritamme luokituksen joka kuukausi ja tunnistamme mahdollisesti poistuvia asiakkaita.
- Tarjoamme joillekin asiakkaille tuotteen kohdasta 1 mallin mukaan ja muistamme toimintamme.
- Muutaman kuukauden kuluttua tarkastelemme, mitkä näistä mahdollisesti lähtevistä asiakkaista lähtivät ja mitkä jäivät. Näin muodostamme koulutusnäytteen.
- Koulutamme mallin käyttämällä vaiheessa 4 saatua historiaa.
- Vaihtoehtoisesti toistamme menettelyn korvaamalla vaiheen 1 mallin vaiheessa 5 saadulla mallilla.
Tällaisen säilytyksen laatu voidaan testata säännöllisellä A/B-testauksella – jaamme mahdollisesti lähtevät asiakkaat kahteen ryhmään. Toiselle tarjoamme tuotteita säilytysmallimme perusteella, toiselle emme tarjoa mitään. Päätimme kouluttaa mallin, josta voisi olla hyötyä jo esimerkimme kohdassa 1.
Halusimme tehdä segmentoinnista mahdollisimman tulkittavaa. Tätä varten valitsimme useita helposti tulkittavia ominaisuuksia: tapahtumien kokonaismäärä, palkat, tilin kokonaiskierto, ikä, sukupuoli. "Kartat"-taulukon ominaisuuksia ei otettu huomioon epätietoisina, eikä taulukon 3 "Sopimus" ominaisuuksia otettu huomioon käsittelyn monimutkaisuuden vuoksi, jotta vältettäisiin tietovuoto validointijoukon ja koulutusjoukon välillä.
Klusterointi suoritettiin Gaussin sekoitusmalleilla. Akaike-tietokriteerin avulla pystyimme määrittämään 2 optimia. Ensimmäinen optimi vastaa yhtä klusteria. Toinen optimi, vähemmän korostunut, vastaa 1 klusteria. Tämän tuloksen perusteella voimme tehdä seuraavan johtopäätöksen: on erittäin vaikeaa jakaa dataa klustereihin ilman etukäteen annettua tietoa. Parempaa klusterointia varten tarvitset tietoja, jotka kuvaavat jokaista asiakasta yksityiskohtaisesti.
Siksi ohjatun oppimisen ongelmaa pohdittiin, jotta jokaiselle asiakkaalle voitaisiin tarjota erilainen tuote. Seuraavat tuotteet tarkasteltiin: "Terraaikatalletus", "Luottokortti", "Ylitili", "Kulutuslaina", "Autolaina", "Asuntoluotto".
Tiedot sisälsivät vielä yhden tuotetyypin: "Käyttötili". Emme kuitenkaan ottaneet sitä huomioon sen vähäisen tietosisällön vuoksi. Käyttäjille, jotka ovat pankin asiakkaita, ts. ei lopettanut tuotteidensa käyttöä, vaan malli rakennettiin ennustamaan, mikä tuote saattaa kiinnostaa heitä. Malliksi valittiin logistinen regressio, ja laadunarviointimittarina käytettiin Lift-arvoa ensimmäisille 10 prosenttipisteille.
Mallin laatu voidaan arvioida kuvasta.
Tuotesuositusmallin tulokset asiakkaille
Koko
Tämä lähestymistapa toi meille ensimmäisen sijan "AI in Banks" -kategoriassa RAIF-Challenge 2017 AI Championshipissä.
Ilmeisesti tärkeintä oli lähestyä ongelmaa epätavanomaisesta näkökulmasta ja käyttää menetelmää, jota yleensä käytetään muissa tilanteissa.
Vaikka käyttäjien massiivinen ulosvirtaus voi hyvinkin olla luonnonkatastrofi palveluille.
Tämä menetelmä voidaan ottaa huomioon kaikilla muilla aloilla, joilla on tärkeää ottaa huomioon ulosvirtaus, ei vain pankkeja. Käytimme sitä esimerkiksi oman ulosvirtauksemme laskemiseen - Rostelecomin Siperian ja Pietarin sivukonttoreissa.
"Data Mining Laboratory" -yhtiö "Hakuportaali "Sputnik"
Lähde: will.com