Jak przewidzieliśmy rezygnację, podchodząc do niej jak do klęski żywiołowej

Czasami, aby rozwiązać problem, wystarczy spojrzeć na niego z innej perspektywy. Nawet jeśli na przestrzeni ostatnich 10 lat podobne problemy rozwiązywano w ten sam sposób z różnymi efektami, nie jest faktem, że ta metoda jest jedyna.

Jest taki temat jak odpływ klientów. Jest to rzecz nieunikniona, gdyż klienci każdej firmy z wielu powodów mogą zaprzestać korzystania z jej produktów czy usług. Oczywiście dla firmy odejście jest działaniem naturalnym, ale nie najbardziej pożądanym, dlatego każdy stara się minimalizować to odejście. Jeszcze lepiej jest przewidzieć prawdopodobieństwo odejścia określonej kategorii użytkowników lub konkretnego użytkownika i zasugerować pewne kroki, aby ich zatrzymać.

Konieczne jest przeanalizowanie i próba zatrzymania klienta, jeśli to możliwe, przynajmniej z następujących powodów:

• pozyskanie nowych klientów jest droższe niż procedury utrzymania. Aby przyciągnąć nowych klientów, z reguły trzeba wydać trochę pieniędzy (reklama), a obecnych klientów można aktywować specjalną ofertą na specjalnych warunkach;
• Zrozumienie powodów, dla których klienci odchodzą, jest kluczem do ulepszania produktów i usług.

Istnieją standardowe podejścia do przewidywania rezygnacji. Ale na jednym z mistrzostw AI postanowiliśmy wypróbować w tym celu dystrybucję Weibulla. Najczęściej wykorzystuje się go do analizy przeżywalności, prognozowania pogody, analizy klęsk żywiołowych, inżynierii przemysłowej i tym podobnych. Rozkład Weibulla jest specjalną funkcją rozkładu parametryzowaną dwoma parametrami и .

Wikipedia

W sumie ciekawa rzecz, ale do prognozowania odpływów i w ogóle w fintechach nie jest to zbyt często stosowane. Poniżej opowiemy Wam, jak my (Data Mining Laboratory) tego dokonaliśmy, zdobywając jednocześnie złoto na Mistrzostwach Sztucznej Inteligencji w kategorii „AI w Bankach”.

Ogólnie o rezygnacji

Rozumiemy trochę, czym jest odpływ klientów i dlaczego jest tak ważny. Baza klientów jest ważna dla biznesu. Do tej bazy trafiają nowi klienci, np. dowiedzieli się o produkcie lub usłudze z reklamy, żyją jakiś czas (aktywnie korzystają z produktów) i po pewnym czasie przestają z nich korzystać. Okres ten nazywany jest „cyklem życia klienta” – termin opisujący etapy, przez które przechodzi klient, gdy dowiaduje się o produkcie, podejmuje decyzję o zakupie, płaci, korzysta i staje się lojalnym konsumentem, a ostatecznie przestaje korzystać z produktu. z tego czy innego powodu. Rezygnacja jest zatem końcowym etapem cyklu życia klienta, kiedy klient przestaje korzystać z usług, a dla biznesu oznacza to, że klient przestał przynosić zysk lub jakąkolwiek korzyść.

Każdy klient banku to konkretna osoba, która wybiera tę czy inną kartę bankową specjalnie dla swoich potrzeb. Jeśli często podróżujesz, przyda się karta z milami. Kupuje dużo - witaj, karta cashback. Dużo kupuje w konkretnych sklepach - i jest już do tego specjalny partner plastikowy. Oczywiście zdarza się, że przy wyborze karty kierujemy się kryterium „Najtańsza usługa”. Ogólnie rzecz biorąc, jest tu wystarczająco dużo zmiennych.

A osoba wybiera także sam bank - czy jest sens wybierać kartę z banku, którego oddziały znajdują się tylko w Moskwie i regionie, gdy jesteś z Chabarowska? Nawet jeśli karta takiego banku jest co najmniej 2 razy bardziej opłacalna, ważnym kryterium nadal jest obecność oddziałów banku w pobliżu. Tak, rok 2019 już nadszedł i cyfrowość jest dla nas wszystkim, ale wiele problemów z niektórymi bankami można rozwiązać tylko w oddziale. Poza tym znowu część społeczeństwa znacznie bardziej ufa fizycznemu bankowi niż aplikacji na smartfonie, to też trzeba wziąć pod uwagę.

W rezultacie dana osoba może mieć wiele powodów, aby odmówić produktów banku (lub samego banku). Zmieniłem pracę, a taryfa karty zmieniła się z pensji na „Dla zwykłych śmiertelników”, co jest mniej opłacalne. Przeniosłem się do innego miasta, gdzie nie ma oddziałów banku. Nie podobała mi się interakcja z niewykwalifikowanym operatorem w oddziale. Oznacza to, że powodów do zamknięcia konta może być jeszcze więcej niż do korzystania z produktu.

A klient może nie tylko jasno wyrazić swoją intencję – przyjść do banku i napisać oświadczenie, ale po prostu zaprzestać korzystania z produktów bez wypowiadania umowy. Do zrozumienia takich problemów zdecydowano się wykorzystać uczenie maszynowe i sztuczną inteligencję.

Co więcej, odpływ klientów może wystąpić w każdej branży (telekomunikacja, dostawcy Internetu, towarzystwa ubezpieczeniowe w ogóle, wszędzie tam, gdzie istnieje baza klientów i transakcje okresowe).

Co my zrobiliśmy

Przede wszystkim należało określić wyraźną granicę – od jakiego momentu zaczynamy uważać, że klient odszedł. Z punktu widzenia banku, który udostępnił nam dane do naszej pracy, status aktywności klienta był binarny – albo jest aktywny, albo nie. W tabeli „Aktywność” znajdowała się flaga ACTIVE_FLAG, której wartość mogła wynosić „0” lub „1” (odpowiednio „Nieaktywny” i „Aktywny”). I wszystko byłoby dobrze, ale człowiek jest taki, że może aktywnie z niego korzystać przez jakiś czas, a potem wypaść z aktywnej listy na miesiąc - zachorował, wyjechał do innego kraju na wakacje, a nawet pojechał na test kartę z innego banku. A może po długim okresie bezczynności zaczniesz na nowo korzystać z usług banku

Dlatego postanowiliśmy nazwać okres bezczynności pewnym ciągłym okresem czasu, podczas którego jego flaga była ustawiona na „0”.

Klienci przechodzą z stanu nieaktywnego do aktywnego po okresach bezczynności o różnej długości. Mamy możliwość obliczenia stopnia wartości empirycznej „wiarygodności okresów bezczynności” – czyli prawdopodobieństwa, że ​​dana osoba po chwilowej bezczynności ponownie zacznie korzystać z produktów banku.

Przykładowo ten wykres pokazuje wznowienie aktywności (ACTIVE_FLAG=1) klientów po kilku miesiącach bezczynności (ACTIVE_FLAG=0).

Tutaj wyjaśnimy trochę zestaw danych, z którym zaczęliśmy pracować. I tak bank podał zbiorcze informacje za 19 miesięcy w poniższych tabelach:

• „Aktywność” - miesięczne transakcje klientów (kartami, w bankowości internetowej i mobilnej), obejmujące płace i informacje o obrotach.
• „Karty” – dane o wszystkich kartach, jakie posiada Klient, wraz ze szczegółowym harmonogramem taryf.
• „Umowy” - informacja o umowach klienta (zarówno otwartych, jak i zamkniętych): pożyczkach, lokatach itp., ze wskazaniem parametrów każdej z nich.
• „Klienci” – zbiór danych demograficznych (płeć i wiek) oraz dostępność danych kontaktowych.

Do pracy potrzebowaliśmy wszystkich tabel oprócz „Mapy”.

Tu pojawiła się kolejna trudność – w danych tych bank nie wskazał, jaka aktywność miała miejsce na kartach. Oznacza to, że mogliśmy zrozumieć, czy były transakcje, czy nie, ale nie mogliśmy już określić ich rodzaju. Nie było zatem jasne, czy klient wypłacał gotówkę, otrzymywał wynagrodzenie, czy też wydawał je na zakupy. Nie mieliśmy też danych o saldach rachunków, co by się przydało.

Sama próba była bezstronna – w tej sekcji, przez 19 miesięcy, bank nie podejmował żadnych prób utrzymania klientów i minimalizacji odpływu.

A więc o okresach bezczynności.

Aby sformułować definicję odejścia, należy wybrać okres bezczynności. Aby utworzyć prognozę rezygnacji w danym momencie , musisz mieć historię klientów trwającą co najmniej 3 miesiące w odstępie czasu . Nasza historia była ograniczona do 19 miesięcy, dlatego zdecydowaliśmy się przyjąć okres bezczynności wynoszący 6 miesięcy, jeśli jest to możliwe. A na minimalny okres prognozy wysokiej jakości zajęliśmy 3 miesiące. Dane za 3 i 6 miesięcy przyjęliśmy empirycznie w oparciu o analizę zachowań danych klientów.

Definicję odejść klientów sformułowaliśmy następująco: miesiąc utraty klientów jest to pierwszy miesiąc z ACTIVE_FLAG=0, gdzie od tego miesiąca w polu ACTIVE_FLAG znajduje się co najmniej sześć kolejnych zer, czyli inaczej miesiąc, od którego klient był nieaktywny przez 6 miesięcy.

Liczba klientów, którzy odeszli

Liczba pozostałych klientów

Jak obliczana jest rezygnacja?

W tego typu konkursach i w ogóle w praktyce często w ten sposób prognozuje się odpływ. Klient korzysta z produktów i usług w różnych okresach czasu, dane dotyczące interakcji z nim są reprezentowane jako wektor cech o ustalonej długości n. Najczęściej informacje te obejmują:

• Dane charakteryzujące użytkownika (dane demograficzne, segment marketingowy).
• Historia korzystania z produktów i usług bankowych (są to działania klientów, które są zawsze powiązane z konkretnym czasem lub okresem potrzebnego nam interwału).
• Dane zewnętrzne, jeśli udało się je pozyskać – na przykład recenzje z sieci społecznościowych.

Następnie wyprowadzają definicję rezygnacji, inną dla każdego zadania. Następnie wykorzystują algorytm uczenia maszynowego, który przewiduje prawdopodobieństwo opuszczenia strony przez klienta w oparciu o wektor czynników . Do uczenia algorytmu wykorzystuje się jeden ze znanych frameworków do konstruowania zespołów drzew decyzyjnych, XGBoost, LekkiGBM, KotBoost lub ich modyfikacje.

Sam algorytm nie jest zły, jednak ma kilka poważnych wad, jeśli chodzi o przewidywanie rezygnacji.

• Nie ma tzw. „pamięci”. Dane wejściowe modelu to określona liczba cech, które odpowiadają aktualnemu punktowi w czasie. Aby zapisać informację o historii zmian parametrów, należy obliczyć specjalne cechy charakteryzujące zmiany parametrów w czasie, np. liczbę lub kwotę transakcji bankowych w ciągu ostatnich 1,2,3, XNUMX, XNUMX miesięcy. Podejście to może tylko częściowo odzwierciedlać charakter zmian przejściowych.
• Stały horyzont prognozowania. Model jest w stanie przewidzieć odpływ klientów tylko w określonym przedziale czasu, na przykład z miesięcznym wyprzedzeniem. Jeśli wymagana jest prognoza na inny okres, na przykład trzy miesiące, należy odbudować zbiór uczący i przeszkolić nowy model.

Nasze podejście

Od razu zdecydowaliśmy, że nie będziemy stosować standardowych podejść. Oprócz nas do mistrzostw zgłosiło się jeszcze 497 osób, z których każda miała za sobą spore doświadczenie. Próba zrobienia czegoś według standardowego schematu w takich warunkach nie jest więc dobrym pomysłem.

Zaczęliśmy rozwiązywać problemy stojące przed binarnym modelem klasyfikacji, prognozując rozkład prawdopodobieństwa czasów odejścia klientów. Można zaobserwować podobne podejście tutajpozwala elastyczniej przewidywać odpływ pracowników i testować bardziej złożone hipotezy niż w podejściu klasycznym. Jako rodzinę rozkładów modelujących czas wypływu wybraliśmy rozkład Weibulla ze względu na jego szerokie zastosowanie w analizie przeżycia. Zachowanie klienta można potraktować jako rodzaj przetrwania.

Oto przykłady rozkładów gęstości prawdopodobieństwa Weibulla w zależności od parametrów и :

Jest to funkcja gęstości prawdopodobieństwa odejścia trzech różnych klientów w czasie. Czas podawany jest w miesiącach. Innymi słowy, ten wykres pokazuje, kiedy najprawdopodobniej klient odejdzie w ciągu najbliższych dwóch miesięcy. Jak widać, klient z dystrybucją ma większy potencjał wcześniejszego odejścia niż klienci z Weibull(2, 0.5) i Weibull (3,1) rozkłady.

Rezultatem jest model, który dla każdego klienta, dla każdego
miesiąc przewiduje parametry rozkładu Weibulla, który najlepiej odzwierciedla występowanie prawdopodobieństwa wypływu w czasie. Bardziej szczegółowo:

• Docelowymi cechami zestawu szkoleniowego jest czas pozostały do ​​rezygnacji w danym miesiącu dla konkretnego klienta.
• Jeżeli dla klienta nie ma wskaźnika rezygnacji, zakładamy, że czas rezygnacji jest większy niż liczba miesięcy od bieżącego miesiąca do końca naszej historii.
• Wykorzystany model: rekurencyjna sieć neuronowa z warstwą LSTM.
• Jako funkcję straty używamy ujemnej funkcji logarytmicznej wiarygodności rozkładu Weibulla.

Oto zalety tej metody:

• Rozkład prawdopodobieństwa, oprócz oczywistej możliwości klasyfikacji binarnej, pozwala na elastyczne przewidywanie różnych zdarzeń, np. tego, czy klient w ciągu 3 miesięcy przestanie korzystać z usług banku. Ponadto, jeśli to konieczne, można uśrednić różne metryki w tym rozkładzie.
• Rekurencyjna sieć neuronowa LSTM posiada pamięć i efektywnie wykorzystuje całą dostępną historię. W miarę rozwijania lub udoskonalania historii dokładność wzrasta.
• Podejście to można łatwo skalować, dzieląc okresy na mniejsze (na przykład dzieląc miesiące na tygodnie).

Jednak nie wystarczy stworzyć dobry model, trzeba jeszcze odpowiednio ocenić jego jakość.

Jak oceniano jakość?

Jako metrykę wybraliśmy krzywą wzrostu. Stosowane jest w biznesie w takich przypadkach ze względu na jego jasną interpretację, jest dobrze opisane tutaj и tutaj. Jeśli opisałbyś znaczenie tej metryki w jednym zdaniu, brzmiałoby to: „Ile razy algorytm dokonuje najlepszej prognozy w pierwszym % niż losowo.”

Modele szkoleniowe

W warunkach konkurencji nie określono konkretnego miernika jakości, za pomocą którego można porównywać różne modele i podejścia. Co więcej, definicja rezygnacji może być różna i może zależeć od sformułowania problemu, który z kolei jest zdeterminowany celami biznesowymi. Dlatego, aby zrozumieć, która metoda jest lepsza, przeszkoliliśmy dwa modele:

1. Powszechnie stosowane podejście do klasyfikacji binarnej wykorzystujące algorytm uczenia maszynowego opartego na drzewie decyzyjnym (LekkiGBM);
2. Model Weibulla-LSTM

Zbiór testowy składał się z 500 wstępnie wybranych klientów, którzy nie należeli do zbioru szkoleniowego. Hiperparametry zostały wybrane do modelu za pomocą walidacji krzyżowej, w podziale na klientów. Do szkolenia każdego modelu wykorzystano te same zestawy funkcji.

Ze względu na to, że model nie posiada pamięci, przyjęto dla niego specjalne cechy, pokazujące stosunek zmian parametrów za jeden miesiąc do średniej wartości parametrów z ostatnich trzech miesięcy. Czym charakteryzowało się tempo zmian wartości w ciągu ostatnich trzech miesięcy. Bez tego model oparty na Random Forest byłby w niekorzystnej sytuacji w porównaniu z Weibullem-LSTM.

Dlaczego LSTM z rozkładem Weibulla jest lepszy niż podejście oparte na zbiorowym drzewie decyzyjnym

Tutaj wszystko jest jasne na kilku zdjęciach.

Porównanie krzywej siły nośnej dla algorytmu klasycznego i Weibulla-LSTM

Porównanie metryki krzywej podnoszenia według miesiąca dla algorytmu klasycznego i Weibulla-LSTM

Ogólnie rzecz biorąc, LSTM jest lepszy od klasycznego algorytmu w prawie wszystkich przypadkach.

Przewidywanie rezygnacji

Model oparty na rekurencyjnej sieci neuronowej z komórkami LSTM z rozkładem Weibulla może z wyprzedzeniem przewidywać odpływ klientów, na przykład przewidywać odpływ klientów w ciągu najbliższych n miesięcy. Rozważmy przypadek dla n = 3. W tym przypadku dla każdego miesiąca sieć neuronowa musi poprawnie określić, czy klient odejdzie, począwszy od następnego miesiąca aż do n-tego miesiąca. Innymi słowy musi poprawnie określić, czy klient pozostanie po n miesiącach. Można to uznać za prognozę z góry: przewidzenie momentu, w którym klient dopiero zaczyna myśleć o wyjeździe.

Porównajmy krzywą wzrostu dla Weibull-LSTM 1, 2 i 3 miesiące przed odpływem:

Pisaliśmy już powyżej, że istotne są także prognozy sporządzane dla klientów, którzy od jakiegoś czasu nie są już aktywni. Dlatego tutaj dodamy do próby przypadki, gdy odchodzący klient był już nieaktywny przez miesiąc lub dwa miesiące i sprawdzimy, czy Weibull-LSTM poprawnie klasyfikuje takie przypadki jako churn. Ponieważ w próbie występowały takie przypadki, oczekujemy, że sieć dobrze sobie z nimi poradzi:

Utrzymanie klienta

Właściwie to najważniejsze, co można zrobić, mając pod ręką informację, że tacy a tacy klienci przygotowują się do zaprzestania używania produktu. Mówiąc o budowaniu modelu, który mógłby zaoferować klientom coś przydatnego w celu ich zatrzymania, nie można tego zrobić, jeśli nie masz historii podobnych prób, które zakończyły się dobrze.

Nie mieliśmy takiej historii, więc zdecydowaliśmy się na to w ten sposób.

1. Budujemy model, który identyfikuje interesujące produkty dla każdego klienta.
2. Co miesiąc uruchamiamy klasyfikator i identyfikujemy klientów potencjalnie odchodzących.
3. Niektórym klientom oferujemy produkt według wzoru z punktu 1 i zapamiętujemy nasze działania.
4. Po kilku miesiącach sprawdzamy, którzy z potencjalnie odchodzących klientów odeszli, a którzy pozostali. W ten sposób tworzymy próbkę treningową.
5. Model szkolimy wykorzystując historię uzyskaną w kroku 4.
6. Opcjonalnie powtarzamy procedurę, zastępując model z kroku 1 modelem uzyskanym w kroku 5.

Test jakości takiej retencji można przeprowadzić poprzez regularne testy A/B – klientów, którzy potencjalnie odchodzą, dzielimy na dwie grupy. Jednemu oferujemy produkty w oparciu o nasz model retencji, drugiemu nie oferujemy nic. Postanowiliśmy wytrenować model, który mógłby być przydatny już w punkcie 1 naszego przykładu.

Chcieliśmy, aby segmentacja była jak najbardziej możliwa do interpretacji. W tym celu wybraliśmy kilka cech, które można łatwo zinterpretować: łączną liczbę transakcji, zarobki, łączne obroty na koncie, wiek, płeć. Nie uwzględniono cech z tabeli „Mapy” jako nieinformacyjnych, a cech z tabeli 3 „Umowy” nie uwzględniono ze względu na złożoność przetwarzania w celu uniknięcia wycieku danych pomiędzy zbiorem walidacyjnym a zbiorem uczącym.

Grupowanie przeprowadzono przy użyciu modeli mieszanin Gaussa. Kryterium informacyjne Akaike pozwoliło nam wyznaczyć 2 optima. Pierwsze optymalne odpowiada 1 klasterowi. Drugie maksimum, mniej wyraźne, odpowiada 80 skupieniom. Na podstawie tego wyniku można wyciągnąć następujący wniosek: niezwykle trudno jest podzielić dane na skupienia bez danej a priori informacji. Do lepszego grupowania potrzebne są dane szczegółowo opisujące każdego klienta.

Dlatego też rozważono problem uczenia się pod nadzorem, aby każdemu klientowi zaproponować inny produkt. Brane były pod uwagę następujące produkty: „Lokata terminowa”, „Karta kredytowa”, „Kredyt w rachunku bieżącym”, „Kredyt konsumencki”, „Kredyt samochodowy”, „Kredyt hipoteczny”.

W danych znalazł się jeszcze jeden rodzaj produktu: „Rachunek bieżący”. Ale nie wzięliśmy tego pod uwagę ze względu na niską zawartość informacji. Dla użytkowników będących klientami banku tj. nie przestało używać swoich produktów, zbudowano model pozwalający przewidzieć, który produkt może ich zainteresować. Jako model wybrano regresję logistyczną, a wartość wzrostu dla pierwszych 10 percentyli wykorzystano jako miernik oceny jakości.

Jakość modelu można ocenić na rysunku.

Wyniki modelu rekomendacji produktów dla klientów

Łączny

Takie podejście zapewniło nam pierwsze miejsce w kategorii „AI w Bankach” na Mistrzostwach AI RAIF-Challenge 2017.

Najwyraźniej najważniejsze było podejście do problemu z niekonwencjonalnej perspektywy i zastosowanie metody, która jest zwykle stosowana w innych sytuacjach.

Chociaż masowy odpływ użytkowników może być katastrofą naturalną dla usług.

Metodę tę można uwzględnić w każdym innym obszarze, w którym ważne jest uwzględnienie odpływu, a nie tylko banków. Na przykład wykorzystaliśmy go do obliczenia własnego odpływu - w oddziałach Rostelecom na Syberii i Petersburgu.

Firma „Data Mining Laboratory” „Portal wyszukiwania „Sputnik”

Źródło: www.habr.com