Както прогнозирахме оттока, подходихме към него като към природно бедствие

Понякога, за да решите даден проблем, е нужно просто да го погледнете от друг ъгъл. Дори ако последните 10 години подобни проблеми се разрешаваха по един и същи начин с различен ефект, не е факт, че този начин е единственият.

Има такъв въпрос като оттока на клиенти. Това е неизбежно, защото клиентите на всяка компания могат по редица причини да спрат да използват нейните продукти или услуги. Естествено, за компанията оттокът е — макар и естествено, но не особено желан процес, затова всички се стараят да минимизират този отток. Още по-добре — да предсказват вероятността за отток на определена категория потребители или конкретен потребител и да предлагат мерки за задържане.

Необходимо е да анализирате и да се опитате да задържите клиента, ако е възможно, по най-малко следните причини:

• привлеченето на нови клиенти струва повече от процедурите за задържане. За привличане на нови клиенти обикновено е нужно да се инвестират определени средства (реклама), докато съществуващите клиенти могат да бъдат активирани чрез специално предложение с уникални условия;
• разбирането на причините за напускането на клиентите е ключът към подобряването на продуктите и услугите.

Съществуват стандартни подходи за предсказване на отток. Но на един от шампионатите по ИИ решихме да опитаме разпределението на Уейбул. Най-често то се използва за анализ на оцеляването, прогнозиране на времето, анализ на природни бедствия, в промишленото инженерство и подобни. Разпределението на Уейбул е специална функция на разпределение, описвана с два параметъра и .

Уикипедия

Общо взето, интересна тема, но за прогнозиране на оттока, а и изобщо във финтеха, не се използва толкова често. Под кат ще разкажем как ние (Лаборатория за интелектуален анализ на данни) го направихме, спечелвайки златен медал на шампионата по изкуствен интелект в категория "AI в банките".

За оттока на общо основание

Нека да разгледаме малко какво е клиентският отток и защо е толкова важен. За бизнеса клиентската база е от съществено значение. В нея постъпват нови клиенти, които, например, научават за продукта или услугата чрез реклама, ползват ги известно време и след известно време спират да ги използват. Този период се нарича „Клиентски жизнен цикъл“ (на англ. Customer Lifecycle) — термин, описващ етапите, през които преминава клиентът, когато научава за продукта, взема решение за покупка, плаща, използва и става лоялен потребител и в крайна сметка спира да го ползва по различни причини. Следователно, оттокът е завършваща фаза от клиентския жизнен цикъл, при която клиентът спира да използва услугите, а за бизнеса това означава, че клиентът вече не носи печалба и изобщо никаква полза.

Всеки клиент на банката е конкретен човек, който избира определена банкова карта в зависимост от своите нужди. Често пътува — карта с мили е точно за него. Пазарува много — привет, карта с кешбек. Пазарува много в конкретни магазини — вече има специален партньорски пластик за това. Разбира се, понякога картата се избира и по критерия „Най-евтино обслужване“. Общо взето, вариации има луди.

А и човекът сам избира банката — какъв смисъл има да избереш карта на банка, която има клонове само в Москва и района, когато ти си от Хабаровск? Дори и картата на такава банка да е наполовина по-изгодна, близостта на клоновете на банката остава важен критерий. Да, 2019 година вече е тук и дигиталното е нашето всичко, но редица въпроси при някои банки все още могат да се решат единствено в клона. Плюс това, отново, част от населението много повече се доверява на физическата банка, а не на приложението в смартфона, което също трябва да се отчита.

Следователно, причините за отказ от банкови продукти (или сама банка) могат да бъдат много. Сменил е работата си и тарифата на картата се е променила от заплатна на „За обикновените смъртни“, която е по-малко изгодна. Преместил се е в друг град, където няма клонове на банката. Не му е харесало общуването с неквалифициран работник в клона. Тоест причините за закриване на сметка могат да бъдат много повече, отколкото за използване на продукта.

А клиентът може не само да изрази явно намерението си — да дойде в банката и да подаде заявление, а просто да спре да ползва продуктите, без да разрива договора. За да разберем подобни задачи, решихме да използваме машинно обучение и ИИ.

Освен това, оттокът на клиенти може да се случи във всяка индустрия (телекомуникации, интернет-провайдери, застрахователни компании, накратко, навсякъде, където има клиентска база и периодични транзакции).

Какво направихме

Първо, трябваше да определим ясна граница — от кой момент започваме да смятаме клиента за излязъл. От гледна точка на банката, която ни предостави данните за работа, състоянието на активност на клиента беше бинарно — той или е активен, или не. Имаше флаг ACTIVE_FLAG в таблицата „Активност“, чиято стойност можеше да бъде „0“ или „1“ (съответно „Неактивен“ и „Активен“). И всичко би било наред, но човекът е такъв, че може известно време активно да ползва, а след това да излезе от списъка на активните за месец — може да е болен, да е заминал в чужбина на отдих или дори да реши да тества картата на друга банка. А може след дълъг период на неактивност отново да започне да ползва услугите на банката.

Затова решихме да определим периода на неактивност като определен непрекъснат времеви интервал, през който флагът за него беше зададен като „0“.

Клиентите преминават от неактивни в активни след периоди на неактивност с различна дължина. Получаваме възможност да изчислим степента на емпиричната величина „надеждност на периодите на неактивност“ — тоест вероятността, че човек отново ще започне да ползва продуктите на банката след временно неактивно състояние.

Например, на този график е показано възобновяването на активността (ACTIVE_FLAG=1) на клиентите след няколко месеца на неактивност (ACTIVE_FLAG=0).

Тук ще уточним малко набора от данни, с които започнахме да работим. И така, банката предостави агрегирана информация за 19 месеца в следните таблици:

• „Активност“ — месечни транзакции на клиенти (по карти, в интернет-банка и мобилен банк), включително начисления на заплати и информация за обеми.
• „Карти“ — данни за всички карти, които клиентът притежава, с подробна тарифна схема.
• «Договори» — информация за договорите на клиента (как открити, така и затворени): кредити, депозити и други, с указание на параметрите на всеки.
• «Клиенти» — набор от демографски данни (пол и възраст) и наличието на контактни данни.

За работа ни бяха необходими всички таблици, с изключение на «Карти».

Сложността тук беше в това — в тези данни банката не указваше, каква точно активност е преминала по картите. Тоест можехме да разберем, имало ли е транзакции или не, но да определим техния тип — вече не. Затова не беше ясно, дали клиентът е изтеглил пари в брой, получил ли е заплата, или е харчил пари за покупки. А още нямахме данни за остатъците по сметките, което щеше да бъде полезно.

Самата извадка беше несмещена — на този срез за 19 месеца банката не е предприела никакви опити за задържане на клиентите и минимизиране на оттока.

И така, за периодите на неактивност.

За формулиране на определението за отток трябва да се избере период на неактивност. За да се създаде прогноза за оттока в определен момент от времето , трябва да имаме история на клиентите поне за 3 месеца в интервала . Историята ни беше ограничена до 19 месеца, затова решихме да вземем период на неактивност от 6 месеца, ако такъв съществува. А минималният период за качествена прогноза взехме 3 месеца. Цифрите от 3 и 6 месеца взехме емпирично на базата на анализа на поведението на данните клиенти.

Определението за отток формулирахме така: месецът на отток на клиента е първият месец с ACTIVE_FLAG=0, от който нататък има поне шест последователни нули в полето ACTIVE_FLAG, с други думи, месец, от който клиентът е бил неактивен в продължение на 6 месеца.

Брой на напусналите клиенти

Брой на останалите клиенти

Както обикновено се счита отток

В подобни състезания, както и в практиката, оттокът често се прогнозира по такъв начин. Клиентът използва продукти и услуги в различни периоди от време, данните за взаимодействието с него се представят под формата на вектор от характеристики с фиксирана дължина n. Най-често тази информация включва:

• Данни, характеризиращи потребителя (демографски данни, маркетингов сегмент).
• История на използването на банкови продукти и услуги (това са действия на клиентите, които винаги са свързани с конкретно време или период от нужния ни интервал).
• Външни данни, ако са получени — например, отзиви от социалните мрежи.

И след това извеждат определение за отток, своето за всяка задача. След това използват алгоритъм за машинно обучение, който прогнозира вероятността клиентът да напусне. въз основа на вектора от фактори. За обучението на алгоритъма се използва един от известните фреймворкове за изграждане на ансамбли от решаващи дървета, XGBoost, LightGBM, CatBoost или техните модификации.

Алгоритъмът сам по себе си е добър, но точно в частта за прогнозиране на оттока има няколко сериозни недостатъка.

• Той не притежава така наречената "памет".На входа на модела постъпва зададено количество признаци, които съответстват на текущия момент. За да се заложи информация за историята на измененията на параметрите, е необходимо да се изчислят специални признаци, които характеризират измененията на параметрите във времето, например броят или сумата на банковите транзакции за последните 1, 2, 3 месеца. Такъв подход може само частично да отразява характера на времевите изменения.
• Фиксиран хоризонт на прогнозиране. Моделът е способен да прогнозира оттока на клиенти само за предварително зададен период от време, например, прогноза за един месец напред. Ако се изисква прогноза за друг период от време, например, за три месеца, то е необходимо да се преустанови обучаващата извадка и да се преобучи нов модел.

Нашият подход

Ние решихме веднага, че няма да използваме стандартни подходи. В шампионата освен нас се регистрираха още 497 души, всеки от които имаше значителен опит. Така че опитите за правене на нещо по стандартна схема при такива условия не е най-добрата идея.

И ние започнахме да решаваме проблемите, пред които е изправен моделът за бинарна класификация, чрез прогнозиране на вероятностното разпределение на времето за оттока на клиентите. Такъв подход може да се види, туктъй като позволява по-гъвкаво прогнозиране на оттока и проверка на по-сложни хипотези, отколкото в класическия подход. Като семейство разпределения за моделиране на времето за отток избрахме разпределението Вейбул поради широкото му приложение в анализа на оцеляването. Поведението на клиента може да се разглежда като своеобразна оцеляване.

Ето примери на разпределение на плътности на вероятностите на Вейбул в зависимост от параметрите и :

Това е плътност на вероятността за отлив на клиентите за трима различни клиенти с времето. Времето е представено в месеци. С други думи, този график показва, когато е най-вероятно да настъпи отлив на клиент в следващите два месеца. Както се вижда, клиентът с разпределение има по-голям потенциал да замине по-рано в сравнение с клиентите с разпределения Weibull(2, 0.5) и Weibull(3,1).

В резултат на това се получава модел, който за всеки клиент за всеки
месец предсказва параметрите на разпределението на Вейбул, които най-добре отразяват вероятността от отлив с времето. По-подробно:

• Целевите признаци в обучаващата извадка са времето, оставащо до отлива в конкретния месец за конкретния клиент.
• Ако показателят за отлив за клиента не е наличен, предполагаме, че времето за отлив е по-дълго от броя на месеците, започвайки от настоящия до края на наличната у нас история.
• Използваната модел: рекуррентна невронна мрежа с LSTM слой.
• В качеството на функция на загубите използваме отрицателната логаритмична функция на правдоподобие за разпределението на Вейбул.

Ето какви са предимствата на този метод:

• Вероятностното разпределение, освен очевидната възможност за бинарна класификация, позволява гъвкаво предсказване на различни събития, например, дали клиент ще спре да използва услугите на банката в рамките на 3 месеца. Също така, при необходимост, по този разпределение могат да се усредняват различни метрики.
• Рекуррентната невронна мрежа LSTM има памет и ефективно използва цялата налична история. С разширяване или уточняване на историята, точността се увеличава.
• Подходът може да се мащабира без проблеми при разделяне на времевите интервали на по-малки (например, при разделяне на месеци на седмици).

Но е недостатъчно само да се създаде добър модел, нужно е също така и да се оцени качеството му правилно.

Как оценявахме качеството

Като метрика избрахме Lift Curve. Тя се използва в бизнеса за подобни случаи поради ясната интерпретация, тя е добре описана тук и тук. Ако обобщим смисъла на тази метрика в едно изречение, получаваме "С колко алгоритъмът прави по-добро предсказание в първите % в сравнение с произволното."

Обучаваме моделите

Условията на състезанието не установиха конкретна метрика за качество, по която да сравняваме различни модели и подходи. Освен това, определението на понятието отлив може да бъде различно и да зависи от зададената задача, която е определена от бизнес целите. Следователно, за да разберем кой метод е по-добър, обучихме два модела:

1. Често използваният подход за бинарна класификация с алгоритъм на машинно обучение с ансамбъл от решаващи дървета (LightGBM);
2. Модел Weibull-LSTM

Тестовата извадка се състоеше от 500 предварително подбрани клиенти, които не бяха в обучаващата извадка. За модела бяха подбрани хиперпараметри чрез крос-валидация с разделение по клиенти. За обучението на всеки модел бяха използвани едни и същи набори от характеристики.

Тъй като моделът няма памет, за него се взеха специални характеристики, показващи отношението на изменение на параметрите от един месец към средното значение на параметрите за последните три месеца. Това характеризираше скоростта на изменение на стойностите през последния период от три месеца. Без това, моделът на базата на Random Forest щеше да бъде предварително в загуба спрямо Weibull-LSTM.

Как LSTM с разпределение на Вейбулла е по-добър от подхода, основан на ансамбъл от решаващи дървета

Тук всичко е наясно буквално с няколко картинки.

Сравнение на Lift Curve за класическия алгоритъм и Weibull-LSTM

Сравнение на метриката Lift Curve по месеци за класическия алгоритъм и Weibull-LSTM

Обобщено, LSTM превъзхожда класическия алгоритъм почти в всички случаи.

Предсказване на отлива

Моделът, базиран на рекурентна невронна мрежа с LSTM клетки с разпределение на Вейбулла, може да предсказва отлив предварително, например, да предскаже, че клиентът ще напусне в течение на следващите n месеца. Нека разгледаме случая за n = 3. В този случай, за всеки месец, невронната мрежа трябва правилно да определи: ще напусне ли клиентът, започвайки от следващия месец и до n-тия месец. С други думи, тя трябва правилно да определи, дали клиентът ще остане след изтичането на n месеца. Това може да се счита за предварителна прогноза: предсказване на момента, когато клиентът едва започва да мисли за напускане.

Сравняваме Lift Curve за Weibull-LSTM на 1, 2 и 3 месеца преди отлива:

Вече написахме по-горе, че важни са и прогнозите, направени за клиенти, които временно са извън активния списък. Затова тук ще добавим в избора случаи, когато клиентът е бил неактивен един или два месеца и ще проверим дали Weibull-LSTM правилно класифицира такива случаи като отток. Очакваме, че мрежата ще се справи добре с тях, тъй като такива случаи присъстваха в избора:

Задържане на клиенти

Всъщност, това е основното, което може да се направи, имайки информация за клиенти, които се подготвят да спрат да използват продукта. Когато говорим за изграждането на модел, който би могъл да предлага нещо полезно на клиентите, за да ги задържи — това не може да се направи, ако нямате история на подобни опити, които да са завършили успешно.

Ние нямаме такава история, затова решихме да го направим по този начин.

1. Създаваме модел, който определя интересни продукти за всеки клиент.
2. Всеки месец пускаме класификатора и определяме потенциално заминаващите клиенти.
3. Част от клиентите предлагаме продукт, съгласно модела от точка 1, запомняме нашите действия.
4. След няколко месеца проверяваме кой от тези потенциално заминаващи клиенти е напуснал, а кой е останал. Така формираме обучаваща извадка.
5. Обучаваме модела на историята, получена в точка 4.
6. По желание, повтаряме процедурата, сменяйки модела от точка 1 с модела, получен в точка 5.

Проверка на качеството на това задържане може да бъде обикновеното A/B тестване — разделяме клиентите, които потенциално напускат, на две групи. На едната предлагаме продукти на базата на нашия модел за задържане, на другата не предлагаме нищо. Решихме да обучим модел, който би могъл да бъде от полза още в точка 1 на нашия пример.

Искахме да направим сегментацията максимално интерпретируема. Затова избрахме няколко признака, които могат лесно да бъдат интерпретирани: общ брой транзакции, заплата, сумарен оборот по сметката, възраст, пол. Признаците от таблица „Картки“ не бяха взети под внимание, тъй като са с малка информационна стойност, а признаците от таблица 3 „Договори“ — поради сложността на обработката, за да се избегне изтичане на данни между валидационния и обучаващия набор.

Кластеризация беше извършена с помощта на Gaussian mixture models. Информационният критерий на Акаике позволи да се определи 2 оптимума. Първият оптимум отговаря на 1 кластер. Вторият оптимум, по-слаб, отговаря на 80 клasterа. От този резултат можем да заключим, че данните са изключително трудни за разделяне на клasterи без предвариелно зададена информация. За по-качествена кластеризация са нужни данни, които детайлно описват всеки клиент.

Затова беше разгледан задачата за обучение с учител, за да се предложи на всеки отделен клиент свой продукт. Разглеждаха се следните продукти: „Срочен депозит“, „Кредитна карта“, „Овердрафт“, „Потребителски кредит“, „Автокредит“, „Ипотека“.

В данните присъстваше още един вид продукт: „Текуща сметка“. Но ние не я разглеждахме поради малката й информативност. За потребителите, които са клиенти на банката, т.е. не са преустановили използването на продуктите й, беше построена модел, предсказващ, кой продукт може да им бъде интересен. За модел беше избрана логистична регресия, а за метрика за оценка на качеството беше използвана стойността на Lift за първите 10 перцентиля.

Качеството на модела може да се оцени на изображението.

Резултатите от модела за препоръка на продукти за клиенти

Резюме

Този подход ни донесе първо място в номинацията „AI в банките“ на Чемпионата по ИИ RAIF-Challenge 2017.

Очевидно, основното беше все пак да се подходим към проблема от не най-привичната страна и да използваме метод, който е приет да се използва за други ситуации.

Въпреки че масовият отток на потребители е напълно възможен за услугите да бъде стихиен бич.

Този метод може да се вземе под внимание и за всяка друга сфера, където е важно да се отчетат оттоките, не само банките. Например, ние го използвахме и за да изчислим собствения си отток – в Сибирския и Санкт-Петербургския филиал на Ростелеком.

„Лаборатория за интелектуален анализ на данни“ компания „Поисков портал „Спутник“

Източник: habr.com