Как предсказваме отлива, разглеждайки го като бедствие

Понякога, за да решите определен проблем, просто трябва да го погледнете от различен ъгъл. Дори ако през последните 10 години подобни проблеми са били разрешавани по един и същ начин с различен ефект, не е сигурно, че този начин е единственият.

Съществува тема, наречена отток на клиенти. Тя е неизбежна, тъй като клиентите на всяка компания могат по редица причини да спрат да ползват нейните продукти или услуги. Разбира се, за компанията оттокът е, макар и естествен, но не особено желан процес, затова всички се стараят да минимизират този отток. Още по-добре е да предвиждат вероятността за отток на определена категория потребители или конкретни потребители и да предлагат мерки за задържане.

Необходимо е да анализирате и да се опитвате да задържите клиента, ако е възможно, по най-малко следните причини:

• привличането на нови клиенти струва повече от процедурите за задържане. Обикновено е необходимо да се изразходват определени средства (реклама) за привличането на нови клиенти, докато съществуващите клиенти могат да бъдат активирани с специална оферта при специални условия;
• разбирането на причините за напускането на клиентите е ключът към подобряване на продуктите и услугите.

Съществуват стандартни подходи за прогнозиране на оттока. Но на един от шампионатите по ИИ решихме да опитаме разпределението на Вейбул. То най-често се използва за анализ на оцеляването, прогнозиране на времето, анализ на природни бедствия, в промишленото инженерство и подобни. Разпределението на Вейбул е специална функция за разпределение, параметризирана с два параметъра. и .

Уикипедия

В общи линии, това е интересна концепция, но за прогнозиране на оттока, а и изобщо във финтеха, не се използва толкова често. Под кат ще разкажем как ние (Лабораторията за интелигентен анализ на данни) направихме това, като спечелихме златен медал на Шампионата по изкуствен интелект в категорията „AI в банките“.

За оттока като цяло

Нека да разгледаме малко какво е клиентският отток и защо е толкова важен. За бизнеса клиентската база е от съществено значение. В тази база постъпват нови клиенти, например, научили за продукта или услугата от реклама, остават за известно време (активно ползват продуктите) и след време спират да ги използват. Тази фаза се нарича Жизнен цикъл на клиента (на английски Customer Lifecycle) — термин, описващ етапите, през които преминава клиентът, когато разбере за продукта, вземе решение за покупка, плати, използва и стане лоялен потребител, и в крайна сметка спре да ползва поради различни причини продуктите. Следователно, оттокът е крайният етап от жизнения цикъл на клиента, когато клиентът спира да ползва услугите, а за бизнеса това означава, че клиентът вече не донесе печалба и каквато и да е полза.

Всеки клиент на банката е конкретен човек, който избира определена банка карта, съобразена с нуждите си. Често пътува — ще му бъде полезна карта с точки. Много пазарува — здравей, карта с кэшбек. Купува много в конкретни магазини — за това вече има специален партньорски пластик. Разбира се, понякога картата се избира и по критерия 'Най-евтино обслужване'. Общо взето, променливите тук са много.

Също така човекът избира и банката — какъв е смисълът да избираш банка, чиито клонове са само в Москва и околностите, когато ти си от Хабаровск? Дори картата на такава банка да е два пъти по-изгодна, наличието на клонове наблизо все още е важен критерий. Да, 2019 вече е тук и дигиталната услуга е всичко, но някои въпроси с определени банки може да се решат само в клон. Плюс, отново, част от населението много повече доверява на физическата банка, отколкото на приложението в смартфона, което също трябва да се вземе предвид.

В резултат на това причините за отказ от банкови продукти (или от самата банка) могат да бъдат многобройни. Сменил е работата и тарифата на картата е сменена от 'платежна' на 'за обикновените смъртни', която е по-малко изгодна. Преместил се е в друг град, където няма банкови клонове. Не му е харесало общуването с неквалифициран оператор в клона. Затова причините за закриване на сметка могат да бъдат дори значително повече, отколкото за ползване на продукта.

Освен това клиентът може не просто да изрази явно намерението си — да дойде в банката и да напише заявление, а просто да спре да ползва продуктите, без да разрива договора. За да се разберат подобни ситуации, беше решено да се използва машинно обучение и изкуствен интелект.

Освен това оттеглянето на клиенти може да се случи във всяка индустрия (телеком, интернет доставчици, застрахователни компании, общо казано навсякъде, където има клиентска база и периодични транзакции).

Какво направихме

Преди всичко трябваше да опишем ясна граница — от кога започваме да считаме клиенти за напуснали. От гледна точка на банката, която ни предостави данните за работа, състоянието на активност на клиента беше бинарно — либо активен, либо неактивен. Имаше флаг ACTIVE_FLAG в таблицата „Активност“, чиято стойност можеше да бъде либо „0“, либо „1“ (съответно „Неактивен“ и „Активен“). И всичко щеше да е добре, но човекът е такъв, че може известно време активно да използва услугите, а след това за месец да излезе от активните — например да е болен, да е отишъл в друга страна на почивка или дори да е решил да тества картата на друга банка. А може и след дълъг период на неактивност отново да започне да ползва услугите на банката.

Затова решихме да наречем периода на неактивност определен непрекъснат интервал от време, в течение на който флагът за него беше зададен като „0“.

Клиентите преминават от неактивни в активни след периоди на неактивност с различна дължина. Появява се възможност да изчислим степента на емпиричната величина „надеждност на периодите на неактивност“ — тоест вероятността човек отново да започне да ползва продуктите на банката след временно неактивност.

Например, на този график е показано възобновяването на активността (ACTIVE_FLAG=1) на клиентите след няколко месеца неактивност (ACTIVE_FLAG=0).

Тук ще уточним малко наборът от данни, с които започнахме работа. Банкът предостави агрегирана информация за 19 месеца в следните таблици:

• „Активност“ — месечни транзакции на клиентите (по карти, в интернет банкиране и мобилно банкиране), включително начисления на заплати и информация за оборотите.
• „Карти“ — данни за всички карти, които клиентът притежава, с подробна тарифна мрежа.
• „Договори“ — информация за договорите на клиента (как открити, така и затворени): кредити, депозити и други, с посочване на параметрите на всеки.
• „Клиенти“ — набор от демографски данни (пол и възраст) и наличието на контактни данни.

За работа ни бяха нужни всички таблици, с изключение на „Картите“.

Тук трудността беше и в това — в тези данни банката не указваше, каква точно активност е била проведена по картите. Тоест, можехме да разберем дали имаше транзакции или не, но да определим техния тип — не. Затова не беше ясно, дали клиентът е теглил налични, получавал ли е заплата или е харчил пари за покупки. А ние нямаме и данни за остатъците по сметките, което би било полезно.

Самаата извадка беше несмещена — на този срез за 19 месеца банката не е предприемала никакви опити за задържане на клиенти и минимизиране на отлива.

И така, за периодите на неактивност.

За формулиране на определение за отлив трябва да изберем период на неактивност. За да създадем прогноза за отлива в моменти на време , трябва да имаме история на клиентите минимум за 3 месеца в интервала . Историята ни беше ограничена до 19 месеца, затова решихме да вземем период на неактивност от 6 месеца, ако има такъв. А за минимален период за качествена прогноза взехме 3 месеца. Числата от 3 и 6 месеца взехме емпирично на базата на анализа на поведението на тези клиенти.

Определението за отлив формулирахме така: месецът на отлива на клиента е първият месец с ACTIVE_FLAG=0, където от този месец започват най-малко шест нули последователно в полето ACTIVE_FLAG, с други думи, месецът, от който клиентът е бил 6 месеца неактивен.

Брой на напусналите клиенти

Брой на останалите клиенти

Както се счита за отлив

В подобни състезания, а и изобщо на практика, отливът често се прогнозира по този начин. Клиентът използва продукти и услуги в различни периоди от време, данните за взаимодействието с него се представят под формата на вектор от признаци с фиксирана дължина n. Най-често в тази информация се включват:

• Данни, характеризиращи потребителя (демографски данни, маркетингов сегмент).
• История на използването на банкови продукти и услуги (това са действия на клиентите, които винаги са свързани с конкретно време или период от нужния ни интервал).
• Външни данни, ако могат да бъдат получени — например, отзиви от социалните мрежи.

И едва след това се дава определение на оттока, специфично за всяка задача. След това се използва алгоритъм на машинното обучение, който предсказва вероятността за напускане на клиента. на база на вектор от фактори. За обучението на алгоритъма се използва един от известните фреймворкове за изграждане на ансамбли от решаващи дървета, XGBoost, LightGBM, CatBoost или техни модификации.

Самият алгоритъм е добър, но в частта за предсказване на оттока има няколко сериозни недостатъка.

• Той няма така наречената "памет".На входа на модела постъпва зададено количество признаци, които съответстват на текущия момент. За да се заложи информация за историята на промените на параметрите, е необходимо да се изчислят специални признаци, които описват промените на параметрите с времето, например, количеството или сумата на банковите транзакции за последните 1, 2, 3 месеца. Такъв подход може само частично да отразява характера на времевите промени.
• Фиксиран период на предсказване. Моделът е в състояние да предсказва оттока на клиенти само за предварително зададен времеви интервал, например, прогноза за един месец напред. Ако е необходима прогноза за друг период, например, за три месеца, то трябва да се преизградят обучаващата извадка и да се преобучи новият модел.

Нашият подход.

Веднага решихме, че няма да използваме стандартни подходи. В шампионата освен нас са се регистрирали още 497 души, всеки от които е имал значителен опит. Така че опитите да се прави нещо по стандартна схема в такива условия не са най-добрата идея.

И започнахме да решаваме проблемите, пред които е изправен моделът за бинарна класификация, с помощта на предсказването на вероятностното разпределение на времето за оттока на клиентите. Такъв подход може да се види, тук., той позволява по-флексибилно предсказване на оттока и проверка на по-сложни хипотези, отколкото в класическия подход. Като семейството на разпределения, моделиращи времето за отток, избрахме разпределението Вейбулла за неговото широко приложение в анализа на оцеляването. Поведението на клиента може да се разглежда като своеобразно оцеляване.

Ето примери на разпределение на плътностите на вероятностите на Уейбул в зависимост от параметрите и :

Това е плътността на разпределението на вероятността за отток на три различни клиенти с течение на времето. Времето е представено в месеци. С други думи, тази графика показва кога е най-вероятно да се случи отток на клиента през следващите два месеца. Както може да се види, клиентът с разпределение има голям потенциал да се оттегли по-рано в сравнение с клиентите с разпределения Уейбул(2, 0.5) и Уейбул(3,1).

В крайна сметка получаваме модел, който предсказва параметрите на разпределението на Уейбул за всеки клиент за всеки
месец, най-добре отразяващ настъпването на вероятността за отток с течение на времето. По-подробно:

• Целевите признаци в обучаващата извадка са времето, останало до оттока за конкретния месец за конкретния клиент.
• Ако няма данни за оттока на клиента, предполагаем, че времето до оттока е по-голямо от броя на месеците, започвайки от текущия и до края на наличната ни история.
• Използваният модел: рекурентна невронна мрежа с LSTM слой.
• Като функция на загубите използваме отрицателната логаритмична функция на правдоподобие за разпределението на Уейбул.

Тук са предимствата на подобен метод:

• Вероятностното разпределение, освен очевидната възможност за бинарна класификация, позволява гъвкаво предсказване на различни събития, например, дали клиентът ще спре да ползва услугите на банката в течение на 3 месеца. Също така, при необходимост, на базата на това разпределение могат да се вземат средни показатели.
• Рекурентната невронна мрежа LSTM има памет и ефективно използва цялата налична история. С разширяването или уточняването на историята, точността нараства.
• Подходът може да бъде без проблеми мащабиран при разделяне на времевите интервали на по-малки (например, при разделяне на месеците на седмици).

Но е малко да се създаде добър модел, нужно е и да се оцени качеството му.

Как оценявахме качеството

Като метрика избрахме Curve на Lift. Тя се използва в бизнеса за подобни случаи поради лесната си интерпретация и е добре описана тук и тук.. Ако опишем смисъла на тази метрика с едно изречение, ще звучим "Колко пъти алгоритъмът прави по-добро предсказание в първите % в сравнение с произволно избрани."

Обучаваме моделите

Условия за конкурса не са задали конкретна метрика за качество, по която могат да се сравняват различни модели и подходи. Напротив, определението за понятието изтичане може да бъде различно и може да зависи от поставената задача, която, от своя страна, се определя от бизнес целите. Следователно, за да разберем кой метод е по-добър, обучихме два модела:

1. Често използваният подход за бинарна класификация с алгоритъм за машинно обучение на ансамблови решение дървета (LightGBM);
2. Модел Weibull-LSTM

Тестовата извадка се състоеше от 500 предварително подбрани клиенти, които не бяха в обучаващата извадка. За модела беше извършен подбор на хиперпараметри чрез крос-валидация, разделена по клиенти. За обучението на всеки модел се използваха еднакви набори от характеристики.

Поради факта, че моделът няма памет, за него бяха взети специални характеристики, които показват съотношението на промяната в параметрите за един месец спрямо средното значение на параметрите за последните три месеца. Това характеризираше скоростта на промяна на стойностите за последния период от три месеца. Без това моделът на базата на Random Forest би бил в ущърб спрямо Weibull-LSTM.

По-добро ли е LSTM с разпределение на Уейбул от подхода, основан на ансамблови дървета?

Тук всичко е на видно място буквално с няколко картинки.

Сравнение на Lift Curve за класическия алгоритъм и Weibull-LSTM

Сравнение на метриката Lift Curve по месеци за класическия алгоритъм и Weibull-LSTM

Общият извод е, че LSTM надминава класическия алгоритъм почти във всички случаи.

Предсказване на изтичането

Моделът, основан на рекурентна невронна мрежа с LSTM клетки с разпределение на Уейбул, може да предсказва изтичането предварително, например, да предвиди оттеглянето на клиента в следващите n месеца. Нека разгледаме случая за n = 3. В този случай за всеки месец невронната мрежа трябва правилно да определи: ще напусне ли клиентът, започвайки от следващия месец и до n-ия месец. С други думи, тя трябва правилно да определи дали клиентът ще остане след изтичането на n месеца. Това може да се счита за предварителна прогноза: предсказване на момента, когато клиентът само е започнал да мисли да напусне.

Нека сравним Lift Curve за Weibull-LSTM на 1, 2 и 3 месеца преди изтичането:

Както споменахме по-горе, важни са и прогнозите, направени за клиентите, които sa временно неактивни. Затова ще добавим в пробата случаи, когато клиент, който е заминал, е бил неактивен един или два месеца и ще проверим дали Weibull-LSTM правилно класифицира тези случаи като отток. Тъй като такива случаи присъстват в пробата, очакваме, че мрежата ще се справи с тях добре:

Задържане на клиенти

Същност, това е основното, което може да се направи с наличната информация, че определени клиенти са на път да спрат да използват продукта. Когато говорим за изграждане на модел, който би могъл да предложи нещо полезно на клиентите, за да ги задържи — няма да е възможно, ако нямате история на подобни опити, завършили успешно.

Ние нямаме такава история, затова решихме да действаме по този начин.

1. Създаваме модел, който определя интересни продукти за всеки клиент.
2. Всеки месец пускаме класификатора и определяме потенциално напускащите клиенти.
3. На част от клиентите предлагаме продукт въз основа на модела от точка 1, запомняме своите действия.
4. След няколко месеца преглеждаме кой от тези потенциално напускащи клиенти е напуснал и кой е останал. По този начин формулираме обучаваща проба.
5. Обучаваме модела с историята, получена в точка 4.
6. По желание, повтаряме процедурата, замествайки модела от точка 1 с модела, получен в точка 5.

Контролът на качеството на такова задържане може да се осъществи чрез обикновено A/B тестване — разделяме потенциално напускащите клиенти на две групи. На едната предлагаме продукти въз основа на нашия модел за задържане, а на другата не предлагаме нищо. Решихме да обучим модел, който би могъл да донесе полза още в точка 1 на примера ни.

Искахме да направим сегментацията максимално интерпретируема. За целта избрахме няколко признака, които биха могли да бъдат лесно интерпретирани: общ брой трансакции, заплата, общ оборот по сметката, възраст, пол. Признаците от таблица „Карти“ не бяха взети предвид, тъй като бяха малко информативни, а признаците от таблица 3 „Договори“ — поради сложността на обработката, за да се избегне изтичането на данни между валидиращия набор и обучаващия набор.

Кластеризация беше извършена с помощта на Gaussian mixture models. Информационният критерий на Акаике позволи да се определи 2 оптимума. Първият оптимум съответства на 1 клъстер. Вторият оптимум, по-слабо изразен, съответства на 80 клъстера. На базата на този резултат можем да направим следния извод: данните е изключително трудно да се разделят на клъстери без априорно зададена информация. За по-качествена кластеризация са нужни данни, които детайлно описват всеки клиент.

Затова беше разгледана задачата за обучение с учител, за да предложим на всеки отделен клиент свой продукт. Бяха разглеждани следните продукти: „Срочен депозит“, „Кредитна карта“, „Овердрафт“, „Потребителски кредит“, „Автокредит“, „Ипотека“.

В данните имаше още един вид продукт: „Текуща сметка“. Но ние не го разгледахме поради малката му информативност. За потребителите, които са клиенти на банката, т.е. не са прекратили да използват нейните продукти, беше построена модел, предсказващ, кой продукт може да им бъде интересен. Като модел беше избрана логистична регресия, а като метрика за оценка на качеството беше използвано значението на Lift за първите 10 перцентии.

Качеството на модела може да се оцени на рисунка.

Резултатите от модела за препоръка на продукти за клиентите

Резюме

Този подход ни донесе първо място в категорията „AI в банките“ на Чемпионата по ИИ RAIF-Challenge 2017.

Очевидно, основното беше да подходим към проблема от не съвсем обичайна страна и да използваме метод, който обикновено се използва за други ситуации.

Въпреки че масовият отток на потребители може да бъде за услугите стихийнан бедствие.

Този метод може да бъде полезен и за всяка друга сфера, където е важно да се вземе предвид оттока, не само от банките. Например, ние го използвахме и за да изчислим собственото си отток — в Сибирския и Санкт-Петербургския клон на Ростелеком.

„Лаборатория за интелектуален анализ на данни“ компания „Търсачка „Спутник“

Източник: habr.com