Comme nous l'avons prédit, le départ doit être abordé comme une catastrophe naturelle.

Parfois, pour résoudre un problème, il suffit de le regarder sous un autre angle. Même si, au cours des dix dernières années, des problèmes similaires ont été résolus de la même manière avec des effets différents, il n'est pas certain que cette méthode soit la seule.

Il existe un phénomène appelé départ des clients. C'est quelque chose d'inévitable, car les clients de chaque entreprise peuvent cesser d'utiliser ses produits ou services pour de nombreuses raisons. Il va sans dire que pour une entreprise, le départ, même s'il est naturel, n'est pas l'action la plus souhaitable, donc tout le monde essaie de minimiser ce départ. Mieux encore, anticiper la probabilité de départ d'une certaine catégorie d'utilisateurs ou d'un utilisateur spécifique et proposer des mesures pour les retenir.

Il est nécessaire d'analyser et d'essayer de retenir le client, si possible, pour au moins les raisons suivantes :

• l'acquisition de nouveaux clients coûte plus cher que les procédures de rétention.. L'acquisition de nouveaux clients nécessite généralement un certain investissement d'argent (publicité), tandis que les clients existants peuvent être réactivés par une offre spéciale avec des conditions particulières ;
• la compréhension des raisons du départ des clients est la clé de l'amélioration des produits et services..

Il existe des approches standard pour prédire le départ. Mais lors d'un des championnats d'IA, nous avons décidé d'essayer pour cela la distribution de Weibull. Elle est le plus souvent utilisée pour l'analyse de survie, la prévision météo, l'analyse des catastrophes naturelles, l'ingénierie industrielle, et des domaines similaires. La distribution de Weibull est une fonction de distribution spéciale, paramétrée par deux paramètres. et .

Wikipedia

En général, c'est un sujet intéressant, mais pour la prédiction du départ, et en général dans le secteur fintech, elle n'est pas utilisée très fréquemment. Dans l'article, nous expliquerons comment nous (le Laboratoire d'analyse intellectuelle des données) avons fait cela, remportant au passage l'or au Championnat d'intelligence artificielle dans la catégorie « IA dans les banques ».

Concernant le départ en général.

Examinons un peu ce qu'est le taux de désabonnement des clients et pourquoi il est si important. Pour une entreprise, la base de clients est essentielle. De nouveaux clients arrivent dans cette base, par exemple, en découvrant un produit ou un service par la publicité, ils restent un certain temps (utilisent activement les produits) et, au bout d'un moment, cessent de les utiliser. Cette période est appelée « Cycle de vie du client » (en anglais, Customer Lifecycle) — c'est un terme qui décrit les étapes qu'un client traverse lorsqu'il découvre un produit, prend une décision d'achat, paie, utilise et devient un consommateur fidèle, puis finit par cesser d'utiliser pour diverses raisons les produits. Ainsi, le désabonnement est la dernière étape du cycle de vie du client, où le client cesse d'utiliser les services, et pour l'entreprise, cela signifie que le client a cessé de générer des bénéfices et de fournir quoi que ce soit d'utile.

Chaque client d'une banque est une personne spécifique qui choisit une carte bancaire en fonction de ses besoins. Voyage souvent — une carte avec des miles sera utile. Fait beaucoup d'achats — bienvenue, carte avec cashback. Achète beaucoup dans certaines boutiques — pour cela, il existe déjà une carte partenaire spéciale. Bien sûr, parfois, la carte est choisie selon le critère « Le service le moins cher ». En somme, il y a beaucoup de variables.

De plus, une personne choisit elle-même sa banque — quel est le sens de choisir une carte d'une banque dont les agences ne se trouvent qu'à Moscou et dans ses environs, alors que vous êtes de Khabarovsk ? Même si la carte de cette banque est deux fois plus avantageuse, la proximité des agences de la banque reste un critère important. Oui, 2019 est déjà là et le numérique est tout, mais certaines questions avec certaines banques peuvent être résolues uniquement en agence. De plus, encore une fois, une partie de la population accorde beaucoup plus de confiance à une banque physique qu'à une application sur smartphone, c'est aussi à prendre en compte.

En conséquence, les raisons d'abandonner les produits d'une banque (ou même la banque elle-même) peuvent être multiples. Changement de travail et le tarif de la carte est passé de « salaire » à « Pour les simples mortels », qui est moins avantageux. Déménagement dans une autre ville où il n'y a pas d'agences de la banque. Mauvaise expérience avec un opérateur peu qualifié dans une agence. Ainsi, les raisons de fermer un compte peuvent être beaucoup plus nombreuses que celles pour utiliser un produit.

De plus, un client peut non seulement exprimer clairement son intention — se rendre à la banque et écrire une demande, mais simplement arrêter d'utiliser les produits, sans rompre le contrat. Pour comprendre de telles problématiques, il a été décidé d'utiliser l'apprentissage automatique et l'IA.

En outre, le départ des clients peut se produire dans n'importe quel secteur (télécommunications, fournisseurs d'accès Internet, compagnies d'assurance, en gros, partout où il y a une base de clients et des transactions périodiques).

Ce que nous avons fait

Tout d'abord, il fallait décrire une limite claire — à partir de quel moment nous commençons à considérer qu'un client est parti. Du point de vue de la banque qui nous a fourni les données pour travailler, l'état d'activité du client était binaire — il est soit actif, soit inactif. Il y avait un drapeau ACTIVE_FLAG dans la table «Activité», dont la valeur pouvait être soit «0», soit «1» (respectivement, «Inactif» et «Actif»). Et tout aurait été bien, mais une personne peut utiliser activement les services pendant un certain temps, puis devenir inactive pendant un mois — tomber malade, partir en vacances dans un autre pays ou même commencer à tester la carte d'une autre banque. Ou peut-être, après une longue période d'inactivité, recommencer à utiliser les services de la banque.

C'est pourquoi nous avons décidé de désigner une période d'inactivité comme une certaine période continue durant laquelle le drapeau pour elle était défini comme «0».

Les clients passent d'inactifs à actifs après des périodes d'inactivité de différentes longueurs. Nous avons la possibilité de calculer le degré de la grandeur empirique «fiabilité des périodes d'inactivité» — c'est-à-dire la probabilité qu'une personne recommence à utiliser les produits de la banque après une période d'inactivité.

Par exemple, ce graphique montre la reprise de l'activité (ACTIVE_FLAG=1) des clients après plusieurs mois d'inactivité (ACTIVE_FLAG=0).

Ici, nous allons préciser un peu le jeu de données avec lequel nous avons commencé à travailler. Ainsi, la banque a fourni des informations agrégées sur 19 mois dans les tableaux suivants :

• «Activité» — les transactions mensuelles des clients (par cartes, dans la banque en ligne et la banque mobile), y compris les versements de salaires et les informations sur les transactions.
• «Cartes» — données sur toutes les cartes que possède le client, avec un tableau tarifaire détaillé.
• «Contrats» — informations sur les contrats du client (ouverts et fermés) : crédits, dépôts et autres, avec les paramètres de chacun.
• «Clients» — ensemble de données démographiques (sexe et âge) et existence de données de contact.

Pour notre travail, nous avions besoin de toutes les tables, sauf celle des «Cartes».

La difficulté ici était autre — dans ces données, la banque ne spécifiait pas quelle activité avait eu lieu avec les cartes. Autrement dit, nous pouvions savoir s'il y avait eu des transactions ou non, mais nous ne pouvions pas déterminer leur type. Donc, il était flou de savoir si le client avait retiré des espèces, si son salaire avait été versé, ou s'il avait dépensé de l'argent pour des achats. De plus, nous n'avions pas de données sur les soldes des comptes, ce qui aurait été utile.

L'échantillon lui-même était non biaisé — sur cette tranche, pendant 19 mois, la banque n'avait entrepris aucune tentative de fidélisation des clients ou de minimisation du flux sortant.

Parlons des périodes d'inactivité.

Pour formuler une définition du désabonnement, il faut choisir une période d'inactivité. Pour créer une projection de désabonnement à un moment donné, il est nécessaire d'avoir l'historique des clients sur au moins 3 mois dans l'intervalle . Notre historique était limité à 19 mois, donc nous avons décidé de prendre une période d'inactivité de 6 mois, si elle existait. Et nous avons pris 3 mois comme période minimale pour une prévision de qualité. Les chiffres de 3 et 6 mois ont été pris empiriquement sur la base de l'analyse du comportement de ces clients.

Nous avons formulé la définition du désabonnement comme suit : le mois de désabonnement d'un client est le premier mois avec ACTIVE_FLAG=0, où à partir de ce mois, il y a au moins six zéros consécutifs dans le champ ACTIVE_FLAG, en d'autres termes, le mois à partir duquel le client a été inactif pendant 6 mois.

Nombre de clients partis

Nombre de clients restants

Comment le désabonnement est-il généralement considéré

Dans de telles compétitions, et en pratique en général, le désabonnement est souvent prédit de cette manière. Le client utilise des produits et services à différents intervalles de temps, les données sur son interaction sont représentées sous la forme d'un vecteur de caractéristiques de longueur fixe n. Le plus souvent, cette information comprend :

• Données caractérisant l'utilisateur (données démographiques, segment marketing).
• Historique d'utilisation des produits et services bancaires (ce sont des actions des clients qui sont toujours liées à un moment donné ou à une période de l'intervalle souhaité).
• Données externes, si elles ont pu être obtenues — par exemple, des avis provenant des réseaux sociaux.

Et c'est seulement après cela qu'ils établissent une définition de l'attrition, propre à chaque tâche. Ensuite, ils utilisent un algorithme d'apprentissage machine qui prédit la probabilité de départ du client. sur la base d'un vecteur de facteurs. . Pour entraîner l'algorithme, ils utilisent l'un des frameworks bien connus de construction d'ensembles d'arbres décisionnels, cuML, LightGBM, CatBoost ou leurs modifications.

L'algorithme en soi est bon, mais en ce qui concerne la prévision de l'attrition, il présente plusieurs inconvénients sérieux.

• Il n'a pas ce qu'on appelle 'la mémoire'.À l'entrée du modèle, un certain nombre de caractéristiques correspondant au moment actuel sont fournies. Pour intégrer des informations sur l'historique des changements de paramètres, il est nécessaire de calculer des caractéristiques spéciales, qui décrivent les changements de paramètres dans le temps, par exemple le nombre ou le total des transactions bancaires des 1, 2, 3 derniers mois. Cette approche ne peut que partiellement refléter la nature des changements temporels.
• Horizon de prévision fixe. Le modèle est capable de prédire l'attrition des clients uniquement sur un intervalle de temps préalablement défini, par exemple, une prévision pour un mois à venir. Si une prévision pour un autre intervalle de temps est requise, par exemple, pour trois mois, il faut reconstruire l'échantillon d'entraînement et réentraîner un nouveau modèle.

Notre approche

Nous avons immédiatement décidé de ne pas utiliser les approches standards. Dans le championnat, 497 autres personnes se sont également inscrites, chacune ayant une solide expérience. Donc, essayer de faire quelque chose selon un schéma standard dans de telles conditions n'est pas la meilleure idée.

Et nous avons commencé à résoudre les problèmes posés par le modèle de classification binaire en prédisant la distribution probabiliste du temps d'attrition des clients. Une telle approche peut être consultée ici, elle permet de prédire l'attrition de manière plus flexible et de vérifier des hypothèses plus complexes que dans l'approche classique. Comme famille de distributions modélisant le temps d'attrition, nous avons choisi la distribution Weibull pour son utilisation étendue dans l'analyse de la survie. Le comportement du client peut être considéré comme une sorte de survie.

Voici des exemples de distributions de densités de probabilité de Weibull en fonction des paramètres et :

C'est la densité de distribution de la probabilité de désabonnement de trois clients différents au fil du temps. Le temps est représenté en mois. En d'autres termes, ce graphique montre quand il est le plus probable qu'un client se désabonne dans les deux mois suivants. Comme on peut le constater, le client avec cette distribution a un potentiel de désabonnement plus tôt que les clients avec les distributions Weibull(2, 0.5) et Weibull(3,1).

En fin de compte, nous obtenons un modèle qui prédit pour chaque client, pour n'importe quel
mois, les paramètres de la distribution de Weibull, reflétant au mieux l'arrivée de la probabilité de désabonnement au fil du temps. Pour être plus précis :

• Les caractéristiques cibles dans l'échantillon d'apprentissage sont le temps restant avant le désabonnement pour un mois spécifique pour un client spécifique.
• S'il n'y a pas d'indicateur de désabonnement pour un client, nous supposons que le temps de désabonnement est supérieur au nombre de mois écoulés depuis le début de l'histoire que nous avons.
• Modèle utilisé : réseau de neurones récurrent avec couche LSTM.
• Nous utilisons comme fonction de perte la fonction de vraisemblance logarithmique négative pour la distribution de Weibull.

Voici les avantages de cette méthode :

• La distribution de probabilité, en plus de la possibilité évidente de classification binaire, permet de prédire de manière flexible différents événements, par exemple, si un client continuera à utiliser les services de la banque dans les 3 mois. De plus, si nécessaire, différentes métriques peuvent être moyennées selon cette distribution.
• Le réseau de neurones récurrent LSTM a de la mémoire et utilise efficacement toute l'histoire disponible. Avec l'expansion ou le raffinement de l'histoire, la précision augmente.
• L'approche peut facilement être évoluée en divisant les intervalles de temps en plus petites unités (par exemple, en divisant les mois en semaines).

Mais il ne suffit pas de créer un bon modèle, il faut aussi évaluer correctement sa qualité.

Comment la qualité a été évaluée

Nous avons choisi comme métrique la Lift Curve. Elle est couramment utilisée dans le monde des affaires pour des cas similaires grâce à son interprétation claire, elle est bien décrite ici et ici. Pour résumer le sens de cette métrique en une phrase, cela donnerait « Combien de fois l'algorithme fait meilleure prédiction dans les premiers % par rapport à un tirage aléatoire ».

Nous entraînons les modèles

Les conditions de la compétition n'ont pas établi de métrique de qualité précise pour comparer différents modèles et approches. De plus, la définition du concept de désabonnement peut varier et dépendre des objectifs d'affaires. Ainsi, pour déterminer quel méthode est la meilleure, nous avons formé deux modèles :

1. Une approche couramment utilisée de classification binaire avec un algorithme d'ensemble d'arbres décisionnels (LightGBM);
2. Modèle Weibull-LSTM

L'échantillon de test était composé de 500 clients préalablement sélectionnés qui n'étaient pas dans l'échantillon d'entraînement. Les hyperparamètres du modèle ont été ajustés en utilisant une validation croisée basée sur les clients. Les mêmes ensembles de caractéristiques ont été utilisés pour former chaque modèle.

Étant donné que le modèle n'a pas de mémoire, des caractéristiques spécifiques ont été sélectionnées pour montrer la relation entre le changement des paramètres d'un mois par rapport à la moyenne des paramètres des trois derniers mois. Cela caractérisait la vitesse de changement des valeurs au cours de la période de trois mois précédente. Sans cela, le modèle basé sur Random Forest serait désavantagé par rapport au Weibull-LSTM.

Pourquoi le LSTM avec une distribution de Weibull est-il meilleur qu'une approche basée sur un ensemble d'arbres décisionnels ?

Tout est clairement illustré par quelques images.

Comparaison de la courbe de lift pour l'algorithme classique et le Weibull-LSTM

Comparaison de la métrique de courbe de lift par mois pour l'algorithme classique et le Weibull-LSTM

Dans l'ensemble, le LSTM surpasse l'algorithme classique presque dans tous les cas.

Prédiction du désabonnement

Le modèle basé sur un réseau de neurones récurrents avec des cellules LSTM et une distribution de Weibull peut prédire le désabonnement à l'avance, par exemple, prédire le départ d'un client au cours des n prochains mois. Considérons le cas pour n = 3. Dans ce cas, pour chaque mois, le réseau de neurones doit déterminer correctement : le client partira-t-il, à partir du mois suivant jusqu'au n-ième mois ? En d'autres termes, il doit déterminer correctement si le client restera après n mois. Cela peut être considéré comme une prévision anticipée : prédire le moment où le client commence à penser à partir.

Comparons la courbe de lift pour le Weibull-LSTM 1, 2 et 3 mois avant le désabonnement :

Nous avons déjà mentionné ci-dessus que les prévisions pour les clients inactifs pendant un certain temps sont également importantes. Pour cela, nous ajouterons à l'échantillon les cas où un client parti a déjà été inactif pendant un ou deux mois, et nous vérifierons que le Weibull-LSTM classifie correctement ces cas comme des départs. Étant donné que ces cas étaient présents dans l'échantillon, nous nous attendons à ce que le réseau les gère bien :

Fidélisation des clients

C'est en fait la principale chose à faire lorsque l'on dispose d'informations indiquant que certains clients sont sur le point de cesser d'utiliser le produit. Pour construire un modèle capable de proposer quelque chose d'utile aux clients afin de les fidéliser, cela ne sera pas possible si vous n'avez pas d'historique d'essais similaires qui se sont bien terminés.

Nous n'avons pas eu un tel historique, c'est pourquoi nous avons décidé de le faire ainsi.

1. Nous construisons un modèle qui détermine les produits intéressants pour chaque client.
2. Chaque mois, nous exécutons le classificateur et identifions les clients potentiellement sur le départ.
3. Nous proposons le produit à une partie des clients, conformément au modèle du point 1, et nous mémorisons nos actions.
4. Après quelques mois, nous examinons qui parmi ces clients potentiellement sur le départ est parti et qui est resté. Nous formons ainsi un échantillon d'apprentissage.
5. Nous entraînons le modèle sur l'historique obtenu au point 4.
6. En option, nous répétons la procédure en remplaçant le modèle du point 1 par le modèle obtenu au point 5.

La vérification de la qualité de cette fidélisation peut se faire par un simple A/B testing : nous divisons les clients potentiellement sur le départ en deux groupes. À l'un, nous proposons des produits basés sur notre modèle de fidélisation, à l'autre, nous ne proposons rien. Nous avons décidé d'entraîner un modèle qui pourrait être utile dès le point 1 de notre exemple.

Nous souhaitions rendre la segmentation aussi interprétable que possible. Pour cela, nous avons sélectionné plusieurs caractéristiques qui pouvaient être facilement interprétées : le nombre total de transactions, le salaire, le chiffre d'affaires total sur le compte, l'âge, le sexe. Les caractéristiques de la table "Cartes" n'ont pas été prises en compte pour leur manque d'information, et les caractéristiques de la table 3 "Contrats" pour des raisons de complexité de traitement afin d'éviter une fuite de données entre l'ensemble de validation et l'ensemble d'apprentissage.

La classification a été effectuée à l'aide de modèles de mélange gaussien. Le critère d'information d'Akaike a permis de déterminer 2 maxima. Le premier maximum correspond à 1 cluster. Le deuxième maximum, moins prononcé, correspond à 80 clusters. À partir de ce résultat, on peut conclure que les données sont très difficiles à diviser en clusters sans information a priori. Pour une classification de meilleure qualité, des données décrivant en détail chaque client sont nécessaires.

Ainsi, nous avons considéré la tâche d'apprentissage supervisé afin de proposer à chaque client un produit distinct. Les produits suivants ont été envisagés : « Dépôt à terme », « Carte de crédit », « Découvert », « Prêt à la consommation », « Prêt automobile », « Prêt hypothécaire ».

Il y avait également un autre type de produit dans les données : « Compte courant ». Mais nous ne l'avons pas considéré en raison de son faible niveau d'information. Pour les utilisateurs qui sont des clients de la banque, c'est-à-dire ceux qui n'ont pas cessé d'utiliser ses produits, un modèle a été construit pour prédire quel produit pourrait les intéresser. Une régression logistique a été choisie comme modèle et la valeur Lift pour les 10 premiers percentiles a été utilisée comme métrique d'évaluation de la qualité.

La qualité du modèle peut être évaluée sur le graphique.

Résultats du modèle de recommandation de produits pour les clients

Conclusion

Cette approche nous a valu la première place dans la nomination « IA dans les banques » au Championnat IA RAIF-Challenge 2017.

Apparemment, l'élément clé était de s'attaquer au problème sous un angle peu habituel et d'utiliser une méthode généralement appliquée à d'autres situations.

Bien qu'un retrait massif d'utilisateurs puisse être une catastrophe naturelle pour les services.

Cette méthode peut également être notée pour d'autres domaines où il est important de considérer les retraits, pas seulement pour les banques. Par exemple, nous l'avons utilisée pour calculer notre propre taux de départ — dans les agences de Sibérie et de Saint-Pétersbourg de Rostelecom.

« Laboratoire d'analyse intelligente des données » de la société « Portail de recherche « Sputnik »

Source : habr.com