Big data big billing : à propos du BigData dans les télécoms

En 2008, le BigData était un nouveau terme et une tendance à la mode. En 2019, le BigData est devenu un objet commercial, une source de profit et un motif de nouvelle législation.

L'automne dernier, le gouvernement russe a présenté un projet de loi visant à réglementer le Big Data. Il est interdit d'identifier des personnes par des informations, mais cette identification est autorisée à la demande des agences fédérales. Le traitement de Big Data pour des tiers ne peut être effectué qu'après notification au Roskomnadzor. La loi s'applique aux entreprises disposant de plus de 100 XNUMX adresses réseau. Et, bien sûr, que serions-nous sans registres ? Il est proposé d'en créer un avec une liste d'opérateurs de bases de données. Si auparavant le Big Data n'était pas pris au sérieux par tous, il faudra désormais en tenir compte.

En tant que directeur d'une société de développement de solutions de facturation qui traite ce BigData, je ne peux ignorer la base de données. Je vais aborder le Big Data à travers le prisme des opérateurs télécoms, dont les systèmes de facturation font transiter quotidiennement des flux d'informations concernant des milliers d'abonnés.

Théorème

Commençons par un problème mathématique : démontrons d'abord que les données des opérateurs télécoms peuvent être qualifiées de BigDat. Le Big Data est généralement caractérisé par trois caractéristiques VVV, bien que dans les interprétations libres, le nombre de « V » atteigne sept.

Volume. Le MVNO de Rostelecom dessert à lui seul plus d'un million d'abonnés. Les principaux opérateurs hébergeurs traitent les données de 44 à 78 millions de personnes. Le trafic augmente chaque seconde : au premier trimestre 2019, les abonnés ont déjà surfé sur 3,3 milliards de Go depuis leurs téléphones portables.

Vitesse. Personne ne peut mieux vous renseigner sur la dynamique que les statistiques, je vais donc passer en revue les prévisions de Cisco. D'ici 2021, 20 % du trafic IP sera mobile ; ce trafic sera presque multiplié par trois en cinq ans. Un tiers des connexions mobiles seront M2M ; le développement de l'IoT entraînera une multiplication par six du nombre de connexions. L'Internet des objets deviendra non seulement rentable, mais aussi un secteur gourmand en ressources, ce qui incitera certains opérateurs à s'y concentrer exclusivement. Ceux qui développeront l'IoT comme un service distinct recevront un trafic deux fois plus important.

Variété. La diversité est un concept subjectif, mais les opérateurs télécoms connaissent pratiquement tout de leurs abonnés : du nom et des informations de passeport au modèle de téléphone, en passant par les achats, les lieux visités et les centres d'intérêt. Les fichiers multimédias sont conservés six mois conformément à la loi de Yarovaya. Partons donc du principe que les données collectées sont diverses.

Logiciel et méthodologie

Les fournisseurs sont parmi les principaux consommateurs de BigData ; la plupart des méthodes d'analyse du Big Data sont donc applicables au secteur des télécommunications. Une autre question est de savoir qui est prêt à investir dans le développement du Machine Learning, de l'IA, du Deep Learning, ainsi que dans les centres de données et l'exploration de données. Travailler avec une base de données nécessite une infrastructure et une équipe, dont les coûts ne sont pas à la portée de tous. Les entreprises disposant déjà d'un stockage interne ou développant une méthodologie de gouvernance des données devraient miser sur le BigData. Pour celles qui ne sont pas encore prêtes à investir à long terme, je conseille de construire progressivement l'architecture logicielle et d'installer les composants un par un. Les modules lourds et Hadoop peuvent être laissés pour la fin. Rares sont ceux qui achètent une solution clé en main pour des tâches telles que la qualité des données et l'exploration de données ; les entreprises adaptent généralement le système à leurs spécificités et à leurs besoins, elles-mêmes ou avec l'aide de développeurs.

Mais toutes les facturations ne peuvent pas être modifiées pour fonctionner avec le BigData. Ou plutôt, elles ne sont pas accessibles à tous. Rares sont ceux qui le peuvent.

Trois signes indiquant qu’un système de facturation a une chance de devenir un outil de traitement de base de données :

• Évolutivité horizontale. Les logiciels doivent être flexibles – il s'agit de big data. L'augmentation du volume d'informations doit s'accompagner d'une augmentation proportionnelle du matériel du cluster.
• Tolérance aux pannes. Les systèmes prépayés sérieux sont généralement tolérants aux pannes par défaut : la facturation est déployée dans un cluster réparti sur plusieurs sites afin qu'ils s'assurent automatiquement mutuellement. Le cluster Hadoop doit également disposer de suffisamment d'ordinateurs en cas de panne d'un ou plusieurs d'entre eux.
• Localité. Les données doivent être stockées et traitées sur un seul site. serveurAutrement, le transfert de données peut s'avérer coûteux. Une approche courante consiste à utiliser MapReduce : stockage HDFS et traitement par Spark. Idéalement, le logiciel devrait s'intégrer parfaitement à l'infrastructure du centre de données et remplir trois fonctions : collecter, organiser et analyser les informations.

Équipe

L'équipe décide de la nature, de la méthode et de l'objectif du traitement du Big Data par le programme. Elle se compose souvent d'une seule personne : un data scientist. Cependant, à mon avis, le package minimum d'employés pour le BigData comprend également un chef de produit, un ingénieur de données et un manager. Le premier comprend les services, traduit le langage technique en langage humain et inversement. L'ingénieur de données donne vie aux modèles en Java/Scala et expérimente le Machine Learning. Le manager coordonne, fixe les objectifs et contrôle les étapes.

Problèmes

C'est généralement l'équipe BigData qui rencontre des difficultés pour collecter et traiter les données. Il est nécessaire d'expliquer au programme ce qu'il faut collecter et comment les traiter ; pour cela, il faut d'abord comprendre le fonctionnement. Et pour les fournisseurs, tout n'est pas si simple. Je vais vous présenter ces difficultés en prenant l'exemple de la réduction du taux de désabonnement : c'est précisément ce que les opérateurs télécoms cherchent à résoudre avec le BigData.

Définition des tâches. Une spécification technique bien rédigée et une compréhension différente des termes sont un problème récurrent, et pas seulement pour les freelances. Même les abonnés « abandonnés » peuvent être interprétés différemment : ceux qui n'ont pas utilisé les services de l'opérateur depuis un mois, six mois ou un an. Pour créer un MVP basé sur des données historiques, il est nécessaire de comprendre la fréquence de retour des abonnés sortants, c'est-à-dire ceux qui ont essayé des connexions auprès d'autres opérateurs ou qui ont quitté la ville pour utiliser un autre numéro. Autre question importante : combien de temps avant le départ prévu d'un abonné le fournisseur doit-il déterminer ce délai et agir ? Six mois, c'est trop tôt, une semaine, c'est trop tard.

Substitution de concepts. Habituellement, les opérateurs identifient un client par son numéro de téléphone ; il est donc logique que les fonctionnalités soient téléchargées par ce dernier. Mais qu'en est-il du compte personnel ou du numéro de l'application de service ? Il est nécessaire de déterminer quelle unité considérer comme client afin que les données enregistrées dans le système de l'opérateur soient identiques. L'évaluation de la valeur du client est également sujette à caution : quel abonné est le plus précieux pour l'entreprise, quel utilisateur nécessite davantage d'efforts de fidélisation, et lesquels « s'envoleront » de toute façon et pour lesquels il est inutile de consacrer des ressources.

Manque d'information. Tous les employés du fournisseur ne sont pas capables d'expliquer à l'équipe BigData ce qui influence précisément la perte d'abonnés et comment les facteurs possibles sont calculés dans la facturation. Même s'ils en citent un – l'ARPU –, il s'avère qu'il peut être calculé de différentes manières : soit par les paiements périodiques du client, soit par des frais de facturation automatique. Et au fil du travail, un million d'autres questions se posent : le modèle couvre-t-il tous les clients ? Quel est le prix à payer pour fidéliser un client ? Est-il judicieux d'envisager des modèles alternatifs ? Que faire des clients artificiellement fidélisés par erreur ?

Établissement d'objectifs. Je connais trois types d’erreurs liées aux résultats qui frustrent les opérateurs avec la base de données.

1. Le fournisseur investit dans le BigData, traite des gigaoctets d'informations, mais obtient un résultat qui aurait pu être obtenu à moindre coût. Il utilise des schémas et des modèles simples, ainsi que des analyses primitives. Le coût est plusieurs fois supérieur, mais le résultat est le même.
2. L'opérateur reçoit des données multiformes en sortie, mais ne sait pas comment les exploiter. L'analyse est là, claire et volumineuse, mais elle est dénuée de sens. Le résultat final n'est pas réfléchi et ne peut pas répondre à l'objectif de « traitement des données ». Le traitement ne suffit pas : l'analyse doit devenir la base de la mise à jour des processus métier.
3. Des processus métier obsolètes et des logiciels inadaptés aux nouvelles finalités peuvent constituer un obstacle à l'utilisation de l'analyse BigData. Cela signifie que vous avez échoué au stade de la préparation : vous n'avez pas réfléchi à l'algorithme des actions et aux étapes de mise en œuvre du BigData.

Pourquoi

En parlant de résultats, je vais passer en revue les méthodes d’utilisation et de monétisation du BigData que les opérateurs de télécommunications utilisent déjà.
Les fournisseurs prévoient non seulement le flux sortant des abonnés, mais également les charges sur les stations de base.

1. Les informations sur les mouvements, l'activité et les fréquences des abonnés sont analysées. Résultat : réduction du nombre de surcharges grâce à l'optimisation et à la modernisation des infrastructures problématiques.
2. Les opérateurs télécoms utilisent les informations de géolocalisation des abonnés et de densité de trafic lors de l'ouverture de points de vente. Ainsi, l'analyse BigData est déjà utilisée par MTS et VimpelCom pour planifier l'implantation de nouveaux bureaux.
3. Les fournisseurs monétisent leurs propres Big Data en les proposant à des entreprises tierces. Les principaux clients des opérateurs BigData sont les banques commerciales. Grâce à la base de données, ils suivent les activités suspectes sur la carte SIM de l'abonné, à laquelle les cartes sont liées, et utilisent des services de notation des risques, de vérification et de surveillance. En 2017, le gouvernement de Moscou a demandé à Tele2 d'analyser la dynamique des mouvements basée sur le BigData pour la planification des infrastructures techniques et de transport.
4. L'analyse BigData est une mine d'or pour les marketeurs, qui peuvent créer des campagnes publicitaires personnalisées pour des milliers de groupes d'abonnés s'ils le souhaitent. Les opérateurs télécoms agrègent les profils sociaux, les centres d'intérêt et les modèles comportementaux des abonnés, puis exploitent les BigData collectées pour attirer de nouveaux clients. Cependant, pour la promotion et la planification des relations publiques à grande échelle, la facturation n'offre pas toujours les fonctionnalités nécessaires : le programme doit prendre en compte simultanément de nombreux facteurs, en plus d'informations détaillées sur les clients.

Si certains considèrent encore le Big Data comme un vain mot, les « Big Four » en tirent déjà profit. MTS a engrangé 14 milliards de roubles en six mois grâce au traitement du Big Data, et Tele2 a multiplié par trois et demi son chiffre d'affaires issu de projets. Le Big Data, autrefois tendance, devient un incontournable, qui va restructurer toute la structure des opérateurs télécoms.

Source: habr.com