Big Data : gros enjeux et facturation dans le secteur des télécommunications

En 2008, le Big Data était un nouveau terme et une tendance à la mode. En 2019, le Big Data est devenu un objet de vente, une source de profit et un prétexte pour de nouveaux projets de loi.

À l'automne dernier, le gouvernement russe a initié un projet de loi sur la régulation des grandes données. Il est interdit d'identifier les personnes par leurs informations, mais cela est permis à la demande des autorités fédérales. Le traitement des Big Data pour des tiers n'est autorisé qu'après notification à Roskomnadzor. Les entreprises possédant plus de 100 000 adresses réseau sont soumises à cette loi. Et, bien sûr, il ne peut y avoir de registre – la création d'un tel registre avec la liste des opérateurs de bases de données est prévue. Et si auparavant le Big Data n'était pas pris au sérieux par tout le monde, il faudra désormais en tenir compte.

Je ne peux pas ignorer le Big Data non plus, en tant que directeur d'une société de développement de facturation qui traite cette même Big Data. Je vais réfléchir aux grandes données à travers le prisme des opérateurs de télécommunication, à travers les systèmes de facturation desquels passent chaque jour les flux d'informations sur des milliers d'abonnés.

Théorème

Commençons comme dans un problème de mathématiques : prouvons d'abord que les données des opérateurs de télécommunication peuvent être qualifiées de Big Data. En général, les grandes données se caractérisent par trois caractéristiques VVV, bien que dans des interprétations libres, le nombre de « V » ait atteint jusqu'à sept.

Volume. Un seul MVNO de Rostelecom sert plus d'un million d'abonnés. Les principaux opérateurs hôtes traitent des données pour 44 à 78 millions de personnes. Le trafic augmente chaque seconde : au premier trimestre 2019, les abonnés avaient déjà surfé sur leurs téléphones mobiles pour 3,3 milliards de Go.

Vélocité. Personne ne raconte mieux la dynamique que les statistiques, donc je vais passer en revue les prévisions de Cisco. D'ici 2021, 20 % du trafic IP sera attribué au trafic mobile - il augmentera presque de trois fois en cinq ans. Un tiers des connexions mobiles sera dédié à M2M - le développement de l'IoT entraînera une multiplication par six des connexions. L'Internet des objets ne deviendra pas seulement un domaine rentable, mais aussi énergivore, c'est pourquoi certains opérateurs se concentreront uniquement sur cela. Et ceux qui développeront l'IoT en tant que service séparé obtiendront le double du trafic.

Variété. La diversité est un concept subjectif, mais les opérateurs de télécommunications en savent vraiment presque tout sur leurs abonnés. Du nom et des données d'identification jusqu'au modèle de téléphone, aux achats, aux lieux visités et aux centres d'intérêt. Les fichiers multimédias doivent être conservés pendant au moins six mois selon la loi Yarovaya. Donc, acceptons comme un axiome que les données collectées sont variées.

Logiciels et méthodologie

Les fournisseurs sont l'un des principaux consommateurs de Big Data, c'est pourquoi la plupart des méthodes d'analyse des grandes données sont applicables au secteur des télécommunications. La vraie question est de savoir qui est prêt à investir dans le développement de l'apprentissage automatique (ML), de l'intelligence artificielle (IA), de l'apprentissage en profondeur, d'investir dans des centres de données et dans le data mining. Un travail efficace avec des bases de données nécessite une infrastructure et une équipe, dont les coûts ne sont pas à la portée de tous. Les entreprises qui disposent déjà d'un entrepôt de données d'entreprise ou qui développent une méthode de gouvernance des données devraient miser sur le Big Data. Pour celles qui ne sont pas encore prêtes à des investissements à long terme, je recommanderais de développer progressivement l'architecture des logiciels et d'installer les composants un par un. Les modules lourds et Hadoop peuvent être laissés pour la fin. Peu de gens achètent une solution clé en main pour des tâches telles que Data Quality et Data Mining, la plupart des entreprises adaptent le système à leur spécificité et à leurs besoins - elles le font elles-mêmes ou avec l'aide de développeurs.

Cependant, tous les systèmes de facturation ne peuvent pas être modifiés pour travailler avec Big Data. En fait, ce ne sont pas tous qui peuvent être modifiés. Peu de gens savent faire ça.

Trois signes qu'un système de facturation a une chance de devenir un outil de traitement de base de données :

• Scalabilité horizontale. Le logiciel doit être flexible - nous parlons de grandes données. L'augmentation de la quantité d'information doit être compensée par une augmentation proportionnelle du matériel dans le cluster.
• Résilience aux pannes. Les systèmes prépayés sérieux sont généralement résilients par défaut : la facturation est déployée dans un cluster dans plusieurs géolocalisations, afin que celles-ci puissent se sécuriser automatiquement les unes les autres. Il doit également y avoir suffisamment d'ordinateurs dans le cluster Hadoop en cas de défaillance d'un ou plusieurs d'entre eux.
• Localité. Les données doivent être stockées et traitées sur un le serveur, sinon on risque de faire faillite à cause du transfert de données. Un des schémas populaires d'approche Map-Reduce : HDFS stocke, Spark traite. Idéalement, le logiciel devrait s'intégrer sans douleur dans l'infrastructure des centres de données et savoir faire trois en un : collecter, organiser et analyser l'information.

Commande

C'est l'équipe qui détermine ce que le programme va faire avec de grandes données, et à quelles fins. Souvent, cette équipe est composée d'une seule personne : le data scientist. Cependant, à mon avis, le minimum d'employés pour le Big Data devrait également inclure un chef de produit, un Data Engineer et un responsable. Le premier comprend les services, traduit le jargon technique en langage compréhensible et vice versa. Le Data Engineer concrétise les modèles à l'aide de Java/Scala et expérimente avec le Machine Learning. Le responsable coordonne, fixe des objectifs et contrôle les étapes.

Problèmes

C'est généralement du côté de l'équipe Big Data que surgissent des problèmes lors de la collecte et du traitement des données. Le programme doit comprendre quoi collecter et comment traiter ces informations ; pour cela, il faut d'abord bien comprendre soi-même. Et pour les fournisseurs, ce n'est pas toujours aussi simple. Je vais illustrer les problèmes à travers l'exemple d'une tâche de réduction du taux de désabonnement – c'est précisément ce que les opérateurs de télécommunications tentent de résoudre en priorité grâce au Big Data.

Définition des tâches. Un cahier des charges bien rédigé et la compréhension variée des termes – c'est une douleur millénaire non seulement pour les freelances. Même les abonnés 'partis' peuvent être interprétés de différentes manières : comme n'utilisant pas les services de l'opérateur depuis un mois, six mois ou un an. Et pour créer un MVP à partir de données historiques, il est essentiel de comprendre la fréquence de retour des abonnés sortis – ceux qui ont essayé les services d'autres opérateurs ou qui ont quitté la ville en utilisant un autre numéro. Une autre question importante est : combien de temps avant le départ prévu de l'abonné l'opérateur doit-il identifier ce départ et prendre des mesures ? Six mois à l'avance – c'est trop tôt, une semaine à l'avance – déjà trop tard.

Confusion des termes. D'habitude, les opérateurs identifient le client par son numéro de téléphone, il est donc logique d'extraire les indicateurs par celui-ci. Qu'en est-il du compte client ou du numéro de l'application de service ? Il faut déterminer quelle unité doit être considérée comme le client, afin que les données dans le système de l'opérateur ne varient pas. L'évaluation de la valeur du client est également remise en question – quel abonné est le plus précieux pour l'entreprise, pour lequel il faut investir le plus d'efforts pour le retenir, et lesquels 'partiront' de toute façon et ne justifient pas l'investissement de ressources.

Manque d'informations. Loin d'être tous, les employés du fournisseur sont capables d'expliquer à l'équipe BigData ce qui influence précisément le départ des abonnés et comment les facteurs possibles sont calculés dans la facturation. Même si l'un d'eux était mentionné – l'ARPU – il s'avère qu'on peut aussi le calculer de différentes manières : soit par les paiements périodiques du client, soit par les charges automatiques de la facturation. En cours de travail, un million d'autres questions surgissent. Tout le monde est-il inclus dans le modèle, quel est le coût pour la fidélisation des clients, a-t-il du sens de réfléchir à des modèles alternatifs et que faire avec les clients que l'on a commencé à retenir par erreur ?

Objectifs. Je connais trois types d'erreurs liées aux résultats qui frustrent les opérateurs concernant les bases de données.

1. Le fournisseur investit dans BigData, traite des gigaoctets d'informations, mais obtient un résultat qu'il aurait pu avoir à moindre coût. Des schémas et modèles simples sont utilisés, une analyse primitive. Le coût est des fois plus élevé, mais le résultat reste le même.
2. L'opérateur reçoit des données multifactorielles à la sortie, mais ne sait pas comment les utiliser. L'analyse est là – la voici, claire et volumineuse, mais elle est sans aucun intérêt. Le résultat final n'a pas été pensé, il ne peut pas se résumer à l'objectif "traiter les données". Traiter est insuffisant – l'analyse doit devenir la base pour la mise à jour des processus métier.
3. Des processus d'affaires obsolètes et un logiciel inadapté aux nouveaux objectifs peuvent constituer un obstacle à l'utilisation d'analytique BigData. Cela signifie qu'il y a eu un échec à l'étape de préparation – l'algorithme d'actions et les étapes d'implémentation de BigData dans le travail n'ont pas été réfléchis.

Pourquoi

À propos des résultats. Je vais passer en revue les méthodes d'utilisation et de monétisation de BigData déjà exploitées par les opérateurs de télécommunications.
Les fournisseurs prévoient non seulement le départ des abonnés, mais aussi les charges sur les stations de base.

1. Les informations sur les déplacements des abonnés, leur activité et les services fréquents sont analysées. Résultat : réduction du nombre de surcharges grâce à l'optimisation et à la modernisation des zones problématiques de l'infrastructure.
2. Les informations sur la géolocalisation des abonnés et la densité du flux sont utilisées par les opérateurs de télécommunications lors de l'ouverture de points de vente. Ainsi, l'analytique BigData est déjà utilisée par MTS et Vimpelcom pour planifier l'emplacement de nouveaux bureaux.
3. Les fournisseurs monétisent leurs propres grandes données en les offrant à des entreprises tierces. Les principaux clients des opérateurs Big Data sont les banques commerciales. Grâce aux données, elles surveillent les activités suspectes des cartes SIM liées aux cartes, utilisent des services de scoring des risques, de vérification et de surveillance. En 2017, le gouvernement de Moscou a demandé à Tele2 des données sur la dynamique des déplacements pour planifier l'infrastructure technique et de transport.
4. L'analyse Big Data est une mine d'or pour les marketeurs, qui peuvent créer des campagnes publicitaires personnalisées pour des milliers de groupes d'abonnés, s'ils le souhaitent. Les entreprises de télécommunications agrègent des profils sociaux, des intérêts consommateurs et des modèles comportementaux des abonnés, puis utilisent les Big Data collectées pour attirer de nouveaux clients. Mais pour une planification à grande échelle des promotions et des relations publiques, la facturation n'a pas toujours les fonctionnalités nécessaires : le programme doit simultanément prendre en compte de nombreux facteurs tout en fournissant des informations détaillées sur les clients.

Tandis que certains considèrent encore Big Data comme un concept vide, les "grands quatre" en tirent déjà des profits. MTS génère 14 milliards de roubles en six mois grâce au traitement des grandes données, tandis que Tele2 a multiplié par trois et demi ses revenus provenant de projets. Big Data évolue d'une tendance à un must have, autour duquel toute la structure des opérateurs de télécommunication va se réorganiser.

Source : habr.com