Big Data Big Billing: iwwer BigData an der Telekom

Am Joer 2008 war BigData en neie Begrëff a fashionable Trend. Am Joer 2019 ass BigData en Objet vum Verkaf, eng Quell vu Gewënn an e Grond fir nei Rechnungen.

Am leschte Hierscht huet d'russesch Regierung e Gesetzesprojet initiéiert fir Big Data ze reguléieren. Eenzelpersoune kënnen net aus Informatioun identifizéiert ginn, awer kënnen dat op Ufro vun de Bundesautoritéiten maachen. D'Veraarbechtung vu BigData fir Drëtt Parteien ass nëmmen no Notifikatioun vu Roskomnadzor. Firmen déi méi wéi 100 dausend Netzwierkadressen hunn falen ënner dem Gesetz. An, natierlech, wou wiere mir ouni Registry? A wann virdrun dës BigData net vu jidderengem eescht geholl ginn ass, da muss se elo berücksichtegt ginn.

Ech, als Direkter vun enger Rechnungsentwécklerfirma déi dës ganz Big Data veraarbecht, kann d'Datebank net ignoréieren. Ech wäert iwwer grouss Daten duerch de Prisma vun Telekomoperateuren denken, duerch deenen hir Rechnungssystemer all Dag Informatioun iwwer Dausende vun Abonnente fléissen.

Stelling

Loosst eis ufänken, wéi an engem Mathematikproblem: Éischt beweise mir datt d'Date vun Telekomoperateuren BigDat genannt kënne ginn. Typesch, grouss Daten sinn duerch dräi VVV Charakteristiken charakteriséiert, obwuel an fräi Interpretatiounen d'Zuel vun "Vs" erreecht siwen.

Volumen. Rostelecom's MVNO eleng servéiert méi wéi eng Millioun Abonnenten. Schlësselhostoperateuren handhaben Daten fir 44 bis 78 Millioune Leit. Den Traffic wiisst all Sekonn: am éischte Véierel vun 2019 hunn d'Abonnenten scho 3,3 Milliarde GB vun Handyen zougeruff.

Geschwindegkeet. Keen kann Iech soen iwwer d'Dynamik besser wéi Statistiken, also wäert ech duerch Cisco d'Prognosen goen. Bis 2021 wäerten 20% vum IP-Traffic op den mobilen Traffic goen - et wäert sech a fënnef Joer bal dräifach maachen. En Drëttel vun de mobilen Verbindungen wäert M2M sinn - d'Entwécklung vum IoT féiert zu enger sechsfach Erhéijung vun de Verbindungen. Den Internet vun de Saachen wäert net nëmme rentabel ginn, awer och Ressourceintensiv, sou datt e puer Betreiber nëmmen dorop konzentréieren. An déi, déi IoT als separat Service entwéckelen, kréien duebel Traffic.

Varietéit. Diversitéit ass e subjektivt Konzept, awer Telekomoperateure wësse wierklech bal alles iwwer hir Abonnenten. Vun Numm a Pass Detailer ze Telefon Modell, Akeef, Plazen besicht an Interessen. Geméiss dem Yarovaya Gesetz gi Mediendateien sechs Méint gespäichert. Also loosst eis et als Axiom huelen datt d'gesammelt Donnéeën variéiert sinn.

Software a Methodik

Ubidder sinn ee vun den Haaptverbraucher vu BigData, sou datt déi meescht Big Data Analyse Technike fir d'Telekomindustrie applicabel sinn. Eng aner Fro ass wien prett ass fir an d'Entwécklung vu ML, AI, Deep Learning ze investéieren, an Datenzenteren an Datemining investéieren. Vollwäerteg Aarbecht mat enger Datebank besteet aus Infrastruktur an engem Team, d'Käschte vun deenen net jidderee sech leeschte kann. Firmen déi schonn e Firmelager hunn oder eng Data Governance Methodologie entwéckelen sollen op BigData wetten. Fir déi, déi nach net prett sinn fir laangfristeg Investitiounen, roden ech Iech d'Softwarearchitektur no an no opzebauen an Komponenten een nom aneren z'installéieren. Dir kënnt déi schwéier Moduler an Hadoop fir lescht verloossen. Puer Leit kafen eng fäerdeg Léisung fir Probleemer wéi Data Quality an Data Mining; Firmen personaliséieren allgemeng de System op hir spezifesch Spezifikatioune a Bedierfnesser - selwer oder mat der Hëllef vun Entwéckler.

Awer net all Rechnung ka geännert ginn fir mat BigData ze schaffen. Oder éischter, net nëmmen alles kann geännert ginn. Puer Leit kënnen dëst maachen.

Dräi Unzeeche datt e Rechnungssystem eng Chance huet en Datebankveraarbechtungsinstrument ze ginn:

• Horizontal Skalierbarkeet. Software muss flexibel sinn - mir schwätzen iwwer Big Data. Eng Erhéijung vun der Quantitéit vun Informatioun soll duerch eng proportional Erhéijung vun der Hardware am Cluster behandelt ginn.
• Feeler Toleranz. Seriéis Prepaid Systemer sinn normalerweis Feeler-tolerant par défaut: Rechnung gëtt an engem Cluster a verschiddene Geolocatiounen ofgesat, sou datt se sech automatesch géigesäiteg versécheren. Et sollten och genuch Computeren am Hadoop-Cluster sinn am Fall wou een oder méi versoen.
• Uertschaft. D'Donnéeë mussen op engem Server gespäichert a veraarbecht ginn, soss kënnt Dir op Datentransfer briechen. Ee vun de populäre Map-Reduce Approche Schemaen: HDFS Geschäfter, Spark Prozesser. Idealerweis sollt d'Software nahtlos an d'Datenzentruminfrastruktur integréieren a fäeg sinn dräi Saachen an engem ze maachen: Informatioun sammelen, organiséieren an analyséieren.

Equipe

Wat, wéi a fir wéi en Zweck de Programm grouss Daten veraarbecht gëtt vum Team decidéiert. Dacks besteet et aus enger Persoun - en Datewëssenschaftler. Och wann, menger Meenung no, de Minimum Package vu Mataarbechter fir Big Data enthält och e Produktmanager, Dataingenieur a Manager. Déi éischt versteet d'Servicer, iwwersetzt d'Technologie an d'Mënschsprooch a vice versa. Data Engineer bréngt Modeller zum Liewen mat Java / Scala an experimentéiert mat Machine Learning. De Manager koordinéiert, setzt Ziler a kontrolléiert d'Etappen.

Problem

Et ass op der Säit vum BigData Team datt Probleemer normalerweis entstinn wann Dir Daten sammelt an veraarbecht. De Programm muss erkläre wat Dir sammelt a wéi Dir et veraarbecht - fir dëst z'erklären, musst Dir et als éischt selwer verstoen. Awer fir Ubidder sinn d'Saachen net sou einfach. Ech schwätzen iwwer d'Problemer mat dem Beispill vun der Aufgab fir Abonnent-Churn ze reduzéieren - dat ass wat d'Telekomoperateuren probéieren mat der Hëllef vu Big Data an der éischter Plaz ze léisen.

Ziler setzen. Gutt geschriwwe technesch Spezifikatioune a verschidde Verständnis vu Begrëffer waren e Joerhonnerte-ale Péng net nëmme fir Freelancer. Och "gefall" Abonnente kënnen op verschidde Manéieren interpretéiert ginn - wéi déi, déi d'Servicer vum Bedreiwer fir e Mount, sechs Méint oder e Joer net benotzt hunn. A fir e MVP baséiert op historeschen Donnéeën ze kreéieren, musst Dir d'Frequenz vun de Rendementer vun Abonnente vu Churn verstoen - déi, déi aner Bedreiwer probéiert hunn oder d'Stad verlooss hunn an eng aner Zuel benotzt hunn. Eng aner wichteg Fro: Wéi laang ier den Abonnent erwaart gëtt ze verloossen, soll de Provider dat bestëmmen an handelen? Sechs Méint ass ze fréi, eng Woch ass ze spéit.

Ersatz vun Konzepter. Typesch identifizéieren d'Betreiber e Client mat der Telefonsnummer, sou datt et logesch ass datt d'Schëlder mat Hëllef eropgeluede ginn. Wat iwwer Äre perséinleche Kont oder Service Uwendungsnummer? Et ass néideg ze entscheeden wéi eng Eenheet als Client soll geholl ginn, sou datt d'Donnéeën am System vum Bedreiwer net variéieren. D'Bewäertung vum Wäert vun engem Client ass och zweifelhaft - wéi eng Abonnent ass méi wäertvoll fir d'Firma, wéi ee Benotzer erfuerdert méi Effort fir ze halen, a wéi eng wäerten op alle Fall "offallen" an et ass kee Sënn fir Ressourcen op hinnen ze verbréngen.

Mangel un Informatioun. Net all Fournisseur Mataarbechter kënnen dem BigData Team erklären wat spezifesch Abonnent Churn beaflosst a wéi méiglech Faktore bei der Rechnung berechent ginn. Och wann se ee vun hinnen genannt hunn - ARPU - et stellt sech eraus datt et op verschidde Manéiere berechent ka ginn: entweder duerch periodesch Clientbezuelungen oder duerch automatesch Rechnungskäschten. An am Prozess vun der Aarbecht entstinn eng Millioun aner Froen. Deckt de Modell all Clienten of, wat ass de Präis fir e Client ze behalen, ass et Sënn fir alternativ Modeller ze denken a wat mat Clienten ze maachen déi falsch kënschtlech zréckbehale goufen.

Zilsetzung. Ech weess vun dräi Aarte vu Resultatfehler, déi d'Betreiber frustréieren mat der Datebank.

1. De Provider investéiert an BigData, veraarbecht Gigabyte vun Informatioun, kritt awer e Resultat dat méi bëlleg kritt hätt. Einfach Diagrammer a Modeller, primitiv Analyse gi benotzt. D'Käschte si vill Mol méi héich, awer d'Resultat ass d'selwecht.
2. De Bedreiwer kritt villsäiteg Daten als Ausgang, awer versteet net wéi se se benotzen. Et gëtt Analytik - hei ass et, verständlech a voluminös, awer et ass net nëtzlech. D'Ennresultat, dat net aus dem Zil vun "Datenveraarbechtung" besteet, ass net duerchduecht ginn. Et ass net genuch ze veraarbechten - Analyse soll d'Basis ginn fir d'Aktualiséierung vun de Geschäftsprozesser.
3. Hindernisser fir d'Benotzung vu BigData Analyse kënne verännert Geschäftsprozesser a Software sinn, déi net gëeegent sinn fir nei Zwecker. Dëst bedeit datt si e Feeler an der Virbereedungsstadium gemaach hunn - si hunn net den Algorithmus vun den Aktiounen an d'Etappen vun der Aféierung vu Big Data an d'Aarbecht geduecht.

Wat fir

Apropos Resultater. Ech ginn iwwer d'Weeër fir Big Data ze benotzen an ze monetiséieren déi Telekomoperateuren scho benotzen.
Ubidder viraussoen net nëmmen den Ausfluss vun Abonnenten, awer och d'Laascht op Basisstatiounen.

1. Informatioun iwwer Abonnentbewegungen, Aktivitéit a Frequenzservicer gëtt analyséiert. Resultat: Reduktioun vun der Unzuel vun Iwwerlaaschtungen duerch Optimiséierung a Moderniséierung vu Problemberäicher vun der Infrastruktur.
2. Telekomoperateuren benotzen Informatioun iwwer d'Geolocatioun vun den Abonnenten an d'Verkéiersdichte beim Öffnungspunkte vum Verkaf. Sou gëtt BigData Analyse scho vu MTS a VimpelCom benotzt fir d'Plaz vun neie Büroen ze plangen.
3. Ubidder monetiséieren hir eege grouss Donnéeën andeems se Drëtt Parteien ubidden. D'Haaptcliente vu BigData Opérateuren sinn kommerziell Banken. Mat der Datebank iwwerwaachen se verdächteg Aktivitéite vun der SIM Kaart vum Abonnent, op déi d'Kaarte verbonne sinn, a benotzen d'Risiko Scoring, Verifizéierung an Iwwerwaachungsservicer. An 2017 huet d'Moskauer Regierung d'Bewegungsdynamik gefrot op Basis vu BigData Daten vun Tele2 fir technesch an Transportinfrastrukturen ze plangen.
4. BigData Analyse ass eng Goldmine fir Bemarker, déi personaliséiert Werbekampagnen fir sou vill wéi Dausende vun Abonnentgruppen kreéiere kënnen wa se wielen. Telekomfirmen aggregéiere sozial Profiler, Konsumenteninteressen a Verhalensmuster vun Abonnenten, a benotzen dann déi gesammelt BigData fir nei Clienten unzezéien. Mä fir grouss-Skala Promotioun an PR Planung, Rechnung net ëmmer genuch Funktionalitéit hunn: de Programm muss gläichzäiteg Rechnung vill Faktoren parallel mat detailléiert Informatiounen iwwert Clienten huelen.

Wärend e puer ëmmer nach BigData als eidel Phrase betruechten, verdéngen d'Big Four scho Suen drop. MTS verdéngt 14 Milliarden Rubel vu grousser Datenveraarbechtung a sechs Méint, an Tele2 erhéicht Recetten aus Projeten ëm dräi an en halleft Mol. BigData verwandelt sech vun engem Trend an e Must-Have, ënner deem déi ganz Struktur vun den Telekomoperateuren nei opgebaut gëtt.

Source: will.com