Große Daten, große Abrechnung: über Big Data in der Telekommunikation

Im Jahr 2008 war Big Data ein neuer Begriff und ein angesagter Trend. Im Jahr 2019 ist Big Data ein Verkaufsobjekt, eine Einnahmequelle und Anlass für neue Gesetzesentwürfe.

Im vergangenen Herbst hat die russische Regierung einen Gesetzesentwurf zur Regulierung von Big Data initiiert. Es ist untersagt, Personen aufgrund von Informationen zu identifizieren, aber es ist erlaubt, dies auf Anfrage von Bundesbehörden zu tun. Die Verarbeitung von Big Data für Dritte ist nur nach Benachrichtigung von Roskomnadzor erlaubt. Der Gesetzesentwurf betrifft Unternehmen, die über mehr als 100.000 Netzwerkadressen verfügen. Und natürlich darf das Register nicht fehlen – es ist die Schaffung eines solchen Registers mit einer Liste von DB-Betreibern geplant. Wenn Big Data zuvor nicht von allen ernst genommen wurde, muss man jetzt Rücksicht auf sie nehmen.

Auch ich kann Big Data nicht ignorieren, als Direktor eines Unternehmens, das Billing-Software entwickelt und diese Big Data verarbeitet. Ich werde über Big Data aus der Perspektive von Telekommunikationsbetreibern nachdenken, durch deren Billing-Systeme täglich Informationsströme von Tausenden von Abonnenten fließen.

Satz

Lassen Sie uns beginnen, wie in einer Mathematikaufgabe: Zuerst beweisen wir, dass die Daten der Netzwerkbetreiber als Big Data bezeichnet werden können. Größere Daten werden normalerweise durch drei Merkmale, die VVV genannt werden, charakterisiert, wobei in freien Interpretationen die Anzahl der „V“ sogar bis zu sieben reichen kann.

Volumen. Allein der MVNO Rostelecom betreut über eine Million Abonnenten. Die Haupt-Hostbetreiber verarbeiten Daten von 44 bis 78 Millionen Menschen. Der Datenverkehr wächst jede Sekunde: Im ersten Quartal 2019 haben die Abonnenten bereits 3,3 Milliarden GB mobil gesurft.

Geschwindigkeit. Niemand erzählt besser von der Dynamik als Statistiken, daher gehe ich auf die Prognosen von Cisco ein. Bis 2021 werden 20 % des IP-Datenverkehrs auf mobilen Datenverkehr entfallen – dieser wird in fünf Jahren fast dreimal so hoch sein. Ein Drittel der mobilen Verbindungen wird auf M2M entfallen – die Entwicklung des IoT wird zu einem sechsmaligen Anstieg der Verbindungen führen. Das Internet der Dinge wird nicht nur profitabel, sondern auch ressourcenintensiv sein, weshalb sich einige Betreiber ausschließlich darauf konzentrieren werden. Und diejenigen, die IoT als separate Dienstleistung entwickeln, werden den doppelten Datenverkehr generieren.

Vielfalt. Vielfalt ist ein subjektives Konzept, aber Telekommunikationsanbieter wissen tatsächlich fast alles über ihre Kunden. Von Namen und Personaldaten bis hin zu Handymodellen, Käufen, besuchten Orten und Interessen. Medieninhalte werden gemäß dem Yarova-Gesetz mindestens sechs Monate lang gespeichert. Lassen Sie uns also als Axiom annehmen, dass die gesammelten Daten vielfältig sind.

Software und Methodologie

Provider gehören zu den Hauptnutzern von Big Data, weshalb die meisten Methoden zur Analyse großer Datenmengen auch in der Telekommunikationsbranche anwendbar sind. Die entscheidende Frage ist jedoch, wer bereit ist, in die Entwicklung von KI, ML und Deep Learning zu investieren, sowie in Rechenzentren und Data Mining. Eine effektive Arbeit mit Datenbanken hängt von der Infrastruktur und dem Team ab, deren Kosten sich nicht jeder leisten kann. Unternehmen, die bereits ein Unternehmensspeicher oder eine Data Governance-Methodik haben, sollten auf Big Data setzen. Für diejenigen, die noch nicht bereit sind, langfristige Investitionen zu tätigen, empfehle ich, die Softwarearchitektur schrittweise auszubauen und die Komponenten nacheinander zu implementieren. Schwergewichtige Module und Hadoop können auf später verschoben werden. Nur wenige kaufen eine fertige Lösung für Aufgaben wie Datenqualität und Data Mining; in der Regel passen Unternehmen das System an ihre spezifischen Anforderungen und Bedürfnisse an – entweder selbst oder mit Hilfe von Entwicklern.

Allerdings kann nicht jeder Billing-Prozess für Big Data angepasst werden. Vielmehr können das nur einige wenige. Nur wenige sind dazu in der Lage.

Drei Anzeichen dafür, dass ein Abrechnungssystem das Potenzial hat, ein Werkzeug zur Datenverarbeitung zu werden:

• Horizontale Skalierbarkeit. Die Software muss flexibel sein – wir sprechen hier von großen Datenmengen. Eine Zunahme der Informationen sollte durch eine proportionale Erhöhung der "Hardware" im Cluster ausgeglichen werden.
• Ausfallsicherheit. Seriöse Prepaid-Systeme sind in der Regel standardmäßig ausfallsicher: Die Abrechnung wird in einem Cluster an mehreren geographischen Standorten bereitgestellt, sodass sie sich gegenseitig absichern können. Auch die Anzahl der Computer in einem Hadoop-Cluster sollte ausreichend sein, um im Falle eines Ausfalls von einem oder mehreren Geräten gewappnet zu sein.
• Lokalität. Daten müssen an einem Server, ansonsten können die Kosten für die Datenübertragung enorm steigen. Ein beliebtes Konzept im Map-Reduce-Ansatz: HDFS speichert, Spark verarbeitet. Idealerweise sollte die Software nahtlos in die Infrastruktur des Rechenzentrums integriert werden können und in der Lage sein, drei Funktionen in einem zu erfüllen: Daten sammeln, organisieren und analysieren.

Der Befehl

Was, wie und zu welchem Zweck die Software große Daten verarbeitet, entscheidet das Team. Oft besteht es aus nur einer Person – einem Data Scientist. Allerdings denke ich, dass das Mindestteam für Big Data auch einen Produktmanager und einen Data Engineer beinhalten sollte. Der Produktmanager versteht die Dienstleistungen und übersetzt technische Begriffe in verständliche Sprache und umgekehrt. Der Data Engineer setzt die Modelle mittels Java/Scala um und experimentiert mit Machine Learning. Der Leiter koordiniert, setzt Ziele und überwacht die einzelnen Phasen.

Die Probleme

Gerade für das Big Data-Team treten häufig Probleme bei der Datensammlung und -verarbeitung auf. Die Software muss verstehen, was sie sammeln und wie sie die Daten verarbeiten soll – um dies zu erklären, muss man zunächst selbst ein Verständnis entwickeln. Doch bei den Anbietern ist das nicht immer so einfach. Ich erläutere die Probleme anhand des Beispiels einer Herausforderung zur Reduzierung der Abwanderung von Kunden – genau diese versuchen die Telekommunikationsanbieter in erster Linie mit Big Data zu lösen.

Aufgabenstellung. Eine präzise formulierte Projektbeschreibung und unterschiedliche Interpretationen von Begriffen sind ein langanhaltendes Problem, nicht nur für Freelancer. Selbst "abgemeldete" Kunden können unterschiedlich interpretiert werden – sei es als solche, die einen Monat, ein halbes Jahr oder ein ganzes Jahr keine Dienstleistungen vom Anbieter in Anspruch genommen haben. Für die Erstellung eines MVP auf der Basis historischer Daten ist es wichtig, die Rückkehrhäufigkeit von Kunden aus der Abwanderung zu verstehen – also diejenigen, die andere Anbieter ausprobiert haben oder die Stadt verlassen haben und eine andere Nummer verwendet haben. Eine weitere wichtige Frage lautet: Wie viel Zeit sollte ein Anbieter haben, um den bevorstehenden Abgang eines Kunden zu erkennen und Maßnahmen zu ergreifen? Sechs Monate im Voraus – das wäre zu früh, eine Woche vorher – das wäre schon zu spät.

Begriffswirrwarr. In der Regel identifizieren Betreiber ihre Kunden anhand der Telefonnummer. Daher ist es logisch, dass die Daten über diese übermittelt werden. Wie steht es jedoch mit der Kundennummer oder der Nummer der verwaltenden Anwendung? Wir müssen klären, welche Einheit als Kunde betrachtet werden sollte, damit die Daten im System des Anbieters übereinstimmen. Auch die Bewertung des Kundenwertes ist fraglich – welcher Kunde ist für das Unternehmen wertvoller? Bei welcher Kundenbindung sollte besonders viel Aufwand betrieben werden, und welche Kunden werden ohnehin abwandern, sodass es keinen Sinn macht, Ressourcen für sie aufzuwenden?

Mangel an Informationen. Bei weitem nicht alle Mitarbeiter des Anbieters können dem BigData-Team erklären, welche spezifischen Faktoren den Kundenabwanderungsprozess beeinflussen und wie diese Faktoren in der Abrechnung berücksichtigt werden. Selbst wenn einer dieser Faktoren, wie ARPU, genannt wird, stellt sich heraus, dass auch dieser unterschiedlich berechnet werden kann: entweder basierend auf den regelmäßigen Zahlungen des Kunden oder auf den automatischen Abrechnungen. Im Verlauf der Arbeit treten zudem unzählige andere Fragen auf. Deckt das Modell alle Kunden ab, wie hoch sind die Kosten für die Kundenbindung, macht es Sinn, alternative Modelle zu überlegen, und was ist mit den Kunden, die irrtümlich aktiv gehalten werden?

Zielsetzung. Ich kenne drei Arten von ergebnisbezogenen Fehlern, die Betreiber in Bezug auf Big Data frustrieren.

1. Der Anbieter investiert in Big Data und verarbeitet Gigabytes an Informationen, erhält jedoch ein Ergebnis, das auch kostengünstiger hätte erzielt werden können. Es werden einfache Modelle und primitive Analysen verwendet. Die Kosten sind um ein Vielfaches höher, das Ergebnis bleibt jedoch dasselbe.
2. Der Betreiber erhält umfangreiche Daten, weiß aber nicht, wie er sie nutzen soll. Die Analyse ist vorhanden – klar und umfassend, doch der Nutzen daraus ist gleich null. Das Endergebnis wurde nicht genügend durchdacht; es kann nicht nur das Ziel sein, "Daten zu verarbeiten". Es reicht nicht aus, nur zu verarbeiten – die Analyse sollte die Grundlage für die Aktualisierung von Geschäftsprozessen darstellen.
3. Ein Hindernis für die Nutzung von Big Data-Analysen können veraltete Geschäftsprozesse und Software sein, die nicht für neue Ziele geeignet ist. Offenbar war der Vorbereitungsschritt nicht ausreichend – es wurde kein Aktionsalgorithmus und keine Phasen für die Implementierung von Big Data in den Betrieb durchdacht.

Warum

Apropos Ergebnisse. Ich werde einige Möglichkeiten zur Nutzung und Monetarisierung von Big Data ansprechen, die bereits von Telekommunikationsanbietern genutzt werden.
Die Anbieter prognostizieren nicht nur den Abwanderung von Kunden, sondern auch die Belastung der Basisstationen.

1. Es werden Informationen über die Bewegungen der Abonnenten, deren Aktivität und die Nutzung von Frequenzdiensten analysiert. Das Ergebnis: eine Reduzierung der Überlastungen durch Optimierung und Modernisierung kritischer Infrastrukturabschnitte.
2. Information über die Geolokalisierung der Nutzer und die Dichte des Datenverkehrs nutzen Telekommunikationsanbieter zur Eröffnung von Verkaufsstellen. So setzen auch MTS und Wimpelkom Big Data-Analysen ein, um die Standorte neuer Büros zu planen.
3. Provider monetarisieren ihre eigenen großen Daten, indem sie sie an Drittunternehmen verkaufen. Die Hauptkunden der Big Data-Anbieter sind Geschäftsbanken. Mithilfe von Datenbanken überwachen sie verdächtige Aktivitäten der SIM-Karten der Kunden, die mit den Karten verbunden sind, und nutzen Dienste zur Risikobewertung, Verifizierung und Überwachung. Im Jahr 2017 verlangte die Moskauer Regierung von Tele2 Bewegungsdaten basierend auf Big Data für die Planung der technischen und Verkehrsinfrastruktur.
4. BigData-Analyse ist eine Goldmine für Marketer, die personalisierte Werbekampagnen für Tausende von Abonnentengruppen erstellen können, wenn sie es wünschen. Telekommunikationsunternehmen aggregieren soziale Profile, Verbraucherinteressen und Verhaltensmuster von Abonnenten und nutzen dann die gesammelten BigData, um neue Kunden zu gewinnen. Doch für ein umfassendes Planung von Marketing und PR fehlt es der Abrechnungssoftware manchmal an Funktionen: Das Programm muss gleichzeitig zahlreiche Faktoren parallel zur detaillierten Kundeninformation berücksichtigen.

Während einige BigData immer noch für nur ein leeres Schlagwort halten, verdient die "Big Four" bereits Geld damit. MTS erzielt in einem halben Jahr 14 Milliarden Rubel durch die Verarbeitung großer Daten, während Tele2 den Umsatz aus Projekten um das Dreieinhalbfache gesteigert hat. BigData wandelt sich von einem Trend zu einem unverzichtbaren Element, an dem sich die gesamte Struktur der Telekommunikationsanbieter anpassen wird.

Quelle: habr.com