Große Daten, große Abrechnung: über BigData im Telekommunikationsbereich

2008 war BigData ein neuer Begriff und Trend. 2019 ist BigData ein Verkaufsobjekt, eine Einnahmequelle und ein Anlass für neue Gesetzesentwürfe.

Im Herbst des letzten Jahres initiierte die russische Regierung einen Gesetzesentwurf zur Regulierung großer Daten. Es ist untersagt, Menschen anhand von Informationen zu identifizieren, aber es ist erlaubt, dies auf Anfrage von Bundesbehörden zu tun. Die Verarbeitung von BigData für Dritte ist nur nach Benachrichtigung von Roskomnadzor erlaubt. Der Gesetzesentwurf betrifft Unternehmen, die über mehr als 100.000 Netzwerkadressen verfügen. Und natürlich dürfen Verzeichnisse nicht fehlen – es ist die Schaffung eines solchen Verzeichnisses mit einer Liste der Datenbankbetreiber vorgesehen. Und wenn BigData zuvor nicht von allen ernst genommen wurde, muss man sich jetzt damit auseinandersetzen.

Ich kann BigData nicht auslassen, denn ich bin der Geschäftsführer eines Unternehmens, das Billing-Software entwickelt und genau diese BigData verarbeitet. Ich möchte über große Daten aus der Perspektive von Telekommunikationsanbietern nachdenken, durch deren Abrechnungssysteme täglich Datenströme von Tausenden von Abonnenten fließen.

Theorem

Lassen Sie uns beginnen, wie bei einem mathematischen Problem: Zuerst beweisen wir, dass die Daten von Telekommunikationsanbietern BigData genannt werden können. Standardmäßig zeichnen sich große Daten durch drei Merkmale VVV aus, obwohl die Anzahl der „V“ in freien Interpretationen bis zu sieben erreichen konnte.

Volume. Allein MVNO Rostelekom betreut mehr als eine Million Abonnenten. Schlüssel-Host-Betreiber verarbeiten Daten von 44 bis 78 Millionen Menschen. Der Verkehr wächst jede Sekunde: Im ersten Quartal 2019 haben Abonnenten bereits 3,3 Milliarden GB von mobilen Telefonen gesurft.

Velocity. Niemand erzähl besser über die Dynamik als Statistiken, deshalb werde ich auf die Prognosen von Cisco eingehen. Bis 2021 werden 20 % des IP-Verkehrs auf mobilen Verkehr entfallen – dieser wird in fünf Jahren fast dreimal so hoch sein. Ein Drittel der mobilen Verbindungen wird auf M2M entfallen – die Entwicklung des IoT wird zu einem sechsfachen Anstieg der Verbindungen führen. Das Internet der Dinge wird nicht nur profitabel, sondern auch ressourcenintensiv werden, weshalb sich einige Betreiber ausschließlich darauf konzentrieren werden. Und die, die IoT als separate Dienstleistung entwickeln, werden doppelten Traffic erhalten.

Vielfalt. Vielfalt ist ein subjektives Konzept, aber die Telekommunikationsanbieter wissen tatsächlich fast alles über ihre Abonnenten. Vom Namen und den Ausweisdaten bis hin zum Modell des Telefons, Käufen, besuchten Orten und Interessen. Medieninhalte müssen nach dem Yarovaya-Gesetz mindestens ein halbes Jahr lang gespeichert werden. Lassen Sie uns also als Axiom annehmen, dass die gesammelten Daten vielfältig sind.

Software und Methodik

Anbieter sind einer der Hauptverbraucher von Big Data, weshalb die meisten Methoden zur Analyse großer Datenmengen in der Telekommunikationsbranche anwendbar sind. Die Frage ist nur, wer bereit ist, in die Entwicklung von ML, KI, Deep Learning zu investieren, in Rechenzentren und Data Mining. Eine vollständige Arbeit mit Datenbanken besteht aus der Infrastruktur und dem Team, deren Kosten sich nicht alle leisten können. Unternehmen, die bereits über ein Unternehmensspeicher verfügen oder die Methodik des Data Governance entwickeln, sollten auf Big Data setzen. Allen anderen, die noch nicht bereit sind für langfristige Investitionen, empfehle ich, die Softwarearchitektur schrittweise auszubauen und die Komponenten nacheinander zu implementieren. Die schweren Module und Hadoop können bis zum Schluss aufbewahrt werden. Nur wenige kaufen fertige Lösungen für Aufgaben wie Data Quality und Data Mining; meistens passen Unternehmen das System an ihre Spezifikationen und Bedürfnisse an – selbst oder mit Hilfe von Entwicklern.

Aber nicht jede Abrechnung kann für die Arbeit mit Big Data modifiziert werden. Besser gesagt, nicht alle können modifiziert werden. Nur wenige können dies tun.

Drei Anzeichen dafür, dass ein Abrechnungssystem die Chance hat, ein Werkzeug zur Verarbeitung von Datenbanken zu werden:

• Horizontale Skalierbarkeit. Die Software muss flexibel sein – schließlich sprechen wir von großen Daten. Eine Zunahme der Datenmenge muss mit einer proportionalen Erhöhung der „Hardware“ im Cluster behandelt werden.
• Ausfallsicherheit. Ernsthafte Prepaid-Systeme sind normalerweise standardmäßig ausfallsicher: Die Abrechnung wird in einem Cluster an mehreren Geolokationen bereitgestellt, damit sie sich gegenseitig automatisch absichern. Auch im Hadoop-Cluster sollte die Anzahl der Computer ausreichen, falls einer oder mehrere ausfallen.
• Lokalität. Daten müssen gespeichert und verarbeitet werden an einem Server, andernfalls kann der Datenübertragung das finanziell schaden. Eines der gängigen Map-Reduce-Ansätze: HDFS speichert, Spark verarbeitet. Idealerweise sollte die Software schmerzlos in die Infrastruktur des Rechenzentrums integriert werden können und die Fähigkeit haben, drei in eins zu leisten: Informationen sammeln, organisieren und analysieren.

Team

Was, wie und zu welchem Zweck das Programm mit großen Daten umgeht, entscheidet das Team. Oft besteht es aus einer einzigen Person – dem Data Scientist. Meiner Meinung nach umfasst das minimal erforderliche Team für Big Data jedoch auch einen Produktmanager, einen Data Engineer und einen Leiter. Der erste versteht die Dienstleistungen, übersetzt die technische Sprache in die menschliche und umgekehrt. Der Data Engineer setzt die Modelle mit Hilfe von Java/Scala in die Praxis um und experimentiert mit maschinellem Lernen. Der Leiter koordiniert, setzt Ziele und überwacht die Fortschritte.

Probleme

Gerade von der Seite des Big Data-Teams treten häufig Probleme beim Sammeln und Verarbeiten von Daten auf. Dem Programm muss erklärt werden, was gesammelt und wie verarbeitet werden soll – um das zu erklären, muss man zunächst selbst verstehen. Doch bei den Anbietern ist nicht alles so einfach. Ich spreche über Probleme am Beispiel einer Aufgabe zur Reduzierung der Abwanderung von Kunden – genau diese versuchen die Telekommunikationsanbieter in erster Linie mit Big Data zu lösen.

Aufgabenstellung. Eine gut formulierte Aufgabenstellung und unterschiedliche Verständnis von Begriffen – das ist ein jahrhundertealtes Problem, nicht nur für Freelancer. Selbst 'abgewanderte' Kunden können unterschiedlich interpretiert werden – ob sie einen Monat, ein halbes Jahr oder ein Jahr keine Dienstleistungen des Anbieters in Anspruch genommen haben. Für die Erstellung eines MVP auf Basis historischer Daten muss man die Häufigkeit der Rückkehr von abgewanderten Kunden verstehen – also derjenigen, die die Dienste anderer Anbieter ausprobiert haben oder die Stadt verlassen haben und eine andere Nummer verwendet haben. Eine weitere wichtige Frage ist: Wie viel Zeit vor dem erwarteten Abgang eines Kunden muss der Anbieter das erkennen und Maßnahmen ergreifen? Sechs Monate im Voraus – zu früh, eine Woche im Voraus – schon zu spät.

Verwechslung von Begriffen. In der Regel definieren Anbieter Kunden anhand ihrer Telefonnummer, somit ist es logisch, dass die Merkmale ebenfalls danach extrahiert werden müssen. Was ist jedoch mit der Kontonummer oder der Nummer der zugehörigen Anwendung? Man muss festlegen, welche Einheit man als Kunden betrachten möchte, damit die Daten im System des Anbieters übereinstimmen. Auch die Bewertung des Wertes eines Kunden steht zur Diskussion – welcher Kunde ist für das Unternehmen wertvoller, für welchen Kunden muss mehr Aufwand betrieben werden, und welche Kunden 'gehen' ohnehin, sodass es keinen Sinn macht, Ressourcen für sie aufzuwenden.

Mangel an Informationen. Bei weitem nicht alle Mitarbeiter des Anbieters sind in der Lage, dem BigData-Team zu erklären, was genau den Abonnentenabwanderung beeinflusst und wie die möglichen Faktoren in der Abrechnung berechnet werden. Selbst wenn einer von ihnen genannt wird – ARPU – stellt sich heraus, dass auch dieser unterschiedlich berechnet werden kann: entweder nach den regelmäßigen Zahlungen des Kunden oder nach den automatischen Abrechnungen der Billing-Software. Im Laufe der Arbeit tauchen eine Million anderer Fragen auf. Umfasst das Modell alle Kunden, wie hoch sind die Kosten für die Kundenbindung, macht es Sinn, alternative Modelle zu überlegen und was ist mit Kunden zu tun, die fälschlicherweise künstlich gehalten wurden.

Zielsetzung. Ich kenne drei Arten von Fehlern, die mit dem Ergebnis verbunden sind und bei den Betreibern Enttäuschung über Big Data hervorrufen.

1. Der Anbieter investiert in Big Data, verarbeitet Gigabytes an Informationen, erhält aber ein Ergebnis, das er auch günstiger hätte erzielen können. Es werden einfache Schemen und Modelle sowie primitive Analysen verwendet. Die Kosten liegen um ein Vielfaches höher, aber das Ergebnis bleibt dasselbe.
2. Der Betreiber erhält vielschichtige Daten, weiß aber nicht, wie er sie verwenden soll. Analysen sind vorhanden – hier sind sie, verständlich und umfassend, aber der Nutzen davon ist null. Das Endergebnis wurde nicht durchdacht, es kann nicht nur darin bestehen, "Daten zu verarbeiten". Die Verarbeitung allein reicht nicht aus – die Analyse sollte die Grundlage für die Aktualisierung von Geschäftsprozessen bilden.
3. Ein Hindernis für die Nutzung von Big Data-Analysen können veraltete Geschäftsprozesse und Software sein, die nicht für neue Ziele geeignet ist. Das bedeutet, man hat beim Vorbereiten versagt – der Handlungsalgorithmus und die Implementierungsphasen von Big Data in die Arbeit wurden nicht durchdacht.

Warum

Apropos Ergebnisse. Ich möchte über die Methoden sprechen, wie Big Data genutzt und monetarisiert werden, die von Telekommunikationsanbietern bereits verwendet werden.
Anbieter prognostizieren nicht nur die Abwanderung von Abonnenten, sondern auch die Belastungen auf den Basisstationen.

1. Es werden Informationen über die Bewegung der Abonnenten, deren Aktivität und Frequenzdienste analysiert. Das Ergebnis: Verringerung der Anzahl der Überlastungen durch Optimierung und Modernisierung der Problembereiche der Infrastruktur.
2. Die Informationen über die Geolokalisierung der Abonnenten und die Dichte des Datenverkehrs nutzen Telekommunikationsanbieter bei der Eröffnung von Verkaufsstellen. So verwenden MTS und VimpelCom bereits Big Data-Analysen zur Planung der Standorte neuer Büros.
3. Anbieter monetarisieren ihre eigenen großen Daten, indem sie sie Drittunternehmen anbieten. Die Hauptkunden der BigData-Anbieter sind Geschäftsbanken. Mit Hilfe von Datenbanken überwachen sie verdächtige Aktivitäten von SIM-Karten, die mit den Karten des Abonnenten verbunden sind, und nutzen Dienstleistungen zur Risikobewertung, Verifizierung und Überwachung. Im Jahr 2017 hat die Regierung von Moskau Tele2 um Datenanfragen zur Mobilitätsdynamik auf Basis von BigData gebeten – zur Planung technischer und Transportinfrastruktur.
4. BigData-Analyse ist eine Goldmine für Marketer, die, wenn sie möchten, personalisierte Werbekampagnen für ganze Tausende von Abonnentengruppen erstellen können. Telekommunikationsunternehmen aggregieren soziale Profile, Verbraucherinteressen und Verhaltensmuster der Abonnenten und nutzen dann die gesammelten BigData, um neue Kunden zu gewinnen. Aber für die groß angelegte Planung von Promotionen und PR hat die Abrechnung nicht immer die nötige Funktionalität: Das Programm muss gleichzeitig viele Faktoren neben den detaillierten Informationen über die Kunden berücksichtigen.

Während einige BigData immer noch als leeres Gerede betrachten, verdient die "große Vier" bereits Geld damit. MTS erzielt in sechs Monaten 14 Milliarden Rubel durch die Verarbeitung großer Daten, während Tele2 den Umsatz aus Projekten um das Dreieinhalbfache gesteigert hat. BigData entwickelt sich von einem Trend zu einem Must-Have, für das die gesamte Struktur der Telekommunikationsanbieter umgebaut wird.

Quelle: habr.com