Im Jahr 2008 war BigData ein neuer Begriff und modischer Trend. Im Jahr 2019 ist BigData ein Verkaufsgegenstand, eine Gewinnquelle und ein Grund für neue Rechnungen.
Im vergangenen Herbst hat die russische Regierung einen Gesetzentwurf zur Regulierung von Big Data auf den Weg gebracht. Personen können anhand der Informationen möglicherweise nicht identifiziert werden, dies ist jedoch auf Anfrage von Bundesbehörden möglich. Die Verarbeitung von BigData für Dritte erfolgt nur nach Benachrichtigung von Roskomnadzor. Unternehmen mit mehr als 100 Netzwerkadressen fallen unter das Gesetz. Und natürlich, wo ohne Register - es soll eines mit einer Liste von Datenbankbetreibern erstellt werden. Und wenn Big Data zuvor nicht von allen ernst genommen wurde, muss es jetzt berücksichtigt werden.
Ich als Direktor eines Abrechnungsentwicklerunternehmens, das genau diese großen Datenmengen verarbeitet, kann die Datenbank nicht ignorieren. Ich werde über Big Data durch das Prisma der Telekommunikationsbetreiber nachdenken, durch deren Abrechnungssysteme täglich Informationsströme über Tausende von Abonnenten fließen.
Satz
Beginnen wir wie bei einer mathematischen Aufgabe: Zuerst beweisen wir, dass die Daten von Telekommunikationsbetreibern BigDat heißen können. Typischerweise zeichnet sich Big Data durch drei VVV-Merkmale aus, obwohl in freien Interpretationen die Zahl der „Vs“ sieben erreichte.
Volumen. Allein der MVNO von Rostelecom bedient mehr als eine Million Abonnenten. Wichtige Hostbetreiber verwalten Daten für 44 bis 78 Millionen Menschen. Der Datenverkehr wächst sekündlich: Im ersten Quartal 2019 haben Abonnenten bereits 3,3 Milliarden GB über Mobiltelefone abgerufen.
Geschwindigkeit. Niemand kann Ihnen besser Auskunft über die Dynamik geben als Statistiken, daher werde ich die Prognosen von Cisco durchgehen. Bis 2021 werden 20 % des IP-Verkehrs auf mobilen Datenverkehr entfallen – dieser Wert wird sich in fünf Jahren fast verdreifachen. Ein Drittel der Mobilfunkverbindungen wird M2M sein – die Entwicklung des IoT wird zu einer Versechsfachung der Verbindungen führen. Das Internet der Dinge wird nicht nur profitabel, sondern auch ressourcenintensiv sein, sodass sich einige Betreiber nur darauf konzentrieren werden. Und wer IoT als separaten Dienst entwickelt, erhält doppelten Traffic.
Vielfalt. Vielfalt ist ein subjektives Konzept, aber Telekommunikationsbetreiber wissen wirklich fast alles über ihre Abonnenten. Von Namen und Passdaten bis hin zu Telefonmodell, Einkäufen, besuchten Orten und Interessen. Nach dem Jarowaja-Gesetz werden Mediendateien sechs Monate lang gespeichert. Nehmen wir also an, dass die gesammelten Daten vielfältig sind.
Software und Methodik
Anbieter gehören zu den Hauptkonsumenten von BigData, daher sind die meisten Big-Data-Analysetechniken auf die Telekommunikationsbranche anwendbar. Eine andere Frage ist, wer bereit ist, in die Entwicklung von ML, KI, Deep Learning, in Rechenzentren und Data Mining zu investieren. Eine vollwertige Arbeit mit einer Datenbank besteht aus Infrastruktur und einem Team, deren Kosten sich nicht jeder leisten kann. Unternehmen, die bereits über ein Corporate Warehouse verfügen oder eine Data-Governance-Methodik entwickeln, sollten auf BigData setzen. Wer noch nicht bereit für langfristige Investitionen ist, dem rate ich, die Software-Architektur schrittweise aufzubauen und Komponenten nach und nach zu installieren. Die schweren Module und Hadoop können Sie zum Schluss aufheben. Nur wenige Menschen kaufen eine fertige Lösung für Probleme wie Datenqualität und Data Mining; Unternehmen passen das System in der Regel selbst oder mit Hilfe von Entwicklern an ihre spezifischen Spezifikationen und Bedürfnisse an.
Aber nicht jede Abrechnung kann so angepasst werden, dass sie mit BigData funktioniert. Oder besser gesagt, nicht nur alles kann geändert werden. Das können nur wenige Menschen.
Drei Anzeichen dafür, dass ein Abrechnungssystem eine Chance hat, zu einem Datenbankverarbeitungstool zu werden:
- Horizontale Skalierbarkeit. Software muss flexibel sein – die Rede ist von Big Data. Einem Anstieg der Informationsmenge sollte durch einen proportionalen Anstieg der Hardware im Cluster begegnet werden.
- Fehlertoleranz. Seriöse Prepaid-Systeme sind in der Regel standardmäßig fehlertolerant: Die Abrechnung erfolgt in einem Cluster an mehreren Geostandorten, sodass sie sich automatisch gegenseitig versichern. Es sollten auch genügend Computer im Hadoop-Cluster vorhanden sein, falls einer oder mehrere ausfallen.
- Lokalität. Daten müssen auf einem Server gespeichert und verarbeitet werden, sonst kann die Datenübertragung pleitegehen. Eines der beliebtesten Map-Reduce-Ansatzschemata: HDFS-Speicher, Spark-Prozesse. Idealerweise sollte sich die Software nahtlos in die Infrastruktur des Rechenzentrums integrieren und in der Lage sein, drei Dinge in einem zu tun: Informationen sammeln, organisieren und analysieren.
Team
Was, wie und zu welchem Zweck das Programm Big Data verarbeitet, entscheidet das Team. Oft besteht es aus einer Person – einem Datenwissenschaftler. Allerdings umfasst meiner Meinung nach das Mindestpaket an Mitarbeitern für Big Data auch einen Produktmanager, einen Dateningenieur und einen Manager. Der erste versteht die Dienste, übersetzt technische Sprache in menschliche Sprache und umgekehrt. Data Engineer erweckt Modelle mithilfe von Java/Scala zum Leben und experimentiert mit maschinellem Lernen. Der Manager koordiniert, legt Ziele fest und kontrolliert die Phasen.
Probleme
Probleme bei der Erhebung und Verarbeitung von Daten entstehen meist auf Seiten des BigData-Teams. Das Programm muss erklären, was gesammelt und wie verarbeitet werden soll – um dies zu erklären, müssen Sie es zunächst selbst verstehen. Doch für Anbieter ist die Sache nicht so einfach. Ich spreche über die Probleme am Beispiel der Aufgabe, die Abwanderung von Abonnenten zu reduzieren – das versuchen Telekommunikationsbetreiber in erster Linie mit Hilfe von Big Data zu lösen.
Ziele setzen. Gut geschriebene technische Spezifikationen und unterschiedliche Verständnisse von Begriffen sind nicht nur für Freiberufler seit Jahrhunderten ein Ärgernis. Auch „ausgefallene“ Abonnenten können unterschiedlich interpretiert werden – als diejenigen, die die Dienste des Betreibers einen Monat, sechs Monate oder ein Jahr lang nicht genutzt haben. Und um einen MVP auf der Grundlage historischer Daten zu erstellen, müssen Sie die Häufigkeit der Rückkehr von Abonnenten aufgrund der Abwanderung verstehen – diejenigen, die es bei anderen Betreibern versucht haben oder die Stadt verlassen und eine andere Nummer verwendet haben. Eine weitere wichtige Frage: Wie lange vor dem voraussichtlichen Abgang des Abonnenten sollte der Anbieter dies feststellen und Maßnahmen ergreifen? Sechs Monate sind zu früh, eine Woche ist zu spät.
Substitution von Konzepten. In der Regel identifizieren Betreiber einen Kunden anhand der Telefonnummer, daher ist es logisch, dass die Schilder unter dieser Telefonnummer hochgeladen werden. Was ist mit Ihrer persönlichen Konto- oder Serviceantragsnummer? Es muss entschieden werden, welches Gerät als Client verwendet werden soll, damit sich die Daten im System des Betreibers nicht ändern. Auch die Einschätzung des Werts eines Kunden ist fraglich – welcher Abonnent ist für das Unternehmen wertvoller, welcher Benutzer muss mit mehr Aufwand gehalten werden und welche werden auf jeden Fall „abfallen“ und es macht keinen Sinn, Ressourcen dafür aufzuwenden.
Informationsmangel. Nicht alle Provider-Mitarbeiter sind in der Lage, dem BigData-Team zu erklären, was sich konkret auf die Abwanderung von Abonnenten auswirkt und wie mögliche Faktoren bei der Abrechnung berechnet werden. Auch wenn sie einen davon nennen – ARPU – stellt sich heraus, dass er auf unterschiedliche Weise berechnet werden kann: entweder durch regelmäßige Kundenzahlungen oder durch automatische Abrechnungsgebühren. Und im Laufe der Arbeit tauchen noch eine Million weitere Fragen auf. Deckt das Modell alle Kunden ab, wie hoch ist der Preis für die Bindung eines Kunden, ist es sinnvoll, über alternative Modelle nachzudenken, und was ist mit Kunden zu tun, die fälschlicherweise künstlich gebunden wurden?
Ziele setzen. Ich kenne drei Arten von Ergebnisfehlern, die dazu führen, dass Bediener mit der Datenbank frustriert werden.
- Der Anbieter investiert in BigData, verarbeitet Gigabytes an Informationen, erhält aber ein Ergebnis, das man günstiger hätte bekommen können. Es werden einfache Diagramme und Modelle sowie primitive Analysen verwendet. Die Kosten sind um ein Vielfaches höher, aber das Ergebnis ist das gleiche.
- Der Bediener erhält als Ausgabe vielfältige Daten, versteht aber nicht, wie er diese nutzen soll. Es gibt Analysen – hier ist sie verständlich und umfangreich, aber sie nützt nichts. Das Endergebnis, das nicht im Ziel „Datenverarbeitung“ bestehen kann, ist nicht durchdacht. Es reicht nicht aus, zu verarbeiten – Analysen sollten die Grundlage für die Aktualisierung von Geschäftsprozessen werden.
- Hindernisse für den Einsatz von BigData-Analysen können veraltete Geschäftsprozesse und für neue Zwecke ungeeignete Software sein. Das bedeutet, dass sie in der Vorbereitungsphase einen Fehler gemacht haben – sie haben den Aktionsalgorithmus und die Phasen der Einführung von Big Data in die Arbeit nicht durchdacht.
Warum
Apropos Ergebnisse. Ich werde auf die Möglichkeiten zur Nutzung und Monetarisierung von Big Data eingehen, die Telekommunikationsbetreiber bereits nutzen.
Anbieter prognostizieren nicht nur den Abfluss von Abonnenten, sondern auch die Belastung der Basisstationen.
- Es werden Informationen über Teilnehmerbewegungen, Aktivität und Frequenzdienste analysiert. Ergebnis: Reduzierung der Überlastungen durch Optimierung und Modernisierung von Problembereichen der Infrastruktur.
- Telekommunikationsbetreiber nutzen bei der Eröffnung von Verkaufsstellen Informationen über die Geolokalisierung von Abonnenten und die Verkehrsdichte. So nutzen MTS und VimpelCom bereits BigData-Analysen zur Standortplanung neuer Büros.
- Anbieter monetarisieren ihre eigenen Big Data, indem sie sie Dritten anbieten. Die Hauptkunden der BigData-Betreiber sind Geschäftsbanken. Mithilfe der Datenbank überwachen sie verdächtige Aktivitäten der SIM-Karte des Abonnenten, mit der die Karten verknüpft sind, und nutzen Risikobewertungs-, Verifizierungs- und Überwachungsdienste. Und im Jahr 2017 forderte die Moskauer Regierung Bewegungsdynamiken auf der Grundlage von BigData-Daten von Tele2 an, um die technische und verkehrstechnische Infrastruktur zu planen.
- BigData-Analysen sind eine Goldgrube für Vermarkter, die bei Bedarf personalisierte Werbekampagnen für bis zu Tausende von Abonnentengruppen erstellen können. Telekommunikationsunternehmen sammeln soziale Profile, Verbraucherinteressen und Verhaltensmuster von Abonnenten und nutzen die gesammelten BigData dann, um neue Kunden zu gewinnen. Doch für groß angelegte Werbe- und PR-Planungen verfügt die Abrechnung nicht immer über genügend Funktionalität: Das Programm muss gleichzeitig viele Faktoren berücksichtigen und gleichzeitig detaillierte Informationen über die Kunden liefern.
Während manche BigData noch für eine leere Phrase halten, verdienen die Big Four bereits Geld damit. MTS verdient in sechs Monaten 14 Milliarden Rubel mit der Big-Data-Verarbeitung, und Tele2 steigerte den Umsatz aus Projekten um das Dreieinhalbfache. BigData entwickelt sich von einem Trend zu einem Muss, bei dem die gesamte Struktur der Telekommunikationsbetreiber neu aufgebaut wird.
Source: habr.com