Big data, grande fatturato: su BigData nelle telecomunicazioni

Nel 2008 BigData era un nuovo termine e una moda. Nel 2019 BigData è diventato un oggetto di vendita, una fonte di profitto e un motivo per nuovi progetti di legge.

Lo scorso autunno il governo russo ha avviato un progetto di legge per la regolamentazione dei big data. È vietato identificare le persone sulla base delle informazioni, ma è consentito farlo su richiesta degli organi federali. L'elaborazione dei BigData per terzi è consentita solo dopo aver informato il Roskomnadzor. La legge si applica alle aziende che gestiscono più di 100.000 indirizzi di rete. E, naturalmente, non possono mancare i registri: si prevede la creazione di uno con l'elenco degli operatori di DB. E se prima i BigData non venivano presi sul serio da tutti, ora sarà necessario tenerne conto.

Non posso trascurare i DB nemmeno io, come direttore di un'azienda sviluppatrice di billing, che elabora proprio questi BigData. Rifletterò sui big data attraverso la lente degli operatori di telecomunicazioni, le cui piattaforme di billing gestiscono quotidianamente flussi informativi su migliaia di abbonati.

Teorema

Iniziamo, come in un problema di matematica: prima dimostriamo che i dati degli operatori di telecomunicazioni possono essere chiamati BigData. In generale, i big data sono caratterizzati da tre criteri VVV, sebbene nelle interpretazioni più libere il numero di «V» sia arrivato fino a sette.

Volume. Solo MVNO Rostelecom serve oltre un milione di abbonati. Gli operatori chiave elaborano dati da 44 a 78 milioni di persone. Il traffico cresce ogni secondo: nel primo trimestre 2019 gli abbonati hanno già scaricato 3,3 miliardi di GB dai telefoni cellulari.

Velocità. Nessuno racconta meglio della statistica la dinamica, quindi darò un'occhiata alle previsioni di Cisco. Entro il 2021 il 20% del traffico IP andrà al traffico mobile - crescerà quasi tre volte in cinque anni. Un terzo delle connessioni mobili sarà M2M - lo sviluppo dell'IoT comporterà un aumento delle connessioni di sei volte. L'Internet delle cose diventerà non solo redditizio, ma anche dispendioso in termini di risorse, quindi alcuni operatori si concentreranno solo su di esso. E coloro che svilupperanno l'IoT come un servizio separato otterranno un doppio traffico.

Varietà. La diversità è un concetto soggettivo, ma gli operatori di telecomunicazioni conoscono davvero quasi tutto sui loro abbonati. Dal nome e dai dati del passaporto al modello del telefono, agli acquisti, ai luoghi visitati e agli interessi. I file multimediali secondo la legge Yarovaya devono essere conservati per almeno sei mesi. Quindi assumiamo per assioma che i dati raccolti siano vari.

Software e metodologia

I fornitori sono uno dei principali consumatori di Big Data, quindi la maggior parte delle tecniche di analisi dei big data è applicabile al settore delle telecomunicazioni. Un'altra questione è chi è disposto a investire nello sviluppo di ML, AI, Deep Learning, investire in data center e data mining. Un lavoro completo con i database si basa su infrastruttura e team, i cui costi non tutti possono permettersi. Puntare su Big Data vale per le imprese che già possiedono un repository aziendale o sviluppano una metodologia di Data Governance. A coloro che non sono ancora pronti per investimenti a lungo termine consiglio di aumentare gradualmente l'architettura del software e di installare i componenti uno alla volta. I moduli pesanti e Hadoop possono essere lasciati per ultimi. Pochi acquistano una soluzione pronta per compiti come Data Quality e Data Mining; per lo più le aziende adattano il sistema alle loro specifiche e necessità, da sole o con l'aiuto di sviluppatori.

Ma non ogni sistema di billing può essere modificato per lavorare con Big Data. Piuttosto, modificare può non essere possibile per tutti. Pochi possono farlo.

Tre segni che un sistema di billing ha la possibilità di diventare uno strumento di elaborazione dei database:

• Scalabilità orizzontale. Il software deve essere flessibile: stiamo parlando di big data. L'aumento della quantità di informazioni deve essere trattato con un incremento proporzionale dell'hardware nel cluster.
• Ridondanza. I sistemi prepaid seri di solito sono di default ridondanti: il billing viene distribuito in un cluster in diverse geolocalizzazioni, in modo che si sovrappongano automaticamente. Ci devono essere anche abbastanza computer nel cluster Hadoop nel caso in cui si rompa uno o più di essi.
• Località. I dati devono essere memorizzati e trattati in uno server, altrimenti il trasferimento dei dati può risultare costoso. Uno degli schemi popolari del metodo Map-Reduce: HDFS memorizza, Spark elabora. Idealmente, il software dovrebbe integrarsi senza problemi nell'infrastruttura del data center e avere le capacità di raccogliere, organizzare e analizzare le informazioni in un'unica soluzione.

Team

Cosa, come e con quale scopo il programma tratterà grandi dati – lo decide il team. Spesso è composto da una sola persona: un data scientist. Tuttavia, a mio avviso, un pacchetto minimo di dipendenti per Big Data include anche un Product Manager, un Data Engineer e un capo progetto. Il primo comprende i servizi, traduce il linguaggio tecnico in un linguaggio comprensibile e viceversa. Il Data Engineer realizza i modelli in pratica utilizzando Java/Scala e sperimenta con il Machine Learning. Il capo progetto coordina, stabilisce obiettivi e controlla le fasi.

Problemi

Proprio dal lato del team Big Data di solito sorgono problemi nella raccolta e nel trattamento dei dati. È necessario spiegare al programma cosa raccogliere e come trattarlo – per farlo, bisogna prima comprenderlo. Ma per i fornitori non è tutto così semplice. Racconterò dei problemi prendendo come esempio il compito di ridurre l'abbandono dei clienti – che è quello che gli operatori di telecomunicazioni cercano di risolvere con Big Data in primo luogo.

Definizione dei compiti. Un documento di specifica ben redatto e la differente comprensione dei termini sono un problema secolare non solo per i freelance. Anche i clienti 'abbandonati' possono essere interpretati in vari modi: come quelli che non utilizzano i servizi dell'operatore da un mese, sei mesi o un anno. E per creare un MVP su dati storici, è necessario comprendere la frequenza di ritorno dei clienti dall'abbandono – quelli che hanno provato i servizi di altri operatori o che se ne sono andati dalla città e hanno utilizzato un altro numero. Un'altra domanda importante: quanto tempo prima della prevista partenza di un cliente deve il fornitore determinarlo e prendere provvedimenti? Sei mesi – è troppo presto, una settimana – è già troppo tardi.

Sostituzione di concetti. Di solito, gli operatori identificano il cliente attraverso il numero di telefono, quindi è logico che i dati devono essere estratti in base a questo. E per quanto riguarda il conto dell'utente o il numero dell'applicazione di servizio? È necessario decidere quale unità considerare come cliente per evitare discrepanze nei dati del sistema dell'operatore. Anche la valutazione del valore del cliente è in discussione – quale cliente è più prezioso per l'azienda, per quale utente è necessario investire più risorse per trattenerlo, e quali 'abbandoneranno' comunque e non ha senso spendere risorse su di loro.

Mancanza di informazioni. Non tutti i dipendenti del fornitore sono in grado di spiegare al team BigData cosa influisca concretamente sulla fuoriuscita dei clienti e come si calcolano i possibili fattori nella fatturazione. Anche se viene menzionato uno di essi – ARPU – si scopre che può essere calcolato in modi diversi: o in base ai pagamenti periodici del cliente, o in base agli addebiti automatici della fatturazione. E mentre si lavora, sorgono milioni di altre domande. Tutti i clienti sono coperti dal modello? Qual è il costo per mantenere un cliente? Ha senso pensare a modelli alternativi e cosa fare con i clienti che sono stati mantenuti artificialmente per errore.

Impostazione degli obiettivi. Conosco tre tipi di errori legati ai risultati, che portano gli operatori a perdere fiducia nel Big Data.

1. Il fornitore investe in BigData, elabora gigabyte di informazioni, ma ottiene un risultato che potrebbe ottenere anche a un costo inferiore. Vengono utilizzati schemi e modelli semplici, analisi primitive. Il costo è di gran lunga superiore, ma il risultato è lo stesso.
2. L'operatore riceve dati complessi in uscita, ma non sa come utilizzarli. Ci sono analisi – ed ecco, chiare e ampie, ma il loro utilizzo è zero. Non è stato pianificato il risultato finale, che non può consistere semplicemente nell'obiettivo "elaborare dati". Elaborare non basta: l'analisi deve diventare la base per l'aggiornamento dei processi aziendali.
3. Le procedure aziendali obsolete e il software inadeguato per nuovi obiettivi possono ostacolare l'utilizzo dell'analitica BigData. Questo significa che c'è stata una mancanza nella fase di preparazione: non è stato pianificato l'algoritmo delle azioni e le fasi di implementazione del BigData nelle attività.

Perché

Parlando di risultati. Scorrerò i modi di utilizzare e monetizzare il BigData già adottati dagli operatori di telecomunicazioni.
I fornitori prevedono non solo la fuoriuscita di clienti, ma anche il carico sulle stazioni base.

1. Viene analizzata l'informazione sui movimenti dei clienti, sulle attività e sui servizi frequenti. Risultato: riduzione del numero di sovraccarichi grazie all'ottimizzazione e alla modernizzazione delle aree problematiche dell'infrastruttura.
2. Le informazioni sulla geolocalizzazione dei clienti e sulla densità del flusso vengono utilizzate dagli operatori di telecomunicazioni nell'apertura di punti vendita. Così, l'analitica BigData è già utilizzata da MTS e VimpelCom per pianificare la posizione di nuovi uffici.
3. I fornitori monetizzano i propri big data, offrendo i dati a terzi. I principali clienti degli operatori BigData sono le banche commerciali. Grazie ai big data monitorano attività sospette delle SIM degli utenti a cui sono collegate le carte, utilizzano servizi di scoring del rischio, verifica e monitoraggio. Nel 2017, il governo di Mosca ha richiesto a Tele2 i dati sul movimento basati su BigData per pianificare l'infrastruttura tecnica e dei trasporti.
4. L'analisi BigData è una miniera d'oro per i marketer, che possono creare campagne pubblicitarie personalizzate per migliaia di gruppi di utenti, se lo desiderano. Le compagnie telefoniche aggregano profili social, interessi dei consumatori e modelli comportamentali degli utenti, e poi utilizzano i big data raccolti per attrarre nuovi clienti. Ma per una pianificazione su vasta scala delle promozioni e delle PR, il sistema di fatturazione non ha sempre funzionalità sufficienti: il programma deve considerare simultaneamente molti fattori insieme a informazioni dettagliate sui clienti.

Mentre qualcuno continua a considerare BigData un termine vuoto, le 'big four' già stanno guadagnando grazie ad essa. MTS guadagna 14 miliardi di rubli in sei mesi dalla lavorazione dei big data, mentre Tele2 ha aumentato le entrate dai progetti di tre volte e mezza. BigData si sta trasformando da trend a necessità, attorno alla quale si ristrutturerà l'intera struttura degli operatori di telecomunicazione.

Fonte: habr.com