Nel 2008, BigData era un termine nuovo e una tendenza di moda. Nel 2019, BigData è diventato un oggetto di vendita, una fonte di profitto e un motivo per nuove leggi.
L'autunno scorso, il governo russo ha avviato un progetto di legge per la regolamentazione dei big data. È vietato identificare le persone attraverso le informazioni, ma è consentito farlo su richiesta degli organi federali. L'elaborazione di BigData per terzi è permessa solo dopo aver informato Roskomnadzor. La legge si applica alle aziende che possiedono più di 100.000 indirizzi di rete. E, naturalmente, non possono mancare i registri: è previsto la creazione di uno con l'elenco degli operatori di database. E se prima BigData non veniva presa sul serio da tutti, ora dovremo tenerne conto.
Non posso ignorare BigData anch'io, come direttore di un'azienda sviluppatrice di billing che gestisce BigData. Riflessioni sui big data attraverso la lente degli operatori di telecomunicazioni, attraverso i cui sistemi di billing passano ogni giorno flussi di informazioni su migliaia di abbonati.
Teorema
Cominciamo, come in un problema matematico: dimostriamo innanzitutto che i dati degli operatori di telecomunicazione possono essere chiamati BigData. I big data sono generalmente caratterizzati da tre parametri VVV, anche se in varie interpretazioni il numero di “V” è arrivato fino a sette.
Volume. Solo MVNO Rostelecom serve più di un milione di abbonati. Gli operatori host principali elaborano dati da 44 a 78 milioni di persone. Il traffico cresce ogni secondo: nel primo trimestre del 2019, gli abbonati hanno già navigato da telefoni mobili per 3,3 miliardi di GB.
Velocity. Nessuno racconta meglio della statistica la dinamica, quindi passerò alle previsioni di Cisco. Entro il 2021, il 20% del traffico IP sarà mobile – crescerà quasi tre volte in cinque anni. Un terzo delle connessioni mobili sarà M2M – lo sviluppo dell'IoT porterà a un aumento esponenziale delle connessioni. L'Internet delle cose diventerà non solo un settore redditizio, ma anche notevole in termini di risorse, quindi alcuni operatori si concentreranno solo su di esso. E quelli che svilupperanno l'IoT come servizio separato otterranno un doppio traffico.
Variety. La varietà è un concetto soggettivo, ma gli operatori di telecomunicazioni sanno effettivamente quasi tutto sui loro abbonati. Dal nome e dai dati del passaporto fino al modello del telefono, agli acquisti, ai luoghi visitati e agli interessi. I file multimediali, secondo la legge Yarovaya, devono essere conservati per almeno sei mesi. Quindi accettiamo come un assioma che i dati raccolti siano variegati.
Software e metodologia
I fornitori sono alcuni dei principali consumatori di BigData, quindi la maggior parte delle metodologie di analisi dei big data è applicabile all'industria delle telecomunicazioni. Un'altra questione è chi è pronto ad investire nello sviluppo di ML, AI, Deep Learning, investire nei data center e nel data mining. Un lavoro completo con i big data richiede infrastruttura e team, costi che non tutti possono permettersi. Investire in BigData è consigliato alle aziende che hanno già un archivio aziendale o sviluppano la metodologia di Data Governance. A coloro che non sono ancora pronti per investimenti a lungo termine consiglio di incrementare gradualmente l'architettura del software e di implementare i componenti uno alla volta. I moduli complessi e Hadoop possono essere lasciati per ultimi. Poche persone acquistano soluzioni pronte per problemi come la Data Quality e il Data Mining; in genere, le aziende adattano i sistemi alle loro specifiche e necessità, da sole o con l'aiuto di sviluppatori.
Ma non tutti i sistemi di billing possono essere modificati per lavorare con BigData. In realtà, non tutti possono farlo.
Tre segnali che un sistema di billing ha la possibilità di diventare uno strumento per l'elaborazione di BigData:
- Scalabilità orizzontale. Il software deve essere flessibile – stiamo parlando di big data. Un aumento della quantità di informazioni deve essere supportato da un incremento proporzionale dell’hardware nel cluster.
- Resilienza. I sistemi prepaid seri sono generalmente resilienti per impostazione predefinita: il billing si distribuisce in un cluster in diverse geolocalizzazioni, in modo che possano automaticamente coprirsi a vicenda. Anche i computer in un cluster Hadoop devono essere sufficienti in caso di guasto di uno o più di essi.
- Località. I dati devono essere memorizzati e elaborati in un'unica server, altrimenti si possono sostenere costi esorbitanti per la trasmissione dei dati. Uno degli approcci più popolari è Map-Reduce: HDFS immagazzina e Spark elabora. Ideale sarebbe che il software si integrasse senza problemi nell'infrastruttura del data center e fosse capace di fare tre cose in uno: raccogliere, organizzare e analizzare le informazioni.
Team
Cosa, come e con quale scopo il programma tratterà grandi dati è una decisione del team. Spesso questa squadra è composta da una sola persona, il data scientist. Tuttavia, a mio avviso, un pacchetto minimo di collaboratori per BigData include anche un Product Manager, un Data Engineer e un manager. Il primo è esperto nei servizi, traduce il linguaggio tecnico in termini comprensibili e viceversa. Il Data Engineer realizza i modelli utilizzando Java/Scala e sperimenta con il Machine Learning. Il manager coordina, stabilisce obiettivi e controlla le fasi.
Problemi
Proprio dalla parte del team BigData di solito sorgono problemi durante la raccolta e l'elaborazione dei dati. Al programma occorre spiegare cosa raccogliere e come elaborare – per farlo, deve prima comprendere. E non è tutto così semplice per i fornitori. Racconto i problemi prendendo come esempio il compito di ridurre l'abbandono dei clienti, che è esattamente ciò che gli operatori di telecomunicazioni cercano di risolvere prioritariamente con BigData.
Definizione degli obiettivi. Un documento di specifica ben redatto e diverse interpretazioni dei termini sono un doloroso problema secolare non solo per i liberi professionisti. Anche gli abbonati "persi" possono essere interpretati in modi diversi, come quelli che non utilizzano i servizi dell'operatore da un mese, sei mesi o un anno. E per creare un MVP basato sui dati storici è necessario comprendere la frequenza di ritorno degli abbonati dall'abbandono – cioè quelli che hanno provato i servizi di altri operatori o che hanno lasciato la città e utilizzato un altro numero. Un'altra questione importante è: quanto tempo prima della prevista partenza dell'abbonato il fornitore deve riconoscerlo e agire di conseguenza? Sei mesi – troppo presto, una settimana – ormai troppo tardi.
Sostituzione dei concetti. Di solito, gli operatori identificano il cliente tramite il numero di telefono, quindi è logico che le caratteristiche debbano essere estratte in base a questo. E per quanto riguarda il numero di conto o il numero dell'applicazione che gestisce il servizio? È necessario decidere quale unità considerare come cliente in modo che i dati nel sistema dell'operatore non differiscano. Anche la valutazione del valore del cliente è in discussione – quale abbonato ha un valore maggiore per l'azienda, per quale utente è necessario investire maggiori sforzi per mantenerlo, e quali "abbandoneranno" comunque e non vale la pena investire risorse su di loro.
Mancanza di informazioni. Non tutti i collaboratori del fornitore sono in grado di spiegare al team BigData cosa influisce specificamente sull'abbandono degli abbonati e come vengono considerati i fattori nel billing. Anche se uno di questi è stato nominato – ARPU – scopriamo che può essere calcolato in modi diversi: o in base ai pagamenti periodici del cliente, o in base agli addebiti automatici del sistema di billing. E durante il lavoro sorgono un milione di altre domande. Tutti i clienti sono coperti dal modello, qual è il costo per mantenere un cliente, ha senso pensare a modelli alternativi e cosa fare con i clienti che sono stati trattenuti per errore.
Stabilire obiettivi. Conosco tre tipi di errori legati ai risultati che fanno disilludere gli operatori nei confronti del Big Data.
- Il fornitore investe in BigData, elabora gigabyte di informazioni, ma ottiene un risultato che avrebbe potuto ottenere anche a minor costo. Vengono utilizzati schemi e modelli semplici, analisi primitiva. I costi sono di gran lunga superiori, ma il risultato è lo stesso.
- L'operatore riceve dati complessi, ma non sa come utilizzarli. Ci sono analisi – ecco, chiare e dettagliate, ma non ne deriva nulla. Non è stato pensato il risultato finale, che non può consistere semplicemente nell'obiettivo di "elaborare dati". Elaborare non basta: l'analisi deve diventare la base per il rinnovamento dei processi aziendali.
- Un ostacolo all'uso dell'analisi BigData possono essere processi aziendali obsoleti e software inadeguato per i nuovi obiettivi. Quindi, è stato un errore durante la preparazione: non è stato pensato un algoritmo d'azione e le fasi di implementazione del BigData nel lavoro.
Perché
A proposito dei risultati. Tra i modi in cui BigData viene già utilizzato e monetizzato, vi sono quelli adottati dagli operatori di telecomunicazione.
I fornitori prevedono non solo l'abbandono degli abbonati, ma anche i carichi sulle stazioni base.
- Viene analizzata l'informazione sul movimento degli abbonati, sull'attività e sui servizi frequenti. Risultato: riduzione del numero di sovraccarichi grazie all'ottimizzazione e alla modernizzazione delle aree problematiche dell'infrastruttura.
- Le informazioni sulla geolocalizzazione degli abbonati e sulla densità del flusso vengono utilizzate dagli operatori di telecomunicazione per l'apertura di nuovi punti vendita. Così, BigData viene già utilizzato da MTS e VimpelCom per pianificare la posizione di nuovi uffici.
- I fornitori monetizzano i propri big data offrendo queste informazioni a terze parti. I principali clienti degli operatori Big Data sono le banche commerciali. Attraverso le basi di dati, essi monitorano attività sospette delle SIM associate alle carte, utilizzano servizi di scoring del rischio, verifica e monitoraggio. Nel 2017, il governo di Mosca ha richiesto a Tele2 i dati dei movimenti basati sui Big Data per pianificare l'infrastruttura tecnica e dei trasporti.
- L'analisi dei Big Data è una miniera d'oro per i marketer, che possono creare campagne pubblicitarie personalizzate per migliaia di gruppi di abbonati, se lo desiderano. Le aziende di telecomunicazioni aggregano profili social, interessi dei consumatori e modelli comportamentali degli abbonati, e poi utilizzano i Big Data raccolti per attrarre nuovi clienti. Tuttavia, per una pianificazione su larga scala della promozione e delle PR, il sistema di billing non sempre ha funzionalità sufficienti: il programma deve considerare simultaneamente numerosi fattori insieme a informazioni dettagliate sui clienti.
Mentre alcuni continuano a ritenere i Big Data un concetto vuoto, le 'big four' già guadagnano con essi. MTS guadagna 14 miliardi di rubli in sei mesi dalla lavorazione dei big data, mentre Tele2 ha aumentato il fatturato dei progetti di tre volte e mezzo. I Big Data si stanno trasformando da tendenza a necessità, portando a una ristrutturazione dell'intera struttura degli operatori di telecomunicazioni.
Fonte: habr.com
