In u 2008, BigData era un novu termu è una tendenza di moda. In 2019, BigData hè un ughjettu di vendita, una fonte di prufittu è un mutivu per novi fatture.
L'ultimu vaghjimu, u guvernu russu hà iniziatu un prugettu per regulà i big data. L'individui ùn ponu micca esse identificati da l'infurmazioni, ma ponu fà cusì à a dumanda di l'autorità federali. Trattamentu di BigData per terze parti hè solu dopu a notificazione di Roskomnadzor. L'imprese chì anu più di 100 mila indirizzi di rete sò sottu à a lege. E, sicuru, induve senza registri - hè suppostu di creà unu cù una lista di l'operatori di basa di dati. È s'è prima di stu Big Data ùn era micca pigliatu in seriu da tutti, avà deve esse pigliatu in contu.
Eiu, cum'è u direttore di una sucietà di sviluppatore di fattura chì processa stu Big Data, ùn pò micca ignurà a basa di dati. Penseraghju à big data à traversu u prisma di l'operatori di telecomunicazione, per mezu di i quali i sistemi di fatturazione passanu ogni ghjornu di l'infurmazioni nantu à millaie di abbonati.
Teorema
Cuminciamu, cum'è in un prublema di matematica: prima pruvemu chì i dati di l'operatori di telecomunicazioni ponu esse chjamati BigDat. Di genere, i big data sò carattarizati da trè caratteristiche VVV, ancu s'è in interpretazioni libere u numeru di "Vs" hà righjuntu sette.
Volume. L'MVNO di Rostelecom solu serve più di un milione di abbonati. L'operatori di l'ospiti chjave trattanu dati per 44 à 78 milioni di persone. U trafficu cresce ogni secondu: in u primu trimestre di u 2019, l'abbonati anu digià accessu à 3,3 miliardi GB da i telefuni mobili.
Velocità. Nimu ùn vi pò dì di a dinamica megliu cà statistiche, cusì andaraghju per e previsioni di Cisco. In u 2021, u 20% di u trafficu IP andrà à u trafficu mobile - quasi triplicarà in cinque anni. Un terzu di e cunnessione mobile serà M2M - u sviluppu di l'IoT portarà à un aumentu di sei volte in cunnessione. L'Internet di e Cose diventerà micca solu prufittu, ma ancu risorsa intensiva, cusì certi operatori si focalizeghjanu solu nantu à questu. È quelli chì sviluppanu l'IoT cum'è un serviziu separatu riceveranu trafficu doppiu.
Variità. A diversità hè un cuncettu subjectivu, ma l'operatori di telecomunicazioni sanu veramente quasi tuttu di i so abbonati. Da u nome è i dettagli di u passaportu à u mudellu di u telefunu, l'acquistu, i lochi visitati è l'interessi. Sicondu a lege Yarovaya, i schedarii di media sò almacenati per sei mesi. Allora pigliemu cum'è un assioma chì i dati raccolti sò variati.
Software è metodulugia
I fornituri sò unu di i principali cunsumatori di BigData, cusì a maiò parte di e tecniche di analisi di big data sò applicabili à l'industria di telecomunicazioni. Un'altra quistione hè quale hè prontu à investisce in u sviluppu di ML, AI, Deep Learning, invistisce in centri di dati è data mining. U travagliu cumpletu cù una basa di dati hè custituitu da infrastruttura è una squadra, i costi di quale ùn tutti ùn ponu permette. L'imprese chì anu digià un magazzinu corporativu o chì sviluppanu una metodulugia di Governance di Dati duveranu scumesse nantu à BigData. Per quelli chì ùn sò ancu pronti per investimenti à longu andà, vi cunsigliu di custruisce gradualmente l'architettura di u software è installà cumpunenti unu per unu. Pudete lascià i moduli pesanti è Hadoop per l'ultimu. Pochi persone compranu una soluzione pronta per prublemi cum'è Data Quality è Data Mining; l'imprese generalmente persunalizà u sistema à e so specificazioni è bisogni specifichi - elli stessi o cù l'aiutu di sviluppatori.
Ma micca ogni fattura pò esse mudificata per travaglià cù BigData. O megliu, micca solu tuttu pò esse mudificatu. Pocu persone ponu fà questu.
Trè segni chì un sistema di fattura hà a pussibilità di diventà un strumentu di trasfurmazioni di basa di dati:
- Scalabilità horizontale. U software deve esse flexible - parlemu di big data. Un aumentu di a quantità di informazioni deve esse trattatu da un aumentu proporzionale di hardware in u cluster.
- Tolleranza à i difetti. I sistemi prepagati serii sò generalmente tolleranti à i difetti per difettu: a fattura hè implementata in un cluster in parechje geolocazioni in modu chì si assicuranu automaticamente. Ci deve ancu esse abbastanza computer in u cluster Hadoop in casu chì unu o più fallenu.
- Località. Dati deve esse cullucatu è trattatu nant'à un servore, altrimenti vi pò andà ruttu nant'à u trasferimentu di dati. Unu di i schemi di avvicinamentu populari di Map-Reduce: i magazzini HDFS, i prucessi Spark. Ideale, u software deve integrà perfettamente in l'infrastruttura di u centru di dati è esse capace di fà trè cose in una: cullà, urganizà è analizà l'infurmazioni.
squadra
Chì, cumu è per quale scopu u prugramma prucederà big data hè decisu da a squadra. Spessu hè custituitu da una persona - un scientist di dati. Ancu s'ellu, in my opinion, u pacchettu minimu di l'impiegati per Big Data include ancu un Product Manager, Data Engineer è Manager. U primu capisce i servizii, traduce a lingua tecnica in lingua umana è viciversa. Data Engineer dà vita à mudelli cù Java / Scala è esperimenti cù Machine Learning. U manager coordina, stabilisce scopi, è cuntrolla e tappe.
Problemi
Hè da a parte di a squadra di BigData chì i prublemi sò generalmente in a cullizzioni è u trattamentu di dati. U prugramma hà bisognu di spiegà ciò chì cullà è cumu processà - per spiegà questu, avete prima bisognu di capiscenu sè stessu. Ma per i fornituri, e cose ùn sò micca cusì simplici. Parlu di i prublemi chì utilizanu l'esempiu di u compitu di riduzzione di l'abbonati - questu hè ciò chì l'operatori di telecomunicazioni cercanu di risolve cù l'aiutu di Big Data in u primu locu.
Stabbilimentu di scopi. E specificazioni tecniche ben scritte è diverse capiscitura di i termini sò stati un dulore di seculi micca solu per i freelancers. Ancu l'abbonati "cacciati" ponu esse interpretati in diverse manere - cum'è quelli chì ùn anu micca utilizatu i servizii di l'operatore per un mesi, sei mesi o un annu. È per creà un MVP basatu nantu à e dati storichi, avete bisognu di capiscenu a freccia di i ritorni di l'abbonati da churn - quelli chì anu pruvatu altri operatori o abbandunonu a cità è anu utilizatu un numeru diversu. Un'altra quistione impurtante: quantu tempu prima chì l'abbonatu hè previstu di lascià, u fornitore deve stabilisce questu è agisce? Sei mesi hè troppu tempiu, una settimana hè troppu tardi.
Sustituzione di cuncetti. Di genere, l'operatori identificanu un clientu per u numeru di telefunu, per quessa, hè logicu chì i segni deve esse caricati cù l'usu. Chì ci hè u vostru contu persunale o u numeru di applicazione di serviziu? Hè necessariu di decide quale unità deve esse pigliatu cum'è cliente per chì e dati in u sistema di l'operatore ùn varienu micca. A valutazione di u valore di un cliente hè ancu discutibile - quale abbonatu hè più preziosu per l'impresa, quale utilizatore hà bisognu di più sforzu per mantene, è quali "caderanu" in ogni casu è ùn ci hè nunda di gastru risorse nantu à elli.
Mancanza di infurmazione. Ùn sò micca tutti l'impiegati di i fornitori sò capaci di spiegà à a squadra di BigData ciò chì affetta specificamente u churn di l'abbonati è cumu i fatturi pussibuli in a fattura sò calculati. Ancu s'ellu ci anu chjamatu unu di elli - ARPU - si trova chì pò esse calculatu in diverse manere: sia per pagamentu periodicu di u cliente, sia per i carichi di fattura automatica. È in u prucessu di travagliu, un milione di altre dumande sorgi. U mudellu copre tutti i clienti, quale hè u prezzu per mantene un cliente, ci hè un puntu di pensà à mudelli alternativi, è chì fà cù i clienti chì sò stati ritenuti artificialmente per errore.
Stabilimentu di u scopu. Sapemu di trè tippi d'errori di risultatu chì causanu l'operatori per esse frustrati cù a basa di dati.
- U fornitore investe in BigData, processa gigabytes d'infurmazioni, ma ottene un risultatu chì puderia esse acquistatu più prezzu. I diagrammi è mudelli simplici, l'analitiche primitive sò aduprate. U costu hè parechje volte più altu, ma u risultatu hè u listessu.
- L'operatore riceve dati multiforme cum'è output, ma ùn capisce micca cumu utilizà. Ci hè analitica - quì hè, comprensibile è voluminosa, ma ùn hè micca utile. U risultatu finale, chì ùn pò micca esse cumpostu di u scopu di "trattamentu di dati", ùn hè micca pensatu. Ùn hè micca abbastanza per processà - l'analitiche devenu esse a basa per l'aghjurnamentu di i prucessi di cummerciale.
- L'ostaculi à l'usu di l'analitiche BigData ponu esse prucessi di cummerciale obsoleti è software inadatti per novi scopi. Questu significa chì anu fattu un sbagliu in a fase di preparazione - ùn anu micca pensatu à traversu l'algoritmu di l'azzioni è e tappe di introduzione di Big Data in u travagliu.
Perchè!
Parlà di risultati. Passaraghju nantu à i modi di utilizà è di monetizà Big Data chì l'operatori di telecomunicazioni sò digià utilizatu.
I fornituri predice micca solu u flussu di l'abbonati, ma ancu a carica nantu à stazioni base.
- L'infurmazioni nantu à i movimenti di l'abbonati, l'attività è i servizii di frequenza sò analizati. Risultatu: riduzzione di u numeru di sovraccarichi per via di ottimisazione è mudernizazione di e zone problematiche di l'infrastruttura.
- L'operatori di telecomunicazioni utilizanu l'infurmazioni nantu à a geolocalizzazione di l'abbonati è a densità di trafficu quandu aprenu punti di vendita. Cusì, l'analitiche BigData sò digià utilizati da MTS è VimpelCom per pianificà u locu di novi uffizii.
- I fornituri monetizeghjanu i so propri big data offrendu à terze parti. I principali clienti di l'operatori BigData sò i banche cummerciale. Utilizendu a basa di dati, monitoranu l'attività sospette di a carta SIM di l'abbonatu à quale e carte sò ligati, è utilizanu i servizii di risichi, verificazione è monitoraghju. È in 2017, u guvernu di Mosca hà dumandatu dinamica di muvimentu basatu nantu à dati BigData da Tele2 per pianificà l'infrastruttura tecnica è di trasportu.
- L'analitiche di BigData sò una minera d'oru per i marketers, chì ponu creà campagni di publicità persunalizati per quant'è millaie di gruppi di abbonati se sceglienu. L'imprese di telecomunicazioni aggregate i profili suciali, l'interessi di i cunsumatori è i mudelli di cumportamentu di l'abbonati, è dopu utilizanu BigData raccolti per attruverà novi clienti. Ma per a prumuzione à grande scala è a pianificazione di PR, a fattura ùn hà micca sempre abbastanza funziunalità: u prugramma deve simultaneamente piglià in contu parechji fatturi in parallelu cù infurmazioni detallati nantu à i clienti.
Mentre chì certi cunsidereghjanu ancu BigData una frasa viota, i Big Four sò digià guadagnatu soldi. MTS guadagna 14 miliardi di rubli da big data processing in sei mesi, è Tele2 hà aumentatu i rivenuti da i prughjetti da trè volte è mezzo. BigData si trasforma da una tendenza in un must have, sottu a quale a struttura sana di l'operatori di telecomunicazioni serà ricustruita.
Source: www.habr.com