În 2008, BigData a fost un termen nou și o tendință la modă. În 2019, BigData este un obiect de vânzare, o sursă de profit și un motiv pentru noi facturi.
Toamna trecută, guvernul rus a inițiat un proiect de lege pentru reglementarea datelor mari. Este posibil ca persoanele fizice să nu fie identificate din informații, dar pot face acest lucru la cererea autorităților federale. Procesarea BigData pentru terți are loc numai după notificarea Roskomnadzor. Companiile care au peste 100 de mii de adrese de rețea intră sub incidența legii. Și, desigur, acolo unde fără registre - ar trebui să creeze unul cu o listă de operatori de baze de date. Și dacă înainte acest Big Data nu era luat în serios de toată lumea, acum va trebui să fie luat în considerare.
Eu, în calitate de director al unei companii de dezvoltare de facturare care prelucrează aceste Big Data, nu pot ignora baza de date. Mă voi gândi la big data prin prisma operatorilor de telecomunicații, prin ale căror sisteme de facturare trec zilnic fluxuri de informații despre mii de abonați.
Teorema
Să începem, ca într-o problemă de matematică: mai întâi demonstrăm că datele operatorilor de telecomunicații pot fi numite BigDat. De obicei, big data este caracterizată de trei caracteristici VVV, deși în interpretările libere numărul „V-urilor” a ajuns la șapte.
Volum. Numai MVNO al Rostelecom deservește mai mult de un milion de abonați. Operatorii cheie de gazdă gestionează date pentru 44 până la 78 de milioane de oameni. Traficul crește în fiecare secundă: în primul trimestru al anului 2019, abonații au accesat deja 3,3 miliarde GB de pe telefoanele mobile.
Viteză. Nimeni nu vă poate spune despre dinamică mai bine decât statisticile, așa că voi trece prin previziunile Cisco. Până în 2021, 20% din traficul IP va merge către traficul mobil - aproape că se va tripla în cinci ani. O treime din conexiunile mobile vor fi M2M – dezvoltarea IoT va duce la o creștere de șase ori a conexiunilor. Internetul Lucrurilor va deveni nu numai profitabil, ci și consumator de resurse, așa că unii operatori se vor concentra doar asupra acestuia. Iar cei care dezvoltă IoT ca serviciu separat vor primi trafic dublu.
Varietate. Diversitatea este un concept subiectiv, dar operatorii de telecomunicații știu cu adevărat aproape totul despre abonații lor. De la nume și detalii pașaport la modelul de telefon, achiziții, locuri vizitate și interese. Conform legii Yarovaya, fișierele media sunt stocate timp de șase luni. Deci, să luăm ca pe o axiomă că datele colectate sunt variate.
Software și metodologie
Furnizorii sunt unul dintre principalii consumatori de BigData, astfel încât majoritatea tehnicilor de analiză a datelor mari sunt aplicabile industriei telecomunicațiilor. O altă întrebare este cine este gata să investească în dezvoltarea ML, AI, Deep Learning, să investească în centre de date și în minarea datelor. Munca cu drepturi depline cu o bază de date constă din infrastructură și o echipă, ale căror costuri nu și le poate permite toată lumea. Întreprinderile care au deja un depozit corporativ sau care dezvoltă o metodologie de guvernare a datelor ar trebui să parieze pe BigData. Pentru cei care nu sunt încă pregătiți pentru investiții pe termen lung, vă sfătuiesc să construiți treptat arhitectura software și să instalați componente unul câte unul. Puteți lăsa modulele grele și Hadoop pentru final. Puțini oameni cumpără o soluție gata făcută pentru probleme precum Data Quality și Data Mining; în general, companiile personalizează sistemul în funcție de specificațiile și nevoile lor specifice - ele însele sau cu ajutorul dezvoltatorilor.
Dar nu orice facturare poate fi modificată pentru a funcționa cu BigData. Sau mai bine zis, nu numai totul poate fi modificat. Puțini oameni pot face asta.
Trei semne că un sistem de facturare are șansa de a deveni un instrument de procesare a bazelor de date:
- Scalabilitate orizontală. Software-ul trebuie să fie flexibil – vorbim de big data. O creștere a cantității de informații ar trebui tratată printr-o creștere proporțională a hardware-ului din cluster.
- Toleranță la erori. Sistemele preplătite serioase sunt de obicei tolerante la erori în mod implicit: facturarea este implementată într-un cluster în mai multe locații geografice, astfel încât să se asigure automat reciproc. De asemenea, ar trebui să existe suficiente computere în clusterul Hadoop în cazul în care unul sau mai multe eșuează.
- Localitate. Datele trebuie să fie stocate și procesate pe un singur server, altfel puteți să vă întrerupeți transferul de date. Una dintre schemele populare de abordare Map-Reduce: magazine HDFS, procese Spark. În mod ideal, software-ul ar trebui să se integreze perfect în infrastructura centrului de date și să poată face trei lucruri în unul: colectarea, organizarea și analizarea informațiilor.
Echipă
Ce, cum și în ce scop va prelucra programul big data este decis de echipă. Adesea este alcătuit dintr-o singură persoană - un cercetător de date. Deși, în opinia mea, pachetul minim de angajați pentru Big Data include și un Product Manager, Data Engineer și Manager. Primul înțelege serviciile, traduce limbajul tehnic în limbajul uman și invers. Data Engineer aduce modele la viață folosind Java/Scala și experimentează cu Machine Learning. Managerul coordonează, stabilește obiective și controlează etapele.
Probleme
Problemele apar de obicei la colectarea și procesarea datelor din partea echipei BigData. Programul trebuie să explice ce să colecteze și cum să-l proceseze - pentru a explica acest lucru, mai întâi trebuie să îl înțelegeți singur. Dar pentru furnizori, lucrurile nu sunt atât de simple. Vorbesc despre probleme folosind exemplul sarcinii de reducere a pierderii abonaților - asta este ceea ce operatorii de telecomunicații încearcă să rezolve în primul rând cu ajutorul Big Data.
Stabilirea obiectivelor. Specificațiile tehnice bine scrise și înțelegerile diferite ale termenilor au fost o durere veche de secole, nu numai pentru freelanceri. Chiar și abonații „scăzuți” pot fi interpretați în moduri diferite - ca cei care nu au folosit serviciile operatorului de o lună, șase luni sau un an. Și pentru a crea un MVP pe baza datelor istorice, trebuie să înțelegeți frecvența returnărilor abonaților de la churn - cei care au încercat alți operatori sau au părăsit orașul și au folosit un alt număr. O altă întrebare importantă: cu cât timp înainte ca abonatul să plece ar trebui furnizorul să stabilească acest lucru și să ia măsuri? Șase luni este prea devreme, o săptămână este prea târziu.
Înlocuirea conceptelor. De obicei, operatorii identifică un client după numărul de telefon, așa că este logic ca semnele să fie încărcate folosindu-l. Cum rămâne cu contul tău personal sau numărul aplicației de serviciu? Este necesar să se decidă ce unitate ar trebui luată ca client, astfel încât datele din sistemul operatorului să nu varieze. Evaluarea valorii unui client este, de asemenea, discutabilă - care abonat este mai valoros pentru companie, care utilizator necesită mai mult efort pentru a-l păstra și care vor „cădea” în orice caz și nu are rost să cheltuiți resurse pentru ele.
Lipsa de informatie. Nu toți angajații furnizorilor sunt capabili să explice echipei BigData ce afectează în mod specific pierderea abonaților și cum sunt calculați factorii posibili în facturare. Chiar dacă l-au numit pe unul dintre ele - ARPU - se dovedește că acesta poate fi calculat în diferite moduri: fie prin plăți periodice ale clienților, fie prin taxe automate de facturare. Și în procesul de lucru, apar un milion de alte întrebări. Modelul acoperă toți clienții, care este prețul pentru reținerea unui client, are rost să ne gândim la modele alternative și ce să faceți cu clienții care au fost reținuți artificial în mod greșit?
Stabilirea obiectivelor. Cunosc trei tipuri de erori de rezultat care fac operatorii să devină frustrați cu baza de date.
- Furnizorul investește în BigData, procesează gigaocteți de informații, dar obține un rezultat care ar fi putut fi obținut mai ieftin. Se folosesc diagrame și modele simple, analitice primitive. Costul este de multe ori mai mare, dar rezultatul este același.
- Operatorul primește date cu mai multe fațete ca ieșire, dar nu înțelege cum să le folosească. Există analitică - iată, de înțeles și voluminos, dar nu este de nici un folos. Rezultatul final, care nu poate consta în scopul „prelucrarii datelor”, nu a fost gândit. Nu este suficient să procesezi – analiza ar trebui să devină baza pentru actualizarea proceselor de afaceri.
- Obstacolele în calea utilizării analizei BigData pot fi procese de afaceri învechite și software nepotrivit pentru scopuri noi. Asta înseamnă că au făcut o greșeală în etapa de pregătire - nu s-au gândit la algoritmul acțiunilor și etapele de introducere a Big Data în lucru.
Pentru ce
Apropo de rezultate. Voi trece peste modalitățile de utilizare și monetizare a Big Data pe care operatorii de telecomunicații le folosesc deja.
Furnizorii prezic nu numai fluxul de abonați, ci și sarcina pe stațiile de bază.
- Sunt analizate informații despre mișcările abonaților, activitatea și frecvența serviciilor. Rezultat: reducerea numărului de supraîncărcări datorită optimizării și modernizării zonelor problematice ale infrastructurii.
- Operatorii de telecomunicații folosesc informații despre geolocalizarea abonaților și densitatea traficului atunci când deschid puncte de vânzare. Astfel, analizele BigData sunt deja folosite de MTS și VimpelCom pentru a planifica locația noilor birouri.
- Furnizorii își monetizează propriile date mari, oferindu-le terților. Principalii clienți ai operatorilor BigData sunt băncile comerciale. Folosind baza de date, aceștia monitorizează activitățile suspecte ale cartelei SIM a abonatului la care sunt legate cardurile și folosesc servicii de evaluare a riscurilor, verificare și monitorizare. Și în 2017, guvernul de la Moscova a solicitat dinamica mișcării bazată pe datele BigData de la Tele2 pentru a planifica infrastructura tehnică și de transport.
- Analiza BigData este o mină de aur pentru marketeri, care pot crea campanii de publicitate personalizate pentru până la mii de grupuri de abonați, dacă doresc. Companiile de telecomunicații cumulează profilurile sociale, interesele consumatorilor și modelele de comportament ale abonaților, apoi folosesc BigData colectat pentru a atrage noi clienți. Dar pentru promovarea pe scară largă și planificarea PR, facturarea nu are întotdeauna suficientă funcționalitate: programul trebuie să țină cont simultan de mulți factori în paralel cu informații detaliate despre clienți.
În timp ce unii încă consideră BigData o frază goală, cei patru mari fac deja bani din asta. MTS câștigă 14 miliarde de ruble din procesarea datelor mari în șase luni, iar Tele2 a crescut veniturile din proiecte de trei ori și jumătate. BigData se transformă dintr-un trend într-un must have, sub care se va reconstrui întreaga structură a operatorilor de telecomunicații.
Sursa: www.habr.com