În 2008, BigData era un termen nou și o tendință la modă. În 2019, BigData a devenit un obiect de vânzare, o sursă de profit și un motiv pentru noi proiecte de legislație.
În toamna anului trecut, guvernul rus a inițiat un proiect de lege pentru reglementarea big data. Este interzisă identificarea persoanelor pe baza informațiilor, dar este permis pe baza solicitanților din partea autorităților federale. Procesarea BigData pentru terți este permisă doar după notificarea Roskomnadzor. Legea se aplică companiilor care dețin mai mult de 100.000 de adrese de rețea. Și bineînțeles, nu putem uita registrul – se preconizează crearea unui astfel de registru cu lista operatorilor de baze de date. Și dacă până acum BigData nu era percepută în mod serios de toți, acum va trebui să fie luată în considerare.
Nu pot ocoli BigData nici eu, ca director al unei companii dezvoltatoare de billing, care procesează tocmai acest BigData. Voi reflecta asupra big data prin prisma operatorilor de telecomunicații, prin care sistemele de billing procesează zilnic fluxuri de informații despre mii de abonați.
Teorema
Să începem, ca într-o problemă de matematică: mai întâi să demonstrăm că datele operatorilor de telecomunicații pot fi numite BigData. În mod standard, big data este caracterizată prin trei trăsături VVV, deși în interpretări libere numărul de „V” a ajuns până la șapte.
Volume. Doar MVNO Rostelecom deservește mai mult de un milion de abonați. Operatorii de bază își procesează datele de la 44 la 78 de milioane de persoane. Traficul crește în fiecare secundă: în primul trimestru din 2019, abonații au utilizat de pe telefoanele mobile 3,3 miliarde de GB.
Velocity. Nimeni nu descrie mai bine dinamica decât statisticile, așa că voi trece în revistă prognozele Cisco. Până în 2021, 20% din traficul IP va fi de mobil – acesta va crește aproape de trei ori în cinci ani. O treime din conexiunile mobile vor fi de tip M2M – dezvoltarea IoT va determina o creștere de șase ori a conexiunilor. Internetul lucrurilor va deveni nu doar profitabil, ci și consumator de resurse, așa că unii operatori se vor concentra doar pe acesta. Iar cei care vor dezvolta IoT ca un serviciu separat vor obține un dublu trafic.
Diversitate. Diversitatea este un concept subiectiv, dar operatorii de telecomunicații știu aproape tot despre abonații lor. De la nume și date de identificare până la modelul telefonului, cumpărături, locuri frecventate și interese. Fișierele media sunt păstrate conform legii Yarovaya timp de minim șase luni. Așadar, să considerăm ca axioma că datele colectate sunt variate.
Software și metodologie
Furnizorii sunt printre cei mai importanți consumatori de Big Data, de aceea majoritatea metodologiilor de analiză a datelor mari pot fi aplicate în industria telecomunicațiilor. O altă întrebare este cine este pregătit să investească în dezvoltarea ML, AI, Deep Learning, în centre de date și data mining. O gestionare eficientă a Bazei de Date se bazează pe infrastructură și echipă, costuri pe care nu toată lumea le poate permite. Este recomandat ca întreprinderile să investească în Big Data, mai ales cele care dispun deja de un depozit corporativ sau dezvoltă o metodologie de Data Governance. Cei care nu sunt gata pentru investiții pe termen lung ar trebui să-și extindă treptat arhitectura software-ului și să implementeze componentele pe rând. Modulele grele și Hadoop pot fi lăsate pe final. Puțini achiziționează soluții gata făcute pentru sarcini precum Calitatea Datelor și Data Mining, de obicei companiile își adaptează sistemul la specificațiile și nevoile lor – fie singure, fie cu ajutorul dezvoltatorilor.
Dar nu orice sistem de facturare poate fi modificat pentru a funcționa cu Big Data. Mai precis, nu toate pot fi modificate. Puțini pot face acest lucru.
Trei semne că un sistem de facturare are șanse să devină un instrument de procesare a datelor:
- Scalabilitate orizontală. Software-ul trebuie să fie flexibil – discutăm despre date mari. Creșterea cantității de informații ar trebui să fie gestionată printr-o creștere proporțională a „hardului” în cluster.
- Reziliență. Sistemele prepaid serioase sunt, de obicei, rezistente la erori în mod implicit: facturarea este desfășurată în cluster în mai multe locații geografic, astfel încât acestea să se protejeze reciproc. Numărul de computere din clusterul Hadoop ar trebui să fie de asemenea suficient în caz de defectare a unul sau mai multor echipamente.
- Localitate. Datele trebuie să fie stocate și procesate într-un singur server, altfel, costurile pentru transferul de date pot fi devastatoare. Una dintre schemele populare ale abordării Map-Reduce: HDFS stochează, Spark procesează. Ideal, software-ul ar trebui să se integreze fără probleme în infrastructura centrului de date și să fie capabil să realizeze trei în unu: să colecteze, să organizeze și să analizeze informațiile.
Comanda
Ce, cum și în ce scop programul va procesa date mari este decis de echipă. De obicei, aceasta este formată dintr-o singură persoană – data scientist. Cu toate acestea, din punctul meu de vedere, un pachet minim de angajați pentru BigData include și un Product Manager, un Data Engineer și un manager. Primul înțelege serviciile, traduce limbajul tehnic într-unul accesibil și invers. Data Engineer pune modelele în aplicare folosind Java/Scala și experimentează cu Machine Learning. Managerul coordonează, stabilește obiective și controlează etapele.
Probleme
Anume din partea echipei BigData apar, de obicei, problemele la colectarea și procesarea datelor. Programului trebuie să-i explici ce să colecteze și cum să proceseze – pentru a face asta, trebuie mai întâi să înțelegi tu însuți. Iar la furnizori, lucrurile nu sunt atât de simple. Vorbesc despre probleme prin exemplul unei sarcini de reducere a fluctuației abonaților – aceasta este, de fapt, problema pe care operatorii de telecomunicații încearcă să o rezolve cu BigData, mai ales.
Stabilirea sarcinilor. Un caiet de sarcini bine redactat și diferitele înțelegeri ale termenilor sunt o durere de cap veche nu doar pentru freelanceri. Chiar și abonații "rătăciți" pot fi interpretați în moduri diferite – ca cei care nu folosesc serviciile operatorului timp de o lună, jumătate de an sau un an. Iar pentru a crea un MVP pe baza datelor istorice, trebuie să înțelegi frecvența revenirii abonaților din fluctuație – cei care au încercat serviciile altor operatori sau au părăsit orașul și au utilizat un alt număr. Încă o întrebare importantă: cât timp înainte de plecarea preconizată a abonaților trebuie să determine aceasta furnizorul și să ia măsuri? Cu șase luni înainte – prea devreme, cu o săptămână înainte – deja prea târziu.
Confuzia termenilor. De obicei, operatorii identifică clientul după numărul de telefon, așa că e logic să extragă semnele în funcție de acesta. Dar ce zici de contul de client sau numărul aplicației de serviciu? Trebuie să decizi care unitate ar trebui considerată client, astfel încât datele în sistemul operatorului să nu diferă. Evaluarea valorii clientului este, de asemenea, pusă la îndoială – care abonat este mai valoros pentru companie, pentru cui trebuie să depunem mai multe eforturi pentru a-l reține și care "vor pleca" oricum și nu merită să cheltuim resurse pe ei.
Lipsa de informații. Nu toți angajații providerului pot explica echipei BigData ce anume influențează rata de abandon a clienților și cum se calculează factorii potențiali în facturare. Chiar dacă unul dintre aceștia a fost menționat – ARPU – se dovedește că poate fi calculat în mai multe moduri: fie pe baza plăților periodice ale clientului, fie pe baza taxelor automate de facturare. În procesul de lucru apar milioane de alte întrebări. Acoperă modelul toți clienții, care este costul pentru păstrarea unui client, are sens să ne gândim la modele alternative și ce să facem cu clienții pe care i-am păstrat din greșeală.
Stabilirea obiectivelor. Știu trei tipuri de erori legate de rezultate care îi fac pe operatori să renunțe la BigData.
- Providerul investește în BigData, procesează gigaocteți de informații, dar obține un rezultat care ar fi putut fi atins și mai ieftin. Se folosesc scheme și modele simple, analiză primitivă. Costul este de mai multe ori mai mare, iar rezultatul rămâne același.
- Operatorul primește date complexe, dar nu știe cum să le folosească. Analiza este bine structurată și detaliată, dar utilitatea acesteia este zero. Rezultatul final nu a fost bine gândit, iar acesta nu poate fi doar „a procesa datele”. A procesa nu este suficient – analiza trebuie să devină baza pentru actualizarea proceselor de afaceri.
- Un obstacol în utilizarea analizei BigData pot fi procesele de afaceri învechite și software-ul care nu se potrivește noilor scopuri. Asta înseamnă că am greșit în etapa de pregătire – nu am planificat algoritmul de acțiune și etapele de implementare a BigData în activitate.
De ce
Vorbind despre rezultate. Voi trece în revistă metodele de utilizare și monetizare a BigData pe care deja le folosesc operatorii de telecomunicații.
Providerii prevăd nu numai rata de abandon a clienților, ci și sarcinile pe stațiile de bază.
- Se analizează informațiile despre mobilitatea clienților, activitate și servicii pe frecvențe. Rezultatul: scăderea numărului de supraîncărcări datorită optimizării și modernizării zonelor problematice ale infrastructurii.
- Informațiile despre geolocalizarea clienților și densitatea fluxului sunt utilizate de operatorii de telecomunicații atunci când deschid puncte de vânzare. Astfel, analiza BigData este deja utilizată de MTS și Vimpelcom pentru planificarea amplasării de noi birouri.
- Furnizorii monetizează propriile date mari, oferindu-le companiilor externe. Principalele cereri pentru operatorii BigData provin de la băncile comerciale. Prin intermediul bazelor de date, aceștia urmăresc activitățile suspecte ale SIM-urilor abonaților, la care sunt atașate cardurile, utilizând servicii de scoring al riscurilor, verificare și monitorizare. În 2017, guvernul Moscovei a solicitat Tele2 datele de mișcare din BigData pentru a planifica infrastructura tehnică și de transport.
- Analiza BigData este o oportunitate prețioasă pentru marketeri, care pot crea campanii publicitare personalizate pentru mii de grupuri de abonați, dacă doresc. Companiile de telecomunicații agregă profile sociale, interese de consum și modele comportamentale ale abonaților, apoi folosesc BigData adunată pentru a atrage clienți noi. Totuși, pentru planificarea pe scară largă a promovării și PR, funcționalitatea de facturare nu este întotdeauna suficientă: programul trebuie să țină cont simultan de numeroși factori împreună cu informațiile detaliate despre clienți.
În timp ce unii încă consideră BigData un termen gol, „marea patru” deja câștigă bani din ea. MTS câștigă 14 miliarde de ruble în șase luni din procesarea datelor mari, iar Tele2 și-a crescut veniturile din proiecte de trei ori și jumătate. BigData se transformă dintr-un trend într-un must-have, pentru care întreaga structură a operatorilor de telecomunicații se va adapta.
Sursa: habr.com
