Suurte andmete suur arveldamine: BigData telekommunikatsioonis

2008. aastal oli BigData uus termin ja populaarne trend. 2019. aastal on BigData müügikohustus, kasumiallikas ja põhjus uute seadusandlike muudatuste jaoks.

Eelmise aasta sügisel algatas Venemaa valitsus seadusandlikku algatust suurandmete reguleerimiseks. Inimeste tuvastamine teabe põhjal on keelatud, kuid lubatud on see föderaalsete organite nõudmisel. Suurandmete töötlemine kolmandate isikute jaoks on lubatud ainult pärast Roskomnadzori teavitamist. Seaduse alla kuuluvad ettevõtted, kelle käsutuses on üle 100 000 võrguadresse. Ja loomulikult, kuidas siis ilma registriteta - eeldatakse, et luuakse register andmeoperaatorite nimekirjaga. Ja kui eelnevalt ei võetud BigData’t tõsiselt, siis nüüd tuleb sellega arvestada.

Ma ei saa mööda minna BigData’st, olles billing’uga tegelev ettevõtte direktor, kes seda BigData’t töötleb. Mõtleme suurandmetele sideoperaatorite vaatenurgast, kelle billingusüsteemides päevapealt voolab teavet tuhandete tellijate kohta.

Teoreem

Alustame nagu matemaatikaülesandes: tõestame kõigepealt, et sideoperaatorite andmeid võib nimetada BigData’ks. Tavalistel suurandmete määratlemisel on kolm omadust VVV, kuigi vabas tõlgenduses on 'V' arv ulatunud isegi seitsmeni.

Maht. Üksnes MVNO Rostelecom teenindab üle miljoni tellija. Peamised host-ettevõtted töötlevad andmeid 44 kuni 78 miljonilt inimeselt. Traffic kasvab iga sekundi järel: 2019. aasta esimeses kvartalis surfati mobiiltelefonidelt juba 3,3 miljardit GB.

Kiirus. Keegi ei räägi dünaamikast paremini kui statistika, nii et vaatame Cisco prognoose. Aastal 2021 kuulub 20% IP traffic’ist mobiilsele traffic’ile - see kasvab peaaegu kolm korda viie aasta jooksul. Kolmandik mobiilsetest ühendustest tuleb M2M-lt - IoT arendamine põhjustab kuuekordset ühenduste kasvu. Asjade internetist saab mitte ainult kasumlik, vaid ka ressursitasu suund, seetõttu keskenduvad mõned operaatorid ainult sellele. Ja need, kes arendavad IoT eraldi teenusena, saavad kahekordse traffic’i.

Mitmekesisus. Mitmekesisus on subjektiivne mõiste, kuid sideoperaatorid teavad oma abonentidest peaaegu kõike. Alates nimest ja isikutunnistuse andmetest kuni telefonimudeli, ostude, külastatud kohtade ja huvideni. Meediafaile säilitatakse Yarovaya seaduse kohaselt vähemalt kuus kuud. Nii et võtame enesestmõistetavana, et kogutavad andmed on mitmekesised.

Tarkvara ja metodoloogia

Pakkujad on BigData peamised kasutajad, seega kohaldatakse enamikku suurandmete analüüsimise meetodeid telekommunikatsiooni valdkonnas. Teine küsimus on, kes on valmis investeerima ML-i, AI-sse, süvaõppesse, investeerima andmekeskustesse ja andmekaevandamisse. Täielik andmebaasi töö nõuab infrastruktuuri ja meeskonda, mille kulud ei ole kõigil endal lubatavad. BigData-sse panustamine on mõistlik ettevõtetele, kes omavad juba ettevõtte andmehoidlat või arendavad andmehaldusmeetodeid. Neile, kes pole veel valmis pikaajalisteks investeeringuteks, soovitan järk-järgult üles ehitada tarkvara arhitektuuri ja paigaldada komponente järk-järgult. Rasked moodulid ja Hadoop võivad jääda viimaseks. Vähe inimesi ostab valmis lahendusi sellistele ülesannetele nagu andmekvaliteet ja andmekaevandamine, enamasti kohandavad ettevõtted süsteemi oma spetsiifika ja vajaduste järgi – kas iseseisvalt või arendajate abiga.

Aga mitte iga arveldamissüsteem ei saa töötada BigData-ga. Täpsemalt, mitte kõik ei suuda seda modifitseerida. Vähe inimesi suudab seda teha.

Kolm märki, et arveldamisse süsteemi on võimalus muutuda andmebaaside töötlemise tööriistaks:

• Horisontaalne skaleeritavus. Tarkvara peab olema paindlik – räägime ju suurandmetest. Suurenev teave peab olema lahendatav proportsionaalselt „raha“ suurendamisega klastris.
• Viga kindel. Tõsised prepaid-süsteemid on tavaliselt vaikimisi vigadest nii kindlad: arveldamine paigutatakse klastrisse mitmesse geolokatsiooni, et need üksteist automaatselt kaitseda. Arvuteid Hadoopi klastris peab samuti olema piisavalt, et katta ühe või mitme rikke korral.
• Koha seadus. Andmed peavad olema hoitud ja töödeldud ühes serveris, muidu võib andmete edastamine kalliks minna. Üks populaarsemaid lähenemisviise Map-Reduce: HDFS hoiab, Spark töötleb. Ideaalis peab tarkvara valutult integreeruma andmekeskuse infrastruktuuri ja olema suuteline kolme asja korraga tegema: andmete kogumine, organiseerimine ja analüüs.

Meeskond

Kuidas ja miks meeskond töötleb suuri andmeid, on ülesanne, millega tegeleb meeskond. Sageli koosneb see ühest inimesest – andmete teadlasest. Minu arvates sisaldab miinimumkogum töötajaid BigData jaoks ka tootejuhti, andmeinseneri ja juhtimist. Esimene mõistab teenuseid, tõlgib tehnilise keele inimkeelde ja vastupidi. Andmeinsener viib mudelid ellu Java/Scala abil ja katsetab masinõpet. Juht koordineerib, seab eesmärke ja kontrollib etappe.

Probleemid

Just BigData meeskonnast tulevad sageli probleemid andmete kogumise ja töötlemise osas. Programmi tuleb selgitada, mida koguda ja kuidas töödelda – selleks, et selgitada, peab esmalt ise aru saama. Teenusepakkujatel ei ole kõik sugugi lihtne. Räägin probleemidest näite abil, mis käsitleb klientidele suunatud teenuste kadu – see on just see, mida sideettevõtted püüavad BigData abil esmalt lahendada.

Ülesannete seadmine. Hästi koostatud spetsifikatsioon ja erinev arusaam terminoloogiast on sajandeid olnud probleem mitte ainult vabakutseliste jaoks. Isegi 'lahkunud' kliente saab tõlgendada erinevalt – kui palju aega on möödunud, et nad ei kasuta operaatori teenuseid: kuu, pool aastat või aasta. MVP loomiseks ajaloolistel andmetel on vaja mõista, kui tihti naasevad kliendid, kes on teenuse teisi operaatorite proovinud või kes on linnast lahkunud ja kasutanud teist numbrit. Veel üks oluline küsimus: kui kaua enne oodatavat lahkumist peab teenusepakkuja selle tuvastama ja meetmeid võtma? Pool aastat ette – liiga vara, nädal enne – juba hilja.

Terminoloogiline segadus. Tavaliselt määravad operaatorid kliendi telefoninumbri järgi, seega on loogiline, et omadusi tuleb koguda selle järgi. Aga kuidas on seotud kliendi konto või teenuse numbri tõendamine? Tuleb selgitada, millist ühikut tuleb kliendina pidada, et operaatori süsteemis andmed ei eristuks. Kliendi väärtuse hindamine on samuti kahtluse all – milline klient on ettevõttele kallim, kelle hoidmise nimel tuleks rohkem pingutada, ja kes 'lahkub' igal juhul, nii et pole mõtet neile ressursse kulutada.

Teabe puudus. Kaugel pole kõik teenusepakkuja töötajad suutelised selgitama BigData meeskonnale, mis täpselt mõjutab kliendi lahkumist ja kuidas arvestatakse võimalikke tegureid arveldamises. Isegi kui üks neist – ARPU – mainitakse, selgub, et seda on võimalik arvutada ka erinevalt: kas kliendi perioodiliste maksete või automaatsete arveldusega. Töö käigus kerkib esile miljon muud küsimust. Kas mudel katab kõiki kliente, mis on kliendi hoidmise hind, kas on mõtet välja mõelda alternatiivseid mudeleid ja mida teha klientidega, keda on ekslikult kunstlikult hoitud.

Eesmärgistamine. Ma tean kolme tüüpi vigu, mis on seotud tulemustega ja teevad operaatoritele andmebaasides pettumust.

1. Teenusepakkuja investeerib BigData, töötleb gigabaye andmeid, kuid saab tulemuse, mille oleks võinud saavutada odavamalt. Kasutatakse lihtsaid skeeme ja mudeleid, primitiivset analüütikat. Kulud on mitu korda kõrgemad, kuid tulemus jääb samaks.
2. Operaator saab välja mitmekesised andmed, kuid ei tea, kuidas neid kasutada. Analüüs on olemas – siin on see, arusaadav ja mahukas, aga kasu sellest on null. Lõpptulemus pole läbi mõeldud, mis ei tohi piirduda eesmärgiga 'andmete töötlemine'. Töötlemine on vähe – analüütika peab olema alus äri-protsesside uuendamiseks.
3. BigData analüütika kasutamise takistuseks võivad olla vananenud äri protsessid ja sobimatu tarkvara uute eesmärkide jaoks. See tähendab, et valmistumisetapis on ebaõnnestutud – ei ole läbi mõeldud tegevusplaani ja BigData rakendamise etapid.

Miks

Rääkides tulemustest. Käin läbi BigData kasutamise ja monetiseerimise viise, mida juba kasutavad sideoperaatorid.
Teenusepakkujad prognoosivad mitte ainult kliendi lahkumist, vaid ka koormust baasjaamadele.

1. Analüüsitakse teavet abonentide liikumise, aktiivsuse ja sagedusteenuste kohta. Tulemuseks on ülekoormuse vähenemine probleemsete infrastruktuuri kohtade optimeerimise ja uuendamise kaudu.
2. Teenusepakkujad kasutavad abonentide geolokatsiooni ja liikide tihedust uute müügikohtade avamisel. Nii kasutavad BigData analüütikat juba MTS ja Vympelcom uute kontorite asukoha planeerimiseks.
3. Teenused monetiseerivad oma suuri andmeid, pakkudes neid kolmandate osapoolte ettevõtetele. Suurimad BigData operaatorite kliendid on kommertspangad. Andmebaaside abil jälgivad nad kahtlaseid SIM-kaardi kasutajaid, kellele kaardid on seotud, kasutavad riskihinnangu, tuvastamise ja jälgimise teenuseid. 2017. aastal küsis Moskva valitsus Tele2-lt BigData andmete põhjal liikumisandmeid, et planeerida tehnilist ja transporditaristut.
4. BigData analüüs on kuldne kaev, millega turundajad saavad luua isikupäraseid reklaamikampaaniaid tuhandetele abonentide gruppidele, kui nad soovivad. Telekommunikatsiooni ettevõtted koondavad sotsiaalseid profiile, tarbimisüritusi ja tarbijate käitumismudeleid ning seejärel kasutavad kogutud BigData uusi kliente meelitades. Kuid laiaulatuslikuks turundamise ja PR-i planeerimiseks ei piisa alati arvelduse funktsionaalsusest: programm peab samal ajal arvesse võtma palju tegureid koos üksikasjaliku teabega klientide kohta.

Kuni keegi veel peab BigData tühiseks, teenib "suur nelik" sellega juba raha. MTS teenib kuue kuuga suurte andmete töötlemisel 14 miljardit rubla, samas kui Tele2 suurendas tulusid projektidest kolm ja pool korda. BigData muutub trendist hädavajalikuks, mille järgi ümber kujundatakse kogu sideoperaatorite struktuur.

Allikas: habr.com