2008. aastal oli BigData uus termin ja trend. 2019. aastaks on BigData müügiobjekt, kasumi allikas ja põhjus uute seadusprojektide jaoks.
Eelmisel sügisel algatas Venemaa valitsus seadusprojekti suurte andmete reguleerimise kohta. Inimeste tuvastamine teabe põhjal on keelatud, kuid seda on lubatud teha föderaalse organi nõudel. Kolmandate osapoolte jaoks BigData töötlemine on võimalik ainult pärast Roskomnadzorile teatamist. Seaduse alla kuuluvad ettevõtted, kelle halluses on üle 100 000 IP-aadressi. Ja loomulikult ei saa me unustada registrite loomist – plaanitakse luua register andmeoperaatoritest. Kui varem ei võetud BigData tõsiselt, siis nüüd on selle olemasolu arvesse võtmine vältimatu.
Ka mina, kui arveldussüsteemi arendaja direktor, ei saa BigData'st mööda minna, kuna just mina olen see, kes seda BigData't töödelda. Mõtleme suurtele andmetele telekommunikatsiooniettevõtete vaatenurgast, kelle arveldussüsteemide kaudu voolab igapäevaselt teavet tuhandete abonentide kohta.
Teoreem
Alustame nagu matemaatikaülesandes: kõigepealt tõestame, et sideoperaatorite andmeid saab nimetada BigDat'iks. Standartselt iseloomustavad suuri andmeid kolm omadust VVV, kuigi vabades tõlgendustes on 'V' arv ulatunud isegi seitsmeni.
Volume. Ainult Rostelecomi MVNO teenindab üle miljoni kliendi. Peamised host-ettevõtted töötlevad andmeid 44 kuni 78 miljoni inimese kohta. Liiklus kasvab iga sekund: 2019. aasta esimeses kvartalis surfasid kliendid mobiiltelefonidelt juba 3,3 miljardit GB.
Velocity. Keegi ei räägi dünaamikast paremini kui statistika, seega vaatan Cisco prognoose. Kuni 2021. aastani saab 20% IP-liiklusest mobiilse liikluse osaks – see kasvab peaaegu kolm korda viie aasta jooksul. Kolmandik mobiilsetest ühendustest kuulub M2M-le – IoT areng toob kaasa kuuekordse ühenduste kasvu. Asjade internet ei saa olema mitte ainult kasumlik, vaid ka ressursimahukas suund, seetõttu keskenduvad mõned operaatorid ainult sellele. Need, kes arendavad IoT-d eraldi teenusena, saavad kahetise liikluse.
Mitmekesisus. Mitmekesisus on subjektiivne mõisted, kuid sideoperaatorid teavad oma klientidest tõepoolest peaaegu kõike. Alates nimest ja isikukoodist kuni telefonimudeleid, ostud, külastatud kohad ja huvideni. Mediafailid säilivad Yarovaya seaduse alusel vähemalt kuus kuud. Nii et võtame aksioomina, et kogutud andmed on mitmekesised.
Tarkvara ja metoodika
Teenused – BigData peamised kasutajad, mistõttu enamik suurandmete analüüsimeetodeid on rakendatavad telekommunikatsiooni valdkonnas. Teine küsimus on, kes on valmis investeerima masinõppe, tehisintellekti, süvaõppe, andmekeskuste ja andmete kaevandamise arendamisse. Tõhus andmebaaside kasutamine tugineb infrastruktuurile ja meeskonnale, mille kulud ei ole kõigile taskukohased. BigData strateegiat tasub kaaluda ettevõtetel, kellel on juba ettevõtte andmehoidla või kes arendavad andmehalduse meetodeid. Neile, kes ei ole veel valmis pikaajaliste investeeringute jaoks, soovitan järk-järgult suurendada tarkvara arhitektuuri ja lisada komponente järk-järgult. Raskete moodulite ja Hadoopi võib jätta viimaseks. Vähe, kes ostab valmis lahenduse andmekvaliteedi ja andmete kaevandamise ülesannete jaoks, enamik ettevõtteid kohandavad süsteeme vastavalt oma eripäradele ja vajadustele, kas ise või arendajate abiga.
Kuid mitte iga arveldamise süsteem ei ole kohandatav BigData tööks. Tegelikult saavad mitte kõik seda muuta. Vähe, kes suudavad seda teha.
Kolm märki, et arveldamise süsteemil on võimalus muutuda andmebaasi töötlemise tööriistaks:
- Horisontaalne skaleeritavus. Tarkvara peab olema paindlik – räägime ju suurtest andmetest. Andmete mahu suurenemine peab toimuma proportsionaalselt klastris oleva „raha” suurenemisega.
- Vea taluvus. Tõsised prepaid-süsteemid on tavaliselt vaikimisi vea taluvad: arvutusteenus on mitmes geolokatsioonis klastris, et need üksteist automaatselt kindlustaksid. Hadoop-klaanis peab olema ka piisavalt arvuteid, et juhul kui üks või mitu rikki lähevad, teisi ei jääks puudu.
- Lokaalsus. Andmed peavad olema salvestatud ja töödeldud ühes serveril, vastasel juhul võib andmete edastamisega palju kaotada. Üks populaarne Map-Reduce lähenemisviis: HDFS salvestab, Spark töötleb. Ideaalis peaks tarkvara valutama olema ettevalmistatud andmekeskuse infrastruktuuri integreerimiseks, suutes kolme ühes: koguda, korraldada ja analüüsida teavet.
Meeskond
Mis, kuidas ja millisel eesmärgil programm suurandmeid töötleb, otsustab meeskond. Sageli koosneb see ühest inimesest – andmete teadlasest. Kuigi minu arvates sisaldab minimaalne meeskonnakond BigData jaoks ka tootejuhti, andmeinseneri ja juhtide. Esimene mõistab teenuseid, tõlgib tehnilise keele inimkeelde ja tagasi. Andmeinsener viib mudelid ellu Java/Scala abil ja katsetab masinõppega. Juht koordineerib, seab eesmärke ja jälgib etappe.
Probleemid
BigData meeskonnast tekivad tavaliselt probleemid andmete kogumisel ja töötlemisel. Programm peab mõistma, mida koguda ja kuidas töödelda – selleks, et seda seletada, tuleb esmalt ise aru saada. Ja teenusepakkujatel ei ole kõik sugugi lihtne. Räägin probleemidest näite kaudu, mis puudutab klientide lahkumise vähendamise ülesannet – just seda üritavad telekommunikatsioonioperaatorid esmajoones lahendada BigData abil.
Ülesannete seadmine. Korrekt koostatud tehniline projekt ja erinev arusaam mõistetest on olnud sajandeid kestnud valu mitte ainult vabakutseliste jaoks. Isegi "lahkunud" abonente saab tõlgendada erinevalt - nagu neid, kes ei kasuta teenuseid kuu, pool aastat või aastat. MVP loomiseks ajalooliste andmete põhjal on vajalik mõista abonentide tagasipöördumise sagedust lahkumisest - neid, kes on proovinud teiste operaatorite teenuseid või kes on linnast lahkunud ja kasutanud teist numbrit. Veel üks oluline küsimus: kui kaua enne eeldatavat lahkumist peab teenusepakkuja selle tuvastama ja meetmeid võtma? Kuus kuud – liiga vara, nädal enne – juba liiga hilja.
Mõistete segamine. Tavaliselt määravad operaatorid kliendi telefoninumbri järgi, seetõttu on loogiline, et selgused tuleb laadida selle alusel. Aga kuidas on lood arve või teenuse numbri puhul? Tuleb otsustada, millist üksust peaks kliendina käsitlema, et operaatori süsteemis puuduksid erinevused andmetes. Kliendi väärtuse hindamine on samuti küsimärgi all – milline abonent on ettevõttele väärtuslikum, kelle hoidmiseks tuleks rohkem vaeva näha, ja millised «lahkuvad» niikuinii, seega pole mõtet nendele ressursse kulutada.
Teabe puudus. Kaugel ei ole kõik teenusepakkuja töötajad võimelised selgitama BigData meeskonnale, mis täpselt mõjutab klientide lahkumist ja kuidas võimalikud tegurid arveldamises arvestatakse. Isegi kui on nimetatud üks neist – ARPU –, selgub, et seda on võimalik arvutada erinevalt: kas kliendi regulaarsetelt maksetelt või arvelduse automaatsetelt krediitidelt. Töö käigus tekib veel miljon muud küsimust. Kas mudel katab kõiki kliente, mis on kliendi hoidmise hind, kas on mõtet mõelda alternatiivsetele mudelitele ja mida teha klientidega, keda on eksikombel kunstlikult hoitud.
Eesmärkide seadmine. Ma tean kolme tüüpi vigu, mis on seotud tulemusega ja panevad operaatorid BigData suhtes pettuma.
- Teenusepakkuja investeerib BigData'sse, töötleb gigabaitide kaupa teavet, kuid saab tulemuse, mille oleks saanud ka odavamalt. Kasutatakse lihtsaid skeeme ja mudeleid, primitiivset analüütikat. Tootmiskulud on mitmeid kordi kõrgemad, kuid tulemus jääb samaks.
- Operaator saab välja mitmekesiseid andmeid, kuid ei mõista, kuidas neid kasutada. Analüüs on olemas – siin see on, arusaadav ja mahukas, kuid sellest on kasu null. Lõpp-tulemus ei ole läbi mõeldud ning ei saa piirduda eesmärgiga „andmeid töödelda“. Töötlemine on vähe – analüüs peab olema aluseks äri protsesside uuendamiseks.
- Big Data analüüsi kasutamise takistuseks võivad olla vananenud äri protsessid ja uuteks eesmärkideks sobimatu tarkvara. See tähendab, et ebaõnnestuti ettevalmistusetapis – ei mõeldud läbi tegevusalgoritmi ja Big Data rakendamise etapid.
Miks
Tulemuste kohta. Räägin Big Data kasutamise ja rahateenimise viisidest, mida juba kasutavad sideoperaatorid.
Teenusepakkujad prognoosivad mitte ainult klientide lahkumist, vaid ka koormust tugijaamadele.
- Analüüsitakse klientide liikumise, aktiivsuse ja sagedusteenuste kohta käivat teavet. Tulemus: ülekoormuste vähenemine probleemsete infrastruktuuri kohtade optimeerimise ja moderniseerimise kaudu.
- Operaatorid kasutavad abonentide geolokatsiooniteavet ja voogude tihedust müügipunktide avamisel. Näiteks kasutavad MTS ja Vimpelcom BigData analüütikat uute kontorite paiknemise planeerimiseks.
- Teenuseosutajad monetiseerivad oma suurandmeid, pakkudes neid kolmandatele osapooltele. BigData peamised tellijad on kaubanduslikud pangad. Andmebaaside abil jälgivad nad abonendi SIM-kaardi kahtlaseid tegevusi, millega on seotud kaardid, nad kasutavad riskihindamise, valideerimise ja jälgimise teenuseid. 2017. aastal palus Moskva valitsus Tele2-l BigData andmete põhjal liikumise dünaamikat, et planeerida tehnilist ja transpordi infrastruktuuri.
- BigData analüütika on kultane võimalus turundajatele, kes saavad luua personaliseeritud reklaamikampaaniaid tervele tuhandel abonentide rühmale, kui soovivad. Telekomiettevõtted koguvad kokku sotsiaalprofiilid, tarbijahuvide ja abonentide käitumismudeli ning kasutavad seejärel kogutud BigData-d uute klientide meelitamiseks. Kuid ulatuslikuks reklaami ja PR planeerimiseks ei pruugi arvelduse funktsionaalsus alati piisav olla: programm peab samal ajal arvesse võtma mitmeid tegureid koos detailse teabega klientide kohta.
Praegu, kui mõned peavad BigData't endiselt tühipalaks, teenib "suurem nelik" selle pealt raha. MTS teenib poolaasta jooksul suurte andmete töötlemisega 14 miljardit rubla, samas kui Tele2 on oma projektidest saadud tulu kolmekordistanud. BigData muutub trendist vajalikuks, mille ümber peavad ümber vaatama kõik sideoperaatorite struktuurid.
Allikas: habr.com
