V roku 2008 bol BigData novým pojmom a módnym trendom. V roku 2019 je BigData objektom predaja, zdrojom zisku a dôvodom na nové legislatívne návrhy.
Na jeseň minulého roka iniciovala ruská vláda legislatívny návrh na reguláciu veľkých údajov. Je zakázané identifikovať osoby na základe informácií, avšak na požiadanie federálnych orgánov je to povolené. Spracovanie BigData pre tretie strany je možné iba po oznámení Roskomnadzoru. Zákon sa vzťahuje na spoločnosti, ktoré disponujú viac ako 100 000 sieťovými adresami. A samozrejme, nemôžeme sa obísť bez registrov – predpokladá sa vytvorenie takého, ktorý bude obsahovať zoznam operátorov BDD. A ak bola BigData dovtedy považovaná za niečo, čoho sa nie všetci brali vážne, teraz sa s ňou bude musieť počítať.
Ani ja, ako riaditeľ spoločnosti vyvíjajúcej billingový systém, ktorý spracováva túto BigData, nemôžem obísť témy BD. Zamyslím sa nad veľkými údajmi z pohľadu telekomunikačných operátorov, cez ktorých billingové systémy prechádzajú denne toky informácií o tisíckach odberateľov.
Teorema
Začneme, ako vo matematickej úlohe: najprv dokážeme, že údaje telekomunikačných operátorov môžeme nazývať BigDatou. Štandardne sú veľké údaje charakterizované tromi znakmi VVV, hoci v voľných interpretáciách sa počet „V“ dostal až k siedmim.
Objem. Iba MVNO Ростелеком obsluhuje viac ako milión odberateľov. Kľúčoví hostiteľskí operátori spracovávajú údaje od 44 do 78 miliónov osôb. Prevádzka rastie každú sekundu: za prvý kvartál 2019 odberatelia už nasurfovali z mobilných telefónov 3,3 miliardy GB.
Rýchlosť. Nikto lepšie ako štatistika nezrozpráva o dynamike, preto sa pozriem na predpovede spoločnosti Cisco. Do roku 2021 pripadne 20% IP traffic na mobilný traffic – ten sa zvýši takmer trikrát za päť rokov. Tretina mobilných pripojení bude na M2M – rozvoj IoT spôsobí šesťnásobný nárast pripojení. Internet vecí sa stane nielen ziskovým, ale aj zdrojožravým smerovaním, preto sa niektorí operátori zamerajú len naň. A tí, ktorí rozvinú IoT ako samostatnú službu, získajú dvojitý traffic.
Rozmanitosť. Rozmanitosť je subjektívny pojem, ale telekomunikační operátori skutočne vedia takmer všetko o svojich zákazníkoch. Od mena a osobných údajov až po model telefónu, nákupy, navštevované miesta a záujmy. Mediálne súbory podľa zákona Jarovaj sú uchovávané najmenej šesť mesiacov. Takže prijmime za axióm, že zhromaždené údaje sú rozmanité.
Softvér a metodológia
Poskytovatelia sú jednými z hlavných spotrebiteľov Big Data, a preto sú väčšina metód analýzy veľkých dát aplikovateľných v telekomunikačnom priemysle. Iná otázka je, kto je ochotný investovať do rozvoja ML, AI, hlbokého učenia, investovať do dátových centier a dátového ťažby. Úplná práca s databázami sa skladá z infraštruktúry a tímu, pričom náklady na tieto faktory si nie všetci môžu dovoliť. S investíciou do Big Data by mali počítať podniky, ktoré už majú podnikové úložisko alebo rozvíjajú metodológiu správy dát. Tým, ktorí ešte nie sú pripravení na dlhodobé investície, odporúčam postupne zvyšovať architektúru softvéru a nasadzovať komponenty postupne. Ťažké moduly a Hadoop môžu byť ponechané na koniec. Len málokto kupuje hotové riešenia pre úlohy ako Data Quality a Data Mining, väčšinou spoločnosti prispôsobujú systém svojim špecifikám a potrebám – samostatne alebo s pomocou vývojárov.
Ale nie každý billing je možné modifikovať na prácu s Big Data. Presnejšie, modifikovať nemôže každý. Len málokto to dokáže.
Tri znaky, že billingový systém má šancu stať sa nástrojom na spracovanie databáz:
- Horizontálna škálovateľnosť. Softvér musí byť flexibilný – veď hovoríme o veľkých dátach. Zvyšovanie množstva informácií by malo byť riešené proporcionálnym zvyšovaním „železa“ v klastri.
- Odolnosť voči chybám. Závažné prepaid systémy sú zvyčajne predvolene odolné voči chybám: billing sa rozťahuje v klastroch na viacerých geografických lokalitách, aby sa navzájom automaticky zabezpečovali. Počítačov v Hadoop klastri by malo byť tiež dostatočne veľa na prípad poruchy jedného alebo viacerých.
- Lokálnosť. Údaje by mali byť uchovávané a spracovávané na jednom serveri, inak by vás prenášanie údajov mohlo zruinovať. Jedna z populárnych schém prístupu Map-Reduce: HDFS uchováva, Spark spracováva. Ideálne by mal softvér bezbolestne integrovať do infraštruktúry DC a vedieť tri v jednom: zhromažďovať, organizovať a analyzovať informácie.
Tím
To, ako a na aký účel program spracováva veľké dáta, určuje tím. Často pozostáva z jedného človeka – data scientista. Podľa mňa však minimálny počet zamestnancov pre Big Data zahrňuje aj produktového manažéra, Data Engineera a vedúceho. Prvý rozumie službám, prekladá technický jazyk do ľudskej reči a naopak. Data Engineer uvádza modely do praxe pomocou Java/Scala a experimentuje s Machine Learningom. Vedúci koordinuje, stanovuje ciele a kontroluje etapy.
Problémy
Práve zo strany tímu Big Data zvyčajne vznikajú problémy pri zbere a spracovaní dát. Programu treba vysvetliť, čo zbierať a ako spracovávať – na to, aby to bolo možné vysvetliť, je potrebné najskôr sám pochopiť. A u poskytovateľov to nie je také jednoduché. Rozprávam o problémoch na príklade úlohy znižovania odtoku predplatiteľov – presne túto úlohu sa operátori pokúšajú vyriešiť pomocou Big Data predovšetkým.
Stanovenie úloh. Správne vytvorené TZ a rôzne chápanie pojmov – storočná bolesť nielen pre freelancerov. Aj "odpadlíkov" predplatiteľov je možné interpretovať rôzne – ako tých, ktorí nevyužívajú služby operátora mesiac, polroka alebo rok. Na vytvorenie MVP na historických údajoch treba rozumieť frekvencii návratov predplatiteľov z odtoku – tých, ktorí vyskúšali služby iných operátorov alebo odišli z mesta a používali iné číslo. Ďalšia dôležitá otázka: za koľko času pred predpokladaným odchodom predplatiteľa by to mal poskytovateľ identifikovať a prijať opatrenia? Pol roka – skoro, týždeň – už neskoro.
Zamieňanie pojmov. Zvyčajne operátori definujú klienta podľa telefónneho čísla, preto je logické, že charakteristiky by sa mali vykladať podľa neho. A čo takto číslo účtu alebo číslo obsluhujúcej aplikácie? Treba si ujasniť, ktorú jednotku je potrebné považovať za klienta, aby údaje v systéme operátora neboli rozlišné. Hodnota klienta je tiež otázna – ktorý predplatiteľ je pre spoločnosť cennejší, o ktorého používateľa treba vyvinúť väčšie úsilie na udržanie, a ktorí "odpadnú" tak či tak a nemá zmysel na nich vynakladať prostriedky.
Nedostatok informácií. Ďaleko nie všetci zamestnanci poskytovateľa dokážu vysvetliť tímu BigData, čo presne ovplyvňuje odliv zákazníkov a ako sa počítajú možné faktory v billingovom systéme. Aj keď spomínajú jeden z nich – ARPU, ukazuje sa, že ho možno počítať rôznymi spôsobmi: buď podľa periodických platieb zákazníka, alebo podľa automatických zaúčtovaní billingovým systémom. A počas práce sa objavuje milión ďalších otázok. Pokrýva model všetkých zákazníkov, aká je cena za udržanie zákazníka, má zmysel premýšľať o alternatívnych modeloch a čo robiť so zákazníkmi, ktorých sa začalo nesprávne umelo udržiavať.
Cieľové stanovenie. Poznám tri druhy chýb spojených s výsledkom, ktoré spôsobujú, že operátori sú sklamaní z BigData.
- Poskytovateľ investuje do BigData, spracováva gigabajty informácií, ale dostáva výsledok, ktorý mohol získať aj lacnejšie. Používajú sa jednoduché schémy a modely, primitívna analytika. Náklady sú niekoľkokrát vyššie, ale výsledok je rovnaký.
- Operátor na výstupe dostáva mnohotvárne údaje, ale nevie, ako ich využiť. Analytika je tu – jasná a rozsiahla, ale jej prínos je nulový. Nie je premyslený konečný výsledok, ktorý nemôže pozostávať len z cieľa "spracovať údaje". Spracovať je málo – analytika by mala slúžiť ako základ na aktualizáciu podnikových procesov.
- Prekážkou v používaní analýzy BigData môžu byť zastarané podnikové procesy a softvér, ktorý nie je vhodný pre nové ciele. To znamená, že neúspešne obstáli v príprave – nepremysleli algoritmus činností a fázy implementácie BigData do práce.
Prečo
Napríklad k výsledkom. Prejdem sa po spôsoboch využitia a monetizácie BigData, ktorými už operátori komunikácie disponujú.
Poskytovatelia predpovedajú nielen odliv zákazníkov, ale aj zaťaženie základných staníc.
- Analyzuje sa informácia o pohybe zákazníkov, aktivite a frekvenčných službách. Výsledok: zníženie počtu preťažení vďaka optimalizácii a modernizácii problematických miest infraštruktúry.
- Informácie o geolokácii zákazníkov a hustote toku používajú operátori komunikácie pri otváraní predajných miest. Takto už využívajú analytiku BigData MTS a Vympelcom na plánovanie umiestnenia nových kancelárií.
- Poskytovatelia monetizujú svoje veľké dáta ponúkaním tretím stranám. Hlavnými zákazníkmi operátorov BigData sú komerčné banky. S pomocou databáz sledujú podozrivé aktivity SIM kariet predplatiteľov, ku ktorým sú karty viazané, využívajú služby rizikového scoringu, verifikácie a monitorovania. A v roku 2017 požiadalo vládu Moskvy o analýzu pohybu na základe údajov BigData od spoločnosti Tele2, aby mohli plánovať technickú a dopravnú infraštruktúru.
- Analytika BigData je zlatá baňa pre marketérov, ktorí môžu vytvárať personalizované reklamné kampane pre tisíce skupín predplatiteľov, ak sa rozhodnú. Telekomunikačné spoločnosti agregujú sociálne profily, spotrebiteľské záujmy a behaviorálne modely predplatiteľov a následne využívajú zozbierané údaje BigData na získavanie nových zákazníkov. Avšak na rozsiahle plánovanie propagácie a PR nemusí mať billing vždy dostatočnú funkcionalitu: program musí zároveň zohľadniť množstvo faktorov spolu s podrobnými informáciami o zákazníkoch.
Kým niekto stále považuje BigData za prázdny pojazd, "veľká štvorka" už na tom zarába. MTS za pol roka zarobila na spracovaní veľkých dát 14 miliárd rubľov, zatiaľ čo Tele2 zvýšila príjmy z projektov na tri a pol násobok. BigData sa mení z trendu na nevyhnutnosť, pod ktorú sa bude celá štruktúra operátorov telekomunikácií prestavovať.
Zdroj: habr.com
