V roce 2008 byla BigData novým pojmem a módním trendem. V roce 2019 se BigData stala zbožím, zdrojem zisku a důvodem pro nové zákony.
Na podzim loňského roku iniciovala ruská vláda návrh zákona o regulaci velkých dat. Identifikace lidí na základě informací je zakázána, ale povolena na žádost federálních orgánů. Zpracování BigData pro třetí strany je možné pouze po upozornění Roskomnadzoru. Pod zákon spadají společnosti, které mají ve svém vlastnictví více než 100 tisíc síťových adres. A samozřejmě, není možné se obejít bez registrů – předpokládá se vytvoření takového seznamu provozovatelů databází. A pokud dříve nebyla BigData brána všemi vážně, nyní s ní bude třeba počítat.
Jako ředitel společnosti, která vyvíjí billing a zpracovává BigData, se nemohu BigData vyhnout. Zamyslím se nad velkými daty očima telekomunikačních operátorů, jejichž billingové systémy denně zpracovávají toky informací o tisících předplatitelích.
Věta
Začneme jako u úlohy z matematiky: nejprve prokážeme, že data telekomunikačních operátorů lze nazvat BigData. Standardně jsou velká data charakterizována třemi znaky VVV, přičemž v některých volných interpretacích se počet „V“ dostal až na sedm.
Objem. Jen MVNO Rostelecom obsluhuje více než milion předplatitelů. Klíčoví hostitelé zpracovávají data od 44 do 78 milionů lidí. Provoz dat roste každou sekundu: za první čtvrtletí 2019 už předplatitelé při surfování z mobilních telefonů stáhli 3,3 miliardy Gb.
Rychlost. Nic neřekne lépe o dynamice než statistika, proto se podívám na prognózy Cisco. Do roku 2021 připadne 20% IP provozu na mobilní provoz – ten vzroste téměř třikrát během pěti let. Třetina mobilních připojení bude patřit M2M – rozvoj IoT způsobí šestinásobný nárůst spojení. Internet věcí se stane nejen ziskovým, ale také náročným směrem, proto se někteří operátoři zaměří pouze na něj. Ti, kdo rozvinou IoT jako samostatnou službu, získají dvojnásobný provoz.
Rozmanitost. Rozmanitost je subjektivní pojem, ale poskytovatelé služeb skutečně znají téměř všechny informace o svých předplatitelích. Od jména a osobních údajů po model telefonu, nákupy, navštěvovaná místa a zájmy. Mediální soubory se podle zákona Jarovoj uchovávají po dobu minimálně šesti měsíců. Takže jako axiomu přijímáme, že shromážděné údaje jsou různorodé.
Software a metodologie
Poskytovatelé služeb jsou jedni z hlavních spotřebitelů Big Data, proto je většina metod analýzy velkých dat použitelná v oblasti telekomunikací. Další otázkou je, kdo je ochoten investovat do rozvoje ML, AI, Deep Learning, investovat do datových center a data miningu. Plnohodnotná práce s databázemi se skládá z infrastruktury a týmu, na jejichž náklady si ne všichni mohou dovolit. Sázka na Big Data má smysl pro podniky, které již mají podnikové úložiště nebo rozvíjejí metodiku správy dat. Těm, kdo ještě nejsou připraveni na dlouhodobé investice, doporučuji postupně rozšiřovat softwarovou architekturu a zavádět komponenty po jednom. Těžké moduly a Hadoop mohou zůstat na poslední chvíli. Málo kdo kupuje hotové řešení pro úkoly jako Data Quality a Data Mining; většinou společnosti přizpůsobují systém vlastní specifice a potřebám – buď samy, nebo s pomocí vývojářů.
Ale ne každý billing lze přizpůsobit pro práci s Big Data. Spíše, modifikovat mohou jen někteří. Málo kdo to umí.
Tři znaky, že má billingový systém šanci stát se nástrojem pro zpracování databází:
- Horizontální škálovatelnost. Software by měl být flexibilní – hovoříme přece o velkých datech. Zvýšení množství informací by mělo být vyřešeno proporcionálním zvýšením ‚hardwaru‘ v clusteru.
- Odolnost proti výpadkům. Závažné prepaid systémy jsou obvykle výchozím způsobem odolné proti výpadkům: billing se konfiguruje v clusterech na několika geolokačních místech, aby se vzájemně automaticky zálohovaly. Počítačů v Hadoop clusteru by také mělo být dostatek pro případ poruchy jednoho nebo několika zařízení.
- Lokalita. Data by měla být uchovávána a zpracovávána na jednom místě, serveru, jinak by se na přenosu dat dalo zbankrotovat. Jeden z populárních schémat přístupu Map-Reduce: HDFS uchovává, Spark zpracovává. Ideálně by software měl bezbolestně integrovat do infrastruktury datového centra a umět tři v jednom: shromažďovat, organizovat a analyzovat informace.
Tým
O tom, jakým způsobem a pro jaký účel program zpracovává velká data, rozhoduje tým. Ten se často skládá z jedné osoby - datového vědce. Ačkoli si myslím, že minimální balíček zaměstnanců pro Big Data by měl zahrnovat také produktového manažera, datového inženýra a vedoucího. První rozumí službám, převádí technický jazyk na lidský a naopak. Datový inženýr uvádí modely do praxe pomocí Java/Scala a experimentuje s strojovým učením. Vedoucí koordinuje, stanovuje cíle a kontroluje etapy.
Problémy
Obvykle se týmu Big Data objevují problémy při sběru a zpracování dat. Programu je třeba vysvětlit, co shromažďovat a jak zpracovávat - k tomu, abychom to mohli vysvětlit, je nejprve nutné to sami pochopit. A u poskytovatelů to není tak jednoduché. O problémech hovořím na příkladu úkolu snížení odchodu zákazníků - právě tento problém se společnosti snaží vyřešit pomocí Big Data jako první.
Stanovení úkolů. Správně sestavené technické zadání a různé porozumění termínům - to je dvacetiletá bolest nejen pro freelancery. I "opuštění" zákazníci mohou být vykládáni různě - jako ti, kteří nevyužívají služby operátora měsíc, půl roku nebo rok. A pro vytvoření MVP na historických datech je třeba rozumět četnosti návratů zákazníků z odchodu - těm, kteří zkoušeli služby jiných operátorů nebo odjeli z města a používali jiný telefonní číslo. Další důležitá otázka: jak dlouho před předpokládaným odchodem zákazníka by měl poskytovatel to zjistit a přijmout opatření? Půl roku - příliš brzy, týden - už pozdě.
Zaměňování pojmů. Obvykle operátoři definují zákazníka podle telefonního čísla, takže je logické, že znaky je třeba exportovat podle něj. A co třeba účet nebo číslo obsluhující aplikace? Je třeba se rozhodnout, kterou jednotku považovat za zákazníka, aby se údaje v systému operátora nelišily. Odhad hodnoty zákazníka je také otázkou - který zákazník je pro společnost cennější, pro udržení kterého uživatele je třeba vynaložit více úsilí, a kteří "opuštění" zákazníci stejně odejdou a nemá smysl investovat do nich zdroje.
Nedostatek informací. Zdaleka ne všichni zaměstnanci poskytovatele jsou schopni vysvětlit týmu BigData, co konkrétně ovlivňuje odliv zákazníků a jak se počítají možné faktory v billingu. I když zmíní jeden z nich – ARPU, ukazuje se, že ho lze počítat různými způsoby: buď podle periodických plateb zákazníka, nebo podle automatických účtování billingu. A v průběhu práce vzniká milion dalších otázek. Pokrývá model všechny zákazníky, jaká je cena za udržení zákazníka, má smysl promýšlet alternativní modely a co dělat se zákazníky, které se snažili zadržet omylem.
Stanovení cílů. Znám tři druhy chyb spojených s výsledky, které způsobují, že operátoři ztratí důvěru v BigData.
- Poskytovatel investuje do BigData, zpracovává gigabyty informací, ale dostává výsledek, který by mohl získat levněji. Používají se jednoduché schémata a modely, primitivní analytika. Náklady jsou několikanásobně vyšší, ale výsledek je stejný.
- Operátor dostává na výstupu mnohostranná data, ale neví, jak je použít. Analytika je - tu je, srozumitelná a objemná, ale její přínos je nulový. Není promyšlený konečný výsledek, který nemůže spočívat pouze v cíli „zpracovat data“. Zpracování nestačí – analytika by měla být základem pro aktualizaci obchodních procesů.
- Překážkou pro využití analytiky BigData mohou být zastaralé obchodní procesy a software, který není vhodný pro nové cíle. To znamená, že došlo k selhání ve fázi přípravy – nebyl promyšlen algoritmus akcí a fáze implementace BigData do provozu.
Proč
Když už mluvíme o výsledcích. Projdu způsoby využití a monetizace BigData, kterými již operátoři používají.
Poskytovatelé předpovídají nejen odliv zákazníků, ale také zátěž na základnové stanice.
- Analyzují se informace o pohybu zákazníků, aktivitě a frekvenčních službách. Výsledek: snížení počtu přetížení díky optimalizaci a modernizaci problematických částí infrastruktury.
- Informace o geolokaci zákazníků a hustotě proudění operátoři používají při otevírání prodejních míst. Takto již MTS a VympelCom využívají analytiku BigData pro plánování umístění nových kanceláří.
- Провайдеры монетизируют собственные большие данные, предлагая их сторонним фирмам. Основные заказчики BigData операторов – коммерческие банки. С помощью БД они отслеживают подозрительные активности SIM-карты абонента, к которой привязаны карты, пользуются сервисами рискового скоринга, верификации и мониторинга. А в 2017 динамику передвижения по данным BigData запросило у Tele2 правительство Москвы – для планирования технической и транспортной инфрастуктуры.
- Аналитика BigData – золотая жила для маркетологов, которые могут создавать персонализированные рекламные кампании для целых тысяч групп абонентов, если захотят. Телеком-компании агрегируют социальные профили, потребительские интересы и поведенческие модели абонентов, а потом используют собранную BigData для привлечения новых клиентов. Но для масштабного планирования продвижения и PR у биллинга не всегда хватает функционала: программа должна одновременно учитывать множество факторов параллельно с детальной информацией о клиентах.
Пока кто-то до сих пор считает BigData пустым звуком, «большая четверка» уже делает на ней деньги. МТС за полгода зарабатывает на обработке больших данных 14 миллиардов рублей, а Tele2 увеличил выручку от проектов в три с половиной раза. BigData превращается из тренда в must have, под который будет перестраиваться вся структура операторов связи.
Zdroj: habr.com
