Биг дата биг биллинг: о БигДата у телекому

У 2008. БигДата је био нови термин и модеран тренд. У 2019. БигДата је предмет продаје, извор профита и разлог за нове рачуне.

Руска влада је прошле јесени покренула предлог закона за регулисање великих података. Појединци се не могу идентификовати на основу информација, али то могу учинити на захтев савезних власти. Обрада БигДата за трећа лица се врши само након обавештења Роскомнадзора. Компаније које имају више од 100 хиљада мрежних адреса потпадају под закон. И, наравно, где без регистара - требало би да се направи један са листом оператера базе података. И ако раније ове Биг Дата нису сви схватали озбиљно, сада ће то морати да се узме у обзир.

Ја, као директор компаније за развој наплате која обрађује ове велике податке, не могу да игноришем базу података. О великим подацима ћу размишљати кроз призму телеком оператера, кроз чије системе наплате свакодневно пролазе токови информација о хиљадама претплатника.

Теорема

Почнимо, као у математичком задатку: прво доказујемо да се подаци телеком оператера могу назвати БигДат. Типично, велике податке карактеришу три ВВВ карактеристике, иако је у слободним интерпретацијама број „В“ достигао седам.

Волуме. Само Ростелецомов МВНО опслужује више од милион претплатника. Кључни оператери домаћини рукују подацима за 44 до 78 милиона људи. Саобраћај расте сваке секунде: у првом кварталу 2019. претплатници су већ приступили 3,3 милијарде ГБ са мобилних телефона.

Брзина. Нико вам не може рећи о динамици боље од статистике, па ћу проћи кроз Цисцове прогнозе. До 2021. 20% ИП саобраћаја ће ићи на мобилни саобраћај – скоро ће се утростручити за пет година. Трећина мобилних веза биће М2М – развој ИоТ-а ће довести до шестоструког повећања конекција. Интернет ствари ће постати не само профитабилан, већ и интензиван ресурсима, па ће се неки оператери фокусирати само на њега. А они који развијају ИоТ као засебну услугу добиће двоструки саобраћај.

Разноликост. Разноликост је субјективан појам, али телеком оператери заиста знају скоро све о својим претплатницима. Од имена и података о пасошу до модела телефона, куповине, посећених места и интересовања. Према закону Јароваја, медијски фајлови се чувају шест месеци. Дакле, узмимо то као аксиом да су прикупљени подаци различити.

Софтвер и методологија

Провајдери су једни од главних потрошача БигДата, тако да је већина техника анализе великих података применљива на телеком индустрију. Друго питање је ко је спреман да улаже у развој МЛ, АИ, Дееп Леарнинг, улаже у центре података и рударење података. Пуноправан рад са базом података састоји се од инфраструктуре и тима, чије трошкове не могу сви приуштити. Предузећа која већ имају корпоративно складиште или развијају методологију управљања подацима требало би да се кладе на БигДата. За оне који још нису спремни за дугорочна улагања, саветујем да постепено надограђују софтверску архитектуру и инсталирају компоненте једну по једну. Тешке модуле и Хадооп можете оставити за крај. Мало људи купује готова решења за проблеме као што су квалитет података и рударење података; компаније генерално прилагођавају систем својим специфичним спецификацијама и потребама – саме или уз помоћ програмера.

Али не може се сваки обрачун може модификовати да ради са БигДата. Или боље речено, не само да се све може модификовати. Мало људи то може.

Три знака да систем наплате има шансу да постане алат за обраду базе података:

• Хоризонтална скалабилност. Софтвер мора бити флексибилан – говоримо о великим подацима. Повећање количине информација треба третирати пропорционалним повећањем хардвера у кластеру.
• Толеранција грешака. Озбиљни припејд системи су обично подразумевано отпорни на грешке: наплата је распоређена у групи на неколико геолокација тако да аутоматски осигуравају једни друге. Такође би требало да има довољно рачунара у Хадооп кластеру у случају да један или више њих не успе.
• Локалитет. Подаци морају да се чувају и обрађују на једном серверу, иначе можете банкротирати при преносу података. Једна од популарних шема приступа Мап-Редуце: ХДФС складишта, Спарк процеси. У идеалном случају, софтвер би требало да се неприметно интегрише у инфраструктуру центра података и да може да уради три ствари у једној: прикупља, организује и анализира информације.

Тим

Шта, како и у коју сврху ће програм обрађивати велике податке одлучује тим. Често се састоји од једне особе – научника података. Иако, по мом мишљењу, минимални пакет запослених за Биг Дата укључује и менаџера производа, инжењера података и менаџера. Први разуме услуге, преводи технички језик на људски језик и обрнуто. Дата Енгинеер оживљава моделе користећи Јава/Сцала и експериментише са машинским учењем. Менаџер координира, поставља циљеве и контролише фазе.

Проблеми

Код БигДата тима обично настају проблеми приликом прикупљања и обраде података. Програм треба да објасни шта да прикупи и како да то обради - да бисте то објаснили, прво морате сами да разумете. Али за провајдере ствари нису тако једноставне. О проблемима говорим на примеру задатка смањења одлива претплатника - то је оно што телеком оператери покушавају да реше пре свега уз помоћ Биг Дата.

Поставити циљеве. Добро написане техничке спецификације и различита схватања појмова били су вековна мука не само за слободњаке. Чак и „испуштени“ претплатници могу се тумачити на различите начине - као они који нису користили услуге оператера месец, шест месеци или годину дана. А да бисте креирали МВП на основу историјских података, потребно је да разумете учесталост повратка претплатника из цхурн-а - оних који су пробали друге оператере или су напустили град и користили други број. Још једно важно питање: колико дуго пре него што се очекује да претплатник оде, треба да провајдер то утврди и предузме акцију? Шест месеци је прерано, недељу дана прекасно.

Замена појмова. Обично оператери идентификују клијента по броју телефона, тако да је логично да се знакови постављају помоћу њега. Шта је са вашим личним налогом или бројем апликације за услугу? Неопходно је одлучити коју јединицу треба узети као клијента да подаци у систему оператера не варирају. Упитна је и процена вредности клијента – који претплатник је вреднији за компанију, који корисник захтева више труда да задржи, а који ће у сваком случају „отпасти“ и нема смисла трошити средства на њих.

Мањак информација. Нису сви запослени у провајдерима у стању да објасне БигДата тиму шта конкретно утиче на одлив претплатника и како се израчунавају могући фактори у наплати. Чак и ако су једну од њих назвали – АРПУ – испоставило се да се он може израчунати на различите начине: било периодичним уплатама клијената, било аутоматским наплатама. А у процесу рада намеће се милион других питања. Да ли модел покрива све клијенте, која је цена задржавања клијента, има ли смисла размишљати о алтернативним моделима и шта радити са клијентима који су грешком вештачки задржани.

Постављање циљева. Знам за три врсте грешака у исходу које узрокују да оператери постану фрустрирани базом података.

1. Провајдер улаже у БигДата, обрађује гигабајте информација, али добија резултат који је могао бити јефтинији. Користе се једноставни дијаграми и модели, примитивна аналитика. Трошак је вишеструко већи, али резултат је исти.
2. Оператер прима вишеструке податке као излаз, али не разуме како да их користи. Има аналитике – ево је, разумљиве и обимне, али нема користи. Крајњи резултат, који се не може састојати од циља „обраде података“, није промишљен. Није довољно обрадити – аналитика треба да постане основа за ажурирање пословних процеса.
3. Препреке за коришћење БигДата аналитике могу бити застарели пословни процеси и софтвер неприкладан за нове намене. То значи да су направили грешку у фази припреме - нису размишљали о алгоритму акција и фазама увођења великих података у рад.

За шта

Говорећи о резултатима. Прећи ћу на начине коришћења и монетизације великих података које телеком оператери већ користе.
Провајдери предвиђају не само одлив претплатника, већ и оптерећење базних станица.

1. Анализирају се информације о кретању претплатника, активностима и услугама фреквенције. Резултат: смањење броја преоптерећења због оптимизације и модернизације проблематичних подручја инфраструктуре.
2. Телеком оператери приликом отварања продајних места користе информације о геолокацији претплатника и густини саобраћаја. Тако, БигДата аналитику већ користе МТС и ВимпелЦом за планирање локације нових канцеларија.
3. Провајдери уновчавају своје велике податке тако што их нуде трећим лицима. Главни клијенти БигДата оператера су пословне банке. Користећи базу података, они прате сумњиве активности СИМ картице претплатника на коју су картице повезане и користе услуге бодовања ризика, верификације и праћења. А 2017. године, московска влада је затражила динамику кретања на основу БигДата података од Теле2 за планирање техничке и транспортне инфраструктуре.
4. БигДата аналитика је златни рудник за трговце, који могу креирати персонализоване рекламне кампање за чак хиљаде група претплатника ако желе. Телеком компаније агрегирају друштвене профиле, интересе потрошача и обрасце понашања претплатника, а затим користе прикупљене БигДата да привуку нове купце. Али за масовну промоцију и планирање ПР-а, наплата нема увек довољно функционалности: програм мора истовремено да узме у обзир многе факторе паралелно са детаљним информацијама о клијентима.

Док неки још увек сматрају БигДата празном фразом, Велика четворка већ зарађује на томе. МТС за шест месеци од обраде великих података зарађује 14 милијарди рубаља, а Теле2 је повећао приход од пројеката за три и по пута. БигДата се из тренда претвара у муст хаве, под којим ће се обновити целокупна структура телеком оператера.

Извор: ввв.хабр.цом