Големи данни — голямо фактуриране: за BigData в телекома

През 2008 г. BigData беше нов термин и моден тренд. През 2019 г. BigData – това е обект на продажба, източник на печалба и причина за нови законопроекти.

През есента на миналата година руското правителство инициира законопроект за регулиране на големите данни. Забранява се идентифицирането на хора по информация, но е разрешено да се прави това по искане на федерални органи. Обработката на BigData за трети лица е разрешена само след уведомление на Роскомнадзор. Законът засяга компании, в чийто разпореждане има над 100 хиляди мрежови адреса. И, разбира се, не може без регистри – предвижда се създаването на такъв с списък на операторите на БД. И ако до този момент BigData не се възприемаше сериозно от всички, то сега ще трябва да се взима под внимание.

Не мога да подмина БД и аз, като директор на компания-разработчик на билдинг системи, която обработва тази самата BigData. Ще размисля за големите данни през призмата на операторите на връзки, през чийто билдинг системи ежедневно преминават потоци информация за хиляди абонати.

Теорема

Започваме, както в математическа задача: първо ще докажем, че данните на операторите на връзки могат да се нарекат BigDat’а. Стандартно големите данни се характеризират с три признака VVV, въпреки че в свободни интерпретации броят на „V“ е достигал и до седем.

Обем. Само MVNO Ростелеком обслужва повече от един милион абонати. Ключовите хост-оператори обработват данни от 44 до 78 милиона души. Трафикът расте на всеки момент: за първото тримесечие на 2019 абонатите вече са натрупали 3.3 милиарда Гб от мобилните си телефони.

Скорост. Никой по-добре от статистиката не може да разкаже за динамиката, затова ще погледна прогнозите на Cisco. До 2021 година 20% от IP-трафика ще отиде за мобилен трафик – той ще нарастне почти три пъти за пет години. Една трета от мобилните свързвания ще бъде за M2M – развитието на IoT ще доведе до шесткратен растеж на свързванията. Интернет на нещата ще стане не само печеливша, но и ресурсозатратна посока, затова някои оператори ще се съсредоточат само на него. А тези, които развият IoT като отделна услуга, ще получат двойно повече трафик.

Разнообразие. Многообразието е субективно понятие, но операторите на комуникации наистина знаят почти всичко за своите абонати. От името и паспортните данни до модела на телефона, покупките, посещаваните места и интересите. Медийните файлове по закона Ярова се съхраняват поне половин година. Така че да приемем за аксиома, че събираните данни са разнообразни.

Софт и методология

Провайдерите са един от основните потребители на BigData, затова повечето методи за анализ на големи данни са приложими в телекомуникационната индустрия. Другият въпрос е кой е готов да инвестира в развитието на ML, AI, дълбоко обучение, да инвестира в центрове за данни и data mining. Пълноценното управление на бази данни зависи от инфраструктурата и екипа, на които не всички могат да си позволят разходите. Да се залага на BigData струва на предприятията, които вече имат корпоративно хранилище или развиват методика за управление на данни. На тези, които все още не са готови за дългосрочни инвестиции, съветвам да увеличават архитектурата на софтуера постепенно и да добавят компоненти последователно. Тежките модули и Hadoop може да бъдат оставени за след това. Малко хора купуват готово решение за задачи от типа Data Quality и Data Mining, предимно компаниите нагласяват системата спрямо своята специфика и нужди – сами или с помощта на разработчици.

Но не всеки биллинг може да бъде модифициран за работа с BigData. Всъщност, не всеки може да направи модификации. Малко хора могат да го направят.

Три признака, че биллинговата система има шанс да стане инструмент за обработка на БД:

• Хоризонтална мащабируемост. Софтуерът трябва да бъде гъвкав – ние говорим за големи данни. Увеличението на обема на информацията трябва да бъде решено с пропорционално увеличение на 'железото' в кластера.
• Отказоустойчивост. Сериозните prepaid системи обикновено по подразбиране са отказоустойчиви: биллингът се разгръща в кластер на няколко геолокации, така че те автоматично да се застраховат взаимно. Компютрите в Hadoop кластера също трябва да са достатъчно, в случай на повреда на един или няколко.
• Локалност. Данните трябва да се съхраняват и обработват на едно сървър, в противен случай разходите за пренос на данни могат да бъдат огромни. Една от популярните схеми на подхода Map-Reduce: HDFS съхранява, Spark обработва. В идеалния случай софтуерът трябва безболезнено да се интегрира в инфраструктурата на центъра за данни и да умее да прави трите в едно: да събира, организира и анализира информация.

Команда

Какво, как и с каква цел програмата ще обработва големи данни – решава екипът. Често той се състои от един човек – data scientist. Въпреки това, според мен, минималният пакет служители за BigData включва също и продукт мениджър, Data Engineer и ръководител. Първият разбира в услугите, превежда техническия език на човешкия и обратно. Data Engineer реализира моделите в живота чрез Java/Scala и експериментира с Machine Learning. Ръководителят координира, поставя цели и контролира етапите.

Проблеми

Проблемите обикновено възникват от страна на екипа BigData при събиране и обработка на данни. На програмата трябва да ѝ се обясни какво да събира и как да обработва – за да го обясним, първо трябва сами да разберем. А при доставчиците не е всичко толкова просто. Разказвам за проблемите на примера на задачата за намаляване на оттока на абонати – именно тя е първата, която операторите на връзка се опитват да решат с помощта на BigData.

Поставяне на задачи. Правилно съставеното ТЗ и различното разбиране на термините – вековна болка не само за фрилансерите. Дори „отпадналите“ абонати могат да се интерпретират по различен начин – като не ползващи услугите на оператора месец, половин година или година. А за създаване на MVP на исторически данни е нужно да се разбере честотата на връщанията на абонати от отток – тези, които са опитвали услугите на други оператори или са напуснали града и са ползвали друг номер. Друг важен въпрос: за колко време преди предполагаемото напускане абонатът операторът трябва да определи и предприеме мерки? Половин година – рано, седмица – вече късно.

Подмяна на понятията. Обикновено операторите определят клиента по телефонния номер, затова е логично, че признаците трябва да се извличат по него. А какво ще стане с лицевия номер или номера на обслужващото приложение? Трябва да се определи коя единица трябва да се счита за клиент, за да не се различават данните в системата на оператора. Оценката на стойността на клиента също е под въпрос – кой абонат е по-ценен за компанията, за задържането на кой потребител е нужно да се положат повече усилия, а кои „ще отпаднат“ във всеки случай и няма смисъл да се харчат ресурси за тях.

Липса на информация. Далеч не всички служители на провайдера са в състояние да обяснят на екипа BigData какво точно влияе на оттеглянето на абонатите и как се изчисляват възможните фактори в биллинга. Дори и да споменат един от тях – ARPU, – се оказва, че той може да бъде изчислен по различен начин: или на база периодичните плащания на клиента, или на база автоматичните начисления в биллинга. В процеса на работа възникват хиляди други въпроси. Обхваща ли моделът всички клиенти, каква е цената за задържане на клиента, има ли смисъл да се разработват алтернативни модели и какво да правим с клиентите, които случайно сме започнали да задържаме.

Поставяне на цели. Знам три вида грешки, свързани с резултата, които карат операторите да се разочароват от БД.

1. Провайдерът инвестира в BigData, обработва гигабайти информация, но получава резултат, който би могъл да получи и по-евтино. Използват се прости схеми и модели, примитивна аналитика. Разходите са многократно по-високи, а резултатът остава същият.
2. Операторът получава на изхода многостранни данни, а не знае как да ги използва. Има аналитика – ето я, ясна и обемна, но от нея полза – нула. Крайната цел не е добре обмислена и не може да бъде просто "обработка на данни". Обработката сама по себе си не е достатъчна – аналитиката трябва да бъде основа за обновление на бизнес процесите.
3. Препятствието за използването на аналитиката BigData могат да бъдат остарели бизнес процеси и неподходящ софтуер за новите цели. Значи, сбъркали сме на етапа на подготовка – не сме обмислили алгоритма на действия и етапите на внедряване на BigData в работата.

Защо

По повод резултатите. Ще разгледам начините за използване и монетизация на BigData, които вече използват операторите на връзка.
Провайдерите прогнозиране не само оттегляне на абонатите, но и натоварванията на базовите станции.

1. Анализира се информация за движението на абонатите, активността и честотните услуги. Резултат: намаляване на броя на пренатоварванията чрез оптимизация и модернизация на проблемните участъци на инфраструктурата.
2. Информацията за геолокацията на абонатите и плътността на потока операторите на връзка използват при отваряне на търговски точки. Така аналитиката BigData вече се използва от МТС и Вымпелком за планиране на разположението на нови офиси.
3. Доставчиците монетизират собствените си обширни данни, предлагайки ги на външни компании. Основните клиенти на BigData операторите са търговските банки. Чрез тези данни те проследяват съмнителни активности на SIM-картите на абонатите, с които са свързани картите, ползват услуги за оценка на рисковете, верификация и мониторинг. През 2017 година правителството на Москва поиска от Tele2 динамиката на движението на данни BigData за планиране на техническата и транспортната инфраструктура.
4. Анализът на BigData е златна мина за маркетолозите, които могат да създават индивидуализирани рекламни кампании за хиляди групи абонати, ако пожелаят. Телеком компаниите агрегат обществени профили, потребителски интереси и поведенчески модели на абонатите, след което използват събраната BigData за привличане на нови клиенти. Но за мащабно планиране на промоции и PR на биллинга не винаги му стига функционалността: програмата трябва да взима предвид множество фактори паралелно с детайлната информация за клиентите.

Докато някои все още смятат BigData за празен звук, „голямата четворка“ вече печели от нея. МТС печели 14 милиарда рубли за шест месеца от обработка на големи данни, а Tele2 увеличи приходите си от проекти три и половина пъти. BigData се превръща от тренд в необходима част, около която ще се преструктурира цялата структура на операторите за свързаност.

Източник: habr.com