Big data big billing: за BigData в телекомуникациите

През 2008 г. BigData беше нов термин и модерна тенденция. През 2019 г. BigData е обект на продажба, източник на печалба и повод за нови сметки.

Миналата есен руското правителство инициира законопроект за регулиране на големите данни. Лицата може да не бъдат идентифицирани от информацията, но могат да направят това по искане на федералните власти. Обработката на BigData за трети страни е само след уведомяване на Roskomnadzor. Компаниите, които имат повече от 100 хиляди мрежови адреса, попадат под закона. И, разбира се, къде без регистри - трябва да се създаде такъв със списък от оператори на база данни. И ако преди това Big Data не се приемаше на сериозно от всички, сега ще трябва да се вземе предвид.

Аз, като директор на компания за разработчици на таксуване, която обработва точно тези големи данни, не мога да пренебрегна базата данни. Ще разсъждавам върху големите данни през призмата на телекомуникационните оператори, през чиито системи за таксуване всеки ден преминават потоци от информация за хиляди абонати.

Теорема

Да започнем като в математическа задача: първо доказваме, че данните на телеком операторите могат да се нарекат BigDat. Обикновено големите данни се характеризират с три VVV характеристики, въпреки че в свободни интерпретации броят на „Vs“ достига седем.

Сила на звука. Само MVNO на Ростелеком обслужва повече от милион абонати. Ключовите хост оператори обработват данни за 44 до 78 милиона души. Трафикът нараства всяка секунда: през първото тримесечие на 2019 г. абонатите вече са имали достъп до 3,3 милиарда GB от мобилни телефони.

Скорост. Никой не може да ви каже за динамиката по-добре от статистиката, така че ще прегледам прогнозите на Cisco. До 2021 г. 20% от IP трафика ще отива към мобилен трафик - почти ще се утрои за пет години. Една трета от мобилните връзки ще бъдат M2M – развитието на IoT ще доведе до шесткратно увеличение на връзките. Интернет на нещата ще стане не само печеливш, но и ресурсоемък, така че някои оператори ще се фокусират само върху него. А тези, които развиват IoT като отделна услуга, ще получат двоен трафик.

Разнообразие. Разнообразието е субективно понятие, но телеком операторите наистина знаят почти всичко за своите абонати. От име и паспортни данни до модел на телефона, покупки, посетени места и интереси. Съгласно закона Яровая, медийните файлове се съхраняват шест месеца. Така че нека приемем за аксиома, че събраните данни са разнообразни.

Софтуер и методология

Доставчиците са едни от основните потребители на BigData, така че повечето техники за анализ на големи данни са приложими в телекомуникационната индустрия. Друг е въпросът кой е готов да инвестира в развитието на ML, AI, Deep Learning, да инвестира в центрове за данни и извличане на данни. Пълноценната работа с база данни се състои от инфраструктура и екип, разходите за които не всеки може да си позволи. Предприятия, които вече имат корпоративен склад или разработват методология за управление на данни, трябва да заложат на BigData. За тези, които все още не са готови за дългосрочни инвестиции, съветвам постепенно да изграждате софтуерната архитектура и да инсталирате компоненти един по един. Можете да оставите тежките модули и Hadoop за накрая. Малко хора купуват готово решение за проблеми като качеството на данните и извличането на данни; компаниите обикновено персонализират системата според специфичните си спецификации и нужди - сами или с помощта на разработчици.

Но не всяко таксуване може да бъде модифицирано, за да работи с BigData. Или по-скоро не само всичко може да бъде модифицирано. Малко хора могат да направят това.

Три признака, че системата за таксуване има шанс да се превърне в инструмент за обработка на база данни:

• Хоризонтална мащабируемост. Софтуерът трябва да е гъвкав – говорим за големи данни. Увеличаването на количеството информация трябва да се третира чрез пропорционално увеличаване на хардуера в клъстера.
• Толерантност към грешки. Сериозните предплатени системи обикновено са устойчиви на грешки по подразбиране: таксуването се разполага в клъстер в няколко геолокации, така че те автоматично се осигуряват взаимно. Трябва също така да има достатъчно компютри в клъстера Hadoop, в случай че един или повече се повредят.
• местност. Данните трябва да се съхраняват и обработват на един сървър, в противен случай можете да фалирате при прехвърлянето на данни. Една от популярните схеми за подход Map-Reduce: HDFS магазини, процеси на Spark. В идеалния случай софтуерът трябва безпроблемно да се интегрира в инфраструктурата на центъра за данни и да може да прави три неща в едно: да събира, организира и анализира информация.

Отбор

Какво, как и с каква цел програмата ще обработва големи данни се решава от екипа. Често се състои от един човек – специалист по данни. Въпреки че според мен минималният пакет от служители за Big Data включва също Product Manager, Data Engineer и Manager. Първият разбира услугите, превежда технически език на човешки език и обратно. Data Engineer вдъхва живот на моделите с помощта на Java/Scala и експериментира с Machine Learning. Мениджърът координира, поставя цели и контролира етапите.

Проблеми

Именно от страна на екипа на BigData обикновено възникват проблеми при събиране и обработка на данни. Програмата трябва да обясни какво да събира и как да го обработва - за да обясните това, първо трябва да го разберете сами. Но при доставчиците нещата не са толкова прости. Говоря за проблемите, използвайки примера на задачата за намаляване на оттока на абонатите - това е, което телекомуникационните оператори се опитват да решат на първо място с помощта на Big Data.

Поставяне на цели. Добре написаните технически спецификации и различното разбиране на термините са вековна болка не само за фрийлансърите. Дори „отпадналите“ абонати могат да се тълкуват по различни начини - като тези, които не са използвали услугите на оператора за месец, шест месеца или година. И за да създадете MVP въз основа на исторически данни, трябва да разберете честотата на връщане на абонати от churn - тези, които са опитали други оператори или са напуснали града и са използвали различен номер. Друг важен въпрос: колко време преди очакваното напускане на абоната доставчикът трябва да установи това и да предприеме действия? Шест месеца е твърде рано, седмица е твърде късно.

Подмяна на понятията. Обикновено операторите идентифицират клиента по телефонен номер, така че е логично знаците да се качват по него. Какво ще кажете за вашия личен акаунт или номер на приложение за услуга? Необходимо е да се реши коя единица да се вземе като клиент, така че данните в системата на оператора да не се променят. Оценката на стойността на клиента също е под въпрос - кой абонат е по-ценен за компанията, кой потребител изисква повече усилия за задържане и кои ще „отпаднат“ във всеки случай и няма смисъл да се харчат ресурси за тях.

Недостиг на информация. Не всички служители на доставчиците са в състояние да обяснят на екипа на BigData какво конкретно влияе на оттеглянето на абонатите и как се изчисляват възможните фактори при таксуването. Дори и да са нарекли един от тях - ARPU - се оказва, че той може да бъде изчислен по различни начини: или чрез периодични клиентски плащания, или чрез автоматично фактуриране. И в процеса на работа възникват милион други въпроси. Моделът обхваща ли всички клиенти, каква е цената за задържане на клиент, има ли смисъл да мислим за алтернативни модели и какво да правим с клиентите, които са били погрешно изкуствено задържани.

Поставяне на цели. Знам за три вида грешки в резултата, които карат операторите да се разочароват от базата данни.

1. Доставчикът инвестира в BigData, обработва гигабайти информация, но получава резултат, който можеше да бъде получен по-евтино. Използват се прости диаграми и модели, примитивна аналитика. Цената е в пъти по-висока, но резултатът е същият.
2. Операторът получава многостранни данни като изход, но не разбира как да ги използва. Има аналитика - ето я, разбираема и обемна, но няма полза от нея. Крайният резултат, който не може да се състои от целта „обработка на данни“, не е обмислен. Не е достатъчно да се обработва – анализите трябва да станат основа за актуализиране на бизнес процесите.
3. Препятствията пред използването на BigData analytics могат да бъдат остарели бизнес процеси и софтуер, неподходящ за нови цели. Това означава, че са направили грешка на етапа на подготовка - не са обмислили алгоритъма на действията и етапите на въвеждане на Big Data в работата.

Какво за

Говорейки за резултати. Ще разгледам начините за използване и монетизиране на големи данни, които телекомуникационните оператори вече използват.
Доставчиците прогнозират не само отлив на абонати, но и натоварване на базовите станции.

1. Анализира се информация за движението на абонатите, активността и честотните услуги. Резултат: намаляване на броя на претоварванията поради оптимизиране и модернизиране на проблемните зони на инфраструктурата.
2. Телекомуникационните оператори използват информация за геолокацията на абонатите и плътността на трафика при отваряне на точки за продажба. Така анализите на BigData вече се използват от MTS и VimpelCom за планиране на местоположението на нови офиси.
3. Доставчиците монетизират собствените си големи данни, като ги предлагат на трети страни. Основните клиенти на BigData операторите са търговските банки. Използвайки базата данни, те наблюдават подозрителни дейности на SIM картата на абоната, към която са свързани картите, и използват услуги за оценка на риска, проверка и мониторинг. А през 2017 г. правителството на Москва поиска динамика на движение въз основа на данни BigData от Tele2 за планиране на техническа и транспортна инфраструктура.
4. Анализите на BigData са златна мина за търговците, които могат да създават персонализирани рекламни кампании за най-много хиляди групи абонати, ако решат. Телекомуникационните компании събират социални профили, потребителски интереси и поведенчески модели на абонати и след това използват събраните BigData, за да привлекат нови клиенти. Но за мащабно планиране на промоция и PR фактурирането не винаги има достатъчно функционалност: програмата трябва едновременно да отчита много фактори, успоредно с подробна информация за клиентите.

Докато някои все още смятат BigData за празна фраза, Голямата четворка вече печели пари от нея. MTS печели 14 милиарда рубли от обработка на големи данни за шест месеца, а Tele2 увеличи приходите от проекти три пъти и половина. BigData се превръща от тренд в must have, под който ще се преустрои цялата структура на телеком операторите.

Източник: www.habr.com