Големите данни, голямото фактуриране: за BigData в телекома

През 2008 година терминът BigData беше нов и модерен тренд. През 2019 година BigData е обект на продажба, източник на печалба и повод за нови законопроекти.

През есента на миналата година руското правителство инициира законопроект за регулиране на големите данни. Забранява се идентифицирането на хора по информация, но е разрешено да се прави това по искане на федералните органи. Обработката на BigData за трети лица е разрешена само след уведомление на Роскомнадзор. Под закона попадат компании, притежаващи над 100 хиляди мрежови адреса. И, разбира се, не може без регистри – предполага се създаването на такъв с списък на операторите на БД. И ако дотогава BigData не бе възприемана сериозно, сега ще се наложи да се вземе под внимание.

Не мога да подмина БД и аз, като директор на компания, разработваща биллингови решения, която обработва именно тази BigData. Ще разсъждавам за големите данни през призмата на телекомуникационните оператори, през чиито биллингови системи ежедневно преминават потоци информация за хиляди абонати.

Теорема

Нека започнем, както в математически задачата: първо, да докажем, че данните на операторите на телекомуникации могат да се нарекат BigData. Стандартно големите данни се характеризират с три признака VVV, въпреки че в свободни интерпретации броят на „V“ е достигал и до седем.

Volume. Само MVNO Ростелеком обслужва повече от милион абонати. Основните хост-оператори обработват данни от 44 до 78 милиона души. Трафикът расте всяка секунда: за първото тримесечие на 2019 година, абонатите вече са използвали 3,3 милиарда Гб от мобилните телефони.

Velocity. Никой не разказва по-добре за динамиката от статистиката, затова ще се запозная с прогнозите на Cisco. До 2021 година 20% от IP трафика ще бъде мобилен трафик – той ще нарасне почти три пъти за пет години. Една трета от мобилните свързвания ще се отнасят за M2M – развитието на IoT ще обуславя шестократно увеличение на свързванията. Интернет на нещата ще стане не само печеливша, но и ресурсно интензивна сфера, затова някои оператори ще се фокусират само върху него. А тези, които развият IoT като отделна услуга, ще получат двойно увеличение на трафика.

Разнообразие. Разнообразието е субективно понятие, но телекомуникационните оператори наистина знаят почти всичко за своите абонати. От името и данните от паспорта до модела на телефона, покупките, местата, които посещават, и интересите им. Медийните файлове по закона Ярова се съхраняват поне шест месеца. Така че приемаме за аксиома, че събраните данни са разнообразни.

Софт и методология

Доставчиците на услуги са едни от основните потребители на BigData, затова повечето методи за анализ на големи данни са приложими в телекомуникационния сектор. Другият въпрос е кой е готов да инвестира в развитието на ML, AI, дълбочинно обучение, да инвестира в ЦОД и data mining. Пълноценната работа с бази данни се състои от инфраструктура и екип, разходите за които не всеки може да си позволи. Струва си да се залага на BigData на предприятия, които вече имат корпоративно хранилище или развиват подхода Data Governance. На тези, които още не са готови за дългосрочни инвестиции, съветвам постепенно да увеличават архитектурата на софтуера и да внедряват компонентите поетапно. Тежките модули и Hadoop може да се оставят за по-късно. Малко хора купуват готови решения за задачи като Data Quality и Data Mining, основно компаниите адаптират системата към своята специфика и нужди – сами или с помощта на разработчици.

Но не всеки биллинг може да бъде модифициран за работа с BigData. По-скоро, не всеки може да бъде модифициран.

Три признака, че биллинговата система има шанс да се превърне в инструмент за обработка на бази данни:

• Хоризонтална мащабируемост. Софтуерът трябва да бъде гъвкав – говорим за големи данни. Увеличаването на количеството информация трябва да се решава с пропорционално увеличаване на „железата“ в клъстера.
• Отказоустойчивост. Серизните prepaid-системи обикновено по подразбиране са отказоустойчиви: биллингът се развива в клъстер на няколко геолокации, така че автоматично да се застраховат една друга. Компютрите в Hadoop клъстера също трябва да са достатъчни на случай на повреда на един или повече.
• Локализация. Данните трябва да се съхраняват и обработват на едно сървър, иначе разходите по пренос на данни могат да бъдат разоряващи. Една от популярните схеми на подхода Map-Reduce: HDFS съхранява, Spark обработва. В идеалния случай софтуерът трябва безболезнено да се интегрира в инфраструктурата на ЦОД и да може три в едно: да събира, организира и анализира информация.

Екип

Какво, как и за каква цел програмата ще обработва големи данни – решава екипът. Често той се състои от един човек – data scientist. Въпреки това, според мен, минималният пакет служители за BigData включва още Product Manager, Data Engineer и ръководител. Първият разбира услугите, превежда техническия език на човешки и обратно. Data Engineer реализира моделите в живота чрез Java/Scala и експериментира с Machine Learning. Ръководителят координира, поставя цели и контролира етапите.

Проблеми

Обикновено от страна на екипа BigData възникват проблеми при събиране и обработка на данни. Програмата трябва да бъде информирана какво да събира и как да обработва – за да обясни това, първо трябва да разбере самата идея. А при доставчиците нещата не са толкова прости. Разказвам за проблемите с примера на задачата за намаляване на текучеството на абонати – точно това операторите се опитват да решат с помощта на BigData на първо място.

Постановка на задачи. Правилно съставеното ТЗ и различното разбиране на термините – многовековна болка не само за фрийлансърите. Дори "изчезналите" абонати могат да бъдат интерпретирани по различен начин – като тези, които не ползват услугите на оператора месец, половин година или година. А за създаването на MVP на базата на исторически данни е необходимо да се разбере честотата на връщане на абонатите от текучеството – тези, които са опитвали услугите на други оператори или които са се преместили в друг град и ползвали друг номер. Още един важен въпрос: за колко време преди предполагаемото напускане на абоната доставчикът трябва да определи това и да предприеме мерки? Полгода – рано, седмица – вече късно.

Подмяна на понятията. Обикновено операторите определят клиента по телефонния номер, затова е логично, че характеристиките трябва да се извлекат по него. А какво ще стане с лицевия счет и номера на обслужващото приложение? Трябва да се определи коя единица трябва да се приема за клиент, за да не се разминават данните в системата на оператора. Оценката на стойността на клиента също е под въпрос – кой абонат е по-ценен за компанията, за задържането на кой потребител трябва да се положат повече усилия, а кои "ще отпаднат" във всеки случай и не е смисъл да се влагат ресурси в тях.

Недостатък на информация. Далеко не всички служители на доставчика са способни да обяснят на екипа BigData какво точно влияе на оттока на абонатите и как се изчисляват възможните фактори в начисленията. Дори ако споменат един от тях – ARPU, – оказва се, че и него може да се изчисли по различен начин: или по периодичните плащания на клиента, или по автоматичните начисления на биллинга. А в процеса на работа възникват милион други въпроси. Обхваща ли моделът всички клиенти, каква е цената за задържане на клиента, има ли смисъл да се обмислят алтернативни модели и какво да се прави с клиентите, които по погрешка започнахме да задържаме изкуствено.

Поставяне на цели. Знам три вида грешки, свързани с резултата, които карат операторите да се разочароват от BigData.

1. Доставчикът инвестира в BigData, обработва гигабайти информация, но получава резултат, който би могъл да получи и по-евтино. Използват се прости схеми и модели, примитивна аналитика. Себестойността е многократно по-висока, а резултатът е същият.
2. Операторът получава на изхода многопластови данни, а как да ги използва – не разбира. Има аналитика – ето я, ясна и обширна, а ползата от нея – нула. Финалният резултат не е обмислен, който не може да се състои в целта "да се обработят данните". Обработката е недостатъчна – аналитиката трябва да стане основа за обновление на бизнес процесите.
3. Пречка за използването на аналитиката BigData могат да станат остарелите бизнес процеси и неподходящият софтуер за новите цели. Значи, сме се провалили на етапа на подготовка – не сме обмислили алгоритъма на действията и етапите на внедряване на BigData в работата.

Защо

Като споменавам резултатите. Ще прегледам начините за използване и монетизация на BigData, които вече използват операторите на телекомуникации.
Доставчиците прогнозират не само оттока на абонати, но и натоварването на базовите станции.

1. Анализира се информация за движението на абонатите, активността и честотните услуги. Резултат: намаляване на броя на претоварванията чрез оптимизация и модернизация на проблемни участъци от инфраструктурата.
2. Информацията за геолокацията на абонатите и плътността на потока операторите на телекомуникации използват при откриването на търговски обекти. Така аналитиката BigData вече се използва от МТС и Вымпелком за планиране на разположението на нови офиси.
3. Доставчиците монетизират собствените си големи данни, предлагащи ги на трети фирми. Основни клиенти на BigData операторите са търговските банки. С помощта на БД те проследяват подозрителни активности на SIM карти на абонатите, с които са свързани картите, ползват услуги за оценка на рисковете, верификация и мониторинг. През 2017 г. правителството на Москва поиска динамиката на движението по данни от BigData от Tele2 с цел планиране на техническата и транспортната инфраструктура.
4. Аналитиката на BigData е златна жила за маркетолозите, които могат да създават персонализирани рекламни кампании за хиляди групи абонати, ако пожелаят. Телеком компаниите агрегат социални профили, потребителски интереси и поведенчески модели на абонатите, а след това използват събраната BigData, за да привлекат нови клиенти. Но за мащабно планиране на промоции и PR, биллинговата система не винаги разполага с необходимите функционалности: програмата трябва да отчита множество фактори паралелно с детайлната информация за клиентите.

Докато някои все още смятат BigData за празен звук, „голямата четворка“ вече печели пари от нея. МТС печели 14 милиарда рубли за шест месеца от обработката на големи данни, а Tele2 увеличи приходите от проекти три и половина пъти. BigData се трансформира от тенденция в абсолютна необходимост, около която ще бъде преструктурирана цялата структура на операторите за връзка.

Източник: habr.com