Голема наплата на големи податоци: за BigData во телеком

Во 2008 година, BigData беше нов термин и модерен тренд. Во 2019 година BigData е предмет на продажба, извор на профит и причина за нови сметки.

Минатата есен, руската влада иницираше нацрт-закон за регулирање на големите податоци. Поединците може да не се идентификуваат од информациите, но може да го сторат тоа на барање на федералните власти. Обработката на BigData за трети лица е само по известување на Роскомнадзор. Компаниите кои имаат повеќе од 100 илјади мрежни адреси спаѓаат под законот. И, се разбира, каде што без регистри - треба да се создаде еден со листа на оператори на бази на податоци. И ако порано овој Биг Подат не беше сериозно сфатен од сите, сега ќе треба да се земе предвид.

Јас, како директор на компанија за развој на наплата која ги обработува овие големи податоци, не можам да ја игнорирам базата на податоци. За големите податоци ќе размислувам низ призмата на телекомуникациските оператори, низ чии системи за наплата секојдневно поминуваат текови на информации за илјадници претплатници.

Теорема

Да почнеме, како во математички проблем: прво докажуваме дека податоците на телекомуникациските оператори можат да се наречат BigDat. Вообичаено, големите податоци се карактеризираат со три VVV карактеристики, иако во слободните толкувања бројот на „Vs“ достигна седум.

Волумен. Само MVNO на Ростелеком опслужува повеќе од милион претплатници. Клучните оператори-домаќини ракуваат со податоци за 44 до 78 милиони луѓе. Сообраќајот расте секоја секунда: во првиот квартал од 2019 година, претплатниците веќе имаат пристап до 3,3 милијарди GB од мобилни телефони.

Брзина. Никој не може да ви каже за динамиката подобро од статистиката, па затоа ќе ги разгледам предвидувањата на Cisco. До 2021 година, 20% од IP сообраќајот ќе оди на мобилниот сообраќај - тој ќе се зголеми речиси тројно за пет години. Третина од мобилните врски ќе бидат M2M – развојот на IoT ќе доведе до шесткратно зголемување на врските. Интернетот на нештата ќе стане не само профитабилен, туку и интензивен за ресурси, па некои оператори ќе се фокусираат само на него. А оние кои развиваат IoT како посебна услуга ќе добијат двоен сообраќај.

Разновидност. Различноста е субјективен концепт, но телекомуникациските оператори навистина знаат речиси сè за нивните претплатници. Од детали за име и пасош до модел на телефон, купувања, посетени места и интереси. Според законот Јароваја, медиумските датотеки се чуваат шест месеци. Значи, да го земеме како аксиома дека собраните податоци се различни.

Софтвер и методологија

Давателите се едни од главните потрошувачи на BigData, така што повеќето техники за анализа на големи податоци се применливи во телеком индустријата. Друго прашање е кој е подготвен да инвестира во развој на ML, AI, Deep Learning, да инвестира во центри за податоци и податочно рударство. Целосната работа со база на податоци се состои од инфраструктура и тим, чии трошоци не може секој да си ги дозволи. Претпријатијата кои веќе имаат корпоративно складиште или развиваат методологија за управување со податоци треба да се обложуваат на BigData. За оние кои сè уште не се подготвени за долгорочни инвестиции, ве советувам постепено да ја изградите софтверската архитектура и да инсталирате компоненти еден по еден. Можете да ги оставите тешките модули и Hadoop за крај. Малкумина купуваат готово решение за проблеми како што се Квалитет на податоци и ископување податоци; компаниите генерално го приспособуваат системот според нивните специфични спецификации и потреби - самите или со помош на програмери.

Но, не секоја наплата може да се измени за да работи со BigData. Или подобро кажано, не само што може да се измени сè. Малкумина можат да го направат ова.

Три знаци дека системот за наплата има шанса да стане алатка за обработка на базата на податоци:

• Хоризонтална приспособливост. Софтверот мора да биде флексибилен - зборуваме за големи податоци. Зголемувањето на количината на информации треба да се третира со пропорционално зголемување на хардверот во кластерот.
• Толеранција на грешки. Сериозните припејд системи обично се стандардно толерантни за грешки: наплатата се распоредува во кластер во неколку геолокации, така што тие автоматски се осигуруваат едни со други. Исто така, треба да има доволно компјутери во кластерот Hadoop во случај еден или повеќе да откажат.
• Локалитет. Податоците мора да се складираат и обработуваат на еден сервер, инаку може да дојдете до прекин на преносот на податоци. Една од популарните шеми за пристап на Map-Reduce: складишта на HDFS, процеси на Spark. Идеално, софтверот треба беспрекорно да се интегрира во инфраструктурата на центарот за податоци и да може да прави три работи во едно: собира, организира и анализира информации.

Тим

Што, како и за која цел програмата ќе обработува големи податоци одлучува тимот. Често се состои од едно лице - научник за податоци. Иако, според мене, минималниот пакет на вработени за Big Data вклучува и продукт менаџер, инженер за податоци и менаџер. Првиот ги разбира услугите, го преведува техничкиот јазик на човечки јазик и обратно. Data Engineer ги оживува моделите користејќи Java/Scala и експериментира со Машинско учење. Менаџерот ги координира, поставува цели и ги контролира фазите.

Проблеми

Од страна на тимот на BigData обично се појавуваат проблеми при собирањето и обработката на податоците. Програмата треба да објасни што да собере и како да ја обработи - за да го објасните ова, прво треба сами да го разберете. Но, за провајдерите, работите не се толку едноставни. Зборувам за проблемите користејќи го примерот на задачата за намалување на преплавувањето на претплатниците - ова е она што телекомуникациските оператори се обидуваат да го решат на прво место со помош на Big Data.

Поставување цели. Добро напишаните технички спецификации и различното разбирање на термините се вековна болка не само за хонорарците. Дури и „испуштените“ претплатници може да се толкуваат на различни начини - како оние кои не ги користеле услугите на операторот еден месец, шест месеци или една година. И за да креирате MVP врз основа на историски податоци, треба да ја разберете фреквенцијата на враќање на претплатниците од раздвојување - оние кои пробале други оператори или го напуштиле градот и користеле друг број. Друго важно прашање: колку долго пред да се очекува претплатникот да замине, давателот треба да го утврди ова и да преземе нешто? Шест месеци е прерано, една недела е предоцна.

Замена на концепти. Вообичаено, операторите идентификуваат клиент по телефонски број, па логично е знаците да се прикачат користејќи го. Што е со вашата лична сметка или бројот на апликација за услуга? Неопходно е да се одлучи која единица треба да се земе како клиент за да не се разликуваат податоците во системот на операторот. Проценката на вредноста на клиентот е исто така сомнителна - кој претплатник е повреден за компанијата, кој корисник бара повеќе напор да го задржи, а кои ќе „паднат“ во секој случај и нема смисла да се трошат ресурси за нив.

Недостаток на информации. Не сите вработени во провајдерот се способни да му објаснат на тимот на BigData што конкретно влијае на преплавувањето на претплатниците и како се пресметуваат можните фактори во наплатата. Дури и ако тие именуваа еден од нив - ARPU - излегува дека може да се пресмета на различни начини: или со периодични плаќања на клиентот, или со автоматска наплата. И во процесот на работа се поставуваат уште милион прашања. Дали моделот ги покрива сите клиенти, која е цената за задржување на клиентот, дали има смисла да се размислува преку алтернативни модели и што да се прави со клиентите кои погрешно биле вештачки задржани.

Поставување на цел. Знам за три типа на исходни грешки кои предизвикуваат операторите да бидат фрустрирани со базата на податоци.

1. Давателот инвестира во BigData, обработува гигабајти информации, но добива резултат што можеше да се добие поевтино. Се користат едноставни дијаграми и модели, примитивна аналитика. Трошокот е многукратно поголем, но резултатот е ист.
2. Операторот прима повеќеслојни податоци како излез, но не разбира како да ги користи. Има аналитика - еве ја, разбирлива и обемна, но нема никаква корист. Крајниот резултат, кој не може да се состои од целта за „обработка на податоци“, не е обмислен. Не е доволно да се обработува - аналитиката треба да стане основа за ажурирање на деловните процеси.
3. Пречки за користење на BigData аналитика може да бидат застарени деловни процеси и софтвер несоодветен за нови цели. Тоа значи дека направиле грешка во фазата на подготовка - не размислувале низ алгоритмот на дејства и фазите на воведување Големи податоци во работата.

За што

Говорејќи за резултати. Ќе ги разгледам начините на користење и монетизација на големите податоци што телекомуникациските оператори веќе ги користат.
Давателите предвидуваат не само одлив на претплатници, туку и оптоварување на базните станици.

1. Се анализираат информациите за движењата на претплатниците, активноста и фреквентните услуги. Резултат: намалување на бројот на преоптоварувања поради оптимизација и модернизација на проблематичните области на инфраструктурата.
2. Телеком операторите користат информации за геолокацијата на претплатниците и густината на сообраќајот кога отвораат продажни места. Така, аналитиката на BigData веќе се користи од МТС и ВимпелКом за планирање на локацијата на новите канцеларии.
3. Давателите ги монетизираат сопствените големи податоци нудејќи им ги на трети страни. Главни клиенти на BigData операторите се комерцијалните банки. Користејќи ја базата на податоци, тие ги следат сомнителните активности на SIM-картичката на претплатникот на која се поврзани картичките и користат услуги за оценување на ризик, верификација и следење. И во 2017 година, московската влада побара динамика на движење врз основа на BigData податоци од Tele2 за планирање на техничката и транспортната инфраструктура.
4. Аналитиката на BigData е златен рудник за маркетерите, кои можат да креираат персонализирани рекламни кампањи за дури илјадници претплатнички групи, доколку сакаат. Телекомуникациските компании ги собираат социјалните профили, интересите на потрошувачите и моделите на однесување на претплатниците, а потоа ги користат собраните BigData за да привлечат нови клиенти. Но, за голема промоција и планирање ПР, наплатата не секогаш има доволно функционалност: програмата мора истовремено да земе предвид многу фактори паралелно со деталните информации за клиентите.

Додека некои сè уште сметаат дека BigData е празна фраза, големата четворка веќе заработува пари од неа. МТС за шест месеци заработува 14 милијарди рубли од обработка на големи податоци, а Tele2 ги зголеми приходите од проекти за три и пол пати. BigData од тренд се претвора во must have, според кој ќе се обнови целата структура на телекомуникациските оператори.

Извор: www.habr.com