W 2008 roku BigData było nowym terminem i modnym trendem. W 2019 roku BigData to przedmiot sprzedaży, źródło zysku i powód do nowych projektów ustawodawczych.
Jesienią ubiegłego roku rząd rosyjski zainicjował projekt ustawy dotyczący regulacji dużych danych. Zakazuje się identyfikacji osób na podstawie ich danych, ale dozwolone jest to na żądanie organów federalnych. Przetwarzanie BigData dla stron trzecich – tylko po powiadomieniu Roskomnadzoru. Przepisy dotyczą firm, które posiadają ponad 100 tysięcy adresów sieciowych. I, oczywiście, nie może zabraknąć rejestrów – planuje się stworzenie takowego z listą operatorów baz danych. A jeśli wcześniej BigData nie była traktowana poważnie przez wszystkich, to teraz będzie musiała być brana pod uwagę.
Nie mogę pominąć BigData i ja, jako dyrektor firmy zajmującej się rozwojem systemu billingowego, który przetwarza tę właśnie BigData. Zastanowię się nad dużymi danymi z perspektywy operatorów telekomunikacyjnych, przez których systemy billingowe codziennie przepływają strumienie informacji o tysiącach abonentów.
Teorema
Zacznijmy, jak w zadaniu matematycznym: najpierw udowodnimy, że dane operatorów telekomunikacyjnych można nazwać BigData. Standardowo duże dane charakteryzują się trzema cechami VVV, chociaż w swobodnych interpretacjach liczba "V" dochodziła nawet do siedmiu.
Objętość. Tylko MVNO Rostelekom obsługuje ponad milion abonentów. Kluczowi operatorzy gospodarzy przetwarzają dane od 44 do 78 milionów osób. Ruch rośnie co sekundę: w pierwszym kwartale 2019 abonenci przesyłali już z telefonów komórkowych 3,3 miliarda GB.
Prędkość. Nikt lepiej niż statystyka nie opowie o dynamice, dlatego przytoczę prognozy Cisco. Do 2021 roku 20% ruchu IP przypadnie na ruch mobilny – wzrośnie on prawie trzykrotnie w ciągu pięciu lat. Jedna trzecia połączeń mobilnych będzie dotyczyć M2M – rozwój IoT spowoduje sześciokrotny wzrost połączeń. Internet rzeczy stanie się nie tylko opłacalnym, ale i zasobożernym kierunkiem, dlatego niektórzy operatorzy skoncentrują się wyłącznie na nim. A ci, którzy rozwiną IoT jako osobną usługę, zdobędą podwójny ruch.
Różnorodność. Różnorodność to pojęcie subiektywne, ale operatorzy telekomunikacyjni rzeczywiście znają swoich abonentów niemal na wylot. Od imienia i danych paszportowych po model telefonu, zakupy, odwiedzane miejsca i zainteresowania. Zgodnie z prawem Yarovej, pliki multimedialne muszą być przechowywane przez minimum pół roku. Dlatego przyjmijmy za aksjomat, że zbierane dane są różnorodne.
Oprogramowanie i metodologia
Dostawcy to jedni z głównych odbiorców Big Data, dlatego większość metod analizy big data jest stosowana w branży telekomunikacyjnej. Inna kwestia, kto jest gotów inwestować w rozwój ML, AI, Deep Learning, inwestować w centra danych i data mining. Skuteczna praca z bazą danych opiera się na infrastrukturze i zespole, na co nie wszyscy mogą sobie pozwolić. Na Big Data warto postawić w firmach, które już mają korporacyjne repozytorium lub rozwijają metodologię Data Governance. Tym, którzy nie są jeszcze gotowi na długoterminowe inwestycje, polecam stopniowe podnoszenie architektury oprogramowania i wdrażanie komponentów po kolei. Ciężkie moduły i Hadoop można zostawić na koniec. Niewiele osób kupuje gotowe rozwiązania do zadań typu Data Quality i Data Mining; przeważnie firmy dostosowują system do swojej specyfiki i potrzeb - samodzielnie lub z pomocą programistów.
Ale nie każdy system billingowy można dostosować do pracy z Big Data. Właściwie, dostosować mogą nie tylko wszyscy. Niewiele osób jest w stanie to zrobić.
Trzy cechy, które wskazują, że system billingowy ma szansę stać się narzędziem do przetwarzania bazy danych:
- Horyzontalna skalowalność. Oprogramowanie musi być elastyczne - mówimy o dużych danych. Wzrost ilości informacji powinien wiązać się z proporcjonalnym zwiększeniem „żelaza” w klastrze.
- Odporność na awarie. Poważne systemy prepaid z reguły domyślnie są odporne na awarie: billing jest uruchamiany w klastrze w kilku geolokalizacjach, aby mogły one automatycznie się zabezpieczać. W klastrze Hadoop również powinno być wystarczająco dużo komputerów na wypadek awarii jednego lub kilku.
- Lokalność. Dane powinny być przechowywane i przetwarzane w jednym serwerze, a w przeciwnym razie można przytłoczyć przez przesył danych. Jedna z popularnych schematów podejścia Map-Reduce: HDFS przechowuje, Spark przetwarza. W idealnym przypadku oprogramowanie powinno bezproblemowo integrować się z infrastrukturą centrum danych i umieć łączyć trzy funkcje w jednej: zbierać, organizować i analizować informacje.
Zespół
Co, jak i w jakim celu program będzie przetwarzać duże dane - decyduje zespół. Często składa się on z jednej osoby - data scientist'a. Chociaż, moim zdaniem, minimalny pakiet pracowników dla BigData obejmuje również Product Managera, Data Engineer'a i kierownika. Pierwszy rozumie usługi, tłumaczy język techniczny na ludzki i odwrotnie. Data Engineer wciela modele w życie za pomocą Java/Scala i eksperymentuje z Machine Learning. Kierownik koordynuje, ustala cele, kontroluje etapy.
Problemy
Właśnie ze strony zespołu BigData zazwyczaj pojawiają się problemy podczas zbierania i przetwarzania danych. Program musi być instruowany, co zbierać i jak przetwarzać - aby to wytłumaczyć, trzeba najpierw samemu zrozumieć. A dla dostawców nie jest to takie proste. Opowiadam o problemach na przykładzie zadania dotyczącego zmniejszenia churnu subskrybentów - to właśnie tę kwestię operatorzy telekomunikacyjni starają się rozwiązać za pomocą BigData przede wszystkim.
Formułowanie zadań. Dobrze przygotowane Tz oraz różne interpretacje terminów to wielowiekowy problem nie tylko dla freelancerów. Nawet "odpadli" subskrybenci mogą być interpretowani na różne sposoby - jako tacy, którzy nie korzystali z usług operatora przez miesiąc, pół roku lub rok. A aby stworzyć MVP na danych historycznych, trzeba rozumieć częstotliwość powrotów subskrybentów z churnu - tych, którzy próbowali usług innych operatorów lub wyjeżdżali z miasta i korzystali z innego numeru. Jeszcze jedno ważne pytanie: w jakim czasie przed planowanym odejściem subskrybenta dostawca powinien to określić i podjąć działania? Sześć miesięcy - za wcześnie, tydzień - już za późno.
Zamiana pojęć. Zazwyczaj operatorzy identyfikują klienta po numerze telefonu, dlatego logiczne jest, że cechy należy wydobywać na tej podstawie. A co z numerem konta lub numerem aplikacji serwisowej? Trzeba określić, którą jednostkę należy uznać za klienta, aby dane w systemie operatora nie różniły się. Ocena wartości klienta również jest kwestią dyskusyjną - który subskrybent jest bardziej wartościowy dla firmy, z którym użytkownikiem należy podjąć więcej wysiłków, a którzy "odpadną" w każdym przypadku i nie ma sensu wydawać na nich zasobów.
Niedobór informacji. Nie wszyscy pracownicy dostawcy potrafią wyjaśnić zespołowi BigData, co konkretnie wpływa na odejście abonentów i jak obliczane są potencjalne czynniki w billingach. Nawet jeśli wymieniono jeden z nich – ARPU – okazuje się, że można go obliczyć na różne sposoby, albo na podstawie cyklicznych płatności klienta, albo na podstawie automatycznych naliczeń billingowych. A w trakcie pracy pojawia się milion innych pytań. Czy model obejmuje wszystkich klientów, jaka jest cena za utrzymanie klienta, czy ma sens przemyślenie alternatywnych modeli i co zrobić z klientami, którzy zostali omyłkowo sztucznie utrzymani.
Ustalanie celów. Znam trzy rodzaje błędów związanych z wynikami, które sprawiają, że operatorzy rozczarowują się bazą danych.
- Dostawca inwestuje w BigData, przetwarza gigabajty informacji, ale uzyskuje wynik, który mógłby osiągnąć taniej. Wykorzystywane są proste schematy i modele, prymitywna analityka. Koszt w porównaniu do wyników jest wielokrotnie wyższy, a rezultat ten sam.
- Operator otrzymuje złożone dane wyjściowe, ale nie wie, jak je wykorzystać. Analityka istnieje – oto ona, zrozumiała i obszerna, ale nie ma z niej żadnego pożytku. Ostateczny rezultat nie został przemyślany, nie może składać się jedynie z celu 'przetworzyć dane'. Przetworzenie danych to za mało – analityka powinna stanowić podstawę do aktualizacji procesów biznesowych.
- Przeszkodą w wykorzystaniu analityki BigData mogą być przestarzałe procesy biznesowe i oprogramowanie, które nie jest dostosowane do nowych celów. Oznacza to, że zawiedliśmy na etapie przygotowania – nie przemyśleliśmy algorytmu działań i etapów wdrożenia BigData w procesy.
Dlaczego
Wracając do wyników. Szybko przejrzę sposoby wykorzystania i monetyzacji BigData, z których już korzystają operatorzy telekomunikacyjni.
Dostawcy przewidują nie tylko odejście abonentów, ale również obciążenia na stacjach bazowych.
- Analizowane są informacje o ruchu abonentów, aktywności i usługach częstości. Rezultat: zmniejszenie liczby przeciążeń dzięki optymalizacji i modernizacji problematycznych odcinków infrastruktury.
- Informacje o geolokalizacji abonentów i gęstości ruchu operatorzy telekomunikacyjni wykorzystują przy otwieraniu punktów sprzedaży. Tak analitykę BigData wykorzystują już MTS i Wimpelkom do planowania lokalizacji nowych biur.
- Dostawcy monetizują swoje własne duże dane, oferując je zewnętrznym firmom. Głównymi klientami operatorów BigData są banki komercyjne. Dzięki bazom danych monitorują podejrzane aktywności kart SIM abonentów, do których przypisane są karty, korzystają z usług oceny ryzyka, weryfikacji i monitorowania. A w 2017 roku, władze Moskwy zwróciły się do Tele2 z zapytaniem o dane dotyczące dynamiki ruchu w oparciu o BigData – w celu planowania technicznej i transportowej infrastruktury.
- Analiza BigData to złoty interes dla marketerów, którzy mogą tworzyć spersonalizowane kampanie reklamowe dla całych grup abonentów, jeśli tylko zechcą. Firmy telekomunikacyjne agregują profile społeczne, zainteresowania konsumenckie i modele zachowań abonentów, a następnie wykorzystują zgromadzone BigData do pozyskiwania nowych klientów. Jednak do planowania promocji i PR w systemie billingowym często brakuje funkcjonalności: program musi jednocześnie uwzględniać wiele czynników w połączeniu z szczegółowymi informacjami o klientach.
Podczas gdy niektórzy nadal uważają BigData za puste brzmienie, „wielka czwórka” już na tym zarabia. MTS zarabia na przetwarzaniu dużych danych 14 miliardów rubli w ciągu pół roku, a Tele2 zwiększył przychody z projektów trzykrotnie. BigData staje się nie tylko trendem, ale koniecznością, której wymagają wszyscy operatorzy telekomunikacyjni.
Źródło: habr.com
