W 2008 roku nowym terminem i modnym trendem było BigData. W 2019 roku BigData jest przedmiotem sprzedaży, źródłem zysku i powodem do nowych rachunków.
Jesienią ubiegłego roku rosyjski rząd zainicjował projekt ustawy regulującej duże zbiory danych. Nie można zidentyfikować poszczególnych osób na podstawie informacji, można to jednak zrobić na wniosek władz federalnych. Przetwarzanie BigData na rzecz osób trzecich następuje wyłącznie po powiadomieniu Roskomnadzor. Przepisom podlegają firmy posiadające ponad 100 tys. adresów sieciowych. No i oczywiście tam, gdzie nie ma rejestrów - należy utworzyć taki z listą operatorów baz danych. A jeśli wcześniej nie wszyscy traktowali Big Data poważnie, teraz trzeba będzie to wziąć pod uwagę.
Ja, jako dyrektor firmy zajmującej się programowaniem rozliczeń, która przetwarza tak duże zbiory danych, nie mogę ignorować bazy danych. O big data będę myśleć przez pryzmat operatorów telekomunikacyjnych, przez których systemy bilingowe codziennie przepływają informacje o tysiącach abonentów.
Twierdzenie
Zacznijmy jak w zadaniu matematycznym: najpierw udowodnimy, że dane operatorów telekomunikacyjnych można nazwać BigDat. Zazwyczaj big data charakteryzuje się trzema cechami VVV, chociaż w swobodnych interpretacjach liczba „V” sięgała siedmiu.
Tom. Sam MVNO Rostelecom obsługuje ponad milion abonentów. Kluczowi operatorzy hostów obsługują dane od 44 do 78 milionów ludzi. Ruch rośnie z każdą sekundą: w pierwszym kwartale 2019 roku abonenci uzyskali już dostęp do 3,3 miliarda GB z telefonów komórkowych.
Prędkość. Nikt lepiej niż statystyki nie powie Ci o dynamice, dlatego przeanalizuję prognozy Cisco. Do 2021 roku 20% ruchu IP będzie trafiać do ruchu mobilnego – w ciągu pięciu lat liczba ta ulegnie niemal potrojeniu. Jedna trzecia połączeń mobilnych będzie typu M2M – rozwój IoT doprowadzi do sześciokrotnego wzrostu połączeń. Internet rzeczy stanie się nie tylko opłacalny, ale także zasobochłonny, dlatego część operatorów skoncentruje się tylko na nim. A ci, którzy rozwiną IoT jako odrębną usługę, otrzymają podwójny ruch.
Różnorodność. Różnorodność to pojęcie subiektywne, ale operatorzy telekomunikacyjni tak naprawdę wiedzą o swoich abonentach prawie wszystko. Od nazwiska i danych paszportowych po model telefonu, zakupy, odwiedzone miejsca i zainteresowania. Zgodnie z prawem Yarovaya pliki multimedialne są przechowywane przez sześć miesięcy. Przyjmijmy zatem jako aksjomat, że gromadzone dane są zróżnicowane.
Oprogramowanie i metodologia
Dostawcy są jednymi z głównych konsumentów BigData, dlatego większość technik analizy Big Data ma zastosowanie w branży telekomunikacyjnej. Kolejnym pytaniem jest to, kto jest gotowy inwestować w rozwój ML, AI, Deep Learning, inwestować w centra danych i data mining. Na pełnoprawną pracę z bazą danych składa się infrastruktura i zespół, na którego koszty nie każdy może sobie pozwolić. Przedsiębiorstwa posiadające już hurtownię korporacyjną lub opracowujące metodykę Data Governance powinny postawić na BigData. Tym, którzy nie są jeszcze gotowi na długoterminowe inwestycje, radzę stopniowo budować architekturę oprogramowania i instalować komponenty jeden po drugim. Ciężkie moduły i Hadoop możesz zostawić na koniec. Niewiele osób kupuje gotowe rozwiązania problemów takich jak Data Quality i Data Mining, firmy z reguły dostosowują system do swoich konkretnych specyfikacji i potrzeb - samodzielnie lub przy pomocy programistów.
Jednak nie każde rozliczenie można zmodyfikować tak, aby współpracowało z BigData. A raczej nie tylko wszystko można modyfikować. Niewiele osób może to zrobić.
Trzy oznaki, że system billingowy ma szansę stać się narzędziem do przetwarzania baz danych:
- Skalowalność pozioma. Oprogramowanie musi być elastyczne – mówimy o big data. Zwiększenie ilości informacji należy potraktować poprzez proporcjonalne zwiększenie sprzętu w klastrze.
- Tolerancja błędów. Poważne systemy przedpłacone są zazwyczaj domyślnie odporne na awarie: rozliczenia są wdrażane w klastrze w kilku geolokalizacjach, dzięki czemu automatycznie ubezpieczają się nawzajem. W klastrze Hadoop powinna znajdować się wystarczająca liczba komputerów na wypadek awarii jednego lub większej liczby komputerów.
- Miejscowość. Dane muszą być przechowywane i przetwarzane na jednym serwerze, w przeciwnym razie możesz zepsuć transfer danych. Jeden z popularnych schematów podejścia Map-Reduce: sklepy HDFS, procesy Spark. W idealnym przypadku oprogramowanie powinno bezproblemowo integrować się z infrastrukturą centrum danych i móc robić trzy rzeczy w jednym: zbierać, organizować i analizować informacje.
Zespół
O tym, co, jak i w jakim celu program będzie przetwarzał big data, decyduje zespół. Często składa się z jednej osoby – analityka danych. Chociaż moim zdaniem minimalny pakiet pracowników Big Data obejmuje także Menedżera Produktu, Inżyniera Danych i Menedżera. Pierwszy rozumie usługi, tłumaczy język techniczny na język ludzki i odwrotnie. Inżynier danych ożywia modele przy użyciu języka Java/Scala i eksperymentów z uczeniem maszynowym. Menedżer koordynuje, wyznacza cele i kontroluje etapy.
Problemy
To właśnie po stronie zespołu BigData najczęściej pojawiają się problemy przy zbieraniu i przetwarzaniu danych. Program musi wyjaśniać, co zbierać i jak to przetwarzać - żeby to wyjaśnić, trzeba to najpierw zrozumieć samemu. Ale w przypadku dostawców sprawa nie jest taka prosta. O problemach mówię na przykładzie zadania ograniczenia odpływu abonentów – to w pierwszej kolejności operatorzy telekomunikacyjni starają się rozwiązać za pomocą Big Data.
Ustalać cele. Dobrze napisane specyfikacje techniczne i różne rozumienie terminów to od wieków utrapienie nie tylko dla freelancerów. Nawet „porzuconych” abonentów można różnie interpretować – jako tych, którzy nie korzystali z usług operatora przez miesiąc, sześć miesięcy czy rok. A żeby stworzyć MVP w oparciu o dane historyczne, trzeba poznać częstotliwość powrotów abonentów z rezygnacji – tych, którzy próbowali innych operatorów lub opuścili miasto i korzystali z innego numeru. Kolejne ważne pytanie: ile czasu przed spodziewanym opuszczeniem abonenta dostawca powinien to ustalić i podjąć działania? Sześć miesięcy to za wcześnie, tydzień za późno.
Zastąpienie pojęć. Zazwyczaj operatorzy identyfikują klienta po numerze telefonu, więc logiczne jest, że znaki należy wgrać za jego pomocą. A co z Twoim kontem osobistym lub numerem zgłoszenia serwisowego? Należy zdecydować, którą jednostkę przyjąć jako klienta, aby dane w systemie operatora nie uległy zmianie. Wątpliwa jest także ocena wartości klienta – który abonent jest dla firmy bardziej wartościowy, którego utrzymanie wymaga więcej wysiłku, a który i tak „odpadnie” i nie ma sensu wydawać na niego środków.
Brak informacji. Nie wszyscy pracownicy dostawcy są w stanie wyjaśnić zespołowi BigData, co konkretnie wpływa na odpływ abonentów i w jaki sposób obliczane są możliwe czynniki rozliczeniowe. Nawet jeśli wymienili jedno z nich – ARPU – okazuje się, że można je liczyć na różne sposoby: albo poprzez okresowe płatności klientów, albo poprzez automatyczne opłaty za fakturowanie. W trakcie pracy pojawia się milion innych pytań. Czy model obejmuje wszystkich klientów, jaka jest cena za utrzymanie klienta, czy jest sens zastanawiać się nad alternatywnymi modelami i co zrobić z klientami, którzy zostali omyłkowo sztucznie zatrzymani.
Ustalanie celów. Znam trzy rodzaje błędów wynikowych, które powodują frustrację operatorów w związku z bazą danych.
- Dostawca inwestuje w BigData, przetwarza gigabajty informacji, ale uzyskuje wynik, który można było uzyskać taniej. Stosowane są proste diagramy i modele, prymitywna analityka. Koszt jest wielokrotnie wyższy, ale wynik jest taki sam.
- Operator otrzymuje na wyjściu wieloaspektowe dane, ale nie wie, jak je wykorzystać. Jest analityka - tutaj jest zrozumiała i obszerna, ale jest bezużyteczna. Efekt końcowy, który nie może polegać na celu „przetwarzania danych”, nie został przemyślany. Nie wystarczy przetwarzać – analityka powinna stać się podstawą aktualizacji procesów biznesowych.
- Przeszkodami w wykorzystaniu analityki BigData mogą być przestarzałe procesy biznesowe i oprogramowanie nieprzystosowane do nowych celów. Oznacza to, że na etapie przygotowań popełnili błąd – nie przemyślali algorytmu działań i etapów wdrażania Big Data do pracy.
Po co
Mówiąc o wynikach. Omówię sposoby wykorzystania i monetyzacji Big Data, z których korzystają już operatorzy telekomunikacyjni.
Dostawcy przewidują nie tylko odpływ abonentów, ale także obciążenie stacji bazowych.
- Analizie poddawane są informacje o ruchach abonenckich, aktywności i usługach częstotliwościowych. Efekt: zmniejszenie liczby przeciążeń dzięki optymalizacji i modernizacji problematycznych obszarów infrastruktury.
- Operatorzy telekomunikacyjni podczas otwierania punktów sprzedaży wykorzystują informacje o geolokalizacji abonentów i natężeniu ruchu. Tym samym analityka BigData jest już wykorzystywana przez MTS i VimpelCom do planowania lokalizacji nowych biur.
- Dostawcy zarabiają na swoich własnych dużych zbiorach danych, oferując je stronom trzecim. Głównymi klientami operatorów BigData są banki komercyjne. Korzystając z tej bazy, monitorują podejrzane działania karty SIM abonenta, z którą karty są powiązane, a także korzystają z usług scoringu, weryfikacji i monitorowania ryzyka. Natomiast w 2017 roku rząd Moskwy zażądał dynamiki ruchu w oparciu o dane BigData od Tele2 w celu zaplanowania infrastruktury technicznej i transportowej.
- Analityka BigData to kopalnia złota dla marketerów, którzy, jeśli chcą, mogą tworzyć spersonalizowane kampanie reklamowe nawet dla tysięcy grup subskrybentów. Firmy telekomunikacyjne agregują profile społeczne, zainteresowania konsumentów i wzorce zachowań abonentów, a następnie wykorzystują zebrane BigData do pozyskiwania nowych klientów. Jednak w przypadku promocji na dużą skalę i planowania PR rozliczenia nie zawsze mają wystarczającą funkcjonalność: program musi jednocześnie uwzględniać wiele czynników równolegle ze szczegółowymi informacjami o klientach.
Choć niektórzy nadal uważają BigData za pusty frazes, Wielka Czwórka już na tym zarabia. MTS zarabia 14 miliardów rubli na przetwarzaniu dużych zbiorów danych w ciągu sześciu miesięcy, a Tele2 zwiększyło przychody z projektów trzy i pół razy. BigData z trendu staje się koniecznością, w ramach której przebudowana zostanie cała struktura operatorów telekomunikacyjnych.
Źródło: www.habr.com