Big data big billing: om BigData i telekommunikation

I 2008 var BigData et nyt udtryk og en moderigtig trend. I 2019 er BigData et salgsobjekt, en kilde til profit og en årsag til nye regninger.

Sidste efterår iværksatte den russiske regering et lovforslag om regulering af big data. Enkeltpersoner identificeres muligvis ikke ud fra oplysninger, men kan gøre det efter anmodning fra føderale myndigheder. Behandling af BigData for tredjeparter er kun efter meddelelse fra Roskomnadzor. Virksomheder, der har mere end 100 tusinde netværksadresser, falder ind under loven. Og, selvfølgelig, hvor uden registre - det er meningen at det skal oprette en med en liste over databaseoperatører. Og hvis denne Big Data ikke før blev taget seriøst af alle, så skal der tages højde for det nu.

Jeg, som direktør for et faktureringsudviklerfirma, der behandler netop disse Big Data, kan ikke ignorere databasen. Jeg vil tænke på big data gennem prisme af teleoperatører, gennem hvis faktureringssystemer strømme af information om tusindvis af abonnenter passerer hver dag.

Sætning

Lad os starte, som i et matematisk problem: først beviser vi, at data fra teleoperatører kan kaldes BigDat. Typisk er big data karakteriseret ved tre VVV-karakteristika, selvom antallet af "V'er" i frie fortolkninger nåede syv.

Bind. Rostelecoms MVNO alene betjener mere end en million abonnenter. Nøgleværtsoperatører håndterer data for 44 til 78 millioner mennesker. Trafikken vokser hvert sekund: I første kvartal af 2019 har abonnenter allerede fået adgang til 3,3 milliarder GB fra mobiltelefoner.

Hastighed. Ingen kan fortælle dig om dynamikken bedre end statistik, så jeg vil gennemgå Ciscos prognoser. I 2021 vil 20 % af IP-trafikken gå til mobiltrafik – den vil næsten tredobles på fem år. En tredjedel af mobilforbindelserne vil være M2M – udviklingen af ​​IoT vil føre til en seksdobling af forbindelserne. Internet of Things bliver ikke kun rentabelt, men også ressourcekrævende, så nogle operatører vil kun fokusere på det. Og dem, der udvikler IoT som en separat tjeneste, får dobbelt trafik.

Bred vifte. Mangfoldighed er et subjektivt begreb, men teleoperatører ved virkelig næsten alt om deres abonnenter. Fra navn og pasoplysninger til telefonmodel, køb, besøgte steder og interesser. Ifølge Yarovaya-loven gemmes mediefiler i seks måneder. Så lad os tage det som et aksiom, at de indsamlede data er varierede.

Software og metodik

Udbydere er en af ​​de største forbrugere af BigData, så de fleste big data-analyseteknikker er anvendelige til telekommunikationsindustrien. Et andet spørgsmål er, hvem der er klar til at investere i udviklingen af ​​ML, AI, Deep Learning, investere i datacentre og data mining. Fuldstændig arbejde med en database består af infrastruktur og et team, som ikke alle har råd til. Virksomheder, der allerede har et virksomhedslager eller er ved at udvikle en Data Governance-metode, bør satse på BigData. For dem, der endnu ikke er klar til langsigtede investeringer, råder jeg dig til gradvist at opbygge softwarearkitekturen og installere komponenter en efter en. Du kan lade de tunge moduler og Hadoop stå til sidst. De færreste køber en færdig løsning til problemer som Data Quality og Data Mining; virksomheder tilpasser generelt systemet til deres specifikke specifikationer og behov - selv eller med hjælp fra udviklere.

Men ikke alle faktureringer kan ændres til at fungere med BigData. Eller rettere sagt, ikke kun alt kan ændres. Få mennesker kan gøre dette.

Tre tegn på, at et faktureringssystem har en chance for at blive et databasebehandlingsværktøj:

• Horisontal skalerbarhed. Software skal være fleksibelt – vi taler om big data. En stigning i mængden af ​​information bør behandles med en proportional stigning i hardware i klyngen.
• Fejltolerance. Seriøse forudbetalte systemer er normalt fejltolerante som standard: fakturering er implementeret i en klynge i flere geolokationer, så de automatisk forsikrer hinanden. Der bør også være nok computere i Hadoop-klyngen, hvis en eller flere fejler.
• Lokalitet. Data skal lagres og behandles på én server, ellers kan du gå i stykker med dataoverførsel. En af de populære Map-Reduce-tilgangsordninger: HDFS-butikker, Spark-processer. Ideelt set bør softwaren problemfrit integreres i datacenterinfrastrukturen og være i stand til at gøre tre ting i én: indsamle, organisere og analysere information.

Team

Hvad, hvordan og til hvilket formål programmet skal behandle big data bestemmes af teamet. Ofte består den af ​​én person – en dataforsker. Selvom minimumspakken af ​​medarbejdere til Big Data efter min mening også omfatter en Product Manager, Data Engineer og Manager. Den første forstår tjenesterne, oversætter fagsprog til menneskeligt sprog og omvendt. Data Engineer bringer modeller til live ved hjælp af Java/Scala og eksperimenterer med Machine Learning. Lederen koordinerer, sætter mål og styrer faserne.

Problemer

Det er fra BigData-teamets side, at der normalt opstår problemer ved indsamling og behandling af data. Programmet skal forklare, hvad der skal indsamles, og hvordan det behandles - for at forklare dette, skal du først selv forstå det. Men for udbyderne er tingene ikke så enkle. Jeg taler om problemerne ved at bruge eksemplet med opgaven med at reducere abonnentafgang - det er, hvad teleoperatører forsøger at løse ved hjælp af Big Data i første omgang.

Sætte mål. Velskrevne tekniske specifikationer og forskellige forståelser af begreber har været en århundreder gammel smerte, ikke kun for freelancere. Selv "droppede" abonnenter kan tolkes på forskellige måder - som dem, der ikke har brugt operatørens tjenester i en måned, seks måneder eller et år. Og for at oprette en MVP baseret på historiske data, skal du forstå hyppigheden af ​​returneringer af abonnenter fra churn - dem, der prøvede andre operatører eller forlod byen og brugte et andet nummer. Et andet vigtigt spørgsmål: Hvor lang tid før abonnenten forventes at forlade, skal udbyderen bestemme dette og gribe ind? Seks måneder er for tidligt, en uge er for sent.

Substitution af begreber. Typisk identificerer operatører en klient ved hjælp af telefonnummer, så det er logisk, at skiltene skal uploades ved hjælp af det. Hvad med din personlige konto eller tjenesteansøgningsnummer? Det er nødvendigt at beslutte, hvilken enhed der skal tages som klient, så dataene i operatørens system ikke varierer. Det er også tvivlsomt at vurdere værdien af ​​en klient - hvilken abonnent er mere værdifuld for virksomheden, hvilken bruger kræver mere indsats for at beholde, og hvilke der vil "falde af" under alle omstændigheder, og det nytter ikke at bruge ressourcer på dem.

Mangel på information. Ikke alle udbydermedarbejdere er i stand til at forklare BigData-teamet, hvad der specifikt påvirker abonnentafgang, og hvordan mulige faktorer i fakturering beregnes. Selvom de navngav en af ​​dem - ARPU - viser det sig, at det kan beregnes på forskellige måder: enten ved periodiske klientbetalinger eller ved automatiske faktureringsgebyrer. Og under arbejdet opstår der en million andre spørgsmål. Dækker modellen alle klienter, hvad er prisen for at fastholde en klient, er der nogen mening i at gennemtænke alternative modeller, og hvad skal man gøre med klienter, der ved en fejl er blevet kunstigt fastholdt.

Målopnåelse. Jeg kender til tre typer udfaldsfejl, der får operatører til at blive frustrerede over databasen.

1. Udbyderen investerer i BigData, behandler gigabyte af information, men får et resultat, der kunne være opnået billigere. Simple diagrammer og modeller, primitive analyser anvendes. Omkostningerne er mange gange højere, men resultatet er det samme.
2. Operatøren modtager mangefacetterede data som output, men forstår ikke, hvordan de skal bruges. Der er analyser - her er det, forståeligt og omfangsrigt, men det nytter ikke noget. Slutresultatet, som ikke kan bestå af målet om at "behandle data", er ikke gennemtænkt. Det er ikke nok at behandle - analyser bør blive grundlaget for opdatering af forretningsprocesser.
3. Hindringer for brugen af ​​BigData-analyse kan være forældede forretningsprocesser og software, der er uegnet til nye formål. Det betyder, at de lavede en fejl på forberedelsesstadiet – de gennemtænkte ikke handlingsalgoritmen og stadierne for at introducere Big Data i arbejdet.

Hvad for

Apropos resultater. Jeg vil gennemgå de måder at bruge og tjene penge på Big Data, som teleoperatører allerede bruger.
Udbydere forudsiger ikke kun udstrømningen af ​​abonnenter, men også belastningen på basestationer.

1. Oplysninger om abonnentbevægelser, aktivitet og frekvenstjenester analyseres. Resultat: reduktion i antallet af overbelastninger på grund af optimering og modernisering af problemområder i infrastrukturen.
2. Teleoperatører bruger oplysninger om abonnenternes geografiske placering og trafiktæthed, når de åbner salgssteder. Således bruges BigData-analyse allerede af MTS og VimpelCom til at planlægge placeringen af ​​nye kontorer.
3. Udbydere tjener penge på deres egne big data ved at tilbyde dem til tredjeparter. BigData-operatørernes hovedkunder er kommercielle banker. Ved hjælp af databasen overvåger de mistænkelige aktiviteter på abonnentens SIM-kort, som kortene er knyttet til, og bruger risikoscoring, verifikation og overvågningstjenester. Og i 2017 anmodede Moskva-regeringen om bevægelsesdynamik baseret på BigData-data fra Tele2 for at planlægge teknisk infrastruktur og transportinfrastruktur.
4. BigData-analyse er en guldmine for marketingfolk, som kan skabe personlige reklamekampagner for så mange som tusindvis af abonnentgrupper, hvis de vælger det. Teleselskaber samler sociale profiler, forbrugerinteresser og adfærdsmønstre hos abonnenter og bruger derefter de indsamlede BigData til at tiltrække nye kunder. Men til storstilet promovering og PR-planlægning har fakturering ikke altid tilstrækkelig funktionalitet: Programmet skal samtidig tage højde for mange faktorer parallelt med detaljerede oplysninger om kunder.

Mens nogle stadig betragter BigData som en tom sætning, tjener de fire store allerede penge på det. MTS tjener 14 milliarder rubler på big data-behandling på seks måneder, og Tele2 øgede omsætningen fra projekter med tre en halv gange. BigData er ved at forvandle sig fra en trend til et must have, hvor hele strukturen af ​​teleoperatører skal genopbygges.

Kilde: www.habr.com