I 2008 var BigData et nyt begreb og en modefænomen. I 2019 er BigData en salgsgenstand, en indtægtskilde og en anledning til nye lovforslag.
Efteråret sidste år initierede den russiske regering et lovforslag om regulering af store data. Det er forbudt at identificere personer baseret på information, men det er tilladt at gøre det efter anmodning fra føderale myndigheder. Behandling af BigData for tredjepart er kun tilladt efter meddelelse til Roskomnadzor. Under loven falder virksomheder, der har mere end 100.000 netværksadresser. Og selvfølgelig kan man ikke undvære registre - det er planlagt at oprette et med en liste over databasedrivere. Og hvis BigData førhen ikke blev taget alvorligt af alle, skal man nu tage højde for det.
Jeg kan heller ikke undgå BigData som direktør for et cybersystemudviklingsfirma, der behandler denne BigData. Jeg vil reflektere over store data gennem linsen af telekommunikationsoperatører, hvor igennem mange informationer om tusindvis af abonnenter strømmer dagligt.
Teorem
Lad os starte som i en matematikopgave: først beviser vi, at data fra telekommunikationsoperatører kan kaldes BigData. Standard store data kendetegnes ved tre V'er, selvom antallet af 'V'er i mere frie fortolkninger har nået op til syv.
Volume. Bare MVNO Rostelecom betjener mere end en million abonnenter. Nøglehost-operatører behandler data fra 44 til 78 millioner mennesker. Trafikken vokser hvert sekund: i første kvartal af 2019 har abonnenter allerede surfet 3,3 milliarder GB fra mobiltelefoner.
Velocity. Ingen kan fortælle mere om dynamik end statistikken, så lad mig gå igennem forudsigelserne fra Cisco. Indtil 2021 vil 20% af IP-trafikken tilgås mobiltrafik - det vil stige næsten tre gange på fem år. En tredjedel af mobile forbindelser vil være M2M - udviklingen af IoT vil medføre en seksdobling af forbindelser. Internet of Things bliver ikke kun en rentabel, men også en ressourcekrævende retning, så nogle operatører vil fokusere udelukkende på det. Og de, der udvikler IoT som en separat tjeneste, vil opnå dobbelt trafik.
Mangfoldighed. Mangfoldighed er et subjektivt begreb, men telekommunikationsoperatører kender faktisk næsten alt om deres abonnenter. Fra navn og personlige oplysninger til telefonmodel, køb, besøgte steder og interesser. Mediefiler opbevares i henhold til Yarovoi-loven i op til et halvt år. Så lad os tage det for givet, at de indsamlede data er varierede.
Software og metodologi
Udbydere er en af de største forbrugere af Big Data, så de fleste metoder til analyse af store datasæt er anvendelige i telekommunikationsbranchen. Spørgsmålet er dog, hvem der er villig til at investere i udviklingen af ML, AI, Deep Learning, investere i datacentre og data mining. En fuldgyldig håndtering af databaser kræver både infrastruktur og et team, hvilket ikke alle kan have råd til. Virksomheder, der allerede har et corporate warehouse eller udvikler en Data Governance-metode, bør satse på Big Data. Dem, der ikke er klar til langsigtede investeringer, anbefales at opbygge softwarearkitekturen gradvist og implementere komponenter én ad gangen. Tunge moduler og Hadoop kan man tage til sidst. Meget få køber færdige løsninger til opgaver som Data Quality og Data Mining; det er i høj grad virksomheder, der tilpasser systemet til deres specifikke behov – enten selv eller med hjælp fra udviklere.
Men ikke enhver billing-løsning kan tilpasses til at arbejde med Big Data. For at være præcise, kan ikke alle billingsystemer modificeres. Meget få kan gøre det.
Tre tegn på, at et billing-system har mulighed for at blive et værktøj til behandling af databaser:
- Horisontal skalerbarhed. Softwaren skal være fleksibel – vi taler om store data. En stigning i datamængden skal løses med en proportional stigning i 'hardware' i klyngen.
- Fejltolerance. Seriøse prepaid-systemer er normalt som standard fejltolerante: billing implementeres i en klynge på flere geolokationer, så de automatisk kan forsikre hinanden. Antallet af computere i Hadoop-klyngen skal også være tilstrækkeligt til at håndtere eventuelle fejl i en eller flere enheder.
- Lokalitet. Data skal opbevares og behandles ét sted, ellers kan man risikere store omkostninger ved datatransmission. En af de populære tilgange til Map-Reduce: HDFS opbevarer, Spark behandler. Ideelt set bør softwaren kunne integreres gnidningsfrit i datacenter infrastrukturen og være i stand til at gøre tre ting i én: indsamle, organisere og analysere information. serveren, ellers kan man gå bankerot på dataoverførslen. Et af de populære metoder i tilgang til Map-Reduce: HDFS gemmer, Spark bearbejder. Ideelt set bør softwaren integreres problemfrit i datacenterinfrastrukturen og være i stand til tre i ét: at indsamle, organisere og analysere information.
Kommandoen
Hvilke, hvordan og med hvilket formål programmet vil behandle store data, bestemmes af teamet. Ofte består det af én person – en data scientist. Men efter min mening inkluderer det mindste sæt medarbejdere til Big Data også en produktleder, en dataingeniør og en leder. Den første forstår tjenesterne, oversætter det tekniske sprog til et menneskeligt og omvendt. Dataingeniøren realiserer modellerne ved hjælp af Java/Scala og eksperimenterer med maskinlæring. Lederen koordinerer, sætter mål og kontrollerer faserne.
Problemer
Der opstår ofte problemer fra Big Data-teamets side, når det kommer til indsamling og behandling af data. Programmet skal forklares, hvad der skal indsamles, og hvordan det skal behandles – for at gøre dette skal man først selv forstå det. Og det er ikke så lige til hos udbyderne. Jeg vil fortælle om problemerne ved hjælp af et eksempel på en opgave til at reducere kundetab – det er netop denne, som telekommunikationsoperatørerne forsøger at løse med Big Data først.
Formulering af opgaver. Et veldefineret teknisk specifikationsdokument og forskellige forståelser af termerne er en århundreder gammel udfordring ikke kun for freelancere. Selv "tabte" kunder kan fortolkes på forskellige måder – som dem, der ikke har brugt operatørens tjenester i en måned, et halvt år eller et år. For at oprette en MVP på historiske data skal man forstå hyppigheden af tilbagevenden for kunderne fra frafaldet – dem, der har prøvet forbindelser fra andre operatører eller har forladt byen og brugt et andet nummer. Et andet vigtigt spørgsmål er: hvor lang tid før den forventede afgang af kunden skal udbyderen identificere dette og tage skridt? Seks måneder – for tidligt, en uge – for sent.
Begrebsforvirring. Normalt identificerer operatører kunden via telefonnummeret, så det giver mening, at karakteristikaene skal udtrækkes baseret på dette. Hvad med kundenummeret eller nummeret på den serviceapp? Man skal beslutte, hvilken enhed man skal betragte som kunden, så dataene i operatørens system ikke er forskellige. Vurdering af kundeværdien er også et spørgsmål – hvilken kunde er mere værdifuld for virksomheden, hvilken bruger kræver større indsats for at fastholde, og hvilke vil "falme væk" uanset hvad, og der er derfor ikke nogen mening i at bruge ressourcer på dem.
Mangel på information. Det er ikke alle medarbejdere hos udbyderen, der kan forklare BigData-teamet, hvad der konkret påvirker frafaldet af abonnenter og hvordan de mulige faktorer i faktureringen beregnes. Selv hvis en af dem nævnes - ARPU - viser det sig, at det også kan beregnes på forskellige måder: enten baseret på abonnentens periodiske betalinger eller på automatiske faktureringer. Og i løbet af arbejdet opstår der en million andre spørgsmål. Dækker modellen alle kunder, hvad koster det at fastholde en kunde, giver det mening at overveje alternative modeller, og hvad skal der gøres med de kunder, der ved en fejl er blevet fastholdt?
Målsætning. Jeg kender tre typer af fejl relateret til resultater, der får operatørerne til at miste tilliden til Big Data.
- Udbyderen investerer i BigData, behandler gigabyte af information, men får et resultat, som kunne anskaffes billigere. Enkle skemaer og modeller anvendes, primitiv analyse. Omkostningerne er mange gange højere, men resultatet er det samme.
- Operatøren får mangefacetterede data ud, men forstår ikke, hvordan de skal bruges. Analysen er der – den er klar og omfattende, men der er nul værdi i den. Det endelige resultat er ikke gennemtænkt, og det kan ikke blot være målet 'at behandle data'. At behandle er ikke nok – analysen skal danne basis for opdatering af forretningsprocesserne.
- Forældede forretningsprocesser og software, der ikke passer til de nye mål, kan være en hindring for brugen af Big Data-analyse. Det betyder, at der er sket svigt i forberedelsesfasen – algoritmen for handlinger og implementeringsfaserne for Big Data er ikke gennemtænkt.
Hvorfor
Tale om resultater. Jeg vil gennemgå metoderne til anvendelse og monetering af Big Data, som allerede anvendes af telekommunikationsoperatører.
Udbyderne forudser ikke kun frafald af abonnenter, men også belastninger på basestationer.
- Information om abonnenters bevægelse, aktivitet og hyppighed af tjenester analyseres. Resultatet: reduktion af antallet af overbelastninger gennem optimering og modernisering af problematiske områder i infrastrukturen.
- Telekommunikationsoperatører bruger information om abonnenters geolokation og strømme ved åbning af salgssteder. Således anvender MTS og Vympelcom allerede Big Data-analyse til at planlægge placeringen af nye kontorer.
- Udbydere monetiserer egne big data ved at tilbyde dem til tredjepartsfirmaer. De primære kunder for Big Data-operatører er kommercielle banker. Ved hjælp af big data overvåger de mistænkelige aktiviteter på SIM-kortene, som abonnenterne bruger, og benytter tjenester til risikovurdering, verifikation og overvågning. I 2017 bad Moskvas regering Tele2 om at levere data om bevægelser baseret på Big Data for at planlægge den tekniske og transportinfrastruktur.
- Big Data-analyse er en gylden mulighed for marketingfolk, der kan skabe personaliserede reklamekampagner for tusinder af abonnentgrupper, hvis de ønsker det. Telekommunikationsselskaber aggregerer sociale profiler, forbrugerinteresser og adfærdsmønstre for abonnenterne og bruger derefter de indsamlede big data til at tiltrække nye kunder. Men til storskala planlægning af markedsføring og PR mangler billettering ikke altid funktionen: programmet skal samtidig tage højde for mange faktorer parallelt med detaljerede oplysninger om kunderne.
Mens nogle stadig mener, at Big Data er tom snak, tjener "de store fire" allerede penge på det. MTS tjener 14 milliarder rubler på behandling af big data på seks måneder, mens Tele2 har øget indtægterne fra projekter med tre og en halv gang. Big Data går fra at være en trend til at være et must-have, som hele strukturen i teleselskaberne vil tilpasse sig.
Kilde: habr.com
