2008 var BigData en ny term och en trendig trend. Under 2019 är BigData ett försäljningsobjekt, en vinstkälla och en anledning till nya räkningar.
I höstas initierade den ryska regeringen ett lagförslag för att reglera big data. Det är förbjudet att identifiera personer från informationen, men det är tillåtet att göra detta på begäran av de federala myndigheterna. Bearbetning av BigData för tredje part - endast efter meddelande från Roskomnadzor. Företag med mer än 100 tusen nätverksadresser faller under lagen. Och, naturligtvis, där utan register - det är tänkt att skapa ett med en lista över databasoperatörer. Och om inte BigData innan dess togs på allvar av alla, nu får man räkna med det.
Jag, som chef för faktureringsutvecklingsföretaget som bearbetar denna BigData, kan inte ignorera databasen. Jag kommer att tänka på big data genom telekomoperatörernas prisma, genom vars faktureringssystem flöden av information om tusentals abonnenter varje dag.
Sats
Låt oss börja, som i ett matematiskt problem: först bevisar vi att data från telekomoperatörer kan kallas BigDat. Standard big data kännetecknas av tre VVV-funktioner, även om antalet "V" i fria tolkningar nådde upp till sju.
volym. Enbart Rostelecoms MVNO betjänar mer än en miljon abonnenter. Nyckelvärdoperatörer behandlar data från 44 miljoner till 78 miljoner människor. Trafiken växer för varje sekund: under första kvartalet 2019 har abonnenter redan surfat 3,3 miljarder GB från mobiltelefoner.
Hastighet. Ingen bättre än statistik kommer att berätta om dynamiken, så jag ska gå igenom Ciscos prognoser. År 2021 kommer 20 % av IP-trafiken att gå till mobiltrafik – den kommer nästan att tredubblas på fem år. En tredjedel av mobilanslutningarna kommer att finnas på M2M – utvecklingen av IoT kommer att leda till en sexfaldig ökning av anslutningarna. Internet of Things kommer att bli inte bara lönsamt, utan också resurskrävande, så vissa operatörer kommer bara att fokusera på det. Och de som utvecklar IoT som en separat tjänst kommer att få dubbel trafik.
Mängd. Mångfald är ett subjektivt begrepp, men teleoperatörer vet egentligen nästan allt om sina abonnenter. Från namn och passuppgifter till telefonmodell, köp, besökta platser och intressen. Enligt Yarovaya-lagen lagras mediefiler i sex månader. Så låt oss ta det som ett axiom att den insamlade informationen är mångsidig.
Programvara och metodik
Leverantörer är en av de största konsumenterna av BigData, så de flesta tekniker för big data-analys är tillämpliga på telekomindustrin. En annan fråga är vem som är redo att investera i utvecklingen av ML, AI, Deep Learning, investera i datacenter och datautvinning. Fullständigt arbete med databasen består av infrastruktur och ett team, vars kostnader inte alla har råd med. Det är värt att satsa på BigData för företag som redan har företagslagring eller utvecklar Data Governance-metoden. För den som ännu inte är redo för långsiktiga investeringar råder jag dig att successivt bygga upp mjukvaruarkitekturen och installera komponenter en efter en. Tunga moduler och Hadoop kan lämnas till sist. Få människor köper en färdig lösning för uppgifter som Data Quality och Data Mining, mestadels företag anpassar systemet för att passa deras specifikationer och behov – på egen hand eller med hjälp av utvecklare.
Men ingen fakturering kan ändras för att fungera med BigData. Snarare kan inte bara alla modifiera. Få människor kan göra det.
Tre tecken på att faktureringssystemet har en chans att bli ett databasbearbetningsverktyg:
- Horisontell skalbarhet. Programvaran måste vara flexibel – vi pratar om big data. En ökning av mängden information bör behandlas med en proportionell ökning av hårdvaran i klustret.
- Feltolerans. Seriösa förbetalda system är vanligtvis feltoleranta som standard: fakturering distribueras i ett kluster i flera geolokaliseringar så att de automatiskt försäkrar varandra. Det bör också finnas tillräckligt med datorer i Hadoop-klustret om en eller flera skulle misslyckas.
- Lokalitet. Data måste lagras och bearbetas på samma server, annars kan du gå sönder vid dataöverföring. Ett av de populära Map-Reduce-metoderna: HDFS-butiker, Spark-processer. Helst bör programvaran sömlöst integreras i datacenterinfrastrukturen och kunna göra tre saker i ett: samla in, organisera och analysera information.
Team
Vad, hur och i vilket syfte programmet ska behandla big data bestäms av teamet. Ofta består den av en person - en datavetare. Även om, enligt min mening, minimipaketet med anställda för BigData också inkluderar en produktchef, en dataingenjör och en chef. Den första förstår tjänsterna, översätter det tekniska språket till mänskligt och vice versa. Dataingenjören väcker modeller till liv med Java/Scala och experimenterar med maskininlärning. Ledaren koordinerar, sätter upp mål, styr stegen.
Problem
Det är från BigData-teamets sida som det oftast uppstår problem vid insamling och bearbetning av data. Programmet behöver förklaras vad som ska samlas in och hur det ska bearbetas - för att förklara detta måste du först förstå det själv. Men leverantörer är inte så enkla. Jag talar om problemen med att använda exemplet med uppgiften att minska utflödet av abonnenter - det är denna uppgift som teleoperatörerna försöker lösa med hjälp av BigData i första hand.
Sätta mål. Kompetent sammansatt TOR och olika förståelse av termer är en månghundraårig smärta inte bara för frilansare. Även "förlorade" abonnenter kan tolkas på olika sätt - som att de inte använder operatörens tjänster på en månad, sex månader eller ett år. Och för att skapa en MVP baserad på historiska data måste du förstå hur ofta abonnenter återvänder från utflödet - de som försökte ansluta andra operatörer eller lämnade staden och använde ett annat nummer. En annan viktig fråga: hur lång tid innan abonnentens förväntade avgång ska leverantören fastställa detta och vidta åtgärder? Ett halvår är för tidigt, en vecka är redan för sent.
Substitution av begrepp. Vanligtvis identifierar operatörer en klient med telefonnummer, så det är logiskt att skyltar ska laddas upp av den. Vad sägs om ett personligt konto eller tjänstansökningsnummer? Det är nödvändigt att bestämma vilken enhet som ska tas som kund så att uppgifterna i operatörens system inte skiljer sig åt. Att uppskatta värdet av en kund är också i fråga - vilken abonnent som är mer värdefull för företaget, vilken användare behöver mer ansträngning för att behålla och vilka som kommer att "falla av" i alla fall och det är ingen mening att lägga resurser på dem.
Brist på information. Inte alla leverantörsanställda kan förklara för BigData-teamet vad som exakt påverkar utflödet av abonnenter och hur möjliga faktorer beaktas vid fakturering. Även om en av dem hette - ARPU - visar det sig att den kan beräknas på olika sätt: antingen genom periodiska kundbetalningar eller genom automatiska faktureringsavgifter. Och i processen uppstår en miljon andra frågor. Täcker modellen alla kunder, vad kostar det att behålla en kund, är det meningsfullt att tänka igenom alternativa modeller och vad man ska göra med kunder som av misstag har behållits på konstgjord väg.
Målsättning. Jag känner till tre typer av resultatrelaterade fel som gör att operatörer blir frustrerade över databasen.
- Leverantören investerar i BigData, bearbetar gigabyte med information, men får ett resultat som hade kunnat fås billigare. Enkla scheman och modeller, primitiv analys används. Kostnaden är många gånger högre, men resultatet är detsamma.
- Operatören tar emot mångfacetterad data vid utgången, men förstår inte hur man använder dem. Det finns analys - här är det, förståeligt och omfattande, men det finns ingen mening med det. Slutresultatet är inte genomtänkt, vilket inte kan bestå av målet att "bearbeta datan". Det räcker inte med bearbetning – analyser bör bli grunden för uppdatering av affärsprocesser.
- Ett hinder för användningen av BigData-analys kan vara föråldrade affärsprocesser och mjukvara som inte lämpar sig för nya ändamål. Det betyder att de gjorde fel på förberedelsestadiet - de tänkte inte över algoritmen för åtgärder och stadierna för att introducera BigData i arbetet.
För vad
På tal om resultat. Jag kommer att gå igenom sätten att använda och tjäna pengar på BigData, som telekomoperatörer redan använder.
Leverantörer förutspår inte bara utflödet av abonnenter, utan också belastningen på basstationer.
- Information om rörelser för abonnenter, aktivitet och frekvenstjänster analyseras. Resultat: minskning av antalet överbelastningar på grund av optimering och modernisering av problemområden i infrastrukturen.
- Teleoperatörer använder information om abonnenternas geolokalisering och trafiktäthet när de öppnar försäljningsställen. Så BigData analytics används redan av MTS och Vimpelcom för att planera lokaliseringen av nya kontor.
- Leverantörer tjänar pengar på sin egen big data genom att erbjuda den till tredjepartsföretag. BigData-operatörernas huvudsakliga kunder är affärsbanker. Med hjälp av databasen spårar de misstänkta aktiviteter på abonnentens SIM-kort som korten är kopplade till, använder riskpoäng-, verifierings- och övervakningstjänster. Och 2017 begärde Moskva-regeringen rörelsens dynamik enligt BigData-data från Tele2 för att planera teknisk infrastruktur och transportinfrastruktur.
- BigData analytics är en guldgruva för marknadsförare som kan skapa personliga annonskampanjer för så många som tusentals prenumerantgrupper om de vill. Telekomföretag samlar sociala profiler, konsumentintressen och beteendemönster hos abonnenter och använder sedan insamlad BigData för att locka nya kunder. Men för storskalig marknadsföring och PR-planering har fakturering inte alltid tillräcklig funktionalitet: programmet måste samtidigt ta hänsyn till många faktorer parallellt med detaljerad information om kunder.
Medan någon fortfarande anser att BigData är en tom fras, tjänar de fyra stora redan pengar på det. MTS tjänar 14 miljarder rubel på att bearbeta big data på sex månader, och Tele2 ökade intäkterna från projekt med tre och en halv gånger. BigData förvandlas från en trend till ett måste, under vilket hela strukturen för telekomoperatörer kommer att byggas om.
Källa: will.com