Big data big fakturazioa: BigData-ri buruz telekomunikazioetan

2008an, BigData termino berria eta modako joera izan zen. 2019an, BigData salmenta objektu, irabazi iturri eta faktura berrien arrazoi bat da.

Joan den udazkenean, Errusiako Gobernuak big data arautzeko lege proiektu bat abiatu zuen. Pertsonak ez dira informaziotik identifikatu, baina agintari federalek hala eskatuta egin dezakete. Hirugarrenentzako BigData prozesatzea Roskomnadzor-i jakinarazi ondoren bakarrik da. 100 mila sare-helbide baino gehiago dituzten enpresak legearen menpe daude. Eta, noski, non erregistrorik gabe - datu-baseen operadoreen zerrenda batekin sortu behar da. Eta lehen Big Data hori denek serio hartzen ez bazuten, orain kontuan hartu beharko da.

Nik, Big Data hori prozesatzen duen fakturazio garatzaileko enpresa bateko zuzendari naizen aldetik, ezin dut datu-basea alde batera utzi. Big datari buruz pentsatuko dut telekomunikazio-operadoreen prismatik, zeinen fakturazio-sistemen bitartez milaka harpidedunen inguruko informazio-fluxuak pasatzen baitira egunero.

Teorema

Has gaitezen, matematika-problema batean bezala: lehenik eta behin frogatzen dugu telekomunikazio-operadoreen datuak BigDat deitu daitezkeela. Normalean, big datak hiru VVV ezaugarri ditu, interpretazio askeetan "V" kopurua zazpira iristen den arren.

Bolumena. Rostelecom-en MVNOk soilik milioi bat harpidedun baino gehiago eskaintzen ditu. Ostalari-operadore nagusiek 44 eta 78 milioi pertsonaren datuak kudeatzen dituzte. Trafikoa segundoro hazten ari da: 2019ko lehen hiruhilekoan, harpidedunek dagoeneko 3,3 milioi GB sartu dituzte telefono mugikorretik.

Abiadura. Inork ezin dizu dinamikari buruz estatistikak baino hobeto esan, beraz, Ciscoren iragarpenak aztertuko ditut. 2021erako, IP trafikoaren % 20 mugikorrerako trafikora joango da - bost urtean ia hirukoiztu egingo da. Konexio mugikorren herena M2M izango da - IoT-aren garapenak konexioak sei aldiz handitzea ekarriko du. Gauzen Interneta eremu errentagarria ez ezik, baliabideen erabilera intentsiboa ere bihurtuko da, beraz, operadore batzuk horretan bakarrik zentratuko dira. Eta IoT zerbitzu bereizi gisa garatzen dutenek trafiko bikoitza jasoko dute.

Barietatea. Aniztasuna kontzeptu subjektiboa da, baina telekomunikazio-operadoreek benetan dakite ia dena beren harpidedunei buruz. Izena eta pasaportearen xehetasunetatik telefonoaren eredua, erosketak, bisitatutako lekuak eta interesak. Yarovaya legearen arabera, multimedia-fitxategiak sei hilabetez gordetzen dira. Har dezagun, beraz, bildutako datuak askotarikoak direla axioma gisa.

Softwarea eta metodologia

Hornitzaileak BigData-ren kontsumitzaile nagusietako bat dira, beraz, big data aztertzeko teknika gehienak telekomunikazioen industrian aplikagarriak dira. Beste galdera bat da nor dagoen prest ML, AI, Deep Learning garapenean inbertitzeko, datu zentroetan eta datu meatzaritzan inbertitzeko. Datu-base batekin egindako lan osoa azpiegiturak eta talde batek osatzen dute, eta kostuak denek ezin dituzte ordaindu. Dagoeneko biltegi korporatibo bat duten edo Datuen Gobernantza metodologia garatzen ari diren enpresek BigDataren aldeko apustua egin beharko lukete. Oraindik epe luzerako inbertsioetarako prest ez daudenentzat, pixkanaka software-arkitektura eraikitzea eta osagaiak banan-banan instalatzea gomendatzen dizuet. Modulu astunak eta Hadoop utz ditzakezu azkenerako. Jende gutxik erosten du datuen kalitatea eta datuen meatzaritza bezalako arazoetarako prest egindako irtenbidea; enpresek, oro har, sistema pertsonalizatzen dute beren zehaztapen eta behar zehatzetara - beraiek edo garatzaileen laguntzarekin.

Baina fakturazio guztiak ezin dira aldatu BigData-rekin lan egiteko. Edo hobeto esanda, ez da dena bakarrik alda daiteke. Jende gutxik egin dezake hau.

Fakturazio sistema batek datu-baseak prozesatzeko tresna bihurtzeko aukera duela adierazten duten hiru seinale:

• Eskalagarritasun horizontala. Softwareak malgua izan behar du - big dataz ari gara. Informazio-kopuruaren gehikuntza klusterrean hardwarearen igoera proportzionalaz tratatu behar da.
• Akatsen tolerantzia. Aurrez ordaindutako sistema larriek akatsak jasan ohi dituzte lehenespenez: fakturazioa kluster batean zabaltzen da hainbat geokokapenetan, elkarren artean automatikoki aseguratu daitezen. Hadoop klusterrean ere nahikoa ordenagailu egon beharko luke, batek edo gehiagok huts egiten badu.
• Tokia. Datuak zerbitzari batean gorde eta prozesatu behar dira, bestela datu-transferentzian huts egin dezakezu. Map-Reduce hurbilketa eskema ezagunetako bat: HDFS dendak, Spark prozesuak. Egokiena, softwarea ezin hobeto integratzea datu-zentroko azpiegituran eta hiru gauza bakarrean egiteko gai izan behar du: informazioa bildu, antolatu eta aztertu.

Team

Zer, nola eta zertarako prozesatuko dituen programak big data taldeak erabakitzen du. Askotan pertsona batek osatzen du: datu-zientzialari batek. Nahiz eta, nire ustez, Big Datarako langileen gutxieneko paketeak Produktu-kudeatzailea, Datu-ingeniaria eta Kudeatzailea ere barne hartzen dituen. Lehenengoak zerbitzuak ulertzen ditu, hizkuntza teknikoa giza hizkuntzara itzultzen du eta alderantziz. Data Engineer-ek ereduak biziarazten ditu Java/Scala erabiliz eta Machine Learning-ekin esperimentatzen ditu. Zuzendariak koordinatzen ditu, helburuak ezartzen ditu eta etapak kontrolatzen ditu.

Problems

BigData taldearen partetik izaten da arazoak jaso eta prozesatzeko orduan. Programak zer bildu eta nola prozesatu azaldu behar du - hori azaltzeko, lehenik eta behin, zuk zeuk ulertu behar duzu. Baina hornitzaileentzat, gauzak ez dira hain sinpleak. Arazoei buruz ari naiz harpidedunen murrizketa murrizteko zereginaren adibidea erabiliz - hau da, lehenik eta behin, Big Dataren laguntzarekin telekomunikazio-operadoreak konpontzen saiatzen ari direnak.

Helburuak finkatzea. Ondo idatzitako zehaztapen teknikoak eta terminoen ulerkera desberdinak mendeetako mina izan dira autonomoentzat ez ezik. Harpidedun "jaitsitakoak" ere hainbat modutara interpreta daitezke - hilabete, sei hilabete edo urtebetez operadorearen zerbitzuak erabili ez dituztenak bezala. Eta datu historikoetan oinarritutako MVP bat sortzeko, harpidedunen itzulketen maiztasuna ulertu behar duzu - beste operadore batzuk probatu edo hiria utzi eta beste zenbaki bat erabili zutenek. Beste galdera garrantzitsu bat: harpidedunak irtetea espero den baino zenbat denbora lehenago zehaztu beharko luke hornitzaileak eta neurriak hartu behar ditu? Sei hilabete goizegi da, aste bat beranduegi.

Kontzeptuen ordezkapena. Normalean, operadoreek bezero bat telefono-zenbakiaren bidez identifikatzen dute, beraz, logikoa da seinaleak hura erabiliz igotzea. Zer gertatzen da zure kontu pertsonala edo zerbitzu-aplikazioaren zenbakia? Bezero gisa zein unitate hartu behar den erabaki behar da, operadorearen sistemako datuak aldatu ez daitezen. Bezero baten balioa baloratzea ere zalantzazkoa da: zein harpidedun den enpresarentzat baliotsuagoa, zein erabiltzaileri atxikitzeko ahalegin handiagoa eskatzen duen eta zeintzuk "erortzen" diren, edozein kasutan, eta ez du balio haietan baliabideak gastatzea.

Informazio falta. Hornitzaileen langile guztiek ezin diote BigData taldeari azaltzeko zerk eragiten dion bereziki harpidedunen biraka eta nola kalkulatzen diren fakturazioan faktore posibleak. Nahiz eta horietako bat izendatu zuten - ARPU - modu ezberdinetan kalkulatu daitekeela: bezeroen aldizkako ordainketen bidez edo fakturazio-kostu automatikoen bidez. Eta lan prozesuan, beste milioi bat galdera sortzen dira. Ereduak bezero guztiak estaltzen al ditu, zein den bezeroa atxikitzearen prezioa, ba al dago eredu alternatiboetan pentsatzeak eta zer egin oker artifizialki atxikitako bezeroekin.

Helburuak ezartzea. Hiru emaitza akats mota ezagutzen ditut operadoreak datu-basearekin zapuztuta egotea eragiten dutenak.

1. Hornitzaileak BigData-n inbertitzen du, gigabyte informazioa prozesatzen du, baina merkeago lor zitekeen emaitza lortzen du. Diagrama eta eredu sinpleak, analitika primitiboak erabiltzen dira. Kostua askotan handiagoa da, baina emaitza berdina da.
2. Operadoreak datu anitzekoak jasotzen ditu irteera gisa, baina ez du ulertzen nola erabili. Bada analitika - hemen dago, ulergarria eta bolumena, baina ez du ezertarako balio. Azken emaitza, "datuak prozesatzeko" helburua izan ezin duena, ez da pentsatu. Ez da nahikoa prozesatzea - ​​analisiak negozio-prozesuak eguneratzeko oinarri bihurtu behar dira.
3. BigData analitikak erabiltzeko oztopoak negozio-prozesu zaharkituak eta helburu berrietarako egokiak ez diren softwareak izan daitezke. Horrek esan nahi du akats bat egin zutela prestaketa fasean: ez zuten ekintzen algoritmoan eta Big Data lanean sartzeko faseetan pentsatu.

Zertarako

Emaitzei buruz hitz egitea. Telekomunikazio-operadoreek dagoeneko erabiltzen dituzten Big Data erabiltzeko eta dirua irabazteko moduak aztertuko ditut.
Hornitzaileek harpidedunen irteera ez ezik, oinarrizko estazioen karga ere aurreikusten dute.

1. Harpidedunen mugimenduei, jarduerari eta maiztasun zerbitzuei buruzko informazioa aztertzen da. Emaitza: gainkarga-kopurua murriztea azpiegituren arazo-eremuak optimizatu eta modernizatzeagatik.
2. Telekomunikazio-operadoreek harpidedunen geokokapenari eta trafiko-dentsitateari buruzko informazioa erabiltzen dute salmenta puntuak irekitzean. Horrela, BigData analytics dagoeneko erabiltzen dute MTS eta VimpelCom-ek bulego berrien kokapena planifikatzeko.
3. Hornitzaileek beren datu handiak dirua irabazten dituzte hirugarrenei eskainiz. BigData operadoreen bezero nagusiak banku komertzialak dira. Datu-basea erabiliz, txartelak lotuta dauden harpidedunaren SIM txartelaren jarduera susmagarriak kontrolatzen dituzte eta arriskuak puntuatzeko, egiaztatzeko eta monitorizatzeko zerbitzuak erabiltzen dituzte. Eta 2017an, Moskuko gobernuak Tele2-ren BigData datuetan oinarritutako mugimendu dinamikak eskatu zituen azpiegitura teknikoak eta garraiobideak planifikatzeko.
4. BigData analytics urre meategi bat da merkaturatzaileentzat, eta harpidedun taldeentzako iragarki-kanpaina pertsonalizatuak sor ditzakete, nahi izanez gero. Telekomunikazio-enpresek gizarte-profilak, kontsumitzaileen interesak eta harpidedunen jokabide-ereduak batzen dituzte, eta, ondoren, bildutako BigData erabiltzen dute bezero berriak erakartzeko. Baina eskala handiko sustapenerako eta PR plangintzarako, fakturazioak ez du beti funtzionalitate nahikoa: programak aldi berean faktore asko hartu behar ditu kontuan bezeroei buruzko informazio zehatzarekin batera.

Batzuek oraindik BigData esaldi hutstzat jotzen duten arren, Lau Handiak dagoeneko dirua irabazten ari dira. MTS-k 14 milioi errublo irabazten ditu datu handien prozesamendutik sei hilabetetan, eta Tele2-k proiektuen diru-sarrerak hiru aldiz eta erdi handitu ditu. BigData joera izatetik behar-beharrezko bilakatzen ari da, eta horren azpian telekomunikazio-operadoreen egitura osoa berreraikiko da.

Iturria: www.habr.com