Në vitin 2008, BigData ishte një term i ri dhe një trend i njohur. Në vitin 2019, BigData është një objekt shitjeje, një burim fitimi dhe një motiv për projekte të reja ligjore.
Në vjeshtën e vitit të kaluar, qeveria ruse nisi një projektligj për rregullimin e të dhënave të mëdha. Identifikimi i njerëzve përmes informacionit është i ndaluar, por lejohet në kërkesë të organeve federale. Përpunimi i BigData për palët e treta është i mundur vetëm pas njoftimit të Roskomnadzor. Ligji zbatohet për kompanitë që kanë më shumë se 100 mijë adresa rrjetesh. Dhe, sigurisht, nuk ka si të mungojë regjistri - parashikohet krijimi i një të tillë me listën e operatorëve të bazave të dhënave. Dhe nëse deri më tani BigData nuk u perceptua seriozisht nga të gjithë, tani do të duhet të merret parasysh.
Nuk mund të anashkaloj bazat e të dhënave as unë, si drejtor i një kompanie zhvilluesi të faturimit, e cila përpunon këtë BigData. Do të ndalem te të dhënat e mëdha përmes prizmit të operatorëve të telekomunikacionit, përmes të cilëve kalojnë çdo ditë flukset e informatave për mijëra abonentë.
Teorema
Le të fillojmë, si në një detyrë matematike: së pari të dërgojmë provat se të dhënat e operatorëve të telekomunikacionit mund të quhen BigData. Zakonisht të dhënat e mëdha karakterizohen nga tre shenja VVV, megjithëse në interpretimet e lira numri i "V" arrinte edhe deri në shtatë.
Vëllimi. Vetëm MVNO e Rostelecom ka më shumë se një milion abonentë. Operatorët kryesorë përpunojnë të dhëna nga 44 deri në 78 milion njerëz. Trafiku rritet çdo sekondë: në tremujorin e parë të vitit 2019, abonentët kanë konsumuar 3.3 miliard GB nga telefonat mobilë.
Shpejtësia. Askush nuk e tregon më mirë dinamikën se statistikat, prandaj do të kaloj në parashikimet e Cisco. Deri në vitin 2021, 20% e trafikut IP do të shkojë te trafiku mobil - ai do të rritet gati tre herë brenda pesë vjetësh. Një e treta e lidhjeve mobile do të jetë për M2M - zhvillimi i IoT do të çojë në një rritje gjashtëfish të lidhjeve. Interneti i gjërave do të bëhet jo vetëm një drejtim fitimprurës, por gjithashtu me kërkesa për burime, prandaj disa operatorë do të përqendrohen vetëm në të. Ata që do ta zhvillojnë IoT si një shërbim të veçantë do të fitojnë dyfish trafik.
Larmia. Larmia është një koncept subjektiv, por operatorët e telekomunikacionit vërtet e dinë gati gjithçka për abonentët e tyre. Nga emri dhe të dhënat e pasaportës deri tek modeli i telefonit, blerjet, vendet e vizituara dhe interesat. Ndonjëherë mediat e dhëna sipas ligjit Yarovaya ruhen për më shumë se gjashtë muaj. Prandaj, le të pranojmë si aksion se të dhënat e mbledhura janë të larmishme.
Software dhe metodologji
Ofruesit janë një nga konsumatorët kryesorë të BigData, prandaj shumica e metodologjive të analizës së të dhënave të mëdha janë të aplikueshme për industrinë e telekomunikacionit. Pyetja tjetër është se kush është i gatshëm të investojë në zhvillimin e ML, AI, Deep Learning, të investojë në qendrat e të dhënave dhe minierat e të dhënave. Puna e plotë me BigData është një kombinim i infrastrukturës dhe ekipit, shpenzimet e të cilëve nuk i përballojnë të gjithë. Të investosh në BigData ia vlen për ndërmarrjet që tashmë kanë një depo të korporatave ose zhvillojnë metodologjinë e Data Governance. Ata që nuk janë ende të gatshëm për investime afatgjata, u sugjeroj të rrisin gradualisht arkitekturën e software-it dhe të vendosin komponentët një nga një. Modulët e rëndë dhe Hadoop mund të lihen për në fund. Pak njerëz blejnë një zgjidhje të gatshme për detyra si Data Quality dhe Data Mining, në përgjithësi kompanitë e përshtatin sistemin sipas specifikave dhe nevojave të tyre - vetë ose me ndihmën e zhvilluesve.
Por nuk çdo faturim mund të modifikohet për t'u punuar me BigData. Më saktë, jo të gjithë mund ta modifikojnë. Pak janë ata që mund ta bëjnë këtë.
Tri shenja që një sistemi faturimi ka mundësi të bëhet një mjet për të përpunuar të dhëna të mëdha:
- Shkallëzim horizontal. Software duhet të jetë fleksibël - po flasim për të dhëna të mëdha. Rritja e sasisë së informacionit duhet të zgjidhet me një rritje proporcionale të "harduerit" në klaster.
- Qëndrueshmëria. Sistemet e rënda prepaid zakonisht janë të qëndrueshme: faturimi zhvillohet në një klaster në disa gjeolokacione, kështu që ato sigurojnë automatikisht njëra-tjetrën. Numri i kompjuterëve në klasterin Hadoop gjithashtu duhet të jetë mjaftueshëm i lartë për në rast të dështimit të një ose më shumë.
- Lokaliteti. Të dhënat duhet të ruhen dhe të përpunohen në të njëjtin vend, ndryshe do të thyeni në transferimin e të dhënave. Një nga skemat e njohura të qasjes Map-Reduce: HDFS ruan, Spark përpunon. Në mënyrë ideale, software duhet të integrohet pa probleme në infrastrukturën e qendrës së të dhënave dhe të jetë në gjendje të bëjë tre në një: të mbledhë, organizojë dhe analiza informacionin. serveri, ndryshe, mund të dëmtoheni gjatë transferimit të të dhënave. Një nga skemat e njohura të qasjes Map-Reduce: HDFS ruan, Spark përpunon. Idealisht, programi duhet të integrohet pa dhimbje në infrastrukturën e Qendrës së Të Dhënave dhe të dijë të bëjë tre në një: të mbledhë, organizojë dhe analizojë informacionin.
Ekipa
ĂfarĂ«, si dhe pĂ«r çfarĂ« qĂ«llimi programi do tĂ« pĂ«rpunojĂ« tĂ« dhĂ«na tĂ« mĂ«dha â kĂ«tĂ« vendos ekipi. Shpesh ai pĂ«rbĂ«het nga njĂ« person â data scientist. MegjithatĂ«, sipas mendimit tim, paketa minimale e punonjĂ«sve pĂ«r BigData pĂ«rfshin gjithashtu njĂ« Menaxher Produkti, njĂ« Inxhinier tĂ« DhĂ«nash dhe njĂ« Drejtor. I pari kupton shĂ«rbimet, pĂ«rkthehet nga gjuha teknike nĂ« njĂ« gjuhĂ« tĂ« kuptueshme dhe anasjelltas. Inxhinieri i tĂ« dhĂ«nave e materializon modelin duke pĂ«rdorur Java/Scala dhe eksperimenton me Machine Learning. Drejtori koordinon, vendos objektiva dhe kontrollon fazat.
Problemet
SaktĂ«sisht nga ana e ekipit tĂ« BigData zakonisht lindin probleme gjatĂ« mbledhjes dhe pĂ«rpunimit tĂ« tĂ« dhĂ«nave. Programi duhet tĂ« kuptojĂ« se çfarĂ« duhet tĂ« mbledhĂ« dhe si tĂ« pĂ«rpunojĂ« â pĂ«r ta shpjeguar kĂ«tĂ«, duhet sĂ« pari tĂ« kuptohet vetĂ«. Dhe pĂ«r ofruesit, kjo nuk Ă«shtĂ« kaq e thjeshtĂ«. Po tregoj pĂ«r problemet me shembullin e detyrĂ«s pĂ«r reduktimin e fluksit tĂ« abonentĂ«ve â kjo Ă«shtĂ« pikĂ«risht ajo qĂ« operatoret e komunikimeve pĂ«rpiqen tĂ« zgjidhin fillimisht me ndihmĂ«n e BigData.
PĂ«rcaktimi i detyrave. NjĂ« specifikim i mirĂ« i detyrĂ«s dhe kuptime tĂ« ndryshme tĂ« terminologjisĂ« â Ă«shtĂ« njĂ« dhimbje shumĂ«vjeçare jo vetĂ«m pĂ«r freelancerĂ«t. Edhe "abonentĂ«t e humbur" mund tĂ« interpretohen nĂ« mĂ«nyra tĂ« ndryshme â si ata qĂ« nuk kanĂ« pĂ«rdorur shĂ«rbimet e operatorit pĂ«r njĂ« muaj, gjashtĂ« muaj ose njĂ« vit. Dhe pĂ«r krijimin e MVP-sĂ« mbi tĂ« dhĂ«na historike, duhet tĂ« kuptohet frekuenca e kthimeve tĂ« abonentĂ«ve nga fluksi â ata qĂ« provuan shĂ«rbimet e operatorĂ«ve tĂ« tjerĂ« ose u larguan nga qyteti dhe pĂ«rdorĂ«n njĂ« numĂ«r tjetĂ«r. NjĂ« pyetje tjetĂ«r e rĂ«ndĂ«sishme: brenda sa kohĂ« duhet tĂ« pĂ«rcaktojĂ« operatori se njĂ« abonent ka pĂ«r qĂ«llim tĂ« largohet dhe tĂ« ndĂ«rmarrĂ« masa? Pas gjashtĂ« muajsh â herĂ«t, pas njĂ« jave â tashmĂ« vonĂ«.
ZĂ«vendĂ«simi i kuptimeve. Zakonisht operatorĂ«t pĂ«rcaktojnĂ« klientin sipas numrit tĂ« telefonit, prandaj Ă«shtĂ« logjike qĂ« karakteristikat tĂ« ofrohen sipas tij. Por çfarĂ« ndodh me llogarinĂ« ose numrin e aplikacioneve pĂ«r shĂ«rbim? Duhet tĂ« pĂ«rcaktojmĂ« se cila njĂ«si duhet tĂ« merret si klient, nĂ« mĂ«nyrĂ« qĂ« tĂ« dhĂ«nat nĂ« sistemin e operatorit tĂ« mos jenĂ« tĂ« ndryshme. VlerĂ«simi i rĂ«ndĂ«sisĂ« sĂ« klientit Ă«shtĂ« gjithashtu njĂ« çështje â cili abonent Ă«shtĂ« mĂ« i vlefshĂ«m pĂ«r kompaninĂ«, pĂ«r mbajtjen e cilit pĂ«rdorues duhet tĂ« investohen mĂ« shumĂ« burime, dhe cilĂ«t "do tĂ« ikin" pavarĂ«sisht nga gjithçka dhe nuk ka kuptim tĂ« shpenzohen burime pĂ«r ta.
Mungesa e informacionit. ShumĂ« nga punonjĂ«sit e ofruesit nuk janĂ« nĂ« gjendje tâu shpjegojnĂ« ekipit tĂ« BigData se çfarĂ« konkretisht ndikon nĂ« fluksin e abonentĂ«ve dhe si llogariten faktorĂ«t e mundshĂ«m nĂ« faturim. Edhe nĂ«se pĂ«rmendet njĂ« nga ta â ARPU, â zbulohet se pĂ«rllogaritja e tij mund tĂ« bĂ«het nĂ« mĂ«nyra tĂ« ndryshme: ose sipas pagesave periodike tĂ« klientit, ose sipas faturimeve automatike. GjatĂ« procesit tĂ« punĂ«s lindin miliona pyetje tĂ« tjera. A pĂ«rfshihen tĂ« gjithĂ« klientĂ«t nĂ« model, çfarĂ« Ă«shtĂ« kostoja pĂ«r mbajtjen e klientit, a ka kuptim tĂ« mendohet pĂ«r modele alternative dhe çfarĂ« tĂ« bĂ«het me klientĂ«t qĂ« u mbajtĂ«n duke gabuar.
Cak-përcaktimi. E di tri lloje gabimesh që lidhen me rezultatin që bëjnë operatorët të zhgënjehen nga BigData.
- Ofrohet investimi në BigData, përpunohen gigabajtë informacioni, por rezultati që merret mund të ishte arritur edhe më lirë. Përdoren skemat dhe modelet e thjeshta, analiza primitive. Kostoja e prodhimit është shumë më e lartë, por rezultati është i njëjtë.
- Operatori merr tĂ« dhĂ«na shumĂ«dimensionale, dhe nuk e kupton se si t'i pĂ«rdorĂ« ato. Analiza Ă«shtĂ« atje â po, e qartĂ« dhe e madhe, por nga ajo nuk ka asnjĂ« pĂ«rfitim. Nuk Ă«shtĂ« menduar rezultati pĂ«rfundimtar, i cili nuk mund tĂ« pĂ«rfshijĂ« qĂ«llimin "pĂ«r tĂ« pĂ«rpunuar tĂ« dhĂ«nĂ«". ĂshtĂ« e pamjaftueshme tĂ« pĂ«rpunosh â analiza duhet tĂ« bĂ«het baza pĂ«r tĂ« rifreskuar proceset biznesore.
- Pengesat pĂ«r pĂ«rdorimin e analizĂ«s BigData mund tĂ« jenĂ« proceset biznesore tĂ« vjetruara dhe software qĂ« nuk Ă«shtĂ« i pĂ«rshtatshĂ«m pĂ«r qĂ«llime tĂ« reja. Pra, gabimi Ă«shtĂ« bĂ«rĂ« nĂ« fazĂ«n e pĂ«rgatitjes â nuk Ă«shtĂ« menduar algoritmi i veprimeve dhe fazat e zbatimit tĂ« BigData nĂ« punĂ«.
Pse
Këtu për sa i përket rezultateve. Do të kaloj në mënyrat e përdorimit dhe monetizimit të BigData që operatorët e komunikimeve tashmë po i përdorin.
Ofruesit parashikojnë jo vetëm fluksin e abonentëve, por edhe ngarkesat në stacionet bazë.
- Analizohet informacioni mbi lëvizjen e abonentëve, aktivitetin dhe shërbimet frekuente. Rezultati: reduktimi i numrit të ngarkesave përmes optimizimit dhe modernizimit të segmenteve problematike të infrastrukturës.
- Informacioni mbi gjeolokacionin e abonentëve dhe dendësinë e fluksit, operatorët e komunikimit e përdorin gjatë hapjes së pikave të shitjes. Kështu, analitika BigData po përdoret tashmë nga MTS dhe Vimpelcom për të planifikuar vendosjen e zyrave të reja.
- Ofruesit shfrytëzojnë të dhënat e mëdha duke i ofruar ato kompanive të treta. Klientët kryesorë të operatorëve të BigData janë bankat komerciale. Me ndihmën e të dhënave, ata monitorojnë aktivitete të dyshimta të kartave SIM të përdoruesve, të cilave u janë lidhur kartat, përdorin shërbime të vlerësimit të rrezikut, verifikimit dhe monitorimit. Në vitin 2017, qeveria e Moskës kërkoi nga Tele2 dinamikën e lëvizjes përmes të dhënave të BigData - për të planifikuar infrastrukturën teknike dhe transporti.
- Analitika BigData është një burim i çmuar për marketerët, të cilët mund të krijojnë fushata reklamuese të personalizuara për mijëra grupe përdoruesish, nëse duan. Kompanitë telekomunikuese agregojnë profile sociale, interesa konsumatorësh dhe modele sjelljeje të përdoruesve, dhe më pas i përdorin të dhënat e mbledhura për të attractuar klientë të rinj. Por për planifikimin masiv të promocionit dhe PR, sistemi i faturimit nuk ka gjithmonë funksionalitetin e nevojshëm: programi duhet të marrë parasysh shumë faktorë njëkohësisht, së bashku me informacionin e detajuar për klientët.
Ndërsa disa akoma e konsiderojnë BigData si një term të zbrazët, "katërshja e madhe" tashmë po bën para nga ajo. MTS ka fituar 14 miliardë rubla në gjashtë muaj nga përpunimi i të dhënave të mëdha, ndërsa Tele2 e ka rritur të ardhurat nga projektet me tri herë e gjysmë. BigData po transformohet nga një trend në një domosdoshmëri, për të cilën do të ristrukturohet e gjithë organizata e operatorëve të komunikimit.
Burimi: habr.com
