Big data big billing: dwar BigData fit-telekomunikazzjoni

Fl-2008, BigData kienet terminu ġdid u xejra tal-moda. Fl-2019, BigData hija oġġett ta 'bejgħ, sors ta' profitt u raġuni għal kontijiet ġodda.

Il-ħarifa li għaddiet, il-gvern Russu beda abbozz biex jirregola l-big data. L-individwi jistgħu ma jiġux identifikati mill-informazzjoni, iżda jistgħu jagħmlu dan fuq talba tal-awtoritajiet federali. Ipproċessar BigData għal partijiet terzi huwa biss wara notifika ta 'Roskomnadzor. Kumpaniji li għandhom aktar minn 100 elf indirizz tan-netwerk jaqgħu taħt il-liġi. U, ovvjament, fejn mingħajr reġistri - suppost toħloq waħda b'lista ta 'operaturi ta' database. U jekk qabel din il-Big Data ma kinitx tittieħed bis-serjetà minn kulħadd, issa trid tiġi kkunsidrata.

Jien, bħala d-direttur ta’ kumpanija li tiżviluppa l-kontijiet li tipproċessa din il-Big Data ħafna, ma nistax ninjora d-database. Se naħseb dwar il-big data permezz tal-priżma tal-operaturi tat-telekomunikazzjoni, li permezz tas-sistemi tal-kontijiet tagħhom jgħaddu flussi ta 'informazzjoni dwar eluf ta' abbonati kuljum.

Teorema

Nibdew, bħal fi problema tal-matematika: l-ewwel nipprovaw li d-dejta tal-operaturi tat-telekomunikazzjoni tista 'tissejjaħ BigDat. Tipikament, dejta kbira hija kkaratterizzata minn tliet karatteristiċi VVV, għalkemm f'interpretazzjonijiet ħielsa in-numru ta '"Vs" laħaq seba'.

Volum. L-MVNO ta' Rostelecom waħdu jservi aktar minn miljun abbonat. Operaturi ewlenin li jospitaw jimmaniġġjaw id-dejta għal 44 sa 78 miljun ruħ. It-traffiku qed jikber kull sekonda: fl-ewwel kwart tal-2019, l-abbonati diġà aċċessaw 3,3 biljun GB minn telefowns ċellulari.

Veloċità. Ħadd ma jista 'jgħidlek dwar id-dinamika aħjar mill-istatistika, għalhekk ser ngħaddi mit-tbassir ta' Cisco. Sal-2021, 20% tat-traffiku tal-IP se jmur għat-traffiku tal-mowbajl - kważi se jittriplika f'ħames snin. Terz tal-konnessjonijiet mobbli se jkunu M2M - l-iżvilupp tal-IoT se jwassal għal żieda ta 'sitt darbiet fil-konnessjonijiet. L-Internet tal-Oġġetti se jsir mhux biss profittabbli, iżda wkoll intensiv fir-riżorsi, għalhekk xi operaturi se jiffokaw biss fuqu. U dawk li jiżviluppaw l-IoT bħala servizz separat se jirċievu traffiku doppju.

Varjetà. Id-diversità hija kunċett suġġettiv, iżda l-operaturi tat-telekomunikazzjoni verament jafu kważi kollox dwar l-abbonati tagħhom. Mill-isem u d-dettalji tal-passaport għal mudell tat-telefon, xiri, postijiet miżjura u interessi. Skont il-liġi Yarovaya, il-fajls tal-midja jinħażnu għal sitt xhur. Mela ejja nieħduha bħala axioma li d-dejta miġbura hija varjata.

Software u metodoloġija

Il-fornituri huma wieħed mill-konsumaturi ewlenin tal-BigData, għalhekk il-biċċa l-kbira tat-tekniki tal-analiżi tad-dejta kbira huma applikabbli għall-industrija tat-telekomunikazzjoni. Mistoqsija oħra hija min huwa lest li jinvesti fl-iżvilupp ta 'ML, AI, Deep Learning, jinvesti f'ċentri tad-dejta u tħaffir tad-dejta. Xogħol sħiħ b'database jikkonsisti f'infrastruttura u tim, li l-ispejjeż tagħhom mhux kulħadd jista 'jlaħħaq. Intrapriżi li diġà għandhom maħżen korporattiv jew li qed jiżviluppaw metodoloġija ta' Governanza tad-Data għandhom jimxu fuq il-BigData. Għal dawk li għadhom mhumiex lesti għal investimenti fit-tul, nagħtik parir biex tibni gradwalment l-arkitettura tas-softwer u tinstalla l-komponenti wieħed wieħed. Tista 'tħalli l-moduli tqal u Hadoop għall-aħħar. Ftit nies jixtru soluzzjoni lesta għal problemi bħall-Kwalità tad-Data u l-Minjieri tad-Data; kumpaniji ġeneralment jippersonalizzaw is-sistema għall-ispeċifikazzjonijiet u l-ħtiġijiet speċifiċi tagħhom - huma stess jew bl-għajnuna tal-iżviluppaturi.

Iżda mhux kull kontijiet jistgħu jiġu modifikati biex jaħdmu ma 'BigData. Jew aħjar, mhux biss kollox jista 'jiġi modifikat. Ftit nies jistgħu jagħmlu dan.

Tliet sinjali li sistema ta' kontijiet għandha ċ-ċans li ssir għodda għall-ipproċessar tad-database:

• Skalabbiltà orizzontali. Is-softwer irid ikun flessibbli - qed nitkellmu dwar il-big data. Żieda fl-ammont ta 'informazzjoni għandha tiġi ttrattata b'żieda proporzjonali fil-hardware fil-cluster.
• Tolleranza għall-ħsarat. Sistemi serji mħallsa minn qabel huma ġeneralment tolleranti għall-ħsarat awtomatikament: il-kontijiet jiġu skjerati fi cluster f'diversi ġeolokazzjonijiet sabiex jassiguraw lil xulxin awtomatikament. Għandu jkun hemm ukoll biżżejjed kompjuters fil-cluster Hadoop f'każ li wieħed jew aktar ifallu.
• Lokalità. Id-dejta trid tiġi maħżuna u pproċessata fuq server wieħed, inkella tista 'tmur kissru fuq it-trasferiment tad-dejta. Waħda mill-iskemi popolari ta 'approċċ Map-Reduce: ħwienet HDFS, proċessi Spark. Idealment, is-softwer għandu jintegra bla xkiel fl-infrastruttura taċ-ċentru tad-dejta u jkun jista 'jagħmel tliet affarijiet f'wieħed: jiġbor, jorganizza u janalizza l-informazzjoni.

Team

X'inhu, kif u għal liema skop il-programm se jipproċessa dejta kbira huwa deċiż mit-tim. Ħafna drabi tikkonsisti minn persuna waħda - xjenzat tad-dejta. Għalkemm, fl-opinjoni tiegħi, il-pakkett minimu ta’ impjegati għal Big Data jinkludi wkoll Product Manager, Data Engineer, u Manager. L-ewwel wieħed jifhem is-servizzi, jittraduċi lingwaġġ tekniku fil-lingwa umana u viċi versa. L-Inġinier tad-Data jagħti l-ħajja lill-mudelli billi juża Java/Scala u jesperimenta bit-Tagħlim tal-Machine. Il-maniġer jikkoordina, jistabbilixxi miri, u jikkontrolla l-istadji.

Problemi

Huwa min-naħa tat-tim tal-BigData li normalment iqumu problemi meta tinġabar u tipproċessa d-data. Il-programm jeħtieġ li jispjega x'għandek tiġbor u kif tipproċessah - sabiex tispjega dan, l-ewwel trid tifhimha lilek innifsek. Iżda għall-fornituri, l-affarijiet mhumiex daqshekk sempliċi. Qed nitkellem dwar il-problemi bl-użu tal-eżempju tal-kompitu tat-tnaqqis tal-abbonati - dan huwa dak li l-operaturi tat-telekomunikazzjoni qed jippruvaw isolvu bl-għajnuna tal-Big Data fl-ewwel lok.

L-iffissar ta' miri. Speċifikazzjonijiet tekniċi miktuba tajjeb u fehim differenti ta 'termini kienu uġigħ ta' sekli mhux biss għal freelancers. Anke abbonati "waqqgħu" jistgħu jiġu interpretati b'modi differenti - bħala dawk li ma użawx is-servizzi tal-operatur għal xahar, sitt xhur jew sena. U biex toħloq MVP ibbażat fuq dejta storika, trid tifhem il-frekwenza tar-ritorni tal-abbonati minn ċaqliq - dawk li ppruvaw operaturi oħra jew ħallew il-belt u użaw numru differenti. Mistoqsija oħra importanti: kemm qabel ma l-abbonat mistenni jitlaq il-fornitur għandu jiddetermina dan u jieħu azzjoni? Sitt xhur kmieni wisq, ġimgħa tard wisq.

Sostituzzjoni ta' kunċetti. Tipikament, l-operaturi jidentifikaw klijent bin-numru tat-telefon, għalhekk huwa loġiku li s-sinjali għandhom jittellgħu bl-użu tiegħu. Xi ngħidu dwar in-numru tal-applikazzjoni tas-servizz jew tal-kont personali tiegħek? Huwa meħtieġ li tiddeċiedi liema unità għandha tittieħed bħala klijent sabiex id-dejta fis-sistema tal-operatur ma tvarjax. Il-valutazzjoni tal-valur ta 'klijent hija dubjuża wkoll - liema abbonat huwa aktar siewi għall-kumpanija, liema utent jeħtieġ aktar sforz biex iżomm, u liema se "jaqa" fi kwalunkwe każ u m'hemm l-ebda punt li jintefqu riżorsi fuqhom.

Nuqqas ta' informazzjoni. Mhux l-impjegati kollha tal-fornitur huma kapaċi jispjegaw lit-tim tal-BigData x’jaffettwa speċifikament it-tneħħija tal-abbonati u kif jiġu kkalkulati l-fatturi possibbli fil-kontijiet. Anke jekk semmew wieħed minnhom - ARPU - jirriżulta li jista 'jiġi kkalkulat b'modi differenti: jew permezz ta' pagamenti perjodiċi tal-klijenti, jew bi ħlasijiet awtomatiċi tal-kontijiet. U fil-proċess tax-xogħol, iqumu miljun mistoqsija oħra. Il-mudell ikopri l-klijenti kollha, x'inhu l-prezz għaż-żamma ta' klijent, hemm xi punt biex wieħed jaħseb permezz ta' mudelli alternattivi, u x'għandek tagħmel mal-klijenti li nżammu artifiċjalment bi żball.

L-iffissar tal-għan. Naf bi tliet tipi ta 'żbalji ta' riżultat li jikkawżaw lill-operaturi biex isiru frustrati bid-database.

1. Il-fornitur jinvesti fil-BigData, jipproċessa gigabytes ta 'informazzjoni, iżda jikseb riżultat li seta' nkiseb irħas. Jintużaw dijagrammi u mudelli sempliċi, analitiċi primittivi. L-ispiża hija ħafna drabi ogħla, iżda r-riżultat huwa l-istess.
2. L-operatur jirċievi data multidimensjonali bħala output, iżda ma jifhimx kif jużaha. Hemm analitika - hawnhekk hija, li tinftiehem u voluminuża, iżda hija ta 'ebda użu. Ir-riżultat aħħari, li ma jistax jikkonsisti fl-għan ta '"data ta' l-ipproċessar," ma ġiex maħsub. Mhuwiex biżżejjed li tipproċessa - l-analiżi għandha ssir il-bażi għall-aġġornament tal-proċessi tan-negozju.
3. L-ostakli għall-użu tal-analitika BigData jistgħu jkunu proċessi kummerċjali skaduti u softwer mhux adattat għal skopijiet ġodda. Dan ifisser li għamlu żball fl-istadju tal-preparazzjoni - ma ħasbux fl-algoritmu tal-azzjonijiet u l-istadji tal-introduzzjoni tal-Big Data fix-xogħol.

Dak għal

Taħdit tar-riżultati. Se ngħaddi fuq il-modi kif tuża u monetizza l-Big Data li l-operaturi tat-telekomunikazzjoni diġà qed jużaw.
Il-fornituri jbassru mhux biss il-ħruġ tal-abbonati, iżda wkoll it-tagħbija fuq l-istazzjonijiet bażi.

1. L-informazzjoni dwar il-movimenti tal-abbonati, l-attività u s-servizzi tal-frekwenza hija analizzata. Riżultat: tnaqqis fin-numru ta 'tagħbija żejda minħabba l-ottimizzazzjoni u l-modernizzazzjoni ta' żoni problematiċi tal-infrastruttura.
2. L-operaturi tat-telekomunikazzjoni jużaw informazzjoni dwar il-ġeolokalizzazzjoni tal-abbonati u d-densità tat-traffiku meta jiftħu l-punti tal-bejgħ. Għalhekk, l-analitiċi BigData diġà jintużaw minn MTS u VimpelCom biex jippjanaw il-post ta 'uffiċċji ġodda.
3. Il-fornituri monetizzaw il-big data tagħhom stess billi joffruha lil partijiet terzi. Il-klijenti ewlenin tal-operaturi tal-BigData huma banek kummerċjali. Bl-użu tad-database, jimmonitorjaw l-attivitajiet suspettużi tal-karta SIM tal-abbonat li magħha huma konnessi l-karti, u jużaw is-servizzi ta’ punteġġ tar-riskju, verifika u monitoraġġ. U fl-2017, il-gvern ta 'Moska talab dinamika ta' moviment ibbażata fuq data BigData minn Tele2 biex tippjana infrastruttura teknika u tat-trasport.
4. L-analitiċi BigData huma minjiera tad-deheb għall-kummerċjanti, li jistgħu joħolqu kampanji ta 'reklamar personalizzati għal daqs eluf ta' gruppi ta 'abbonati jekk jagħżlu. Il-kumpaniji tat-telekomunikazzjoni jiġbru l-profili soċjali, l-interessi tal-konsumatur u l-mudelli ta’ mġiba tal-abbonati, u mbagħad jużaw il-BigData miġbura biex jattiraw klijenti ġodda. Iżda għall-promozzjoni fuq skala kbira u l-ippjanar tal-PR, il-kontijiet mhux dejjem ikollu biżżejjed funzjonalità: il-programm għandu simultanjament iqis bosta fatturi b'mod parallel ma 'informazzjoni dettaljata dwar il-klijenti.

Filwaqt li xi wħud għadhom iqisu lil BigData bħala frażi vojta, l-Erbgħa l-Kbar diġà qed jagħmlu l-flus fuqha. MTS jaqla '14-il biljun rublu mill-ipproċessar tad-dejta kbira f'sitt xhur, u Tele2 żied id-dħul minn proġetti bi tliet darbiet u nofs. BigData qed tinbidel minn xejra għal must have, li taħtha se tinbena mill-ġdid l-istruttura kollha tal-operaturi tat-telekomunikazzjoni.

Sors: www.habr.com