Dakong data dako nga pagsingil: bahin sa BigData sa telecom

Sa 2008, ang BigData usa ka bag-ong termino ug uso nga uso. Sa 2019, ang BigData usa ka butang nga gibaligya, usa ka gigikanan sa ganansya ug hinungdan sa mga bag-ong bayronon.

Sa miaging pagkapukan, ang gobyerno sa Russia nagsugod sa usa ka balaodnon aron makontrol ang dagkong datos. Ang mga indibidwal mahimong dili mailhan gikan sa kasayuran, apan mahimo kini sa hangyo sa federal nga mga awtoridad. Ang pagproseso sa BigData alang sa mga ikatulo nga partido pagkahuman lamang sa pagpahibalo sa Roskomnadzor. Ang mga kompanya nga adunay labaw pa sa 100 ka libo nga mga adres sa network nahulog sa ilawom sa balaod. Ug, siyempre, kung wala’y mga rehistro - kinahanglan nga maghimo usa nga adunay usa ka lista sa mga operator sa database. Ug kung sa wala pa kini nga Dakong Data wala giseryoso sa tanan, karon kini kinahanglan nga tagdon.

Ako, isip direktor sa usa ka kompanya sa nag-develop sa billing nga nagproseso niining Dakong Data, dili makabaliwala sa database. Maghunahuna ko bahin sa dagkong datos pinaagi sa prisma sa mga operator sa telecom, diin ang mga sistema sa pagsingil nag-agos sa kasayuran bahin sa libu-libo nga mga subscriber matag adlaw.

Teorem

Magsugod kita, sama sa problema sa matematika: una atong pamatud-an nga ang datos sa mga operator sa telecom matawag nga BigDat. Kasagaran, ang dagkong datos gihulagway sa tulo nga mga kinaiya sa VVV, bisan kung sa libre nga paghubad ang gidaghanon sa "Vs" miabot sa pito.

Tomo. Ang MVNO lamang sa Rostelecom nagserbisyo labaw sa usa ka milyon nga mga subscriber. Ang panguna nga mga operator sa host nagdumala sa datos alang sa 44 hangtod 78 milyon nga mga tawo. Ang trapiko nagkadako matag segundo: sa unang quarter sa 2019, ang mga subscriber naka-access na sa 3,3 bilyon GB gikan sa mga mobile phone.

Katulin. Walay usa nga makasulti kanimo mahitungod sa dinamika nga mas maayo kay sa estadistika, mao nga ako moagi sa mga panagna sa Cisco. Sa 2021, 20% sa trapiko sa IP ang moadto sa trapiko sa mobile - hapit kini matriple sa lima ka tuig. Ang ikatulo nga bahin sa mga mobile nga koneksyon mao ang M2M - ang pag-uswag sa IoT magdala ngadto sa unom ka pilo nga pagtaas sa mga koneksyon. Ang Internet sa mga Butang mahimong dili lamang ganansya, apan usab kusog sa kapanguhaan, mao nga ang pipila nga mga operator magpunting lamang niini. Ug kadtong nagpalambo sa IoT ingon usa ka bulag nga serbisyo makadawat doble nga trapiko.

Nagkalainlain. Ang pagkalainlain usa ka suhetibo nga konsepto, apan nahibal-an gyud sa mga operator sa telecom ang halos tanan bahin sa ilang mga subscriber. Gikan sa mga detalye sa ngalan ug pasaporte hangtod sa modelo sa telepono, pagpalit, mga lugar nga gibisitahan ug mga interes. Sumala sa balaod sa Yarovaya, ang mga file sa media gitipigan sulod sa unom ka bulan. Busa atong isipon kini nga usa ka axiom nga ang mga datos nga nakolekta lainlain.

Software ug metodolohiya

Ang mga tighatag usa sa mga nag-unang konsumedor sa BigData, mao nga kadaghanan sa mga pamaagi sa pag-analisa sa dagkong datos magamit sa industriya sa telecom. Ang laing pangutana mao kung kinsa ang andam nga mamuhunan sa pagpalambo sa ML, AI, Deep Learning, mamuhunan sa mga data center ug data mining. Ang bug-os nga trabaho nga adunay database naglangkob sa imprastraktura ug usa ka team, ang mga gasto nga dili tanan makaya. Ang mga negosyo nga naa nay corporate bodega o nag-develop ug Data Governance methodology kinahanglang mopusta sa BigData. Alang sa mga dili pa andam alang sa dugay nga pagpamuhunan, gitambagan ko ikaw nga hinay-hinay nga tukuron ang arkitektura sa software ug i-install ang mga sangkap sa usag usa. Mahimo nimong biyaan ang bug-at nga mga module ug Hadoop sa katapusan. Pipila ka mga tawo ang nagpalit usa ka andam nga solusyon alang sa mga problema sama sa Data Quality ug Data Mining; ang mga kompanya sa kasagaran nag-customize sa sistema sa ilang piho nga mga detalye ug mga panginahanglan - sa ilang kaugalingon o sa tabang sa mga developer.

Apan dili tanan nga pagsingil mahimong usbon aron magamit sa BigData. O hinoon, dili lamang ang tanan mahimong mausab. Pipila lang ka tawo ang makahimo niini.

Tulo ka mga timailhan nga ang sistema sa pagsingil adunay higayon nga mahimong himan sa pagproseso sa database:

• Horizontal scalability. Ang software kinahanglan nga flexible - naghisgot kami bahin sa dagkong datos. Ang pagtaas sa gidaghanon sa kasayuran kinahanglan nga pagtratar sa usa ka proporsyonal nga pagtaas sa hardware sa cluster.
• Ang pagtugot sa sayup. Ang mga seryoso nga sistema sa prepaid kasagaran nga dili matugotan sa sayup pinaagi sa default: ang pagsingil gi-deploy sa usa ka cluster sa daghang mga geolocation aron awtomatiko silang masiguro ang usag usa. Kinahanglan usab nga adunay igo nga mga kompyuter sa Hadoop cluster kung adunay usa o daghan pa nga mapakyas.
• Lokalidad. Ang datos kinahanglang tipigan ug iproseso sa usa ka server, kon dili mahimo ka nga maguba sa pagbalhin sa datos. Usa sa mga sikat nga Map-Reduce approach scheme: mga tindahan sa HDFS, mga proseso sa Spark. Sa tinuud, ang software kinahanglan nga hapsay nga mag-integrate sa imprastraktura sa data center ug makahimo sa tulo ka mga butang sa usa: pagkolekta, pag-organisar ug pag-analisar sa kasayuran.

team

Unsa, giunsa ug alang sa unsa nga katuyoan ang programa nga magproseso sa dagkong datos gidesisyonan sa team. Kasagaran kini naglangkob sa usa ka tawo - usa ka data scientist. Bisan pa, sa akong opinyon, ang minimum nga pakete sa mga empleyado alang sa Big Data naglakip usab sa usa ka Product Manager, Data Engineer, ug Manager. Ang una nakasabot sa mga serbisyo, naghubad sa teknikal nga pinulongan ngadto sa tawhanong pinulongan ug vice versa. Ang Data Engineer nagdala sa mga modelo sa kinabuhi gamit ang Java/Scala ug mga eksperimento sa Machine Learning. Ang manedyer nag-coordinate, nagtakda og mga tumong, ug nagkontrol sa mga yugto.

Mga problema

Sa bahin sa BigData team nga ang mga problema kasagarang motumaw sa pagkolekta ug pagproseso sa datos. Kinahanglang ipatin-aw sa programa kung unsa ang kolektahon ug kung giunsa kini pagproseso - aron ipasabut kini, kinahanglan nimo una nga masabtan kini sa imong kaugalingon. Apan alang sa mga tighatag, ang mga butang dili kaayo yano. Naghisgut ako bahin sa mga problema gamit ang panig-ingnan sa tahas sa pagkunhod sa mga subscriber churn - kini ang gipaningkamotan sa mga operator sa telecom nga masulbad sa tabang sa Big Data sa una.

Paghimo og mga tumong. Ang maayo nga pagkasulat nga teknikal nga mga detalye ug lainlain nga pagsabut sa mga termino usa ka siglo-daan nga kasakit dili lamang alang sa mga freelancer. Bisan ang mga "nahulog" nga mga subscriber mahimong mahubad sa lainlaing mga paagi - sama sa mga wala mogamit sa mga serbisyo sa operator sa usa ka bulan, unom ka bulan o usa ka tuig. Ug aron makahimo usa ka MVP base sa makasaysayan nga datos, kinahanglan nimo nga masabtan ang kasubsob sa pagbalik sa mga subscriber gikan sa churn - kadtong misulay sa ubang mga operator o mibiya sa siyudad ug migamit sa laing numero. Laing importante nga pangutana: unsa ka dugay sa wala pa ang subscriber gilauman nga mobiya kinahanglan nga ang provider motino niini ug molihok? Ang unom ka bulan sayo kaayo, ang usa ka semana ulahi na kaayo.

Pagpuli sa mga konsepto. Kasagaran, ang mga operator nagpaila sa usa ka kliyente pinaagi sa numero sa telepono, mao nga makatarunganon nga ang mga timailhan kinahanglan i-upload gamit kini. Unsa man ang bahin sa imong personal nga account o numero sa aplikasyon sa serbisyo? Kinahanglan nga magdesisyon kung unsang yunit ang kinahanglan kuhaon ingon usa ka kliyente aron ang datos sa sistema sa operator dili magkalainlain. Ang pagtimbang-timbang sa bili sa usa ka kliyente mao usab ang kuwestiyonable - nga subscriber mao ang mas bililhon alang sa kompanya, nga user nagkinahanglan og dugang nga paningkamot sa pagpabilin, ug hain ang "mahulog" sa bisan unsa nga kaso ug walay punto sa paggasto sa mga kapanguhaan sa kanila.

Kakulang sa impormasyon. Dili tanan nga mga empleyado sa provider makahimo sa pagpatin-aw sa BigData team kung unsa ang espesipikong nakaapekto sa subscriber churn ug kung giunsa pagkalkula ang posible nga mga hinungdan sa pagsingil. Bisan kung ilang gihinganlan ang usa niini - ARPU - kini mahimo nga kalkulado sa lainlaing mga paagi: pinaagi sa matag-panahon nga pagbayad sa kliyente, o pinaagi sa awtomatikong mga singil sa pagsingil. Ug sa proseso sa pagtrabaho, usa ka milyon nga ubang mga pangutana ang mitungha. Ang modelo ba naglangkob sa tanan nga mga kliyente, unsa ang bili sa pagpabilin sa usa ka kliyente, aduna bay punto sa paghunahuna pinaagi sa mga alternatibo nga mga modelo, ug unsa ang buhaton sa mga kliyente nga nasayop sa artipisyal nga pagpabilin.

Pagtakda sa tumong. Nahibal-an ko ang tulo ka mga klase sa mga sayup sa sangputanan nga hinungdan nga ang mga operator mapakyas sa database.

1. Ang tighatag namuhunan sa BigData, nagproseso sa gigabytes nga kasayuran, apan nakakuha usa ka sangputanan nga mahimo’g makuha nga mas barato. Yano nga mga diagram ug mga modelo, gigamit ang primitive analytics. Ang gasto sa daghang mga higayon nga mas taas, apan ang resulta mao ra.
2. Ang operator makadawat sa multifaceted data isip output, apan wala makasabut unsaon paggamit niini. Adunay analytics - ania kini, masabtan ug daghan, apan kini walay kapuslanan. Ang katapusan nga resulta, nga dili naglangkob sa tumong sa "pagproseso sa datos," wala mahunahuna. Dili igo ang pagproseso - ang analytics kinahanglan nga mahimong basehan sa pag-update sa mga proseso sa negosyo.
3. Ang mga babag sa paggamit sa BigData analytics mahimong karaan nga mga proseso sa negosyo ug software nga dili angay alang sa bag-ong mga katuyoan. Kini nagpasabut nga sila nakahimo usa ka sayup sa yugto sa pagpangandam - wala nila gihunahuna ang algorithm sa mga aksyon ug ang mga yugto sa pagpaila sa Dakong Data sa trabaho.

Alang alang

Naghisgot sa mga resulta. Akong hisgotan ang mga paagi sa paggamit ug pag-monetize sa Big Data nga gigamit na sa mga operator sa telecom.
Gitagna sa mga tighatag dili lamang ang pag-agos sa mga subscriber, kondili usab ang load sa mga base station.

1. Ang kasayuran bahin sa mga paglihok sa suskritor, kalihokan ug mga serbisyo sa frequency gisusi. Resulta: pagkunhod sa gidaghanon sa mga overloads tungod sa pag-optimize ug modernisasyon sa mga problema nga mga lugar sa imprastraktura.
2. Gigamit sa mga operator sa telecom ang kasayuran bahin sa geolocation sa mga subscriber ug densidad sa trapiko sa pagbukas sa mga punto sa pagbaligya. Busa, ang BigData analytics gigamit na sa MTS ug VimpelCom sa pagplano sa lokasyon sa bag-ong mga opisina.
3. Gi-monetize sa mga provider ang ilang kaugalingon nga dagkong datos pinaagi sa pagtanyag niini sa mga ikatulo nga partido. Ang mga nag-unang kustomer sa mga operator sa BigData mao ang mga komersyal nga bangko. Gamit ang database, gimonitor nila ang mga kadudahang kalihokan sa SIM card sa subscriber diin gisumpay ang mga kard, ug naggamit sa mga serbisyo sa pag-iskor sa peligro, pag-verify ug pag-monitor. Ug sa 2017, gihangyo sa gobyerno sa Moscow ang mga dinamikong paglihok base sa datos sa BigData gikan sa Tele2 aron magplano sa imprastraktura sa teknikal ug transportasyon.
4. Ang BigData analytics usa ka minahan sa bulawan alang sa mga tigpamaligya, nga makahimo og personal nga mga kampanya sa advertising alang sa libu-libo nga mga grupo sa suskritor kung gusto nila. Ang mga kompanya sa telecom naghiusa sa mga sosyal nga profile, interes sa mga konsumedor ug mga sumbanan sa pamatasan sa mga subscriber, ug dayon gamiton ang nakolekta nga BigData aron madani ang mga bag-ong kustomer. Apan alang sa dinagkong promosyon ug pagplano sa PR, ang pagsingil dili kanunay adunay igo nga pagpaandar: ang programa kinahanglan nga dungan nga maghunahuna sa daghang mga hinungdan nga managsama sa detalyado nga kasayuran bahin sa mga kliyente.

Samtang gikonsiderar gihapon sa uban ang BigData nga usa ka walay sulod nga hugpong sa mga pulong, ang Big Four nakaganansya na niini. Ang MTS nakakuha ug 14 bilyon nga rubles gikan sa dagkong pagproseso sa datos sa unom ka bulan, ug ang Tele2 nagdugang kita gikan sa mga proyekto sa tulo ug tunga ka beses. Ang BigData nagbag-o gikan sa us aka us aka us aka kinahanglan, diin ang tibuuk nga istruktura sa mga operator sa telecom matukod pag-usab.

Source: www.habr.com