An 2008, BigData te yon nouvo tèm ak tandans alamòd. Nan 2019, BigData se yon objè vann, yon sous pwofi ak yon rezon pou nouvo bòdwo.
Otòn pase a, gouvènman Ris la inisye yon bòdwo pou kontwole done gwo. Yo ka pa idantifye moun nan enfòmasyon, men yo ka fè sa si otorite federal yo mande yo. Pwosesis BigData pou twazyèm pati se sèlman apre notifikasyon Roskomnadzor. Konpayi ki gen plis pase 100 mil adrès rezo tonbe anba lalwa. Epi, nan kou, kote san yo pa anrejistre - li sipoze kreye youn ak yon lis operatè baz done. Men, si anvan sa a Big Data pa t 'pran oserye pa tout moun, kounye a li pral gen yo dwe pran an konsiderasyon.
Mwen menm, kòm direktè a nan yon konpayi devlopè bòdwo ki trete Done trè Gwo sa a, pa ka inyore baz done a. Mwen pral panse sou gwo done atravè prism operatè telekominikasyon yo, atravè sistèm bòdwo yo ap koule enfòmasyon sou dè milye de abonnés chak jou.
Teyorèm
Ann kòmanse, tankou nan yon pwoblèm matematik: premye nou pwouve ke done yo nan operatè telecom yo ka rele BigDat. Tipikman, gwo done karakterize pa twa karakteristik VVV, byenke nan entèpretasyon gratis kantite "Vs" rive nan sèt.
Volim. MVNO Rostelecom pou kont li sèvi plis pase yon milyon abonnés. Operatè lame kle yo okipe done pou 44 a 78 milyon moun. Trafik ap grandi chak segonn: nan premye sezon 2019, abonnés yo te deja jwenn aksè nan 3,3 milya GB nan telefòn mobil yo.
Vitès. Pa gen moun ki ka di ou sou dinamik yo pi bon pase estatistik, kidonk mwen pral ale nan prévisions Cisco a. Pa 2021, 20% nan trafik IP pral ale nan trafik mobil - li pral prèske triple nan senk ane. Yon tyè nan koneksyon mobil yo pral M2M - devlopman nan IoT ap mennen nan yon ogmantasyon sis fwa nan koneksyon. Entènèt bagay sa yo ap vin pa sèlman pwofitab, men tou, resous-entansif, kidonk kèk operatè pral konsantre sèlman sou li. Ak moun ki devlope IoT kòm yon sèvis separe pral resevwa trafik doub.
Varyete. Divèsite se yon konsèp subjectif, men operatè telecom vrèman konnen prèske tout bagay sou abonnés yo. Soti nan non ak detay paspò nan modèl telefòn, acha, kote vizite ak enterè yo. Dapre lalwa Yarovaya, dosye medya yo estoke pou sis mwa. Se konsa, kite a pran li kòm yon aksyòm ke done yo kolekte yo varye.
Lojisyèl ak metodoloji
Founisè yo se youn nan konsomatè prensipal yo nan BigData, kidonk pifò teknik analiz gwo done yo aplikab a endistri telecom. Yon lòt kesyon se ki moun ki pare pou envesti nan devlopman ML, AI, Deep Learning, envesti nan sant done ak done min. Travay konplè ak yon baz done konsiste de enfrastrikti ak yon ekip, depans ki pa tout moun kapab peye. Antrepriz ki deja gen yon depo antrepriz oswa ki ap devlope yon metodoloji Gouvènans Done yo ta dwe parye sou BigData. Pou moun ki poko pare pou envestisman alontèm, mwen konseye w piti piti konstwi achitekti lojisyèl an epi enstale konpozan youn pa youn. Ou ka kite modil lou yo ak Hadoop pou dènye. Gen kèk moun ki achte yon solisyon pare pou pwoblèm tankou Kalite Done ak Done Mining; konpayi yo jeneralman Customize sistèm nan espesifikasyon espesifik ak bezwen yo - tèt yo oswa avèk èd nan devlopè.
Men, se pa chak bòdwo ka modifye pou travay avèk BigData. Oswa pito, se pa sèlman tout bagay ka modifye. Gen kèk moun ki ka fè sa.
Twa siy ke yon sistèm bòdwo gen yon chans pou l vin yon zouti pou trete baz done:
- Évolutivité orizontal. Lojisyèl yo dwe fleksib - nou ap pale de gwo done. Yon ogmantasyon nan kantite enfòmasyon yo ta dwe trete pa yon ogmantasyon pwopòsyonèl nan pyès ki nan konpitè nan gwoup la.
- Fòt tolerans. Sistèm prepeye grav yo anjeneral toleran fay pa default: fakturasyon yo deplwaye nan yon gwoup nan plizyè jeolokalizasyon pou yo otomatikman asire youn ak lòt. Ta dwe tou gen ase òdinatè nan gwoup Hadoop a nan ka youn oswa plis echwe.
- Lokal. Done yo dwe estoke ak trete sou yon sèl sèvè, otreman ou ka ale kraze sou transfè done. Youn nan popilè apwòch Map-Reduce: magazen HDFS, pwosesis Spark. Idealman, lojisyèl an ta dwe san pwoblèm entegre nan enfrastrikti sant done yo epi yo dwe kapab fè twa bagay nan yon sèl: kolekte, òganize ak analize enfòmasyon.
Ekip
Ki sa, ki jan ak pou ki rezon pwogram nan pral trete gwo done se ekip la deside. Souvan li konsiste de yon sèl moun - yon syantis done. Malgre ke, nan opinyon mwen, pake minimòm anplwaye pou Big Data gen ladan tou yon Manadjè Product, Enjenyè Done, ak Manadjè. Premye a konprann sèvis yo, tradui langaj teknik nan lang moun ak vis vèrsa. Data Engineer pote modèl yo bay lavi lè l sèvi avèk Java/Scala ak eksperyans ak Machine Learning. Manadjè a kowòdone, fikse objektif, ak kontwole etap yo.
Pwoblèm
Se sou pati ekip BigData a pwoblèm anjeneral parèt lè yo kolekte ak trete done yo. Pwogram nan bezwen eksplike ki sa yo kolekte ak ki jan yo trete li - yo nan lòd yo eksplike sa a, ou premye bezwen konprann li tèt ou. Men, pou founisè yo, bagay yo pa tèlman senp. Mwen pale sou pwoblèm yo lè l sèvi avèk egzanp travay la nan diminye désabonnement abònen - sa a se sa operatè telecom yo ap eseye rezoud avèk èd nan Big Data an plas an premye.
Fikse objektif. Byen ekri espesifikasyon teknik ak konpreyansyon diferan nan tèm yo te yon doulè syèk-fin vye granmoun pa sèlman pou endependan. Menm abonnés "depoze" yo ka entèprete nan diferan fason - tankou moun ki pa te itilize sèvis operatè a pou yon mwa, sis mwa oswa yon ane. Ak pou kreye yon MVP ki baze sou done istorik, ou bezwen konprann frekans nan retounen nan abonnés soti nan désabonnement - moun ki te eseye lòt operatè oswa kite vil la ak itilize yon nimewo diferan. Yon lòt kesyon enpòtan: konbyen tan anvan abònen an espere kite founisè a ta dwe detèmine sa a epi pran aksyon? Sis mwa twò bonè, yon semèn twò ta.
Sibstitisyon konsèp. Tipikman, operatè yo idantifye yon kliyan pa nimewo telefòn, kidonk li se lojik ke siy yo ta dwe Uploaded lè l sèvi avèk li. Ki sa ki sou kont pèsonèl ou oswa nimewo aplikasyon sèvis ou a? Li nesesè deside ki inite yo ta dwe pran kòm yon kliyan pou ke done yo nan sistèm operatè a pa varye. Evalye valè a nan yon kliyan se dout tou - ki abònen ki gen plis valè pou konpayi an, ki itilizatè mande plis efò kenbe, ak ki moun ki pral "tonbe" nan nenpòt ka epi pa gen okenn pwen nan depans resous sou yo.
Mank enfòmasyon. Se pa tout anplwaye founisè yo ki kapab eksplike ekip BigData a sa ki afekte espesyalman abònen désabonnement ak ki jan faktè posib nan bòdwo yo kalkile. Menm si yo te rele youn nan yo - ARPU - li sanble ke li ka kalkile nan diferan fason: swa pa peman kliyan peryodik, oswa pa chaj bòdwo otomatik. Ak nan pwosesis la nan travay, yon milyon lòt kesyon leve. Èske modèl la kouvri tout kliyan, ki sa ki pri pou kenbe yon kliyan, èske gen nenpòt pwen nan panse nan modèl altènatif, ak sa yo dwe fè ak kliyan ki te erè atifisyèlman kenbe.
Tabli objektif. Mwen konnen twa kalite erè rezilta ki lakòz operatè yo vin fristre ak baz done a.
- Founisè a envesti nan BigData, trete gigabyte enfòmasyon, men li jwenn yon rezilta ki ta ka jwenn pi bon mache. Dyagram senp ak modèl, analiz primitif yo itilize. Pri a se anpil fwa pi wo, men rezilta a se menm bagay la.
- Operatè a resevwa done plizyè aspè kòm pwodiksyon, men li pa konprann ki jan yo sèvi ak li. Gen analytics - isit la li se, konprann ak volumineuz, men li pa itil. Rezilta final la, ki pa ka konpoze de objektif la nan "pwosesis done," pa te panse nan. Li pa ase pou trete - analytics yo ta dwe vin baz pou mete ajou pwosesis biznis yo.
- Obstak nan itilizasyon BigData analytics ka demode pwosesis biznis ak lojisyèl ki pa apwopriye pou nouvo rezon. Sa vle di ke yo te fè yon erè nan etap preparasyon an - yo pa t panse nan algorithm nan aksyon ak etap yo nan entwodwi Big Data nan travay.
Poukisa
Pale de rezilta yo. Mwen pral ale sou fason pou itilize ak monetize Big Data ke operatè telecom yo deja itilize.
Founisè yo predi non sèlman ekoulman pwodiksyon an nan abonnés, men tou, chaj la sou estasyon baz yo.
- Enfòmasyon sou mouvman abònen yo, aktivite ak sèvis frekans yo analize. Rezilta: rediksyon nan kantite surcharges akòz optimize ak modènizasyon zòn pwoblèm nan enfrastrikti a.
- Operatè telekominikasyon yo sèvi ak enfòmasyon sou jeolokalizasyon abonnés yo ak dansite trafik lè yo louvri pwen lavant yo. Kidonk, MTS ak VimpelCom deja itilize analiz BigData pou planifye kote nouvo biwo yo.
- Founisè yo monetize pwòp done yo lè yo ofri li bay twazyèm pati. Kliyan prensipal yo nan operatè BigData yo se bank komèsyal yo. Sèvi ak baz done a, yo kontwole aktivite sispèk nan kat SIM abònen a ki gen kat yo lye, epi yo sèvi ak nòt risk, verifikasyon ak siveyans sèvis. Ak nan 2017, gouvènman Moskou a te mande dinamik mouvman ki baze sou done BigData ki soti nan Tele2 pou planifye enfrastrikti teknik ak transpò.
- BigData analytics se yon min lò pou mache, ki moun ki ka kreye kanpay piblisite pèsonalize pou plizyè milye gwoup abònen si yo chwazi. Konpayi telekominikasyon yo rasanble pwofil sosyal yo, enterè konsomatè yo ak modèl konpòtman abonnés yo, epi sèvi ak BigData yo kolekte pou atire nouvo kliyan. Men, pou pwomosyon gwo echèl ak planifikasyon PR, bòdwo pa toujou gen ase fonksyonalite: pwogram nan dwe ansanm pran an kont anpil faktè nan paralèl ak enfòmasyon detaye sou kliyan yo.
Pandan ke kèk toujou konsidere BigData yon fraz vid, Big Kat yo deja fè lajan sou li. MTS touche 14 milya dola rubles nan pwosesis done gwo nan sis mwa, ak Tele2 ogmante revni nan pwojè pa twa fwa edmi. BigData ap vire soti nan yon tandans nan yon dwe genyen, anba ki estrikti a tout antye nan operatè telecom yo pral rebati.
Sous: www.habr.com