Yn 2008 wie BigData in nije term en modieuze trend. Yn 2019 is BigData in objekt fan ferkeap, in boarne fan winst en in reden foar nije rekkens.
Ferline hjerst hat de Russyske regearing in wetsfoarstel ynsteld om grutte data te regeljen. Partikulieren meie net wurde identifisearre út ynformaasje, mar meie dwaan op fersyk fan federale autoriteiten. Ferwurkjen fan BigData foar tredden is allinich nei notifikaasje fan Roskomnadzor. Bedriuwen dy't mear as 100 tûzen netwurkadressen hawwe falle ûnder de wet. En, fansels, wêr sûnder registers - it is bedoeld om ien te meitsjen mei in list fan database-operators. En as earder dizze Big Data net troch elkenien serieus nommen waard, sil der no wol rekken mei wurde moatte.
Ik, as de direkteur fan in fakturearringsûntwikkeldersbedriuw dat dizze heul Big Data ferwurket, kin de database net negearje. Ik sil tinke oer grutte gegevens troch it prisma fan telekomoperators, troch waans fakturearringsystemen elke dei streamt fan ynformaasje oer tûzenen abonnees.
Stelling
Litte wy begjinne, lykas yn in wiskundeprobleem: earst bewize wy dat de gegevens fan telekomoperators BigDat neamd wurde kinne. Typysk wurde grutte gegevens karakterisearre troch trije VVV-skaaimerken, hoewol yn frije ynterpretaasjes it oantal "Vs" berikte sân.
Folume. Rostelecom's MVNO allinich tsjinnet mear dan in miljoen abonnees. Key host operators behannelje gegevens foar 44 oant 78 miljoen minsken. Ferkear groeit elke sekonde: yn it earste fearnsjier fan 2019 hawwe abonnees al tagong ta 3,3 miljard GB fan mobile tillefoans.
Velocity. Nimmen kin fertelle jo oer de dynamyk better as statistyk, dus ik sil gean troch Cisco syn prognoazes. Tsjin 2021 sil 20% fan it IP-ferkear nei mobyl ferkear gean - it sil hast trijedûbelje yn fiif jier. In tredde fan mobile ferbinings sil M2M wêze - de ûntwikkeling fan IoT sil liede ta in seisfâldich ferheging fan ferbiningen. It Internet of Things sil net allinich rendabel wurde, mar ek boarne-yntinsyf, dus guon operators sille har allinich rjochtsje. En dyjingen dy't IoT ûntwikkelje as in aparte tsjinst sille dûbel ferkear krije.
Fariaasje. Ferskaat is in subjektyf konsept, mar telekomoperators witte wirklik hast alles oer har abonnees. Fan namme en paspoartdetails oant tillefoanmodel, oankeapen, besochte plakken en ynteresses. Neffens de Yarovaya-wet wurde mediabestannen seis moanne opslein. Dat litte wy it as in axioma nimme dat de sammele gegevens farieare binne.
Software en metodyk
Oanbieders binne ien fan 'e wichtichste konsuminten fan BigData, dus de measte techniken foar analyse fan grutte gegevens binne fan tapassing op 'e telekomsektor. In oare fraach is wa't ree is om te ynvestearjen yn 'e ûntwikkeling fan ML, AI, Deep Learning, ynvestearje yn datasintra en data mining. Folslein wurk mei in databank bestiet út ynfrastruktuer en in team, dêr't net elkenien de kosten fan betelje kin. Bedriuwen dy't al in bedriuwspakhús hawwe of in Data Governance-metodology ûntwikkelje moatte wedzjen op BigData. Foar dyjingen dy't noch net ree binne foar ynvestearrings op lange termyn, advisearje ik jo om de software-arsjitektuer stadichoan op te bouwen en ien foar ien komponinten te ynstallearjen. Jo kinne ferlitte de swiere modules en Hadoop foar lêst. In pear minsken keapje in klearmakke oplossing foar problemen lykas Data Quality en Data Mining; bedriuwen oanpasse it systeem oer it algemien oan har spesifike spesifikaasjes en behoeften - sels as mei help fan ûntwikkelders.
Mar net elke fakturearring kin wizige wurde om te wurkjen mei BigData. Of leaver, net allinnich alles kin wizige wurde. In pear minsken kinne dit dwaan.
Trije tekens dat in billingsysteem in kâns hat om in databankferwurkingsark te wurden:
- Horizontale skaalberens. Software moat fleksibel wêze - wy prate oer grutte gegevens. In ferheging fan 'e hoemannichte ynformaasje moat wurde behannele troch in evenredige ferheging fan hardware yn it kluster.
- Marzje foar flaters. Serious prepaid systemen binne normaal standert flater-tolerant: fakturearring wurdt ynset yn in kluster yn ferskate geolokaasjes sadat se automatysk fersekerje inoar. D'r moatte ek genôch kompjûters yn it Hadoop-kluster wêze foar it gefal dat ien of mear mislearje.
- Locality. Gegevens moatte wurde opslein en ferwurke op ien server, oars kinne jo brekke op gegevensoerdracht. Ien fan 'e populêre Map-Reduce-oanpakskema's: HDFS-winkels, Spark-prosessen. Ideaallik soe de software soepel moatte yntegrearje yn 'e datacenterynfrastruktuer en trije dingen yn ien kinne dwaan: ynformaasje sammelje, organisearje en analysearje.
team
Wat, hoe en foar hokker doel it programma grutte gegevens sil ferwurkje wurdt besletten troch it team. Faak bestiet it út ien persoan - in gegevenswittenskipper. Hoewol, nei myn miening, it minimale pakket fan meiwurkers foar Big Data ek in Product Manager, Data Engineer en Manager omfettet. De earste begrypt de tsjinsten, fertaalt technyske taal yn minsklike taal en oarsom. Data Engineer bringt modellen ta libben mei Java/Scala en eksperimintearret mei Machine Learning. De manager koördinearret, set doelen, en kontrolearret de stadia.
Problemen
It is fan 'e kant fan it BigData-team dat problemen meastal ûntsteane by it sammeljen en ferwurkjen fan gegevens. It programma moat útlizze wat te sammeljen en hoe te ferwurkjen - om dit út te lizzen, moatte jo it earst sels begripe. Mar foar providers binne dingen net sa ienfâldich. Ik haw it oer de problemen mei it foarbyld fan 'e taak fan it ferminderjen fan abonnee-churn - dit is wat telekomoperators besykje op te lossen mei help fan Big Data yn it foarste plak.
Doelen ynstelle. Goed skreaune technyske spesifikaasjes en ferskillende begripen fan termen binne in ieuwenâlde pine west net allinich foar freelancers. Sels "falle" abonnees kinne op ferskate manieren ynterpretearre wurde - as dyjingen dy't de tsjinsten fan 'e operator foar in moanne, seis moannen of in jier net hawwe brûkt. En om in MVP te meitsjen basearre op histoaryske gegevens, moatte jo de frekwinsje fan rendeminten fan abonnees fan churn begripe - dyjingen dy't oare operators besochten of de stêd ferlieten en in oar nûmer brûkten. In oare wichtige fraach: hoe lang foardat de abonnee ferwachtet te ferlitten moat de provider dit bepale en aksje nimme? Seis moanne is te betiid, in wike is te let.
Ferfanging fan begripen. Typysk identifisearje operators in kliïnt op telefoannûmer, dus it is logysk dat de buorden moatte wurde uploade mei it. Hoe sit it mei jo persoanlike akkount of tsjinstapplikaasjenûmer? It is needsaaklik om te besluten hokker ienheid as klant nommen wurde moat, sadat de gegevens yn it systeem fan 'e operator net ferskille. It beoardieljen fan de wearde fan in klant is ek twifele - hokker abonnee is mear weardefol foar it bedriuw, hokker brûker fereasket mear ynspanning om te behâlden, en hokker sille yn alle gefallen "falle" en it hat gjin punt om middels oan har te besteegjen.
Gebrek oan ynformaasje. Net alle oanbiedermeiwurkers binne yn steat om oan it BigData-team út te lizzen wat spesifyk ynfloed hat op abonnee-churn en hoe't mooglike faktoaren yn fakturearring wurde berekkene. Sels as se ien fan har neamden - ARPU - docht bliken dat it op ferskate manieren kin wurde berekkene: itsij troch periodike klantbetellingen, of troch automatyske fakturearrings. En yn it proses fan it wurk komme in miljoen oare fragen op. Beslacht it model alle kliïnten, wat is de priis foar it behâlden fan in klant, hat it nut om alternative modellen troch te tinken en wat te dwaan mei kliïnten dy't by fersin keunstmjittich fêsthâlden binne.
Doelstelling. Ik wit fan trije soarten útkomstflaters dy't feroarsaakje dat operators frustreare wurde mei de databank.
- De provider ynvestearret yn BigData, ferwurket gigabytes oan ynformaasje, mar krijt in resultaat dat goedkeaper krigen hie. Ienfâldige diagrammen en modellen, primitive analytics wurde brûkt. De kosten binne in protte kearen heger, mar it resultaat is itselde.
- De operator ûntfangt mearsidige gegevens as útfier, mar begrypt net hoe't se it brûke. D'r is analytyk - hjir is it, begryplik en voluminous, mar it hat gjin nut. It einresultaat, dat net kin bestean út it doel fan "ferwurkjen fan gegevens," is net trochtocht. It is net genôch om te ferwurkjen - analytiken moatte de basis wurde foar it bywurkjen fan saaklike prosessen.
- Hindernissen foar it brûken fan BigData-analytyk kinne ferâldere saaklike prosessen en software wêze dy't net geskikt binne foar nije doelen. Dit betsjut dat se in flater makken yn 'e tariedingsfaze - se tocht net troch it algoritme fan aksjes en de stadia fan it ynfieren fan Big Data yn wurk.
Wat foar
Oer resultaten sprutsen. Ik gean oer de manieren om Big Data te brûken en te monetearjen dy't telekomoperators al brûke.
Oanbieders foarsizze net allinich de útstream fan abonnees, mar ek de lading op basisstasjons.
- Ynformaasje oer abonneebewegingen, aktiviteit en frekwinsjetsjinsten wurdt analysearre. Resultaat: reduksje fan it oantal overloads troch optimisaasje en modernisearring fan probleemgebieten fan 'e ynfrastruktuer.
- Telekomoperators brûke ynformaasje oer de geolokaasje fan abonnees en ferkearstichtens by it iepenjen fan ferkeappunten. Sa wurde BigData-analytyk al brûkt troch MTS en VimpelCom om de lokaasje fan nije kantoaren te plannen.
- Oanbieders monetearje har eigen grutte gegevens troch it oan te bieden oan tredden. De wichtichste klanten fan BigData-operators binne kommersjele banken. Mei help fan de databank kontrolearje se fertochte aktiviteiten fan 'e SIM-kaart fan' e abonnee wêrmei't de kaarten binne keppele, en brûke se risiko-skoare-, ferifikaasje- en tafersjochtsjinsten. En yn 2017 frege de Moskouske regearing bewegingsdynamyk basearre op BigData-gegevens fan Tele2 om technyske en transportynfrastruktuer te plannen.
- BigData-analytyk is in goudmyn foar marketeers, dy't personaliseare advertinsjekampanjes kinne meitsje foar safolle as tûzenen abonneegroepen as se kieze. Telekombedriuwen sammelje sosjale profilen, konsumintebelangen en gedrachspatroanen fan abonnees, en brûke dan de sammele BigData om nije klanten te lûken. Mar foar grutskalige promoasje en PR-planning hat fakturearring net altyd genôch funksjonaliteit: it programma moat tagelyk rekken hâlde mei in protte faktoaren yn parallel mei detaillearre ynformaasje oer kliïnten.
Wylst guon BigData noch altyd in lege sin beskôgje, meitsje de Grutte Fjouwer der al jild op. MTS fertsjinnet 14 miljard roebel út ferwurking fan grutte gegevens yn seis moannen, en Tele2 ferhege ynkomsten út projekten troch trije en in heal kear. BigData feroaret fan in trend yn in must-have, wêrby't de hiele struktuer fan telekomoperators wer opboud wurde sil.
Boarne: www.habr.com