Di 2008-an de, BigData termek nû û meylek modê bû. Di sala 2019 de, BigData tiştek firotanê, çavkaniyek qezencê û sedemek fatûreyên nû ye.
Payîza borî, hukûmeta rûsî pêşnûmeqanûnek ji bo birêkûpêkkirina daneyên mezin da destpêkirin. Dibe ku kes ji agahiyê neyên naskirin, lê li ser daxwaza rayedarên federal dikarin vê yekê bikin. Pêvajoya BigData ji bo aliyên sêyemîn tenê piştî agahdarkirina Roskomnadzor e. Şîrketên ku ji 100 hezarî zêdetir navnîşanên torê hene dikevin bin qanûnê. Û, bê guman, li cîhê ku bêyî qeydan - tê xwestin ku yek bi navnîşek operatorên databasê were afirandin. Û heger berê ev Daneyên Mezin ji hêla her kesî ve bi ciddî nehatibû girtin, nuha pêdivî ye ku ew were hesibandin.
Ez, wekî derhênerê pargîdaniyek pêşdebirê fatûreya ku vê Daneyên Mezin hildiweşîne, nikarim databasê paşguh bikim. Ez ê bi prîzma operatorên telekomê re li ser daneyên mezin bifikirim, ku her roj di nav pergalên fatûreya wan de herikîna agahdariya bi hezaran aboneyan derbas dibe.
Teorem
Werin, em dest pê bikin, wekî di pirsgirêkek matematîkê de: pêşî em îsbat dikin ku daneyên operatorên telekomê dikare bi navê BigDat were gotin. Bi gelemperî, daneyên mezin ji hêla sê taybetmendiyên VVV ve têne diyar kirin, her çend di şîroveyên belaş de hejmara "Vs" gihîştiye heftan.
Bend. Tenê MVNO ya Rostelecom ji zêdetirî mîlyonek aboneyan re xizmet dike. Operatorên sereke yên mêvandar daneyên ji bo 44 û 78 mîlyon kesan hildibijêrin. Trafîk her saniye zêde dibe: Di çaryeka yekem a 2019-an de, aboneyan berê xwe dane 3,3 mîlyar GB ji têlefonên desta.
Velocity. Kes nikare ji statîstîkê çêtir ji we re behsa dînamîkê bike, ji ber vê yekê ez ê pêşbîniyên Cisco-yê derbas bikim. Heya sala 2021-an,% 20-ê seyrûsefera IP-ê dê biçe seyrûsefera mobîl - ew ê di nav pênc salan de hema sê qat bibe. Sêyek ji girêdanên mobîl dê M2M be - pêşkeftina IoT dê bibe sedema şeş qat zêdebûna girêdanan. Înterneta Tiştan dê ne tenê sûdmend, lê di heman demê de çavkaniyek zirav jî bibe, ji ber vê yekê hin operator dê tenê li ser wê bisekinin. Û yên ku IoT wekî karûbarek veqetandî pêşdixin dê seyrûsefera ducar bistînin.
Pirrengî. Cihêrengî têgehek subjektîf e, lê operatorên telekomê bi rastî hema hema her tiştî di derbarê aboneyên xwe de dizanin. Ji hûrguliyên nav û pasaportê bigire heya modela têlefonê, kirîn, cîhên ziyaretkirî û berjewendiyan. Li gorî qanûna Yarovaya, pelên medyayê şeş mehan têne hilanîn. Ji ber vê yekê em wê wekî axiomek bigirin ku daneyên berhevkirî cihêreng in.
Software û metodolojî
Pêşkêşker yek ji xerîdarên sereke yên BigData ne, ji ber vê yekê piraniya teknîkên analîzkirina daneya mezin ji bo pîşesaziya telekomê têne sepandin. Pirsek din ev e ku kî amade ye ku di pêşkeftina ML, AI, Fêrbûna Kûr de veberhênan bike, li navendên daneyê û derxistina daneyê veberhênan bike. Karê bêkêmasî bi databasê re ji binesaziyê û tîmek pêk tê, lêçûnên ku her kes nikare bide. Pargîdaniyên ku berê xwedan depoyek pargîdanî ne an metodolojiya Rêvebiriya Daneyê pêşdixin divê li ser BigData behîs bikin. Ji bo kesên ku hîn ji bo veberhênanên demdirêj ne amade ne, ez ji we re şîret dikim ku hêdî hêdî mîmariya nermalavê ava bikin û yek bi yek hêmanan saz bikin. Hûn dikarin modulên giran û Hadoop heta dawiyê bihêlin. Kêm kes ji bo pirsgirêkên wekî Qalîteya Daneyê û Kevirkirina Daneyê çareseriyek amade bikirin; pargîdan bi gelemperî pergalê li gorî taybetmendî û hewcedariyên xwe yên taybetî - bixwe an bi alîkariya pêşdebiran xweş dikin.
Lê ne her fatûre dikare were guheztin da ku bi BigData re bixebite. Ya rast, ne tenê her tişt dikare were guheztin. Kêm kes dikarin vê yekê bikin.
Sê nîşanên ku pergala fatûreyê şansek heye ku bibe amûrek hilberandina databasê:
- Mezinbûna Horizontal. Pêdivî ye ku nermalava nerm be - em li ser daneyên mezin diaxivin. Zêdebûnek di mîqdara agahdariyê de divê bi zêdebûna nîsbet a hardware ya di komê de were derman kirin.
- Toleransa xeletiyê. Pergalên pêşdibistanê yên ciddî bi gelemperî ji hêla xwerû ve xelet-tolerans in: fatûreya li gelek cîhên erdnîgarî di komekê de tête bicîh kirin da ku ew bixweber hevûdu sîgorte bikin. Di heman demê de pêdivî ye ku di koma Hadoop de têra xwe komputer hebin heke yek an jî zêdetir têk biçin.
- Herêmî. Pêdivî ye ku dane li ser yek serverek were hilanîn û hilanîn, wekî din hûn dikarin di veguheztina daneyê de têk biçin. Yek ji pileyên nêzîkbûna Nexşe-Kêmkirina populer: firotgehên HDFS, pêvajoyên Spark. Bi îdeal, pêdivî ye ku nermalava bêkêmasî di binesaziya navenda daneyê de tevbigere û karibe sê tiştan di yek de bike: berhevkirin, organîzekirin û analîzkirina agahdariyê.
tîma
Çi, çawa û ji bo çi armancê bername dê daneyên mezin pêvajoyê bike ji hêla tîmê ve tê biryar. Pir caran ew ji yek kesan pêk tê - zanyarek daneyê. Her çend, bi dîtina min, pakêta herî kêm a karmendan ji bo Daneyên Mezin di heman demê de Rêvebirek Hilber, Endezyarê Daneyê, û Rêvebir jî vedihewîne. Yê pêşî ji karûbaran fam dike, zimanê teknîkî werdigerîne zimanê mirovan û berevajî. Endezyarê Daneyê modelan bi karanîna Java/Scala û ceribandinên bi Fêrbûna Makîneyê re tîne jiyanê. Rêvebir koordîne dike, armanc destnîşan dike û qonaxan kontrol dike.
Pirsgirêkên
Ew ji hêla tîmê BigData ve ye ku bi gelemperî dema berhevkirin û hilberandina daneyan pirsgirêk derdikevin. Pêdivî ye ku bername rave bike ka meriv çi berhev dike û meriv çawa wê pêvajo dike - ji bo ravekirina vê yekê, pêşî hewce ye ku hûn bixwe wê fêm bikin. Lê ji bo pêşkêşkeran, tişt ne ew çend hêsan in. Ez behsa pirsgirêkan dikim ku bi mînaka peywira kêmkirina kêşeya aboneyan bikar tîne - ya ku operatorên telekomê di serî de hewl didin ku bi alîkariya Daneyên Mezin çareser bikin.
Armanc danîn. Taybetmendiyên teknîkî yên baş-nivîsandî û têgihiştinên cihêreng ên têgînan ne tenê ji bo serbixweyan êşek sedsalan e. Tewra aboneyên "daketî" dikarin bi awayên cûda werin şîrove kirin - wekî yên ku mehek, şeş meh an salek karûbarên operatorê bikar neanîne. Û ji bo ku hûn li ser bingeha daneyên dîrokî MVP-ê biafirînin, hûn hewce ne ku frekansa vegerên aboneyan ji churn fam bikin - yên ku operatorên din ceriband an ji bajar derketin û jimareyek cûda bikar anîn. Pirseke din a girîng: Kengî berî ku abonet tê çaverê kirin ku derkeve divê pêşkêşker vê yekê destnîşan bike û tevbigere? Şeş meh zû ye, hefteyek jî dereng e.
Cîgirkirina têgînan. Bi gelemperî, operator xerîdarek bi jimareya têlefonê nas dikin, ji ber vê yekê mentiqî ye ku nîşanan bi karanîna wê bêne barkirin. Hesabê weya kesane an hejmara serîlêdana karûbarê we çi ye? Pêdivî ye ku biryar bidin ka kîjan yekîne divê wekî xerîdar were girtin da ku daneyên di pergala operatorê de cûda nebe. Nirxandina nirxa xerîdar di heman demê de gumanbar e - kîjan abonet ji bo pargîdaniyê bi qîmettir e, kîjan bikarhêner ji bo domandina bêtir hewildan hewce dike, û kîjan dê di her rewşê de "bikevin" û çu wateya xerckirina çavkaniyan li ser wan tune.
Kêmbûna agahî. Ne hemî xebatkarên peydaker nikaribin ji tîmê BigData re rave bikin ka çi bi taybetî bandorê li ser qutbûna aboneyan dike û faktorên mumkin ên di fatûreyê de çawa têne hesibandin. Tewra ku wan navê yek ji wan - ARPU - bide jî, derdikeve holê ku ew dikare bi awayên cûda were hesibandin: an bi dravdanên xerîdar ên demkî, an jî bi lêçûnên fatûreya otomatîkî. Û di pêvajoya xebatê de, mîlyonek pirsên din derdikevin. Ma modêl hemî xerîdaran vedigire, bihayê girtina xerîdar çi ye, gelo di ramana modelên alternatîf de xalek heye, û meriv bi xerîdarên ku bi xeletî bi rengek çêkirî hatine girtin çi bike.
Armanc danîn. Ez sê celeb xeletiyên encamê dizanim ku dibe sedem ku operator ji databasê aciz bibin.
- Pêşkêşkar li BigData veberhênanê dike, gigabytes agahdarî pêvajo dike, lê encamek ku dikaribû erzantir bihata bidestxistin distîne. Diagram û modelên hêsan, analîtîkên primitive têne bikar anîn. Mesref gelek caran zêdetir e, lê encam yek e.
- Operator daneyên piralî wekî encam distîne, lê fam nake ka meriv çawa wê bikar tîne. Analîtîk heye - li vir ew têgihîştî û mezin e, lê kêrî wê nayê. Encama dawî, ku nikare ji armanca "pêvajoya daneyan" pêk were, nehatiye fikirîn. Pêvajo ne bes e - analîtîk divê bibe bingeha nûvekirina pêvajoyên karsaziyê.
- Astengên li pêşiya karanîna analîtîkên BigData dikarin pêvajoyên karsaziyê yên kevnar û nermalava ku ji bo mebestên nû neguncan in bin. Ev tê vê wateyê ku wan di qonaxa amadekariyê de xeletiyek kir - ew bi algorîtmaya çalakiyan û qonaxên danasîna Daneyên Mezin di xebatê de nefikirîn.
Whyima
Axaftina encamên. Ez ê biçim ser awayên bikar anîn û diravkirina Daneyên Mezin ên ku operatorên telekomê berê bikar tînin.
Pêşkêşker ne tenê derketina aboneyan, lê di heman demê de barkirina stasyonên bingehîn jî pêşbîn dikin.
- Agahiyên li ser tevgerên aboneyan, çalakî û karûbarên frekansê têne analîz kirin. Encam: kêmkirina hejmara zêdebaran ji ber xweşbînkirin û nûjenkirina deverên pirsgirêk ên binesaziyê.
- Operatorên Telekomê dema ku nuqteyên firotanê vedikin agahdariya li ser erdnîgariya aboneyan û tîrêjiya trafîkê bikar tînin. Bi vî rengî, analîzên BigData berê ji hêla MTS û VimpelCom ve têne bikar anîn da ku cîhê nivîsgehên nû plansaz bikin.
- Pêşkêşker daneyên xwe yên mezin bi pêşkêşkirina wan ji aliyên sêyemîn re drav dikin. Xerîdarên sereke yên operatorên BigData bankên bazirganî ne. Bi karanîna databasê, ew çalakiyên gumanbar ên SIM-karta abonetiyê ya ku kartên pê ve girêdayî ne dişopînin, û karûbarên pîvandinê, verastkirin û çavdêriyê bikar tînin. Û di sala 2017-an de, hukûmeta Moskowê daxwaza dînamîkên tevgerê li ser bingeha daneyên BigData ji Tele2 kir da ku binesaziya teknîkî û veguhastinê plansaz bike.
- Analîtîkên BigData ji bo kirrûbirran kaniyek zêr e, yên ku ger bixwazin dikarin ji bo bi hezaran komên aboneyan kampanyayên reklamê yên kesane biafirînin. Pargîdaniyên telekomê profîlên civakî, berjewendîyên xerîdar û şêwazên tevgerê yên aboneyan berhev dikin, û dûv re BigData berhevkirî bikar tînin da ku xerîdarên nû bikişînin. Lê ji bo pêşkeftina mezin û plansaziya PR-ê, fatûra her gav fonksiyonek têr nake: bername divê di heman demê de gelek faktoran bi hev re bi agahdariya hûrgulî di derbarê xerîdaran de bihesibîne.
Gava ku hin hîn jî BigData wekî hevokek vala dihesibînin, Big Four berê li ser wê drav didin. MTS di şeş mehan de 14 mîlyar ruble ji hilanîna daneyên mezin distîne, û Tele2 dahata ji projeyan sê û nîv carî zêde kir. BigData ji meylekê vediguhere pêdivî ye, ku di binê wê de dê tevahiya avahiya operatorên telekomê ji nû ve were çêkirin.
Source: www.habr.com