Ann an 2008, bha BigData na theirm ùr agus na ghluasad fasanta. Ann an 2019, tha BigData na chuspair reic, na stòr prothaid agus na adhbhar airson bilean ùra.
An tuiteam mu dheireadh, chuir riaghaltas na Ruis air bhog bile gus dàta mòr a riaghladh. Chan fhaod daoine fa leth a bhith air an comharrachadh bho fhiosrachadh, ach faodaidh iad sin a dhèanamh air iarrtas ùghdarrasan feadarail. Chan eil giollachd BigData airson treas phàrtaidhean ach às deidh fios mu Roskomnadzor. Tha companaidhean aig a bheil còrr air 100 mìle seòladh lìonra a’ tighinn fon lagh. Agus, gu dearbh, far nach eil clàran - tha còir fear a chruthachadh le liosta de ghnìomhaichean stòr-dàta. Agus mura deach an Dàta Mòr seo a ghabhail gu dona leis a h-uile duine, a-nis feumar aire a thoirt dha.
Chan urrainn dhomh, mar stiùiriche companaidh leasaiche bileachaidh a bhios a’ làimhseachadh an Dàta Mòr seo, dearmad a dhèanamh air an stòr-dàta. Smaoinichidh mi air dàta mòr tro phriosma luchd-obrachaidh cian-chonaltraidh, tro na siostaman bileachaidh aca a’ sruthadh fiosrachaidh mu mhìltean de luchd-aontachaidh a h-uile latha.
Teòirim
Feuch an tòisich sinn, mar ann an duilgheadas matamataigeach: an toiseach bidh sinn a’ dearbhadh gum faodar BigDat a ghairm air dàta luchd-obrachaidh cian-chonaltraidh. Mar as trice, tha dàta mòr air a chomharrachadh le trì feartan VVV, ged ann an mìneachaidhean an-asgaidh ràinig an àireamh de “Vs” seachd.
Toirt. Tha MVNO Rostelecom leis fhèin a’ frithealadh còrr air millean neach-clàraidh. Bidh prìomh ghnìomhaichean aoigheachd a’ làimhseachadh dàta airson 44 gu 78 millean neach. Tha trafaic a ’fàs a h-uile diog: anns a’ chiad ràith de 2019, tha luchd-aontachaidh mu thràth air faighinn gu 3,3 billean GB bho fhònaichean-làimhe.
Treas. Chan urrainn dha duine innse dhut mun daineamaigs nas fheàrr na staitistig, agus mar sin thèid mi tro ro-innsean Cisco. Ro 2021, thèid 20% de thrafaig IP gu trafaic gluasadach - cha mhòr trì uiread ann an còig bliadhna. Bidh an treas cuid de cheanglaichean gluasadach mar M2M - leanaidh leasachadh IoT gu àrdachadh sia uiread ann an ceanglaichean. Bidh Internet of Things chan ann a-mhàin prothaideach, ach cuideachd dian air goireasan, agus mar sin bidh cuid de ghnìomhaichean a’ cuimseachadh air a-mhàin. Agus gheibh an fheadhainn a leasaicheas IoT mar sheirbheis air leth trafaic dùbailte.
Caochladh. Tha iomadachd na bhun-bheachd cuspaireil, ach tha fios aig gnìomhaichean cian-conaltraidh cha mhòr a h-uile càil mu na fo-sgrìobhaichean aca. Bho ainm agus fiosrachadh cead-siubhail gu modail fòn, ceannach, àiteachan air an deach tadhal agus ùidhean. A rèir lagh Yarovaya, tha faidhlichean meadhanan air an stòradh airson sia mìosan. Mar sin gabhamaid mar axiom gu bheil an dàta a chaidh a chruinneachadh eadar-dhealaichte.
Bathar-bog agus modh-obrach
Tha solaraichean mar aon de phrìomh luchd-cleachdaidh BigData, agus mar sin tha a’ mhòr-chuid de dhòighean mion-sgrùdadh dàta buntainneach don ghnìomhachas cian-chonaltraidh. Is e ceist eile a tha deiseil airson tasgadh a dhèanamh ann an leasachadh ML, AI, Deep Learning, tasgadh a dhèanamh ann an ionadan dàta agus mèinneadh dàta. Tha obair làn-chuimseach le stòr-dàta air a dhèanamh suas de bhun-structar agus sgioba, agus chan urrainn dha na cosgaisean sin a h-uile duine pàigheadh. Bu chòir do dh’ iomairtean aig a bheil taigh-bathair corporra mar-thà no a tha a’ leasachadh modh-obrach Riaghladh Dàta geall a chuir air BigData. Dhaibhsan nach eil fhathast deiseil airson tasgaidhean fad-ùine, tha mi a 'toirt comhairle dhut a bhith a' togail ailtireachd bathar-bog mean air mhean agus a 'stàladh co-phàirtean aon ri aon. Faodaidh tu na modalan trom agus Hadoop fhàgail airson mu dheireadh. Is e glè bheag de dhaoine a cheannaicheas fuasgladh deiseil airson duilgheadasan leithid Càileachd Dàta agus Mèinneadh Dàta; mar as trice bidh companaidhean a’ gnàthachadh an t-siostam a rèir na sònrachaidhean agus na feumalachdan sònraichte aca - iad fhèin no le cuideachadh bho luchd-leasachaidh.
Ach chan urrainnear a h-uile bilean atharrachadh gus obrachadh le BigData. No an àite sin, chan e a-mhàin gum faodar a h-uile càil atharrachadh. Is e glè bheag de dhaoine as urrainn seo a dhèanamh.
Trì comharran gu bheil cothrom aig siostam cunntais a bhith na inneal giullachd stòr-dàta:
- Scalability còmhnard. Feumaidh bathar-bog a bhith sùbailte - tha sinn a 'bruidhinn air dàta mòr. Bu chòir dèiligeadh ri àrdachadh san àireamh fiosrachaidh le àrdachadh co-roinneil ann am bathar-cruaidh sa bhuidheann.
- Fulangas sgàinidh. Mar as trice bidh fìor shiostaman ro-phàighte a’ fulang le lochdan mar as trice: bidh bilean air an cleachdadh ann am buidheann ann an grunn gheolocations gus am bi iad a’ toirt àrachas dha chèile gu fèin-ghluasadach. Bu chòir cuideachd coimpiutairean gu leòr a bhith ann an cruinneachadh Hadoop air eagal ’s gum fàillig aon no barrachd.
- Sgìre. Feumaidh dàta a bhith air a stòradh agus air a phròiseasadh air aon fhrithealaiche, air neo faodaidh tu a dhol briste air gluasad dàta. Aon de na sgeamaichean dòigh-obrach Map-Lùghdaich mòr-chòrdte: stòran HDFS, pròiseasan Spark. Mas fheàrr, bu chòir don bhathar-bog fighe a-steach gu sgiobalta a-steach do bhun-structar an ionaid dàta agus a bhith comasach air trì rudan a dhèanamh ann an aon: cruinneachadh, eagrachadh agus sgrùdadh fiosrachaidh.
sgioba
Bidh an sgioba a’ co-dhùnadh dè, ciamar agus dè an adhbhar a làimhsicheas am prògram dàta mòr. Gu math tric tha e air a dhèanamh suas de aon neach - neach-saidheans dàta. Ged, nam bheachd-sa, tha am pasgan as lugha de luchd-obrach airson Dàta Mòr cuideachd a’ toirt a-steach Manaidsear Bathar, Einnseanair Dàta, agus Manaidsear. Bidh a 'chiad fhear a' tuigsinn nan seirbheisean, ag eadar-theangachadh cànan teignigeach gu cànan daonna agus a chaochladh. Bidh Einnseanair Dàta a’ toirt mhodalan beò le bhith a’ cleachdadh Java/Scala agus deuchainnean le Machine Learning. Bidh am manaidsear a’ co-òrdanachadh, a’ suidheachadh amasan, agus a’ cumail smachd air na h-ìrean.
Duilgheadasan
Is ann air taobh sgioba BigData a bhios duilgheadasan mar as trice ag èirigh nuair a bhios iad a’ cruinneachadh agus a’ giullachd dàta. Feumaidh am prògram mìneachadh dè a chruinnicheas tu agus mar a làimhsicheas tu e - gus seo a mhìneachadh, feumaidh tu fhèin a thuigsinn an toiseach. Ach airson solaraichean, chan eil cùisean cho sìmplidh. Tha mi a’ bruidhinn mu na duilgheadasan a tha a’ cleachdadh an eisimpleir den obair a bhith a’ lughdachadh maistreadh ballrachd - is e seo a tha luchd-obrachaidh cian-chonaltraidh a’ feuchainn ri fhuasgladh le cuideachadh bho Dàta Mòr sa chiad àite.
A 'suidheachadh amasan. Tha mion-chomharrachadh teignigeach air a dheagh sgrìobhadh agus diofar thuigse air teirmean air a bhith na phian bho chionn linntean chan ann a-mhàin do luchd-obrach neo-cheangailte. Faodar eadhon luchd-aontachaidh “tuiteam” a mhìneachadh ann an diofar dhòighean - mar an fheadhainn nach do chleachd seirbheisean a ’ghnìomhaiche airson mìos, sia mìosan no bliadhna. Agus gus MVP a chruthachadh stèidhichte air dàta eachdraidheil, feumaidh tu tuigse fhaighinn air tricead tilleadh luchd-aontachaidh bho maistreadh - an fheadhainn a dh ’fheuch gnìomhaichean eile no a dh’ fhàg am baile-mòr agus a chleachd àireamh eadar-dhealaichte. Ceist chudromach eile: dè cho fada mus tèid an neach-aontachaidh fhàgail am bu chòir don t-solaraiche seo a dhearbhadh agus gnìomh a dhèanamh? Tha sia mìosan ro thràth, tha seachdain ro fhadalach.
Cur an àite bun-bheachdan. Mar as trice, bidh gnìomhaichean a’ comharrachadh neach-dèiligidh le àireamh fòn, agus mar sin tha e loidsigeach gum bu chòir na soidhnichean a luchdachadh suas le bhith ga chleachdadh. Dè mu dheidhinn do chunntas pearsanta no àireamh tagraidh seirbheis? Feumar co-dhùnadh dè an aonad a bu chòir a ghabhail mar neach-dèiligidh gus nach bi an dàta ann an siostam a’ ghnìomhaiche ag atharrachadh. Tha e teagmhach cuideachd a bhith a’ measadh luach neach-dèiligidh - dè an neach-clàraidh a tha nas luachmhoire don chompanaidh, dè an neach-cleachdaidh a dh’ fheumas barrachd oidhirp a chumail, agus dè an fheadhainn a bhios “a’ tuiteam dheth ”co-dhiù agus chan eil feum air goireasan a chosg orra.
Dìth fiosrachaidh. Chan urrainn don h-uile neach-obrach solaraiche mìneachadh don sgioba BigData dè a tha a’ toirt buaidh shònraichte air maistreadh luchd-aontachaidh agus mar a thathas a’ tomhas nithean a dh’ fhaodadh a bhith ann an cunntas. Fiù 's ma dh'ainmich iad fear dhiubh - ARPU - tha e a' tionndadh a-mach gun urrainn a bhith air a thomhas ann an diofar dhòighean: an dàrna cuid le luchd-cleachdaidh bho àm gu àm pàighidhean, no fèin-ghluasadach bhileachaidh cosgaisean. Agus ann am pròiseas obrach, bidh millean ceist eile ag èirigh. A bheil am modail a’ còmhdach a h-uile neach-dèiligidh, dè a’ phrìs a th’ ann airson neach-dèiligidh a chumail, a bheil feum sam bith ann a bhith a’ smaoineachadh tro mhodalan eile, agus dè bu chòir a dhèanamh le teachdaichean a chaidh a ghleidheadh gu saor-thoileach le mearachd.
Suidheachadh amas. Tha fios agam air trì seòrsa de mhearachdan builean a tha ag adhbhrachadh gu bheil luchd-obrachaidh air an sàrachadh leis an stòr-dàta.
- Bidh an solaraiche a’ tasgadh ann am BigData, a’ pròiseasadh gigabytes fiosrachaidh, ach a’ faighinn toradh a dh’ fhaodadh a bhith air fhaighinn na bu shaoire. Bithear a’ cleachdadh diagraman agus mhodalan sìmplidh, mion-sgrùdaidhean prìomhadail. Tha an cosgais iomadh uair nas àirde, ach tha an toradh mar an ceudna.
- Bidh an gnìomhaiche a’ faighinn dàta ioma-thaobhach mar thoradh, ach chan eil e a’ tuigsinn mar a chleachdas e e. Tha mion-sgrùdaidhean ann - seo e, so-thuigsinn agus voluminous, ach chan eil e gu feum. Cha deach beachdachadh air an toradh deireannach, nach urrainn a bhith a’ toirt a-steach an amas “dàta giollachd,”. Chan eil e gu leòr airson a phròiseasadh - bu chòir mion-sgrùdadh a bhith mar bhunait airson pròiseasan gnìomhachais ùrachadh.
- Faodaidh cnapan-starra air cleachdadh anailisean BigData a bhith nam pròiseasan gnìomhachais seann-fhasanta agus bathar-bog nach eil iomchaidh airson adhbharan ùra. Tha seo a 'ciallachadh gun do rinn iad mearachd aig an ìre ullachaidh - cha do smaoinich iad tron algorithm de ghnìomhan agus na h-ìrean de bhith a' toirt a-steach Dàta Mòr gu obair.
Carson
A 'bruidhinn air toraidhean. Thèid mi thairis air na dòighean air a bhith a’ cleachdadh agus a’ dèanamh airgead air Dàta Mòr a tha luchd-obrachaidh telecom a’ cleachdadh mu thràth.
Bidh luchd-solair a’ ro-innse chan e a-mhàin an t-sruthadh a-mach de luchd-aontachaidh, ach cuideachd an luchd air stèiseanan bunaiteach.
- Bithear a’ mion-sgrùdadh fiosrachadh mu ghluasadan ballrachd, gnìomhachd agus seirbheisean tricead. Toradh: lùghdachadh anns an àireamh de cus luchdan mar thoradh air optimization agus ùrachadh raointean duilgheadas den bhun-structair.
- Bidh luchd-obrachaidh telecom a’ cleachdadh fiosrachadh mu gheolocation luchd-aontachaidh agus dùmhlachd trafaic nuair a bhios iad a’ fosgladh àiteachan reic. Mar sin, tha MTS agus VimpelCom a’ cleachdadh anailisean BigData mu thràth gus suidheachadh oifisean ùra a dhealbhadh.
- Bidh luchd-solair a 'dèanamh airgead air an dàta mòr aca fhèin le bhith ga thabhann do threas phàrtaidhean. Is e bancaichean malairteach prìomh luchd-ceannach luchd-obrachaidh BigData. A’ cleachdadh an stòr-dàta, bidh iad a’ cumail sùil air gnìomhachd amharasach cairt SIM an neach-clàraidh ris a bheil na cairtean ceangailte, agus a’ cleachdadh seirbheisean sgòraidh cunnairt, dearbhaidh agus sgrùdaidh. Agus ann an 2017, dh’ iarr riaghaltas Moscow air daineamaigs gluasaid stèidhichte air dàta BigData bho Tele2 gus bun-structar teicnigeach agus còmhdhail a dhealbhadh.
- Is e mèinn òir a th’ ann an anailisean BigData airson luchd-margaidh, as urrainn iomairtean sanasachd pearsanaichte a chruthachadh airson suas ri mìltean de bhuidhnean ballrachd ma thogras iad. Bidh companaidhean telecom a’ cruinneachadh phròifilean sòisealta, ùidhean luchd-cleachdaidh agus pàtrain giùlain luchd-aontachaidh, agus an uairsin a’ cleachdadh an BigData cruinnichte gus luchd-ceannach ùr a thàladh. Ach airson adhartachadh mòr agus dealbhadh PR, chan eil comas-gnìomh gu leòr an-còmhnaidh aig cunntas: feumaidh am prògram aire a thoirt do ghrunn fhactaran aig an aon àm ri fiosrachadh mionaideach mu luchd-dèiligidh.
Fhad ‘s a tha cuid fhathast a’ beachdachadh air BigData mar abairt falamh, tha na Ceathrar Mòr mu thràth a’ dèanamh airgead air. Bidh MTS a ’cosnadh 14 billean rubles bho ghiullachd dàta mòr ann an sia mìosan, agus mheudaich Tele2 teachd-a-steach bho phròiseactan trì tursan gu leth. Tha BigData a’ tionndadh bho ghluasad gu bhith riatanach, fon tèid structar iomlan luchd-obrachaidh cian-chonaltraidh ath-thogail.
Source: www.habr.com