An-diugh chan eil ach daoine aig nach eil ceanglaichean bhon taobh a-muigh ris an t-saoghal a-muigh air cluinntinn mu dhàta mòr. Air Habré, tha fèill mhòr air cuspair anailis Dàta Mòr agus cuspairean co-cheangailte ris. Ach airson neo-eòlaichean a bhiodh airson iad fhèin a chaitheamh air sgrùdadh Dàta Mòr, chan eil e an-còmhnaidh soilleir dè na tha san amharc san raon seo, far an urrainnear mion-sgrùdadh Dàta Mòr a chuir an sàs agus dè as urrainn do dheagh anailisiche cunntadh air. Feuchaidh sinn ri faighinn a-mach.
Bidh an ìre de dh'fhiosrachadh a bhios daoine a 'cruthachadh a' meudachadh gach bliadhna. Ro 2020, àrdaichidh an àireamh de dhàta a thèid a stòradh gu 40-44 zettabytes (1 ZB ~ 1 billean GB). Ro 2025 - suas ri timcheall air 400 zettabytes. Mar sin, tha a bhith a’ riaghladh dàta structaraichte agus neo-structaraichte a’ cleachdadh theicneòlasan an latha an-diugh na raon a tha a’ sìor fhàs cudromach. Tha ùidh aig gach cuid companaidhean fa leth agus dùthchannan gu lèir ann an dàta mòr.
Co-dhiù, is ann tron deasbad mu àrdachadh fiosrachaidh agus dòighean air dàta a ghineadh le daoine a dh’ èirich an teirm Dàta Mòr. Thathas a’ creidsinn gun deach a mholadh an toiseach ann an 2008 le neach-deasachaidh an iris Nature, Clifford Lynch.
Bhon uairsin, tha margaidh an Dàta Mòr air a bhith a’ dol suas gach bliadhna le grunn deichean sa cheud. Agus leanaidh an gluasad seo, a rèir eòlaichean, air adhart. Mar sin, a rèir tuairmsean companaidh ann an 2021, àrdaichidh margaidh anailis dàta mòr cruinneil gu $ 67,2 billean Bidh fàs bliadhnail timcheall air 35,9%.
Carson a tha feum againn air mion-sgrùdadh dàta mòr?
Leigidh e leat fiosrachadh air leth luachmhor a chomharrachadh bho sheataichean dàta structaraichte no neo-structaraichte. Taing dha seo, faodaidh gnìomhachas, mar eisimpleir, gluasadan a chomharrachadh, coileanadh toraidh ro-innse agus na cosgaisean aige fhèin a bharrachadh. Tha e soilleir, gus cosgaisean a lughdachadh, gu bheil companaidhean deiseil gus na fuasglaidhean as ùire a chuir an gnìomh.
Teicneòlasan agus dòighean sgrùdaidh a thathas a’ cleachdadh gus Dàta Mòr a mhion-sgrùdadh:
- Mèinneadh Dàta;
- sluagh-ghairm;
- measgachadh dàta agus amalachadh;
- ionnsachadh innealan;
- lìonraidhean neural fuadain;
- aithneachadh pàtrain;
- mion-sgrùdadh ro-innseach;
- modaladh atharrais;
- mion-sgrùdadh spàsail;
- mion-sgrùdadh staitistigeil;
- lèirsinn dàta anailis.
Mion-sgrùdadh dàta mòr san t-saoghal
Tha mion-sgrùdadh dàta mòr a-nis air a chleachdadh le còrr air 50% de chompanaidhean air feadh an t-saoghail. A dh'aindeoin 's gu bheil ann an 2015 bha am figear seo a-mhàin 17%. Tha Dàta Mòr air a chleachdadh gu gnìomhach le companaidhean a tha ag obair anns na roinnean cian-conaltraidh agus seirbheisean ionmhais. An uairsin tha companaidhean ann a tha gu sònraichte an sàs ann an teicneòlas cùram slàinte. Cleachdadh as ìsle de mhion-sgrùdadh Dàta Mòr ann an companaidhean foghlaim: sa mhòr-chuid de chùisean, dh’ ainmich riochdairean bhon raon seo gu robh iad an dùil teicneòlas a chleachdadh a dh’ aithghearr.
Anns na Stàitean Aonaichte, thathas a’ cleachdadh anailisean Dàta Mòr gu gnìomhach: bidh còrr air 55% de chompanaidhean bho ghrunn raointean ag obair leis an teicneòlas seo. Anns an Roinn Eòrpa agus Àisia, chan eil an t-iarrtas airson mion-sgrùdadh dàta mòr mòran nas ìsle - timcheall air 53%.
Dè mu dheidhinn anns an Ruis?
A rèir luchd-anailis IDC,. Tha fàs a 'mhargaidh airson fuasglaidhean mar sin ann am Meadhan agus taobh an ear na Roinn Eòrpa gu math gnìomhach, tha am figear seo ag àrdachadh 11% gach bliadhna. Ro 2022, ruigidh e $ 5,4 billean ann an teirmean cainneachdail.
Ann an iomadh dòigh, tha an leasachadh luath seo air a 'mhargaidh mar thoradh air fàs na sgìre seo anns an Ruis. Ann an 2018, thàinig teachd a-steach bho reic fhuasglaidhean iomchaidh ann an Caidreachas na Ruis gu 40% den tasgadh iomlan ann an teicneòlasan giullachd Dàta Mòr san roinn gu lèir.
Ann an Caidreachas na Ruis, bidh companaidhean bho na roinnean bancaidh is poblach, gnìomhachas cian-conaltraidh agus gnìomhachas a’ cosg as motha air giullachd Dàta Mòr.
Dè a bhios Mion-sgrùdaire Dàta Mòr a’ dèanamh agus dè a chosgas e san Ruis?
Tha e an urra ri anailisiche dàta mòr sgrùdadh a dhèanamh air mòran fiosrachaidh, gach cuid leth-structaraichte agus neo-structaraichte. Airson buidhnean bancaidh is e gnothaichean a tha seo, airson gnìomhaichean - gairmean is trafaic, ann am mion-reic - tadhalan luchd-ceannach agus ceannach. Mar a chaidh ainmeachadh gu h-àrd, tha mion-sgrùdadh Dàta Mòr a’ leigeil leinn ceanglaichean a lorg eadar diofar fhactaran ann an “eachdraidh fiosrachaidh amh”, mar eisimpleir, pròiseas cinneasachaidh no ath-bhualadh ceimigeach. Stèidhichte air an dàta mion-sgrùdadh, tha dòighean-obrach agus fuasglaidhean ùra air an leasachadh ann an grunn raointean - bho saothrachadh gu leigheas.
Sgilean a tha a dhìth airson sgrùdaire Dàta Mòr:
- An comas a bhith a 'tuigsinn gu luath na feartan anns an raon airson a bheil an anailis ga dhèanamh, agus a bhith gad bhogadh fhèin ann an taobhan den raon a tha thu ag iarraidh. Dh’ fhaodadh seo a bhith mar reic, gnìomhachas ola is gas, cungaidh-leigheis, msaa.
- Eòlas air dòighean mion-sgrùdadh dàta staitistigeil, togail mhodalan matamataigeach (lìonraidhean neural, lìonraidhean Bayesian, cruinneachadh, ais-tharraing, mion-sgrùdaidhean bàillidh, caochlaidhean agus co-dhàimh, msaa).
- A bhith comasach air dàta a tharraing à diofar stòran, a thionndadh airson mion-sgrùdadh, agus a luchdachadh a-steach do stòr-dàta anailis.
- Comasach ann an SQL.
- Eòlas air Beurla aig ìre gu leòr airson sgrìobhainnean teignigeach a leughadh gu furasta.
- Eòlas air Python (co-dhiù na bunaitean), Bash (tha e gu math duilich a dhèanamh às aonais sa phròiseas obrach), agus tha e ion-mhiannaichte fios a bhith agad air bunaitean Java agus Scala (feumar cleachdadh gnìomhach de Spark, aon de na frèamaichean as mòr-chòrdte airson obrachadh le dàta mòr).
- Comas a bhith ag obair le Hadoop.
Uill, dè an ìre a bhios anailisiche Dàta Mòr a’ cosnadh?
Tha eòlaichean Dàta Mòr a-nis gann; tha iarrtas nas àirde na solar. Tha seo air sgàth gu bheil gnìomhachas a’ tighinn gu tuigse: tha feum aig leasachadh air teicneòlasan ùra, agus tha feum aig leasachadh teicneòlais air eòlaichean.
Mar sin, neach-saidheans dàta agus anailis dàta anns na SA a rèir na buidhne fastaidh Glassdoor. Bidh tuarastal cuibheasach nan eòlaichean sin ann an Ameireagaidh a’ tòiseachadh bho $100 mìle sa bhliadhna.
Anns an Ruis, bidh eòlaichean ionnsachadh innealan a 'faighinn bho 130 gu 300 mìle rubles gach mìos, sgrùdairean dàta mòr - bho 73 gu 200 mìle rubles gach mìos. Tha e uile an urra ri eòlas agus teisteanasan. Gu dearbh, tha dreuchdan bàna ann le tuarastalan nas ìsle, agus feadhainn eile le feadhainn nas àirde. Iarrtas as motha airson sgrùdairean dàta mòr ann am Moscow agus St Petersburg. Moscow, nach eil na iongnadh, a 'cunntadh airson mu 50% de gnìomhach dreuchdan (a rèir hh.ru). Tha mòran nas lugha de dh'iarrtas ann am Minsk agus Kyiv. Is fhiach a bhith mothachail gu bheil cuid de dhreuchdan bàna a 'tabhann uairean sùbailte agus obair iomallach. Ach san fharsaingeachd, feumaidh companaidhean eòlaichean a tha ag obair san oifis.
Thar ùine, faodaidh sinn a bhith an dùil ri àrdachadh san iarrtas airson sgrùdairean Dàta Mòr agus riochdairean bho speisealachdan co-cheangailte. Mar a chaidh ainmeachadh gu h-àrd, cha deach gainnead luchd-obrach ann an roinn an teicneòlais a chuir dheth. Ach, gu dearbh, gus a bhith nad mhion-sgrùdaire Dàta Mòr, feumaidh tu sgrùdadh agus obrachadh, a’ leasachadh an dà chuid na sgilean gu h-àrd agus an fheadhainn a bharrachd. Is e aon de na cothroman air slighe anailisiche Dàta Mòr a thòiseachadh agus feuch do làmh air obrachadh le dàta mòr.
Source: www.habr.com