An-diugh chan eil ach daoine aig nach eil ceanglaichean bhon taobh a-muigh ris an t-saoghal a-muigh air cluinntinn mu dhà ta mòr. Air HabrÊ, tha fèill mhòr air cuspair anailis Dà ta Mòr agus cuspairean co-cheangailte ris. Ach airson neo-eòlaichean a bhiodh airson iad fhèin a chaitheamh air sgrÚdadh Dà ta Mòr, chan eil e an-còmhnaidh soilleir dè na tha san amharc san raon seo, far an urrainnear mion-sgrÚdadh Dà ta Mòr a chuir an sàs agus dè as urrainn do dheagh anailisiche cunntadh air. Feuchaidh sinn ri faighinn a-mach.
Bidh an ĂŹre de dh'fhiosrachadh a bhios daoine a 'cruthachadh a' meudachadh gach bliadhna. Ro 2020, Ă rdaichidh an Ă ireamh de dhĂ ta a thèid a stòradh gu 40-44 zettabytes (1 ZB ~ 1 billean GB). Ro 2025 - suas ri timcheall air 400 zettabytes. Mar sin, tha a bhith aâ riaghladh dĂ ta structaraichte agus neo-structaraichte aâ cleachdadh theicneòlasan an latha an-diugh na raon a tha aâ sĂŹor fhĂ s cudromach. Tha Ăšidh aig gach cuid companaidhean fa leth agus dĂšthchannan gu lèir ann an dĂ ta mòr.
Co-dhiĂš, is ann tron ââââdeasbad mu Ă rdachadh fiosrachaidh agus dòighean air dĂ ta a ghineadh le daoine a dhâ èirich an teirm DĂ ta Mòr. Thathas aâ creidsinn gun deach a mholadh an toiseach ann an 2008 le neach-deasachaidh an iris Nature, Clifford Lynch.
Bhon uairsin, tha margaidh an DĂ ta Mòr air a bhith aâ dol suas gach bliadhna le grunn deichean sa cheud. Agus leanaidh an gluasad seo, a rèir eòlaichean, air adhart. Mar sin, a rèir tuairmsean companaidh ann an 2021, Ă rdaichidh margaidh anailis dĂ ta mòr cruinneil gu $ 67,2 billean Bidh fĂ s bliadhnail timcheall air 35,9%.
Carson a tha feum againn air mion-sgrÚdadh dà ta mòr?
Leigidh e leat fiosrachadh air leth luachmhor a chomharrachadh bho sheataichean dà ta structaraichte no neo-structaraichte. Taing dha seo, faodaidh gnÏomhachas, mar eisimpleir, gluasadan a chomharrachadh, coileanadh toraidh ro-innse agus na cosgaisean aige fhèin a bharrachadh. Tha e soilleir, gus cosgaisean a lughdachadh, gu bheil companaidhean deiseil gus na fuasglaidhean as Úire a chuir an gnÏomh.
Teicneòlasan agus dòighean sgrĂšdaidh a thathas aâ cleachdadh gus DĂ ta Mòr a mhion-sgrĂšdadh:
- Mèinneadh Dà ta;
- sluagh-ghairm;
- measgachadh dĂ ta agus amalachadh;
- ionnsachadh innealan;
- lĂŹonraidhean neural fuadain;
- aithneachadh pĂ train;
- mion-sgrĂšdadh ro-innseach;
- modaladh atharrais;
- mion-sgrĂšdadh spĂ sail;
- mion-sgrĂšdadh staitistigeil;
- lèirsinn dà ta anailis.
Mion-sgrÚdadh dà ta mòr san t-saoghal
Tha mion-sgrĂšdadh dĂ ta mòr a-nis air a chleachdadh le còrr air 50% de chompanaidhean air feadh an t-saoghail. A dh'aindeoin 's gu bheil ann an 2015 bha am figear seo a-mhĂ in 17%. Tha DĂ ta Mòr air a chleachdadh gu gnĂŹomhach le companaidhean a tha ag obair anns na roinnean cian-conaltraidh agus seirbheisean ionmhais. An uairsin tha companaidhean ann a tha gu sònraichte an sĂ s ann an teicneòlas cĂšram slĂ inte. Cleachdadh as ĂŹsle de mhion-sgrĂšdadh DĂ ta Mòr ann an companaidhean foghlaim: sa mhòr-chuid de chĂšisean, dhâ ainmich riochdairean bhon raon seo gu robh iad an dĂšil teicneòlas a chleachdadh a dhâ aithghearr.
Anns na StĂ itean Aonaichte, thathas aâ cleachdadh anailisean DĂ ta Mòr gu gnĂŹomhach: bidh còrr air 55% de chompanaidhean bho ghrunn raointean ag obair leis an teicneòlas seo. Anns an Roinn Eòrpa agus Ăisia, chan eil an t-iarrtas airson mion-sgrĂšdadh dĂ ta mòr mòran nas ĂŹsle - timcheall air 53%.
Dè mu dheidhinn anns an Ruis?
A rèir luchd-anailis IDC,. Tha fàs a 'mhargaidh airson fuasglaidhean mar sin ann am Meadhan agus taobh an ear na Roinn Eòrpa gu math gnÏomhach, tha am figear seo ag à rdachadh 11% gach bliadhna. Ro 2022, ruigidh e $ 5,4 billean ann an teirmean cainneachdail.
Ann an iomadh dòigh, tha an leasachadh luath seo air a 'mhargaidh mar thoradh air fàs na sgÏre seo anns an Ruis. Ann an 2018, thà inig teachd a-steach bho reic fhuasglaidhean iomchaidh ann an Caidreachas na Ruis gu 40% den tasgadh iomlan ann an teicneòlasan giullachd Dà ta Mòr san roinn gu lèir.
Ann an Caidreachas na Ruis, bidh companaidhean bho na roinnean bancaidh is poblach, gnĂŹomhachas cian-conaltraidh agus gnĂŹomhachas aâ cosg as motha air giullachd DĂ ta Mòr.
Dè a bhios Mion-sgrĂšdaire DĂ ta Mòr aâ dèanamh agus dè a chosgas e san Ruis?
Tha e an urra ri anailisiche dĂ ta mòr sgrĂšdadh a dhèanamh air mòran fiosrachaidh, gach cuid leth-structaraichte agus neo-structaraichte. Airson buidhnean bancaidh is e gnothaichean a tha seo, airson gnĂŹomhaichean - gairmean is trafaic, ann am mion-reic - tadhalan luchd-ceannach agus ceannach. Mar a chaidh ainmeachadh gu h-Ă rd, tha mion-sgrĂšdadh DĂ ta Mòr aâ leigeil leinn ceanglaichean a lorg eadar diofar fhactaran ann an âeachdraidh fiosrachaidh amhâ, mar eisimpleir, pròiseas cinneasachaidh no ath-bhualadh ceimigeach. Stèidhichte air an dĂ ta mion-sgrĂšdadh, tha dòighean-obrach agus fuasglaidhean Ăšra air an leasachadh ann an grunn raointean - bho saothrachadh gu leigheas.
Sgilean a tha a dhÏth airson sgrÚdaire Dà ta Mòr:
- An comas a bhith a 'tuigsinn gu luath na feartan anns an raon airson a bheil an anailis ga dhèanamh, agus a bhith gad bhogadh fhèin ann an taobhan den raon a tha thu ag iarraidh. Dhâ fhaodadh seo a bhith mar reic, gnĂŹomhachas ola is gas, cungaidh-leigheis, msaa.
- Eòlas air dòighean mion-sgrÚdadh dà ta staitistigeil, togail mhodalan matamataigeach (lÏonraidhean neural, lÏonraidhean Bayesian, cruinneachadh, ais-tharraing, mion-sgrÚdaidhean bà illidh, caochlaidhean agus co-dhà imh, msaa).
- A bhith comasach air dà ta a tharraing à diofar stòran, a thionndadh airson mion-sgrÚdadh, agus a luchdachadh a-steach do stòr-dà ta anailis.
- Comasach ann an SQL.
- Eòlas air Beurla aig Ïre gu leòr airson sgrÏobhainnean teignigeach a leughadh gu furasta.
- Eòlas air Python (co-dhiÚ na bunaitean), Bash (tha e gu math duilich a dhèanamh às aonais sa phròiseas obrach), agus tha e ion-mhiannaichte fios a bhith agad air bunaitean Java agus Scala (feumar cleachdadh gnÏomhach de Spark, aon de na frèamaichean as mòr-chòrdte airson obrachadh le dà ta mòr).
- Comas a bhith ag obair le Hadoop.
Uill, dè an ĂŹre a bhios anailisiche DĂ ta Mòr aâ cosnadh?
Tha eòlaichean DĂ ta Mòr a-nis gann; tha iarrtas nas Ă irde na solar. Tha seo air sgĂ th gu bheil gnĂŹomhachas aâ tighinn gu tuigse: tha feum aig leasachadh air teicneòlasan Ăšra, agus tha feum aig leasachadh teicneòlais air eòlaichean.
Mar sin, neach-saidheans dĂ ta agus anailis dĂ ta anns na SA a rèir na buidhne fastaidh Glassdoor. Bidh tuarastal cuibheasach nan eòlaichean sin ann an Ameireagaidh aâ tòiseachadh bho $100 mĂŹle sa bhliadhna.
Anns an Ruis, bidh eòlaichean ionnsachadh innealan a 'faighinn bho 130 gu 300 mÏle rubles gach mÏos, sgrÚdairean dà ta mòr - bho 73 gu 200 mÏle rubles gach mÏos. Tha e uile an urra ri eòlas agus teisteanasan. Gu dearbh, tha dreuchdan bà na ann le tuarastalan nas Ïsle, agus feadhainn eile le feadhainn nas à irde. Iarrtas as motha airson sgrÚdairean dà ta mòr ann am Moscow agus St Petersburg. Moscow, nach eil na iongnadh, a 'cunntadh airson mu 50% de gnÏomhach dreuchdan (a rèir hh.ru). Tha mòran nas lugha de dh'iarrtas ann am Minsk agus Kyiv. Is fhiach a bhith mothachail gu bheil cuid de dhreuchdan bà na a 'tabhann uairean sÚbailte agus obair iomallach. Ach san fharsaingeachd, feumaidh companaidhean eòlaichean a tha ag obair san oifis.
Thar Ăšine, faodaidh sinn a bhith an dĂšil ri Ă rdachadh san iarrtas airson sgrĂšdairean DĂ ta Mòr agus riochdairean bho speisealachdan co-cheangailte. Mar a chaidh ainmeachadh gu h-Ă rd, cha deach gainnead luchd-obrach ann an roinn an teicneòlais a chuir dheth. Ach, gu dearbh, gus a bhith nad mhion-sgrĂšdaire DĂ ta Mòr, feumaidh tu sgrĂšdadh agus obrachadh, aâ leasachadh an dĂ chuid na sgilean gu h-Ă rd agus an fheadhainn a bharrachd. Is e aon de na cothroman air slighe anailisiche DĂ ta Mòr a thòiseachadh agus feuch do lĂ mh air obrachadh le dĂ ta mòr.
Source: www.habr.com
