Sa lá atá inniu ann níor chuala ach trácht ar shonraí móra ag daoine nach bhfuil naisc sheachtracha acu leis an domhan lasmuigh. Ar Habré, tá tóir ar ábhar na hanailísíochta Sonraí Móra agus ábhair ghaolmhara. Ach maidir le neamhspeisialtóirí ar mhaith leo iad féin a chaitheamh ag staidéar ar Mhórshonraí, ní bhíonn sé soiléir i gcónaí cad iad na hionchais atá ag an réimse seo, cén áit ar féidir anailísíocht Sonraí Móra a chur i bhfeidhm agus cad is féidir le hanailísí maith brath air. Déanaimis iarracht é a dhéanamh amach.
Méadaíonn an méid faisnéise a ghineann daoine gach bliain. Faoi 2020, méadóidh méid na sonraí a stóráiltear go 40-44 zettabytes (1 ZB ~ 1 billiún GB). Faoi 2025 - suas le thart ar 400 zettabytes. Dá réir sin, is réimse é atá ag éirí níos tábhachtaí ná riamh sonraí struchtúrtha agus neamhstruchtúrtha a bhainistiú ag úsáid teicneolaíochtaí nua-aimseartha. Tá suim ag cuideachtaí aonair agus ag tíortha iomlána araon i sonraí móra.
Dála an scéil, ba le linn an phlé ar an mborradh faisnéise agus ar mhodhanna próiseála sonraí a ghintear ag an duine a d’eascair an téarma Sonraí Móra. Creidtear gur mhol eagarthóir na hirise Nature, Clifford Lynch é den chéad uair in 2008.
Ó shin i leith, tá an margadh Sonraí Móra ag méadú go bliantúil faoi roinnt deich faoin gcéad. Agus leanfaidh an treocht seo, de réir na saineolaithe, ar aghaidh. Dá bhrí sin, de réir meastacháin na cuideachta i 2021, méadóidh an margadh domhanda anailísíochta sonraí mór go $67,2 billiún Beidh an fás bliantúil thart ar 35,9%.
Cén fáth a bhfuil anailís mhór sonraí de dhíth orainn?
Ligeann sé duit faisnéis thar a bheith luachmhar a aithint ó thacair sonraí struchtúrtha nó neamhstruchtúrtha. A bhuí leis seo, is féidir le gnó, mar shampla, treochtaí a aithint, feidhmíocht táirgeachta a thuar agus a chostais féin a bharrfheabhsú. Is léir go bhfuil cuideachtaí réidh chun na réitigh is déanaí a chur i bhfeidhm chun costais a laghdú.
Teicneolaíochtaí agus modhanna anailíse a úsáidtear chun Sonraí Móra a anailísiú:
- Mianadóireacht Sonraí;
- sluafhoinsiú;
- meascadh agus comhtháthú sonraí;
- meaisínfhoghlama;
- líonraí neural saorga;
- aitheantas patrún;
- anailísíocht thuarthach;
- samhaltú ionsamhlúcháin;
- anailís spásúlachta;
- Anailís staitistiúil;
- léirshamhlú sonraí anailíse.
Anailísíocht Sonraí Móra ar fud an domhain
Baineann níos mó ná 50% de chuideachtaí ar fud an domhain úsáid as anailísíocht mhór sonraí anois. In ainneoin gur i 2015 a bhí an figiúr seo ach 17%. Is iad na cuideachtaí a oibríonn sna hearnálacha teileachumarsáide agus seirbhísí airgeadais is gníomhaí a úsáideann Big Data. Ansin tá cuideachtaí a dhéanann speisialtóireacht i dteicneolaíocht cúram sláinte. Úsáid íosta a bhaint as anailísíocht Sonraí Móra i gcuideachtaí oideachais: i bhformhór na gcásanna, d'fhógair ionadaithe ón réimse seo go raibh sé ar intinn acu teicneolaíocht a úsáid go luath amach anseo.
Sna Stáit Aontaithe, is mó a úsáidtear anailísíocht Big Data: oibríonn níos mó ná 55% de chuideachtaí ó réimsí éagsúla leis an teicneolaíocht seo. San Eoraip agus san Áise, níl an t-éileamh ar anailísíocht sonraí mór i bhfad níos ísle - thart ar 53%.
Cad faoi sa Rúis?
De réir anailísithe IDC,. Tá fás an mhargaidh le haghaidh réitigh den sórt sin i Lár agus in Oirthear na hEorpa gníomhach go leor, méadaíonn an figiúr seo 11% gach bliain. Faoi 2022, sroichfidh sé $5,4 billiún i dtéarmaí cainníochtúla.
Ar go leor bealaí, tá an fhorbairt tapa seo ar an margadh mar gheall ar fhás an réimse seo sa Rúis. In 2018, b'ionann ioncam ó dhíol réitigh ábhartha i gCónaidhm na Rúise agus 40% den infheistíocht iomlán i dteicneolaíochtaí próiseála Sonraí Móra sa réigiún ar fad.
I gCónaidhm na Rúise, is cuideachtaí ó na hearnálacha baincéireachta agus poiblí, an tionscal teileachumarsáide agus an tionscal is mó a chaitheann ar phróiseáil Sonraí Móra.
Cad a dhéanann Anailísí Sonraí Móra agus cé mhéad a thuilleann sé sa Rúis?
Tá anailísí mór sonraí freagrach as scrúdú a dhéanamh ar mhéideanna ollmhóra faisnéise, idir leathstruchtúrtha agus neamhstruchtúrtha. I gcás eagraíochtaí baincéireachta is idirbhearta iad seo, d'oibreoirí - glaonna agus trácht, i miondíol - cuairteanna agus ceannacháin ó chustaiméirí. Mar a luadh thuas, ligeann anailís ar Mhórshonraí dúinn naisc a aimsiú idir fachtóirí éagsúla i “stair na faisnéise amh”, mar shampla, próiseas táirgthe nó imoibriú ceimiceach. Bunaithe ar na sonraí anailíse, forbraítear cineálacha cur chuige agus réitigh nua i réimsí éagsúla - ó mhonarú go leigheas.
Scileanna a theastaíonn le haghaidh anailísí Mórshonraí:
- An cumas a thuiscint go tapa ar na gnéithe sa réimse a bhfuil an anailís á déanamh, agus tú féin a thumadh i ngnéithe den limistéar atá ag teastáil. D’fhéadfadh sé seo a bheith ina mhiondíol, tionscal ola agus gáis, leigheas, etc.
- Eolas ar mhodhanna anailíse ar shonraí staitistiúla, tógáil samhlacha matamaitice (líonraí néaracha, líonraí Bayesacha, cnuasú, aischéimniú, anailísí fachtóirí, athraitheas agus comhghaolaithe, etc.).
- A bheith in ann sonraí a bhaint as foinsí éagsúla, iad a chlaochlú le haghaidh anailíse, agus iad a luchtú isteach i mbunachar sonraí anailíse.
- Inniúil i SQL.
- Eolas ar an mBéarla ag leibhéal leordhóthanach chun doiciméadú teicniúil a léamh go héasca.
- Eolas ar Python (ar a laghad na bunghnéithe), Bash (tá sé an-deacair a dhéanamh gan é sa phróiseas oibre), móide tá sé inmhianaithe go mbeadh a fhios na bunghnéithe Java agus Scala (ag teastáil le haghaidh úsáid ghníomhach Spark, ar cheann de na creataí is coitianta chun oibriú le sonraí móra).
- Cumas oibriú le Hadoop.
Bhuel, cé mhéad a thuilleann anailísí Sonraí Móra?
Tá ganntanas ar speisialtóirí Sonraí Móra anois; Tá sé seo toisc go bhfuil gnó ag teacht ar thuiscint: éilíonn forbairt teicneolaíochtaí nua, agus éilíonn forbairt teicneolaíochta speisialtóirí.
Mar sin, Eolaí Sonraí agus Anailíseoir Sonraí i SAM de réir na gníomhaireachta earcaíochta Glassdoor. Tosaíonn meántuarastal na speisialtóirí seo i Meiriceá ó $100 míle in aghaidh na bliana.
Sa Rúis, faigheann speisialtóirí meaisínfhoghlama ó 130 go 300 míle rúbal in aghaidh na míosa, anailísithe sonraí móra - ó 73 go 200 míle rúbal in aghaidh na míosa. Braitheann sé go léir ar thaithí agus cáilíochtaí. Ar ndóigh, tá folúntais le tuarastail níos ísle, agus cinn eile le cinn níos airde. Éileamh uasta ar anailísithe sonraí móra i Moscó agus St Petersburg. Moscó, nach bhfuil ionadh, cuntas ar feadh thart ar 50% de na folúntais gníomhacha (de réir hh.ru). Tá éileamh i bhfad níos lú i Minsc agus Kyiv. Is fiú a thabhairt faoi deara go dtugann roinnt folúntais uaireanta solúbtha agus cianobair. Ach go ginearálta, ní mór do chuideachtaí speisialtóirí a oibríonn san oifig.
Le himeacht ama, is féidir linn a bheith ag súil le méadú ar an éileamh ar anailísithe Sonraí Móra agus ionadaithe speisialtachtaí gaolmhara. Mar a luadh thuas, níl an ganntanas pearsanra san earnáil teicneolaíochta curtha ar ceal. Ach, ar ndóigh, chun a bheith i do anailísí Sonraí Móra, ní mór duit staidéar a dhéanamh agus oibriú, ag feabhsú na scileanna atá liostaithe thuas agus na cinn bhreise araon. Is é ceann de na deiseanna chun cosán anailísí Big Data a thosú agus bain triail as do lámh ag oibriú le sonraí móra.
Foinse: will.com