Í dag hefur aðeins fólk sem hefur engin ytri tengsl við umheiminn ekki heyrt um stór gögn. Á Habré er efnið Big Data greiningar og skyld efni vinsælt. En fyrir þá sem ekki eru sérfræðingar sem vilja helga sig rannsóknum á Big Data er ekki alltaf ljóst hvaða horfur þetta svæði hefur, hvar hægt er að beita Big Data greiningu og hverju góður sérfræðingur getur treyst. Við skulum reyna að átta okkur á því.
Magn upplýsinga sem menn búa til eykst með hverju ári. Árið 2020 mun magn geymdra gagna aukast í 40-44 zettabæta (1 ZB ~ 1 milljarður GB). Árið 2025 - allt að um það bil 400 zettabæta. Samkvæmt því er stjórnun skipulögð og óskipulögð gögn með nútímatækni svið sem verður sífellt mikilvægara. Bæði einstök fyrirtæki og heil lönd hafa áhuga á stórum gögnum.
Við the vegur, það var í umræðunni um upplýsingauppsveiflu og aðferðir við vinnslu manngerðra gagna sem hugtakið Big Data varð til. Talið er að það hafi fyrst verið lagt til árið 2008 af ritstjóra tímaritsins Nature, Clifford Lynch.
Síðan þá hefur stórgagnamarkaðurinn verið að aukast árlega um nokkra tugi prósenta. Og þessi þróun, samkvæmt sérfræðingum, mun halda áfram. Þannig samkvæmt áætlun fyrirtækisins árið 2021 mun heildarmarkaður stórgagnagreininga á heimsvísu aukast í 67,2 milljarða dala. Árlegur vöxtur verður um 35,9%.
Af hverju þurfum við greiningar á stórum gögnum?
Það gerir þér kleift að bera kennsl á afar verðmætar upplýsingar úr skipulögðum eða óskipulögðum gagnasöfnum. Þökk sé þessu getur fyrirtæki, til dæmis, greint þróun, spáð fyrir um framleiðslugetu og hagrætt eigin kostnaði. Ljóst er að til að draga úr kostnaði eru fyrirtæki tilbúin að innleiða nýjustu lausnirnar.
Tækni og greiningaraðferðir sem eru notaðar til að greina stór gögn:
- Gagnanám;
- mannfjöldi;
- gagnablöndun og samþætting;
- vélanám;
- gervi taugakerfi;
- mynsturþekking;
- forspárgreining;
- uppgerð líkanagerðar;
- rýmisgreining;
- tölfræðigreining;
- sjónræn greiningargögn.
Big Data greiningar í heiminum
Stór gagnagreining er nú notuð af meira en 50% fyrirtækja um allan heim. Þrátt fyrir þá staðreynd að árið 2015 var þessi tala aðeins 17%. Stór gögn eru mest notuð af fyrirtækjum sem starfa í fjarskipta- og fjármálaþjónustu. Svo eru fyrirtæki sem sérhæfa sig í heilbrigðistækni. Lágmarksnotkun á Big Data greiningu í menntafyrirtækjum: í flestum tilfellum tilkynntu fulltrúar þessa sviðs að þeir hygðust nota tækni í náinni framtíð.
Í Bandaríkjunum er Big Data greining notuð mest: meira en 55% fyrirtækja frá ýmsum sviðum vinna með þessa tækni. Í Evrópu og Asíu er eftirspurn eftir stórgagnagreiningum ekki mikið minni - um 53%.
Hvað með í Rússlandi?
Samkvæmt sérfræðingum IDC,. Vöxtur markaðarins fyrir slíkar lausnir í Mið- og Austur-Evrópu er nokkuð virkur, þessi tala eykst um 11% á hverju ári. Árið 2022 mun það ná 5,4 milljörðum dollara að magni til.
Þessi öra þróun markaðarins er að mörgu leyti til komin vegna vaxtar á þessu svæði í Rússlandi. Árið 2018 námu tekjur af sölu viðeigandi lausna í Rússlandi 40% af heildarfjárfestingu í Big Data vinnslutækni á öllu svæðinu.
Í Rússlandi eyða fyrirtæki úr banka- og opinbera geiranum, fjarskiptaiðnaðinum og iðnaði mest í vinnslu Big Data.
Hvað gerir Big Data Analyst og hversu mikið þénar hann í Rússlandi?
Sérfræðingur í stórum gögnum er ábyrgur fyrir því að skoða mikið magn upplýsinga, bæði hálfuppbyggðar og ómótaðar. Fyrir bankastofnanir eru þetta viðskipti, fyrir símafyrirtæki - símtöl og umferð, í smásölu - heimsóknir og kaup viðskiptavina. Eins og getið er hér að ofan gerir Big Data greining okkur kleift að uppgötva tengsl milli ýmissa þátta í „hráupplýsingasögunni“, til dæmis framleiðsluferli eða efnahvörf. Byggt á greiningargögnum eru þróaðar nýjar aðferðir og lausnir á ýmsum sviðum - allt frá framleiðslu til læknisfræði.
Hæfni sem krafist er fyrir Big Data sérfræðing:
- Hæfni til að skilja fljótt eiginleika svæðisins sem greiningin er gerð fyrir og sökkva þér niður í þætti viðkomandi svæðis. Þetta gæti verið smásala, olíu- og gasiðnaður, læknisfræði o.s.frv.
- Þekking á aðferðum við tölfræðilega gagnagreiningu, smíði stærðfræðilegra líkana (tauganet, Bayesísk net, þyrping, aðhvarf, þátta-, dreifni- og fylgnigreiningar o.fl.).
- Geta dregið gögn úr mismunandi heimildum, umbreytt þeim til greiningar og hlaðið þeim inn í greiningargagnagrunn.
- Kunnátta í SQL.
- Þekking á ensku á því stigi sem nægir til að auðvelt sé að lesa tækniskjöl.
- Þekking á Python (að minnsta kosti grunnatriði), Bash (það er mjög erfitt að vera án þess í vinnuferlinu), auk þess sem það er æskilegt að þekkja grunnatriði Java og Scala (þarf fyrir virka notkun á Spark, einu af vinsælustu rammar til að vinna með stór gögn).
- Hæfni til að vinna með Hadoop.
Jæja, hversu mikið þénar Big Data sérfræðingur?
Nú er skortur á sérfræðingum í Big Data, eftirspurn er meiri en framboð. Þetta er vegna þess að viðskipti eru að ná skilningi: þróun krefst nýrrar tækni og tækniþróun krefst sérfræðinga.
Svo, Data Scientist og Data Analytics í Bandaríkjunum samkvæmt ráðningarskrifstofunni Glassdoor. Meðallaun þessara sérfræðinga í Ameríku byrja frá $100 þúsund á ári.
Í Rússlandi fá vélanámssérfræðingar frá 130 til 300 þúsund rúblur á mánuði, stórgagnasérfræðingar - frá 73 til 200 þúsund rúblur á mánuði. Það veltur allt á reynslu og hæfni. Auðvitað eru laus störf með lægri laun og önnur með hærri. Hámarkseftirspurn eftir stórgagnasérfræðingum í Moskvu og St. Moskvu, sem kemur ekki á óvart, stendur fyrir um 50% af virkum lausum störfum (skv. hh.ru). Mun minni eftirspurn er í Minsk og Kyiv. Rétt er að taka fram að sum laus störf bjóða upp á sveigjanlegan vinnutíma og fjarvinnu. En almennt þurfa fyrirtæki sérfræðinga sem starfa á skrifstofunni.
Með tímanum má búast við aukinni eftirspurn eftir Big Data sérfræðingum og fulltrúum skyldra sérgreina. Eins og fyrr segir hefur skorti á starfsfólki í tæknigeiranum ekki verið aflýst. En auðvitað, til þess að verða Big Data sérfræðingur, þarftu að læra og vinna, bæta bæði hæfileikana sem taldar eru upp hér að ofan og fleiri. Eitt af tækifærunum til að hefja braut Big Data sérfræðings er og reyndu að vinna með stór gögn.
Heimild: www.habr.com