Vandag het net mense wat geen eksterne verbindings met die buitewêreld het nie, nie van groot data gehoor nie. Op Habré is die onderwerp van Big Data-analise en verwante onderwerpe gewild. Maar vir nie-spesialiste wat hulle graag aan die studie van Big Data wil toewy, is dit nie altyd duidelik watter vooruitsigte hierdie area het, waar Big Data-analise toegepas kan word en waarop 'n goeie ontleder kan staatmaak nie. Kom ons probeer dit uitvind.
Die hoeveelheid inligting wat deur mense gegenereer word, neem elke jaar toe. Teen 2020 sal die hoeveelheid data wat gestoor word, toeneem tot 40-44 zettagrepe (1 ZB ~ 1 miljard GB). Teen 2025 - tot ongeveer 400 zettagrepe. Gevolglik is die bestuur van gestruktureerde en ongestruktureerde data deur moderne tegnologieë 'n gebied wat al hoe belangriker word. Beide individuele maatskappye en hele lande stel in groot data belang.
Terloops, dit was tydens die bespreking van die inligtingsoplewing en metodes om mensgegenereerde data te verwerk dat die term Big Data ontstaan het. Daar word geglo dat dit die eerste keer in 2008 deur die redakteur van die tydskrif Nature, Clifford Lynch, voorgestel is.
Sedertdien het die Big Data-mark jaarliks met etlike tientalle persent toegeneem. En hierdie tendens sal volgens kenners voortduur. Dus, volgens maatskappy skattings in 2021 sal die totale wêreldwye grootdata-analisemark tot $67,2 miljard toeneem Jaarlikse groei sal ongeveer 35,9% wees.
Hoekom het ons groot data-analise nodig?
Dit laat jou toe om uiters waardevolle inligting uit gestruktureerde of ongestruktureerde datastelle te identifiseer. Danksy dit kan 'n onderneming byvoorbeeld tendense identifiseer, produksieprestasie voorspel en sy eie koste optimaliseer. Dit is duidelik dat maatskappye gereed is om die nuutste oplossings te implementeer om koste te verminder.
Tegnologieë en ontledingsmetodes wat gebruik word om groot data te ontleed:
- Data-ontginning;
- crowdsourcing;
- datavermenging en -integrasie;
- Masjienleer;
- kunsmatige neurale netwerke;
- patroonherkenning;
- voorspellende analise;
- simulasiemodellering;
- ruimtelike analise;
- Statistiese analise;
- visualisering van analitiese data.
Big Data-analise in die wêreld
Groot data-analise word nou deur meer as 50% van maatskappye wêreldwyd gebruik. Ten spyte van die feit dat hierdie syfer in 2015 slegs 17% was. Groot data word die aktiefste gebruik deur maatskappye wat in die telekommunikasie- en finansiëledienstesektore werksaam is. Dan is daar maatskappye wat spesialiseer in gesondheidsorgtegnologie. Minimale gebruik van Big Data-analise in opvoedkundige maatskappye: in die meeste gevalle het verteenwoordigers van hierdie veld hul voorneme aangekondig om tegnologie in die nabye toekoms te gebruik.
In die Verenigde State word Big Data-analise die aktiefste gebruik: meer as 55% van maatskappye uit 'n verskeidenheid velde werk met hierdie tegnologie. In Europa en Asië is die vraag na grootdata-analise nie veel laer nie – sowat 53%.
Wat van in Rusland?
Volgens IDC-ontleders,. Die groei van die mark vir sulke oplossings in Sentraal- en Oos-Europa is redelik aktief, hierdie syfer neem elke jaar met 11% toe. Teen 2022 sal dit in kwantitatiewe terme $5,4 miljard bereik.
In baie opsigte is hierdie vinnige ontwikkeling van die mark te danke aan die groei van hierdie gebied in Rusland. In 2018 het inkomste uit die verkoop van relevante oplossings in die Russiese Federasie 40% van die totale belegging in Big Data-verwerkingstegnologieë in die hele streek beloop.
In die Russiese Federasie bestee maatskappye uit die bank- en openbare sektore, telekommunikasie-industrie en -industrie die meeste aan Big Data-verwerking.
Wat doen 'n Big Data Analyst en hoeveel verdien hy in Rusland?
'n Grootdata-ontleder is verantwoordelik vir die ondersoek van groot hoeveelhede inligting, beide semi-gestruktureerd en ongestruktureerd. Vir bankorganisasies is dit transaksies, vir operateurs - oproepe en verkeer, in kleinhandel - kliëntebesoeke en aankope. Soos hierbo genoem, stel Big Data-analise ons in staat om verbande tussen verskeie faktore in die "rou inligtinggeskiedenis" te ontdek, byvoorbeeld 'n produksieproses of 'n chemiese reaksie. Op grond van die ontledingsdata word nuwe benaderings en oplossings op 'n verskeidenheid gebiede ontwikkel - van vervaardiging tot medisyne.
Vaardighede benodig vir 'n Big Data-ontleder:
- Die vermoë om vinnig die kenmerke in die area waarvoor die ontleding uitgevoer word te verstaan, en om jouself in aspekte van die gewenste area te verdiep. Dit kan kleinhandel, olie- en gasbedryf, medisyne, ens.
- Kennis van metodes van statistiese data-analise, konstruksie van wiskundige modelle (neurale netwerke, Bayesiaanse netwerke, groepering, regressie, faktor-, variansie- en korrelasie-analises, ens.).
- In staat wees om data uit verskillende bronne te onttrek, dit te transformeer vir ontleding, en dit in 'n analitiese databasis te laai.
- Vaardig in SQL.
- Kennis van Engels op 'n vlak wat voldoende is om tegniese dokumentasie maklik te lees.
- Kennis van Python (ten minste die basiese beginsels), Bash (dit is baie moeilik om daarsonder klaar te kom in die proses van werk), plus dit is wenslik om die basiese beginsels van Java en Scala te ken (nodig vir aktiewe gebruik van Spark, een van die gewildste raamwerke om met groot data te werk).
- Vermoë om met Hadoop te werk.
Wel, hoeveel verdien 'n Big Data-ontleder?
Daar is nou 'n tekort aan Big Data-spesialiste. Dit is omdat besigheid tot 'n begrip kom: ontwikkeling vereis nuwe tegnologie, en tegnologie-ontwikkeling vereis spesialiste.
Dus, Data Scientist en Data Analytics in die VSA volgens die werwingsagentskap Glassdoor. Die gemiddelde salaris van hierdie spesialiste in Amerika begin vanaf $100 duisend per jaar.
In Rusland ontvang masjienleerspesialiste van 130 tot 300 duisend roebels per maand, grootdata-ontleders - van 73 tot 200 duisend roebels per maand. Dit hang alles af van ondervinding en kwalifikasies. Natuurlik is daar vakatures met laer salarisse, en ander met hoëres. Maksimum vraag na grootdata-ontleders in Moskou en St. Petersburg. Moskou, wat nie verbasend is nie, is verantwoordelik vir ongeveer 50% van aktiewe vakatures (volgens hh.ru). Baie minder vraag is in Minsk en Kiev. Dit is opmerklik dat sommige vakatures buigsame ure en afstandwerk bied. Maar oor die algemeen benodig maatskappye spesialiste wat in die kantoor werk.
Met verloop van tyd kan ons 'n toename in die vraag na Big Data-ontleders en verteenwoordigers van verwante spesialiteite verwag. Soos hierbo genoem, is die tekort aan personeel in die tegnologiesektor nie gekanselleer nie. Maar, natuurlik, om 'n Big Data-ontleder te word, moet jy studeer en werk en beide die vaardighede wat hierbo gelys en bykomende vaardighede verbeter. Een van die geleenthede om die pad van Big Data-ontleder te begin, is en probeer jou hand om met groot data te werk.
Bron: will.com