Gaur egun, kanpoko munduarekin kanpoko konexiorik ez duten pertsonek ez dute big datarik entzun. HabrΓ©-n, Big Data analisiaren eta erlazionatutako gaien gaia ezaguna da. Baina Big Data aztertzen aritu nahi ez duten espezialistak ez direnentzat, ez dago beti argi zein perspektiba dituen arlo honek, non aplika daitekeen Big Data analitika eta analista on batek zertan izan dezakeen. Saia gaitezen asmatzen.
Gizakiak sortzen duen informazio kopurua handitzen da urtero. 2020rako, biltegiratutako datuen kopurua 40-44 zettabyteraino igoko da (1 ZB ~ 1 milioi GB). 2025erako - 400 zettabyte inguru. Horrenbestez, teknologia modernoak erabiliz datu egituratuak eta egituratu gabekoak kudeatzea gero eta garrantzi handiagoa duen arloa da. Bai enpresa indibidualak bai herrialde osoak big data interesatzen dira.
Bide batez, informazio-boomaren eta gizakiek sortutako datuak prozesatzeko metodoen eztabaidan sortu zen Big Data terminoa. Uste da Clifford Lynch Nature aldizkariko zuzendariak 2008an proposatu zuela lehen aldiz.
Orduz geroztik, Big Data merkatua ehuneko hamarnaka handitzen ari da urtero. Eta joera horrek, adituen arabera, jarraituko du. Hala, konpainiaren kalkuluen arabera 2021ean, datu handien analisiaren merkatu global osoa 67,2 milioi dolarretara igoko da. Urteko hazkundea % 35,9 ingurukoa izango da.
Zergatik behar dugu big data analytics?
Egituratutako edo egituratu gabeko datu multzoetatik oso baliotsua den informazioa identifikatzeko aukera ematen du. Horri esker, negozio batek, adibidez, joerak identifikatu, produkzio-errendimendua aurreikusi eta bere kostuak optimiza ditzake. Argi dago kostuak murrizteko, enpresak prest daudela azken irtenbideak ezartzeko.
Big Data aztertzeko erabiltzen diren teknologiak eta analisi-metodoak:
- Datuen meatzaritza;
- crowdsourcing;
- datuen nahasketa eta integrazioa;
- ikaskuntza automatikoa;
- neurona-sare artifizialak;
- ereduen aitorpena;
- analitika prediktiboa;
- simulazio-modelizazioa;
- analisi espaziala;
- analisi estatistikoa;
- datu analitikoak bistaratzea.
Big Data analitika munduan
Big data analitika mundu osoko enpresen % 50 baino gehiagok erabiltzen dute gaur egun. 2015ean kopuru hori %17 baino ez bazen ere. Big Data telekomunikazioen eta finantza zerbitzuen sektoreetan diharduten enpresek erabiltzen dute modu aktiboenean. Gero osasun teknologian espezializatutako enpresak daude. Big Data analitikaren gutxieneko erabilera hezkuntza enpresetan: kasu gehienetan, arlo horretako ordezkariek etorkizun hurbilean teknologia erabiltzeko asmoa iragarri zuten.
Estatu Batuetan, Big Data analitika erabiltzen da aktiboen: hainbat arlotako enpresen %55ek baino gehiagok lan egiten dute teknologia honekin. Europan eta Asian, big data analytics eskaria ez da askoz txikiagoa -% 53 inguru.
Eta Errusiarekin zer?
IDCko analisten arabera,. Erdialdeko eta Ekialdeko Europan horrelako konponbideen merkatuaren hazkundea nahiko aktiboa da, kopuru hori urtero %11 handitzen da. 2022rako, 5,4 milioi dolarretara iritsiko da termino kuantitatiboetan.
Modu askotan, merkatuaren garapen azkar hau Errusian eremu honen hazkundeari zor zaio. 2018an, Errusiar Federazioko irtenbide garrantzitsuen salmentatik lortutako diru-sarrerak eskualde osoko Big Data prozesatzeko teknologietan inbertsio osoaren % 40 izan ziren.
Errusiar Federazioan, banku eta sektore publikoko enpresek, telekomunikazio industriak eta industriak gehien gastatzen dute Big Data prozesatzen.
Zer egiten du Big Data Analista batek eta zenbat irabazten du Errusian?
Big data analista bat informazio kopuru handia aztertzeaz arduratzen da, erdiegituratua zein egituragabea. Banku-erakundeentzat transakzioak dira, operadoreentzat - deiak eta trafikoa, txikizkakoetan - bezeroen bisitak eta erosketak. Goian esan bezala, Big Data azterketak βinformazio gordinaren historianβ hainbat faktoreren arteko loturak ezagutzeko aukera ematen digu, adibidez, ekoizpen prozesu bat edo erreakzio kimiko bat. Analisi-datuetan oinarrituta, ikuspegi eta irtenbide berriak garatzen dira hainbat arlotan, fabrikaziotik hasi eta medikuntzara.
Big Data analista batentzako beharrezkoak diren gaitasunak:
- Azterketa egiten ari den eremuko ezaugarriak azkar ulertzeko eta nahi den eremuko alderdietan murgiltzeko gaitasuna. Hau izan daiteke txikizkako merkataritza, petrolio eta gas industria, medikuntza, etab.
- Datu estatistikoak aztertzeko metodoak ezagutzea, eredu matematikoen eraikuntza (sare neuronalak, sare bayesiarrak, clustering, erregresio, faktore, bariantza eta korrelazio analisiak, etab.).
- Hainbat iturritatik datuak atera, analisirako eraldatu eta datu-base analitiko batean kargatu.
- SQLn trebea.
- Ingelesaren ezagutza dokumentazio teknikoa erraz irakurtzeko maila nahikoa izatea.
- Python-en ezagutza (oinarrizkoak behintzat), Bash (oso zaila da lan-prozesuan gabe egitea), gainera Java eta Scala-ren oinarriak ezagutzea komeni da (Spark-en erabilera aktiborako beharrezkoa da, hauetako bat). big data-ekin lan egiteko esparru ezagunenak).
- Hadoop-ekin lan egiteko gaitasuna.
Beno, zenbat irabazten du Big Data analista batek?
Big Data espezialistak eskas daude orain; eskariak eskaintza gainditzen du. Negozioak ulertzen ari direlako gertatzen da: garapenak teknologia berriak behar ditu eta garapen teknologikoak espezialistak behar ditu.
Beraz, Data Scientist eta Data Analytics AEBetan Glassdoor kontratazio agentziaren arabera. Ameriketako espezialista hauen batez besteko soldata urtean 100 mila $-tik hasten da.
Errusian, ikaskuntza automatikoko espezialistek hilero 130 eta 300 mila errublo jasotzen dituzte, big data analistek - hilean 73 eta 200 mila errublo. Guztia esperientziaren eta kualifikazioen araberakoa da. Noski, soldata baxuagoak dituzten lanpostu hutsak daude, eta beste batzuk handiagoak. Mosku eta San Petersburgo big data analistaren eskaria handiena. Mosku, ez da harritzekoa, lanpostu huts aktiboen % 50 inguru hartzen du (hh.ru-ren arabera). Askoz eskari gutxiago dago Minsken eta Kieven. Azpimarratzekoa da lanpostu huts batzuek ordutegi malgua eta urrutiko lana eskaintzen dutela. Baina, oro har, enpresek bulegoan lan egiten duten espezialistak behar dituzte.
Denborarekin, Big Data analista eta lotutako espezialitateetako ordezkarien eskariaren hazkundea espero dezakegu. Goian esan bezala, teknologiaren sektoreko langileen eskasia ez da bertan behera utzi. Baina, noski, Big Data analista izateko, ikasi eta lan egin behar duzu, goian aipatutako gaitasunak zein osagarriak hobetuz. Big Data analistaren bidea hasteko aukeretako bat da eta saiatu zure esku big datarekin lan egiten.
Iturria: www.habr.com