Danes za velike podatke še niso slišali le ljudje, ki nimajo zunanjih povezav z zunanjim svetom. Na Habréju je tema analitike velikih podatkov in sorodnih tem priljubljena. Toda za nestrokovnjake, ki bi se želeli posvetiti preučevanju Big Data, ni vedno jasno, kakšne perspektive ima to področje, kje se lahko uporabi analitika Big Data in na kaj lahko dober analitik računa. Poskusimo ugotoviti.
Količina informacij, ki jih ustvari človek, se vsako leto poveča. Do leta 2020 se bo količina shranjenih podatkov povečala na 40–44 zetabajtov (1 ZB ~ 1 milijarda GB). Do leta 2025 - do približno 400 zetabajtov. Skladno s tem je upravljanje strukturiranih in nestrukturiranih podatkov s pomočjo sodobnih tehnologij področje, ki postaja vse bolj pomembno. Za velike podatke se zanimajo tako posamezna podjetja kot celotne države.
Mimogrede, med razpravo o informacijskem razmahu in metodah obdelave podatkov, ki jih ustvari človek, se je pojavil izraz Big Data. Domneva se, da ga je leta 2008 prvi predlagal urednik revije Nature Clifford Lynch.
Od takrat se trg Big Data vsako leto povečuje za več deset odstotkov. In ta trend se bo po mnenju strokovnjakov nadaljeval. Tako po ocenah podjetja leta 2021 se bo skupni globalni trg analitike velikih podatkov povečal na 67,2 milijarde USD. Letna rast bo približno 35,9-odstotna.
Zakaj potrebujemo analitiko velikih podatkov?
Omogoča vam prepoznavanje izjemno dragocenih informacij iz strukturiranih ali nestrukturiranih nizov podatkov. Zahvaljujoč temu lahko podjetje na primer prepozna trende, predvidi uspešnost proizvodnje in optimizira lastne stroške. Jasno je, da so podjetja za znižanje stroškov pripravljena uvesti najnovejše rešitve.
Tehnologije in metode analize, ki se uporabljajo za analizo velikih podatkov:
- podatkovno rudarjenje;
- crowdsourcing;
- mešanje in integracija podatkov;
- strojno učenje;
- umetne nevronske mreže;
- prepoznavanje vzorcev;
- napovedna analitika;
- simulacijsko modeliranje;
- prostorska analiza;
- Statistična analiza;
- vizualizacija analitičnih podatkov.
Analitika velikih podatkov v svetu
Analitiko velikih podatkov zdaj uporablja več kot 50 % podjetij po vsem svetu. Kljub temu, da je ta številka v letu 2015 znašala le 17 %. Big Data najdejavneje uporabljajo podjetja, ki delujejo v sektorju telekomunikacij in finančnih storitev. Potem so tu še podjetja, specializirana za zdravstveno tehnologijo. Minimalna uporaba analitike velikih podatkov v izobraževalnih podjetjih: v večini primerov so predstavniki tega področja napovedali, da nameravajo v bližnji prihodnosti uporabiti tehnologijo.
V Združenih državah se analitika velikih podatkov uporablja najbolj aktivno: več kot 55% podjetij z različnih področij dela s to tehnologijo. V Evropi in Aziji povpraševanje po analitiki velikih podatkov ni veliko manjše – približno 53 %.
Kaj pa v Rusiji?
Po mnenju analitikov IDC,. Rast trga tovrstnih rešitev v srednji in vzhodni Evropi je precej aktivna, ta številka se vsako leto poveča za 11 %. Do leta 2022 bo v količinskem smislu dosegel 5,4 milijarde dolarjev.
V mnogih pogledih je ta hiter razvoj trga posledica rasti tega področja v Rusiji. V letu 2018 so prihodki od prodaje ustreznih rešitev v Ruski federaciji znašali 40 % vseh naložb v tehnologije obdelave velikih podatkov v celotni regiji.
V Ruski federaciji za obdelavo velikih podatkov največ porabijo podjetja iz bančnega in javnega sektorja, telekomunikacijske industrije in industrije.
Kaj dela analitik velikih podatkov in koliko zasluži v Rusiji?
Analitik velikih podatkov je odgovoren za preučevanje ogromnih količin informacij, tako polstrukturiranih kot nestrukturiranih. Za bančne organizacije so to transakcije, za operaterje - klici in promet, v maloprodaji - obiski strank in nakupi. Kot že omenjeno, nam analiza velikih podatkov omogoča odkrivanje povezav med različnimi dejavniki v »zgodovini surovih informacij«, na primer proizvodni proces ali kemična reakcija. Na podlagi podatkov analiz se razvijajo novi pristopi in rešitve na različnih področjih – od proizvodnje do medicine.
Spretnosti, potrebne za analitika velikih podatkov:
- Sposobnost hitrega razumevanja značilnosti območja, za katerega se izvaja analiza, in poglobitve v vidike želenega območja. To je lahko trgovina na drobno, naftna in plinska industrija, medicina itd.
- Poznavanje metod statistične analize podatkov, konstrukcije matematičnih modelov (nevronske mreže, Bayesove mreže, grozdenje, regresijska, faktorska, variančna in korelacijska analiza itd.).
- Znati pridobiti podatke iz različnih virov, jih preoblikovati za analizo in naložiti v analitično zbirko podatkov.
- Obvlada SQL.
- Znanje angleščine na ravni, ki zadostuje za enostavno branje tehnične dokumentacije.
- Poznavanje Pythona (vsaj osnov), Bash (brez njega je v procesu dela zelo težko), poleg tega je zaželeno poznavanje osnov Jave in Scale (potrebno za aktivno uporabo Spark, enega izmed najbolj priljubljena ogrodja za delo z velikimi podatki).
- Sposobnost dela s Hadoopom.
No, koliko zasluži analitik velikih podatkov?
Strokovnjakov za velike podatke zdaj primanjkuje; povpraševanje presega ponudbo. To je zato, ker se posel razume: razvoj zahteva nove tehnologije, razvoj tehnologije pa strokovnjake.
Torej, Data Scientist in Data Analytics v ZDA po podatkih agencije za zaposlovanje Glassdoor. Povprečna plača teh strokovnjakov v Ameriki se začne od 100 tisoč dolarjev na leto.
V Rusiji strokovnjaki za strojno učenje prejmejo od 130 do 300 tisoč rubljev na mesec, analitiki velikih podatkov - od 73 do 200 tisoč rubljev na mesec. Vse je odvisno od izkušenj in kvalifikacij. Seveda so prosta delovna mesta z nižjimi plačami, druga z višjimi. Največje povpraševanje po analitikih velikih podatkov v Moskvi in Sankt Peterburgu. Moskva, kar ni presenetljivo, predstavlja približno 50% aktivnih prostih delovnih mest (po hh.ru). Veliko manj povpraševanja je v Minsku in Kijevu. Omeniti velja, da nekatera prosta delovna mesta ponujajo prilagodljiv delovni čas in delo na daljavo. Toda na splošno podjetja potrebujejo strokovnjake, ki delajo v pisarni.
Sčasoma lahko pričakujemo povečanje povpraševanja po analitikih velikih podatkov in predstavnikih sorodnih specialnosti. Kot že omenjeno, pomanjkanje osebja v tehnološkem sektorju ni bilo preklicano. Če pa želite postati analitik velikih podatkov, se morate seveda učiti in delati ter izboljševati tako zgoraj navedene veščine kot dodatne. Ena od priložnosti za začetek poti analitika velikih podatkov je in se preizkusite v delu z velikimi podatki.
Vir: www.habr.com