Danas samo ljudi koji nemaju vanjskih veza s vanjskim svijetom nisu čuli za big data. Na Habréu je popularna tema analitike velikih podataka i srodnih tema. Ali za nespecijaliste koji bi se željeli posvetiti proučavanju Big Data, nije uvijek jasno kakve su perspektive ovog područja, gdje se Big Data analitika može primijeniti i na što dobar analitičar može računati. Pokušajmo to shvatiti.
Količina informacija koje generiraju ljudi povećava se svake godine. Do 2020. količina pohranjenih podataka povećat će se na 40-44 zetabajta (1 ZB ~ 1 milijarda GB). Do 2025. godine - do otprilike 400 zetabajta. Sukladno tome, upravljanje strukturiranim i nestrukturiranim podacima korištenjem suvremenih tehnologija područje je koje postaje sve važnije. Za velike podatke zainteresirane su i pojedinačne tvrtke i cijele države.
Inače, tijekom rasprava o informacijskom bumu i metodama obrade podataka koje je stvorio čovjek nastao je pojam Big Data. Vjeruje se da ga je 2008. godine prvi predložio urednik časopisa Nature Clifford Lynch.
Od tada se Big Data tržište godišnje povećava za nekoliko desetaka posto. I taj će se trend, prema mišljenju stručnjaka, nastaviti. Dakle, prema procjenama tvrtke u 2021. ukupno globalno tržište analize velikih podataka povećat će se na 67,2 milijarde USD. Godišnji rast iznosit će oko 35,9%.
Zašto nam je potrebna analitika velikih podataka?
Omogućuje vam prepoznavanje iznimno vrijednih informacija iz strukturiranih ili nestrukturiranih skupova podataka. Zahvaljujući tome, tvrtka može, na primjer, identificirati trendove, predvidjeti učinak proizvodnje i optimizirati vlastite troškove. Jasno je da su tvrtke u cilju smanjenja troškova spremne implementirati najnovija rješenja.
Tehnologije i metode analize koje se koriste za analizu Big Data:
- rudarenje podataka;
- crowdsourcing;
- miješanje i integracija podataka;
- strojno učenje;
- umjetne neuronske mreže;
- prepoznavanje uzorka;
- prediktivna analitika;
- simulacijsko modeliranje;
- prostorna analiza;
- Statistička analiza;
- vizualizacija analitičkih podataka.
Big Data analitika u svijetu
Analitiku velikih podataka sada koristi više od 50% tvrtki diljem svijeta. Unatoč činjenici da je 2015. godine ta brojka iznosila samo 17%. Big Data najaktivnije koriste tvrtke koje posluju u sektoru telekomunikacija i financijskih usluga. Tu su i tvrtke specijalizirane za tehnologiju zdravstvene zaštite. Minimalna upotreba analitike Big Data u obrazovnim tvrtkama: u većini slučajeva predstavnici ovog područja najavili su svoju namjeru korištenja tehnologije u bliskoj budućnosti.
U Sjedinjenim Državama najaktivnije se koristi Big Data analitika: više od 55% tvrtki iz različitih područja radi s ovom tehnologijom. U Europi i Aziji potražnja za analitikom velikih podataka nije puno niža – oko 53%.
A što je s Rusijom?
Prema analitičarima IDC-a,. Rast tržišta za takva rješenja u srednjoj i istočnoj Europi je prilično aktivan, ova brojka se povećava za 11% svake godine. Do 2022. dosegnut će 5,4 milijarde dolara u kvantitativnom smislu.
Na mnoge načine, ovaj brzi razvoj tržišta je zbog rasta ovog područja u Rusiji. U 2018. prihod od prodaje relevantnih rješenja u Ruskoj Federaciji iznosio je 40% ukupnih ulaganja u tehnologije obrade Big Data u cijeloj regiji.
U Ruskoj Federaciji na obradu Big Data najviše troše tvrtke iz bankarskog i javnog sektora, telekomunikacijske industrije i industrije.
Što radi Big Data analitičar i koliko zarađuje u Rusiji?
Analitičar velikih podataka odgovoran je za ispitivanje golemih količina informacija, polustrukturiranih i nestrukturiranih. Za bankarske organizacije to su transakcije, za operatere - pozivi i promet, u maloprodaji - posjeti kupaca i kupnje. Kao što je gore spomenuto, analiza velikih podataka omogućuje nam otkrivanje veza između različitih čimbenika u "povijesti sirovih informacija", na primjer, proizvodnog procesa ili kemijske reakcije. Na temelju podataka analize razvijaju se novi pristupi i rješenja u različitim područjima - od proizvodnje do medicine.
Vještine potrebne za Big Data analitičara:
- Sposobnost brzog razumijevanja značajki u području za koje se provodi analiza i uživljavanja u aspekte željenog područja. To može biti maloprodaja, industrija nafte i plina, medicina itd.
- Poznavanje metoda statističke analize podataka, konstrukcije matematičkih modela (neuralne mreže, Bayesove mreže, klasteriranje, regresijska, faktorska, varijancijska i korelacijska analiza itd.).
- Biti u mogućnosti izdvojiti podatke iz različitih izvora, transformirati ih za analizu i učitati u analitičku bazu podataka.
- Iskusan u SQL-u.
- Poznavanje engleskog jezika na razini dovoljnoj za lako čitanje tehničke dokumentacije.
- Poznavanje Pythona (barem osnove), Bash (bez njega je jako teško u procesu rada), plus poželjno je poznavanje osnova Jave i Scale (potrebno za aktivno korištenje Sparka, jednog od najpopularniji okviri za rad s velikim podacima).
- Sposobnost rada s Hadoopom.
Pa, koliko zarađuje analitičar Big Data?
Stručnjaci za velike podatke sada nedostaju; potražnja premašuje ponudu. To je zato što posao dolazi do razumijevanja: razvoj zahtijeva nove tehnologije, a razvoj tehnologije zahtijeva stručnjake.
Dakle, Data Scientist i Data Analytics u SAD-u prema agenciji za zapošljavanje Glassdoor. Prosječna plaća ovih stručnjaka u Americi kreće se od 100 tisuća dolara godišnje.
U Rusiji stručnjaci za strojno učenje dobivaju od 130 do 300 tisuća rubalja mjesečno, analitičari velikih podataka - od 73 do 200 tisuća rubalja mjesečno. Sve ovisi o iskustvu i kvalifikacijama. Naravno, ima slobodnih radnih mjesta s nižim plaćama, a i onih s višim. Maksimalna potražnja za analitičarima velikih podataka u Moskvi i St. Petersburgu. Moskva, što nije iznenađujuće, čini oko 50% aktivnih slobodnih radnih mjesta (prema hh.ru). Mnogo manja potražnja je u Minsku i Kijevu. Vrijedno je napomenuti da neka slobodna radna mjesta nude fleksibilno radno vrijeme i rad na daljinu. Ali općenito, tvrtke trebaju stručnjake koji rade u uredu.
S vremenom možemo očekivati porast potražnje za Big Data analitičarima i predstavnicima srodnih specijalnosti. Kao što je gore spomenuto, nedostatak osoblja u tehnološkom sektoru nije otkazan. Ali, naravno, da biste postali Big Data analitičar, morate učiti i raditi, poboljšavajući i gore navedene vještine i dodatne. Jedna od prilika za početak puta Big Data analitičara je i okušajte se u radu s velikim podacima.
Izvor: www.habr.com