Big Data analitika - realnost i izgledi u Rusiji i svijetu

Danas samo ljudi koji nemaju spoljne veze sa spoljnim svetom nisu čuli za velike podatke. Na Habréu je popularna tema Big Data analitike i srodnih tema. Ali za nespecijaliste koji bi se željeli posvetiti proučavanju velikih podataka, nije uvijek jasno kakve izglede ima ova oblast, gdje se može primijeniti Big Data analitika i na šta dobar analitičar može računati. Pokušajmo to shvatiti.

Količina informacija koje generiraju ljudi povećava se svake godine. Do 2020. količina pohranjenih podataka će se povećati na 40-44 zetabajta (1 ZB ~ 1 milijarda GB). Do 2025. - do približno 400 zetabajta. U skladu s tim, upravljanje strukturiranim i nestrukturiranim podacima korištenjem modernih tehnologija je područje koje postaje sve važnije. Za velike podatke su zainteresovane i pojedinačne kompanije i čitave zemlje.

Inače, upravo je tokom rasprave o informacionom bumu i metodama obrade podataka koje generiše ljudi nastao termin Big Data. Vjeruje se da ga je prvi put predložio 2008. urednik časopisa Nature Clifford Lynch.

Od tada se tržište velikih podataka povećava godišnje za nekoliko desetina posto. I ovaj trend će se, prema mišljenju stručnjaka, nastaviti. Dakle, prema procjenama kompanije Frost & Sullivan u 2021. ukupno globalno tržište analitike velikih podataka povećat će se na 67,2 milijarde dolara, a godišnji rast će iznositi oko 35,9%.

Zašto nam je potrebna analitika velikih podataka?

Omogućava vam da identifikujete izuzetno vrijedne informacije iz strukturiranih ili nestrukturiranih skupova podataka. Zahvaljujući tome, preduzeće može, na primer, da identifikuje trendove, predvidi performanse proizvodnje i optimizuje sopstvene troškove. Jasno je da su u cilju smanjenja troškova kompanije spremne implementirati najnovija rješenja.

Tehnologije i metode analize koje se koriste za analizu velikih podataka:

• Data Mining;
• crowdsourcing;
• miješanje i integracija podataka;
• mašinsko učenje;
• umjetne neuronske mreže;
• prepoznavanje uzoraka;
• prediktivna analitika;
• simulacijsko modeliranje;
• prostorna analiza;
• Statistička analiza;
• vizualizacija analitičkih podataka.

Big Data analitika u svijetu

Analitiku velikih podataka sada koristi više od 50% kompanija širom svijeta. Uprkos činjenici da je u 2015. godini ova brojka iznosila samo 17%. Big Data najaktivnije koriste kompanije koje posluju u sektoru telekomunikacija i finansijskih usluga. Zatim postoje kompanije koje su specijalizovane za tehnologiju zdravstvene zaštite. Minimalna upotreba Big Data analitike u obrazovnim kompanijama: u većini slučajeva predstavnici ove oblasti najavljuju svoju namjeru da koriste tehnologiju u bliskoj budućnosti.

U Sjedinjenim Državama se najaktivnije koristi Big Data analitika: više od 55% kompanija iz različitih oblasti radi s ovom tehnologijom. U Evropi i Aziji potražnja za analitikom velikih podataka nije mnogo manja – oko 53%.

A šta je sa Rusijom?

Prema IDC analitičarima, Rusija je najveće regionalno tržište za analitička rješenja velikih podataka. Rast tržišta ovakvih rješenja u srednjoj i istočnoj Europi je prilično aktivan, ova brojka se svake godine povećava za 11%. Do 2022. dostići će 5,4 milijarde dolara u kvantitativnom smislu.

Na mnogo načina, ovaj brzi razvoj tržišta je rezultat rasta ove oblasti u Rusiji. U 2018. prihod od prodaje relevantnih rješenja u Ruskoj Federaciji iznosio je 40% ukupnih investicija u tehnologije obrade velikih podataka u cijelom regionu.

U Ruskoj Federaciji, kompanije iz bankarskog i javnog sektora, telekomunikacijske industrije i industrije najviše troše na obradu velikih podataka.

Čime se bavi analitičar velikih podataka i koliko zarađuje u Rusiji?

Analitičar velikih podataka odgovoran je za ispitivanje ogromnih količina informacija, polustrukturiranih i nestrukturiranih. Za bankarske organizacije to su transakcije, za operatere - pozivi i saobraćaj, za stanovništvo - posjete i kupovine klijenata. Kao što je već pomenuto, analiza velikih podataka nam omogućava da otkrijemo veze između različitih faktora u „sirovoj istoriji informacija“, na primer, proizvodnog procesa ili hemijske reakcije. Na osnovu podataka analize razvijaju se novi pristupi i rješenja u raznim oblastima - od proizvodnje do medicine.

Vještine potrebne za analitičara velikih podataka:

• Sposobnost brzog razumijevanja karakteristika područja za koje se vrši analiza i uronjenja u aspekte željenog područja. To može biti maloprodaja, industrija nafte i plina, medicina itd.
• Poznavanje metoda statističke analize podataka, konstrukcija matematičkih modela (neuronske mreže, Bayesove mreže, klasterizacija, regresija, faktorska, varijansna i korelacione analize itd.).
• Biti u stanju izdvojiti podatke iz različitih izvora, transformirati ih za analizu i učitati u analitičku bazu podataka.
• Stručnjak u SQL-u.
• Poznavanje engleskog jezika na nivou dovoljnom za lako čitanje tehničke dokumentacije.
• Poznavanje Pythona (barem osnove), Bash (bez njega je veoma teško u procesu rada), plus poželjno je poznavanje osnova Jave i Scale (potrebno za aktivno korištenje Sparka, jednog od najpopularniji okviri za rad sa velikim podacima).
• Sposobnost rada sa Hadoop-om.

Pa, koliko zarađuje analitičar Big Data?

Specijalisti za velike podatke su sada u manjku; potražnja je veća od ponude. To je zato što biznis dolazi do razumijevanja: razvoj zahtijeva nove tehnologije, a razvoj tehnologije zahtijeva stručnjake.

Dakle, Data Scientist i Data Analytics u SAD ušao u top 3 najbolja zanimanja u 2017 prema agenciji za zapošljavanje Glassdoor. Prosječna plata ovih stručnjaka u Americi kreće se od 100 hiljada dolara godišnje.

U Rusiji stručnjaci za mašinsko učenje primaju od 130 do 300 hiljada rubalja mesečno, analitičari velikih podataka - od 73 do 200 hiljada rubalja mesečno. Sve zavisi od iskustva i kvalifikacija. Naravno, ima slobodnih radnih mjesta sa manjim platama, i drugih sa većim. Maksimalna potražnja za analitičarima velikih podataka u Moskvi i Sankt Peterburgu. Moskva, što nije iznenađujuće, čini oko 50% aktivnih slobodnih radnih mjesta (prema hh.ru). Mnogo je manja potražnja u Minsku i Kijevu. Vrijedi napomenuti da neka slobodna radna mjesta nude fleksibilno radno vrijeme i rad na daljinu. Ali generalno, kompanijama su potrebni stručnjaci koji rade u kancelariji.

Vremenom se može očekivati ​​porast potražnje za analitičarima Big Data i predstavnicima srodnih specijalnosti. Kao što je već spomenuto, nedostatak kadrova u tehnološkom sektoru nije poništen. Ali, naravno, da biste postali analitičar velikih podataka, morate učiti i raditi, poboljšavajući i gore navedene i dodatne vještine. Jedna od prilika da se krene putem Big Data analitičara je prijavite se za kurs od Geekbrainsa i okušajte se u radu s velikim podacima.

izvor: www.habr.com