Šiandien tik žmonės, neturintys išorinių ryšių su išoriniu pasauliu, nėra girdėję apie didelius duomenis. Habré, Didžiųjų duomenų analizės ir susijusių temų tema yra populiari. Tačiau ne specialistams, kurie norėtų atsiduoti didžiųjų duomenų tyrimams, ne visada aišku, kokias perspektyvas turi ši sritis, kur galima pritaikyti didžiųjų duomenų analizę ir kuo gali pasikliauti geras analitikas. Pabandykime tai išsiaiškinti.
Žmonių generuojamos informacijos kiekis kasmet didėja. Iki 2020 m. saugomų duomenų kiekis padidės iki 40–44 zettabaitų (1 ZB ~ 1 mlrd. GB). Iki 2025 m. – iki maždaug 400 zettabaitų. Atitinkamai, struktūrizuotų ir nestruktūruotų duomenų valdymas naudojant šiuolaikines technologijas yra sritis, kuri tampa vis svarbesnė. Tiek atskiros įmonės, tiek ištisos šalys domisi dideliais duomenimis.
Beje, diskutuojant apie informacijos bumą ir žmogaus sukurtų duomenų apdorojimo būdus, atsirado terminas „Big Data“. Manoma, kad pirmą kartą jį 2008 metais pasiūlė žurnalo „Nature“ redaktorius Cliffordas Lynchas.
Nuo tada didžiųjų duomenų rinka kasmet didėja keliomis dešimtimis procentų. Ir ši tendencija, pasak ekspertų, išliks. Taigi, bendrovės skaičiavimais 2021 metais bendra pasaulinė didžiųjų duomenų analizės rinka išaugs iki 67,2 mlrd. USD. Metinis augimas sieks apie 35,9%.
Kodėl mums reikia didelių duomenų analizės?
Tai leidžia atpažinti itin vertingą informaciją iš struktūrizuotų arba nestruktūrizuotų duomenų rinkinių. Dėl to verslas gali, pavyzdžiui, nustatyti tendencijas, numatyti gamybos našumą ir optimizuoti savo išlaidas. Akivaizdu, kad siekdamos sumažinti kaštus įmonės yra pasirengusios diegti naujausius sprendimus.
Technologijos ir analizės metodai, naudojami dideliems duomenims analizuoti:
- Duomenų gavyba;
- minios tiekimas;
- duomenų maišymas ir integravimas;
- mašininis mokymasis;
- dirbtiniai neuroniniai tinklai;
- modelio atpažinimas;
- Nuspėjamoji analizė;
- imitacinis modeliavimas;
- erdvinė analizė;
- Statistinė analizė;
- analitinių duomenų vizualizavimas.
Didelių duomenų analizė pasaulyje
Didžiųjų duomenų analizę dabar naudoja daugiau nei 50 % įmonių visame pasaulyje. Nepaisant to, kad 2015 metais šis skaičius siekė tik 17 proc. Aktyviausiai Big Data naudojasi telekomunikacijų ir finansinių paslaugų sektoriuose veikiančios įmonės. Tada yra įmonių, kurios specializuojasi sveikatos priežiūros technologijų srityje. Minimalus „Big Data“ analitikos naudojimas švietimo įmonėse: dažniausiai šios srities atstovai skelbdavo apie savo ketinimą artimiausiu metu panaudoti technologijas.
Jungtinėse Amerikos Valstijose Big Data analitika naudojama aktyviausiai: su šia technologija dirba daugiau nei 55% įvairių sričių įmonių. Europoje ir Azijoje didelių duomenų analitikos paklausa ne ką mažesnė – apie 53 proc.
O kaip su Rusija?
Pasak IDC analitikų,. Tokių sprendimų rinkos augimas Vidurio ir Rytų Europoje yra gana aktyvus, kasmet šis skaičius didėja 11 proc. Iki 2022 m. kiekybiškai ji pasieks 5,4 mlrd.
Daugeliu atžvilgių tokį spartų rinkos vystymąsi lėmė šios srities augimas Rusijoje. 2018 metais pajamos iš atitinkamų sprendimų pardavimo Rusijos Federacijoje sudarė 40% visų investicijų į didžiųjų duomenų apdorojimo technologijas visame regione.
Rusijos Federacijoje didžiųjų duomenų apdorojimui daugiausia išleidžia bankininkystės ir viešojo sektoriaus, telekomunikacijų pramonės ir pramonės įmonės.
Ką veikia ir kiek uždirba didelių duomenų analitikas Rusijoje?
Didelių duomenų analitikas yra atsakingas už didžiulio kiekio informacijos, tiek pusiau struktūrinės, tiek nestruktūruotos, tyrimą. Bankinėms organizacijoms tai yra operacijos, operatoriams - skambučiai ir srautas, mažmeninėje prekyboje - klientų apsilankymai ir pirkimai. Kaip minėta aukščiau, didžiųjų duomenų analizė leidžia mums atrasti ryšius tarp įvairių „neapdorotos informacijos istorijos“ veiksnių, pavyzdžiui, gamybos proceso ar cheminės reakcijos. Remiantis analizės duomenimis, kuriami nauji metodai ir sprendimai įvairiose srityse – nuo gamybos iki medicinos.
„Big Data“ analitikui reikalingi įgūdžiai:
- Gebėjimas greitai suprasti srities, kuriai atliekama analizė, ypatybes ir pasinerti į norimos srities aspektus. Tai gali būti mažmeninė prekyba, naftos ir dujų pramonė, medicina ir kt.
- Statistinės duomenų analizės metodų išmanymas, matematinių modelių konstravimas (neuronų tinklai, Bajeso tinklai, klasterizavimas, regresinė, faktorinė, dispersinė ir koreliacinė analizė ir kt.).
- Gebėti išgauti duomenis iš įvairių šaltinių, transformuoti juos analizei ir įkelti į analitinę duomenų bazę.
- Išmanantis SQL.
- Anglų kalbos žinios tokio lygio, kad būtų galima lengvai skaityti techninius dokumentus.
- Python išmanymas (bent jau pagrindai), Bash (darbo metu be jo labai sunku išsiversti), taip pat pageidautina žinoti Java ir Scala pagrindus (reikalingi norint aktyviai naudoti Spark, vieną iš populiariausios darbo su dideliais duomenimis sistemos).
- Gebėjimas dirbti su Hadoop.
Na, kiek uždirba „Big Data“ analitikas?
„Big Data“ specialistų dabar trūksta, paklausa viršija pasiūlą. Taip yra todėl, kad verslas ateina prie supratimo: plėtrai reikia naujų technologijų, o technologijų plėtrai – specialistų.
Taigi, duomenų mokslininkas ir duomenų analizė JAV įdarbinimo agentūros „Glassdoor“ teigimu. Vidutinis šių specialistų atlyginimas Amerikoje prasideda nuo 100 tūkstančių dolerių per metus.
Rusijoje mašininio mokymosi specialistai gauna nuo 130 iki 300 tūkstančių rublių per mėnesį, didelių duomenų analitikai - nuo 73 iki 200 tūkstančių rublių per mėnesį. Viskas priklauso nuo patirties ir kvalifikacijos. Žinoma, yra laisvų darbo vietų su mažesniais atlyginimais, o kitų – su didesniais. Didžiausia didžiųjų duomenų analitikų paklausa Maskvoje ir Sankt Peterburge. Nenuostabu, kad Maskvoje yra apie 50% aktyvių laisvų darbo vietų (pagal hh.ru). Daug mažesnė paklausa yra Minske ir Kijeve. Verta paminėti, kad kai kurios laisvos darbo vietos siūlo lanksčias darbo valandas ir nuotolinį darbą. Tačiau apskritai įmonėms reikia specialistų, kurie dirba biure.
Laikui bėgant galime tikėtis išaugusio Big Data analitikų ir susijusių specialybių atstovų paklausos. Kaip minėta aukščiau, darbuotojų trūkumas technologijų sektoriuje nepanaikintas. Tačiau, žinoma, norint tapti „Big Data“ analitiku, reikia mokytis ir dirbti, tobulinti tiek aukščiau išvardintus, tiek papildomus įgūdžius. Viena iš galimybių pradėti Big Data analitiko kelią yra ir išbandyti savo jėgas dirbant su dideliais duomenimis.
Šaltinis: www.habr.com