Hodiaŭ nur homoj, kiuj ne havas eksterajn rilatojn kun la ekstera mondo, ne aŭdis pri grandaj datumoj. Ĉe Habré, la temo de Big Data-analitiko kaj rilataj temoj estas populara. Sed por ne-specialistoj, kiuj ŝatus dediĉi sin al la studo de Big Data, ne ĉiam estas klare, kiajn perspektivojn havas ĉi tiu areo, kie Big Data-analitiko povas esti aplikata kaj pri kio bona analizisto povas fidi. Ni provu eltrovi ĝin.
La kvanto de informoj generitaj de homoj pliiĝas ĉiujare. Ĝis 2020, la kvanto de datumoj stokitaj pliiĝos al 40-44 zettabajtoj (1 ZB ~ 1 miliardo GB). Antaŭ 2025 - ĝis proksimume 400 zettabajtoj. Sekve, administri strukturitajn kaj nestrukturitajn datumojn uzante modernajn teknologiojn estas areo kiu iĝas ĉiam pli grava. Kaj individuaj kompanioj kaj tutaj landoj interesiĝas pri grandaj datumoj.
Cetere, estis dum la diskuto pri la informa eksplodo kaj metodoj de prilaborado de homgeneritaj datumoj, ke ekestis la termino Big Data. Estas kredite ke ĝi unue estis proponita en 2008 fare de la redaktisto de la ĵurnalo Nature, Clifford Lynch.
Ekde tiam, la merkato de Big Data pliiĝas ĉiujare je kelkaj dekoj da procentoj. Kaj ĉi tiu tendenco, laŭ spertuloj, daŭros. Tiel, laŭ taksoj de la kompanio en 2021, la totala tutmonda granda datuma analiza merkato pliiĝos al $ 67,2 miliardoj.Jara kresko estos ĉirkaŭ 35,9%.
Kial ni bezonas analizon pri grandaj datumoj?
Ĝi permesas vin identigi ekstreme valorajn informojn de strukturitaj aŭ nestrukturitaj datumserioj. Danke al ĉi tio, komerco povas, ekzemple, identigi tendencojn, antaŭdiri produktadon kaj optimumigi siajn proprajn kostojn. Estas klare, ke por redukti kostojn, kompanioj pretas efektivigi la plej novajn solvojn.
Teknologioj kaj analizaj metodoj uzataj por analizi Big Datan:
- Datuma Minado;
- crowdsourcing;
- datummiksado kaj integriĝo;
- maŝinlernado;
- artefaritaj neŭralaj retoj;
- ŝablona rekono;
- prognoza analizo;
- simuladmodelado;
- spaca analizo;
- Statistika analizo;
- bildigo de analizaj datumoj.
Analizo pri grandaj datumoj en la mondo
Granda datuma analizo nun estas uzata de pli ol 50% de kompanioj tutmonde. Malgraŭ tio, ke en 2015 ĉi tiu cifero estis nur 17%. Grandaj Datumoj estas plej aktive uzataj de kompanioj funkciigantaj en la sektoroj de telekomunikadoj kaj financaj servoj. Tiam estas kompanioj, kiuj specialiĝas pri santeknologio. Minimuma uzo de Big Data-analitiko en edukaj kompanioj: en la plej multaj kazoj, reprezentantoj de ĉi tiu kampo anoncis sian intencon uzi teknologion en proksima estonteco.
En Usono la analizo de Big Data estas plej aktive uzata: pli ol 55% de kompanioj el diversaj kampoj laboras kun ĉi tiu teknologio. En Eŭropo kaj Azio, la postulo pri analitiko de grandaj datumoj ne estas multe pli malalta - ĉirkaŭ 53%.
Kaj kio pri Rusujo?
Laŭ IDC-analizistoj,. La kresko de la merkato por tiaj solvoj en Centra kaj Orienta Eŭropo estas sufiĉe aktiva, ĉi tiu figuro pliiĝas je 11% ĉiujare. Ĝis 2022, ĝi atingos 5,4 miliardojn USD en kvantaj terminoj.
Multmaniere, ĉi tiu rapida disvolviĝo de la merkato ŝuldiĝas al la kresko de ĉi tiu areo en Rusio. En 2018, enspezoj de la vendo de koncernaj solvoj en la Rusa Federacio sumiĝis al 40% de la totala investo en Big Data-pretigaj teknologioj en la tuta regiono.
En la Rusa Federacio, firmaoj de la banka kaj publika sektoroj, telekomunika industrio kaj industrio plej elspezas por Big Data-prilaborado.
Kion faras Big Data Analyst kaj kiom li gajnas en Rusio?
Granda datuma analizisto respondecas pri ekzamenado de vastaj kvantoj da informoj, ambaŭ duonstrukturaj kaj nestrukturitaj. Por bankaj organizoj ĉi tiuj estas transakcioj, por telefonistoj - vokoj kaj trafiko, en podetala komerco - klientvizitoj kaj aĉetoj. Kiel menciite supre, Big Data-analizo permesas al ni malkovri ligojn inter diversaj faktoroj en la "kruda informa historio", ekzemple produktada procezo aŭ kemia reago. Surbaze de la analizaj datumoj, novaj aliroj kaj solvoj estas evoluigitaj en diversaj areoj - de fabrikado ĝis medicino.
Kapabloj bezonataj por Big Data analizisto:
- La kapablo rapide kompreni la trajtojn en la areo por kiu la analizo estas farita, kaj mergi vin en aspektoj de la dezirata areo. Ĉi tio povus esti podetala komerco, petrolo kaj gasindustrio, medicino, ktp.
- Kono de metodoj de statistika datuma analizo, konstruado de matematikaj modeloj (neŭralaj retoj, Bajezaj retoj, grupigo, regreso, faktoro, varianco kaj korelacianalizo ktp.).
- Estu kapabla ĉerpi datumojn de malsamaj fontoj, transformi ĝin por analizo, kaj ŝarĝi ĝin en analiza datumbazo.
- Kompetenta pri SQL.
- Scio de la angla je nivelo sufiĉa por facile legi teknikan dokumentadon.
- Kono de Python (almenaŭ la bazaĵoj), Bash (estas tre malfacile malhavi ĝin en la procezo de laboro), krome estas dezirinde koni la bazaĵojn de Java kaj Scala (bezonataj por aktiva uzo de Spark, unu el la plej popularaj kadroj por labori kun grandaj datumoj).
- Kapablo labori kun Hadoop.
Nu, kiom gajnas analizisto de Big Data?
Big Data-specialistoj nun mankas; postulo superas provizon. Ĉi tio estas ĉar komerco venas al kompreno: evoluo postulas novajn teknologiojn, kaj teknologia evoluo postulas specialistojn.
Do, Data Scientist kaj Data Analytics en Usono laŭ la rekruta agentejo Glassdoor. La averaĝa salajro de ĉi tiuj specialistoj en Ameriko komenciĝas de $ 100 mil jare.
En Rusio, specialistoj pri maŝinlernado ricevas de 130 ĝis 300 mil rubloj monate, analizistoj de grandaj datumoj - de 73 ĝis 200 mil rubloj monate. Ĉio dependas de sperto kaj kvalifikoj. Kompreneble, estas vakantaĵoj kun pli malaltaj salajroj, kaj aliaj kun pli altaj. Maksimuma postulo por analizistoj de grandaj datumoj en Moskvo kaj Sankt-Peterburgo. Moskvo, kio ne estas surpriza, okupas ĉirkaŭ 50% de aktivaj vakantaĵoj (laŭ hh.ru). Multe malpli da postulo estas en Minsko kaj Kyiv. Indas noti, ke iuj vakantaĵoj ofertas flekseblajn horojn kaj malproksiman laboron. Sed ĝenerale, kompanioj bezonas specialistojn, kiuj laboras en la oficejo.
Kun la tempo, ni povas atendi pliiĝon de postulo por analizistoj de Big Data kaj reprezentantoj de rilataj specialaĵoj. Kiel menciite supre, la manko de dungitaro en la teknologia sektoro ne estis nuligita. Sed, kompreneble, por fariĝi analizisto de Big Data, vi devas studi kaj labori, plibonigante kaj la supre listigitajn kapablojn kaj pliajn. Unu el la ŝancoj komenci la vojon de Big Data analizisto estas kaj provu vian manon labori kun grandaj datumoj.
fonto: www.habr.com