Analytika veľkých dát - realita a vyhliadky v Rusku a vo svete

Dnes o veľkých dátach nepočuli iba ľudia, ktorí nemajú žiadne externé spojenie s vonkajším svetom. Na Habré je populárna téma Big Data analytics a súvisiace témy. No pre laikov, ktorí by sa chceli venovať štúdiu Big Data, nie je vždy jasné, aké má táto oblasť perspektívy, kde sa dá Big Data analytika uplatniť a s čím môže dobrý analytik počítať. Skúsme na to prísť.

Množstvo informácií generovaných ľuďmi sa každým rokom zvyšuje. Do roku 2020 sa objem uložených dát zvýši na 40 – 44 zettabajtov (1 ZB ~ 1 miliarda GB). Do roku 2025 – až približne 400 zettabajtov. Preto je správa štruktúrovaných a neštruktúrovaných údajov pomocou moderných technológií oblasťou, ktorá sa stáva čoraz dôležitejšou. O veľké dáta majú záujem jednotlivé spoločnosti aj celé krajiny.

Mimochodom, práve pri diskusii o informačnom boome a metódach spracovania ľuďmi generovaných dát vznikol pojem Big Data. Predpokladá sa, že ho prvýkrát navrhol v roku 2008 redaktor časopisu Nature Clifford Lynch.

Odvtedy sa trh s veľkými dátami každoročne zvyšuje o niekoľko desiatok percent. A tento trend bude podľa odborníkov pokračovať. Teda podľa odhadov spoločnosti Frost & Sullivan v roku 2021 sa celkový globálny trh s analytikou veľkých dát zvýši na 67,2 miliardy USD. Ročný rast bude približne 35,9 %.

Prečo potrebujeme analýzu veľkých dát?

Umožňuje vám identifikovať mimoriadne cenné informácie zo štruktúrovaných alebo neštruktúrovaných súborov údajov. Vďaka tomu môže podnik napríklad identifikovať trendy, predpovedať výkonnosť výroby a optimalizovať vlastné náklady. Je zrejmé, že v záujme znižovania nákladov sú firmy pripravené implementovať najnovšie riešenia.

Technológie a metódy analýzy, ktoré sa používajú na analýzu veľkých dát:

• dolovanie údajov;
• crowdsourcing;
• miešanie a integrácia údajov;
• strojové učenie;
• umelé neurónové siete;
• rozpoznávanie vzorov;
• prediktívna analytika;
• simulačné modelovanie;
• priestorová analýza;
• Štatistická analýza;
• vizualizácia analytických údajov.

Analýza veľkých dát vo svete

Analýzu veľkých dát v súčasnosti používa viac ako 50 % spoločností na celom svete. Napriek tomu, že v roku 2015 to bolo len 17 %. Big Data najaktívnejšie využívajú spoločnosti pôsobiace v sektore telekomunikácií a finančných služieb. Potom sú tu firmy, ktoré sa špecializujú na zdravotnícke technológie. Minimálne využívanie analýzy veľkých dát vo vzdelávacích spoločnostiach: vo väčšine prípadov predstavitelia tejto oblasti oznámili svoj zámer použiť technológiu v blízkej budúcnosti.

V Spojených štátoch sa analytika veľkých dát využíva najaktívnejšie: s touto technológiou pracuje viac ako 55 % spoločností z rôznych oblastí. V Európe a Ázii nie je dopyt po analýze veľkých dát oveľa nižší – približne 53 %.

A čo v Rusku?

Podľa analytikov IDC, Rusko je najväčším regionálnym trhom pre riešenia na analýzu veľkých dát. Rast trhu s takýmito riešeniami v strednej a východnej Európe je pomerne aktívny, toto číslo sa každoročne zvyšuje o 11 %. Do roku 2022 dosiahne v kvantitatívnom vyjadrení 5,4 miliardy dolárov.

V mnohých ohľadoch je tento rýchly rozvoj trhu spôsobený rastom tejto oblasti v Rusku. V roku 2018 predstavovali príjmy z predaja relevantných riešení v Ruskej federácii 40 % z celkových investícií do technológií spracovania veľkých dát v celom regióne.

V Ruskej federácii na spracovanie Big Data najviac míňajú firmy z bankového a verejného sektora, telekomunikačného priemyslu a priemyslu.

Čo robí analytik veľkých dát a koľko zarába v Rusku?

Analytik veľkých dát je zodpovedný za skúmanie obrovského množstva informácií, pološtruktúrovaných aj neštruktúrovaných. Pre bankové organizácie sú to transakcie, pre operátorov hovory a prevádzka, v maloobchode návštevy zákazníkov a nákupy. Ako už bolo spomenuté vyššie, analýza veľkých dát nám umožňuje objaviť súvislosti medzi rôznymi faktormi v „histórii surových informácií“, napríklad výrobným procesom alebo chemickou reakciou. Na základe údajov analýzy sa vyvíjajú nové prístupy a riešenia v rôznych oblastiach – od výroby až po medicínu.

Zručnosti požadované pre analytika veľkých dát:

• Schopnosť rýchlo pochopiť vlastnosti v oblasti, pre ktorú sa analýza vykonáva, a ponoriť sa do aspektov požadovanej oblasti. Môže to byť maloobchod, ropný a plynárenský priemysel, medicína atď.
• Znalosť metód štatistickej analýzy dát, konštrukcie matematických modelov (neurónové siete, Bayesovské siete, zhlukovanie, regresia, faktorové, variančné a korelačné analýzy a pod.).
• Byť schopný extrahovať údaje z rôznych zdrojov, transformovať ich na analýzu a načítať ich do analytickej databázy.
• Ovládať SQL.
• Znalosť angličtiny na úrovni postačujúcej na jednoduché čítanie technickej dokumentácie.
• Znalosť jazyka Python (aspoň základy), Bash (v procese práce je veľmi ťažké sa bez neho zaobísť), plus je žiaduce poznať základy Java a Scaly (potrebné pre aktívne používanie Spark, jedného z najobľúbenejšie rámce na prácu s veľkými údajmi).
• Schopnosť pracovať s Hadoopom.

Koľko zarába analytik veľkých dát?

Špecialistov na veľké dáta je teraz nedostatok, dopyt prevyšuje ponuku. Je to preto, že podnikanie prichádza k pochopeniu: vývoj si vyžaduje nové technológie a technologický vývoj si vyžaduje špecialistov.

Takže Data Scientist a Data Analytics v USA vstúpil do top 3 najlepších profesií roku 2017 podľa personálnej agentúry Glassdoor. Priemerný plat týchto špecialistov v Amerike začína od 100 tisíc dolárov ročne.

V Rusku dostávajú špecialisti na strojové učenie 130 až 300 tisíc rubľov mesačne, analytici veľkých dát - od 73 do 200 tisíc rubľov mesačne. Všetko závisí od skúseností a kvalifikácie. Samozrejme, sú voľné miesta s nižšími platmi a iné s vyššími. Maximálny dopyt po analytikoch veľkých dát v Moskve a Petrohrade. Moskva, čo nie je prekvapujúce, predstavuje asi 50% aktívnych voľných pracovných miest (podľa hh.ru). Oveľa menší dopyt je v Minsku a Kyjeve. Stojí za zmienku, že niektoré voľné pracovné miesta ponúkajú flexibilnú pracovnú dobu a prácu na diaľku. Vo všeobecnosti však firmy potrebujú špecialistov, ktorí pracujú v kancelárii.

Postupom času môžeme očakávať nárast dopytu po Big Data analytikoch a predstaviteľoch príbuzných špecialít. Ako už bolo spomenuté vyššie, nedostatok personálu v technologickom sektore nebol odstránený. Ale, samozrejme, aby ste sa stali analytikom veľkých dát, musíte študovať a pracovať a zlepšovať zručnosti uvedené vyššie, ako aj ďalšie. Jednou z príležitostí začať cestu analytika veľkých dát je prihláste sa na kurz od Geekbrains a vyskúšajte si prácu s veľkými dátami.

Zdroj: hab.com