Big Data Analytics – realita a vyhlídky v Rusku a ve světě

Dnes o velkých datech neslyšeli pouze lidé, kteří nemají žádné externí spojení s vnějším světem. Na Habrého je populární téma Big Data Analytics a související témata. Ale pro laiky, kteří by se chtěli věnovat studiu Big Data, není vždy jasné, jaké má tato oblast vyhlídky, kde lze Big Data analytiku uplatnit a s čím může dobrý analytik počítat. Zkusme na to přijít.

Množství informací generovaných lidmi se každým rokem zvyšuje. Do roku 2020 se objem uložených dat zvýší na 40–44 zettabytů (1 ZB ~ 1 miliarda GB). Do roku 2025 – až přibližně 400 zettabytů. Správa strukturovaných a nestrukturovaných dat pomocí moderních technologií je tedy oblastí, která se stává stále důležitější. O velká data mají zájem jak jednotlivé společnosti, tak celé země.

Mimochodem, právě při diskuzi o informačním boomu a metodách zpracování lidmi generovaných dat vznikl pojem Big Data. Předpokládá se, že byl poprvé navržen v roce 2008 editorem časopisu Nature Cliffordem Lynchem.

Od té doby se trh s velkými daty každoročně zvyšuje o několik desítek procent. A tento trend bude podle odborníků pokračovat. Tedy podle odhadů společnosti Frost & Sullivan v roce 2021 se celkový globální trh analýzy velkých dat zvýší na 67,2 miliardy USD. Roční růst bude přibližně 35,9 %.

Proč potřebujeme analýzu velkých dat?

Umožňuje vám identifikovat extrémně cenné informace ze strukturovaných nebo nestrukturovaných datových souborů. Díky tomu může podnik například identifikovat trendy, predikovat výkonnost výroby a optimalizovat vlastní náklady. Je zřejmé, že za účelem snížení nákladů jsou firmy připraveny implementovat nejnovější řešení.

Technologie a metody analýzy, které se používají k analýze velkých dat:

• dolování dat;
• crowdsourcing;
• míchání a integrace dat;
• strojové učení;
• umělé neuronové sítě;
• rozpoznávání vzorů;
• prediktivní analytika;
• simulační modelování;
• prostorová analýza;
• Statistická analýza;
• vizualizace analytických dat.

Analytika velkých dat ve světě

Analýzu velkých dat nyní využívá více než 50 % společností po celém světě. Navzdory tomu, že v roce 2015 to bylo pouze 17 %. Big Data nejaktivněji využívají společnosti působící v odvětví telekomunikací a finančních služeb. Pak jsou tu firmy, které se specializují na zdravotnické technologie. Minimální využití Big Data analytiky ve vzdělávacích společnostech: ve většině případů zástupci tohoto oboru oznámili svůj záměr využívat technologie v blízké budoucnosti.

Ve Spojených státech je analytika velkých dat využívána nejaktivněji: s touto technologií pracuje více než 55 % společností z různých oborů. V Evropě a Asii není poptávka po analýze velkých dat o mnoho nižší – asi 53 %.

A co Rusko?

Podle analytiků IDC Rusko je největším regionálním trhem pro řešení analýzy velkých dat. Růst trhu s takovými řešeními ve střední a východní Evropě je poměrně aktivní, toto číslo se každoročně zvyšuje o 11 %. Do roku 2022 dosáhne v kvantitativním vyjádření 5,4 miliardy dolarů.

V mnoha ohledech je tento rychlý rozvoj trhu způsoben růstem této oblasti v Rusku. V roce 2018 činily příjmy z prodeje příslušných řešení v Ruské federaci 40 % celkových investic do technologií zpracování Big Data v celém regionu.

V Ruské federaci na zpracování Big Data nejvíce vynakládají společnosti z bankovního a veřejného sektoru, telekomunikačního průmyslu a průmyslu.

Co dělá analytik velkých dat a kolik vydělává v Rusku?

Analytik velkých dat je zodpovědný za zkoumání obrovského množství informací, jak polostrukturovaných, tak nestrukturovaných. Pro bankovní organizace jsou to transakce, pro operátory volání a provoz, v maloobchodě návštěvy zákazníků a nákupy. Jak bylo uvedeno výše, analýza velkých dat nám umožňuje odhalit souvislosti mezi různými faktory v „historii syrových informací“, například výrobním procesem nebo chemickou reakcí. Na základě dat analýzy jsou vyvíjeny nové přístupy a řešení v různých oblastech – od výroby po medicínu.

Dovednosti požadované pro analytika velkých dat:

• Schopnost rychle porozumět funkcím v oblasti, pro kterou se analýza provádí, a ponořit se do aspektů požadované oblasti. Může to být maloobchod, ropný a plynárenský průmysl, lékařství atd.
• Znalost metod statistické analýzy dat, konstrukce matematických modelů (neuronové sítě, Bayesovské sítě, shlukování, regrese, faktorové, variační a korelační analýzy atd.).
• Být schopen extrahovat data z různých zdrojů, transformovat je pro analýzu a načíst je do analytické databáze.
• Znalost SQL.
• Znalost angličtiny na úrovni dostatečné pro snadné čtení technické dokumentace.
• Znalost Pythonu (alespoň základy), Bash (bez něj se v procesu práce jen velmi těžko obejdete), navíc je žádoucí znát základy Javy a Scaly (potřebné pro aktivní používání Sparku, jednoho z nejoblíbenější frameworky pro práci s velkými daty).
• Schopnost pracovat s Hadoopem.

Kolik vydělává analytik velkých dat?

Specialistů na velká data je nyní nedostatek, poptávka převyšuje nabídku. Je tomu tak proto, že byznys dospívá k pochopení: vývoj vyžaduje nové technologie a technologický vývoj vyžaduje specialisty.

Takže Data Scientist a Data Analytics v USA vstoupil do 3 nejlepších profesí roku 2017 podle personální agentury Glassdoor. Průměrný plat těchto specialistů v Americe začíná od 100 tisíc dolarů ročně.

V Rusku dostávají specialisté na strojové učení 130 až 300 tisíc rublů za měsíc, analytici velkých dat - od 73 do 200 tisíc rublů za měsíc. Vše záleží na zkušenostech a kvalifikaci. Samozřejmě jsou volná místa s nižšími platy, jiná s vyššími. Maximální poptávka po big data analyticích v Moskvě a Petrohradu. Moskva, což není překvapivé, tvoří asi 50 % aktivních volných míst (podle hh.ru). Mnohem menší poptávka je v Minsku a Kyjevě. Stojí za zmínku, že některá volná pracovní místa nabízejí flexibilní pracovní dobu a práci na dálku. Obecně ale firmy potřebují specialisty, kteří pracují v kanceláři.

Postupem času lze očekávat nárůst poptávky po Big Data analyticích a zástupcích příbuzných specializací. Jak bylo uvedeno výše, nedostatek personálu v technologickém sektoru nebyl odstraněn. Ale samozřejmě, abyste se stali analytikem velkých dat, musíte studovat a pracovat a zlepšovat jak výše uvedené dovednosti, tak i další. Jednou z příležitostí, jak zahájit cestu analytika velkých dat, je přihlaste se do kurzu od Geekbrains a vyzkoušet si práci s velkými daty.

Zdroj: www.habr.com