Analityka Big Data – realia i perspektywy w Rosji i na świecie

Dziś o big data nie słyszeli jedynie ludzie, którzy nie mają zewnętrznych powiązań ze światem zewnętrznym. Na Habré popularny jest temat analityki Big Data i tematy pokrewne. Jednak dla niespecjalistów, którzy chcieliby poświęcić się badaniu Big Data, nie zawsze jest jasne, jakie perspektywy ma ten obszar, gdzie można zastosować analitykę Big Data i na co może liczyć dobry analityk. Spróbujmy to rozgryźć.

Ilość informacji generowanych przez człowieka zwiększa się z roku na rok. Do 2020 roku ilość przechowywanych danych wzrośnie do 40-44 zettabajtów (1 ZB ~ 1 miliard GB). Do 2025 roku – do około 400 zettabajtów. W związku z tym zarządzanie danymi ustrukturyzowanymi i nieustrukturyzowanymi przy użyciu nowoczesnych technologii jest obszarem, który staje się coraz ważniejszy. Big data interesują się zarówno pojedyncze firmy, jak i całe kraje.

Notabene, to właśnie w trakcie dyskusji na temat boomu informacyjnego i sposobów przetwarzania danych generowanych przez człowieka powstał termin Big Data. Uważa się, że został on po raz pierwszy zaproponowany w 2008 roku przez redaktora czasopisma Nature, Clifforda Lyncha.

Od tego czasu rynek Big Data rośnie rocznie o kilkadziesiąt procent. I ta tendencja, zdaniem ekspertów, będzie kontynuowana. Tak wynika z szacunków spółki Frost & Sullivan w 2021 r. całkowity światowy rynek analityki Big Data wzrośnie do 67,2 miliardów dolarów, a roczny wzrost wyniesie około 35,9%.

Dlaczego potrzebujemy analityki Big Data?

Pozwala na identyfikację niezwykle cennych informacji z ustrukturyzowanych lub nieustrukturyzowanych zbiorów danych. Dzięki temu firma może m.in. identyfikować trendy, przewidywać wydajność produkcji i optymalizować własne koszty. Oczywiste jest, że firmy chcąc redukować koszty są gotowe wdrażać najnowocześniejsze rozwiązania.

Technologie i metody analityczne wykorzystywane do analizy Big Data:

• Eksploracja danych;
• crowdsourcing;
• mieszanie i integracja danych;
• nauczanie maszynowe;
• sztuczne sieci neuronowe;
• rozpoznawanie wzorców;
• analityka predykcyjna;
• modelowanie symulacyjne;
• analiza przestrzenna;
• Analiza statystyczna;
• wizualizacja danych analitycznych.

Analityka Big Data na świecie

Z analityki Big Data korzysta obecnie ponad 50% firm na całym świecie. Pomimo tego, że w 2015 roku odsetek ten wynosił zaledwie 17%. Z Big Data najaktywniej korzystają firmy działające w sektorach telekomunikacji i usług finansowych. Są też firmy specjalizujące się w technologiach medycznych. Minimalne wykorzystanie analityki Big Data w firmach edukacyjnych: w większości przypadków przedstawiciele tej dziedziny deklarowali chęć wykorzystania technologii w najbliższej przyszłości.

W Stanach Zjednoczonych analityka Big Data jest najaktywniej wykorzystywana: z tą technologią współpracuje ponad 55% firm z różnych dziedzin. W Europie i Azji zapotrzebowanie na analitykę Big Data jest niewiele mniejsze – ok. 53%.

A co w Rosji?

Według analityków IDC, Rosja jest największym regionalnym rynkiem rozwiązań analitycznych Big Data. Rozwój rynku tego typu rozwiązań w Europie Środkowo-Wschodniej jest dość aktywny, liczba ta wzrasta co roku o 11%. Do 2022 r. osiągnie ona ilościowo 5,4 miliarda dolarów.

Pod wieloma względami ten szybki rozwój rynku wynika z rozwoju tego obszaru w Rosji. W 2018 roku przychody ze sprzedaży odpowiednich rozwiązań na terenie Federacji Rosyjskiej wyniosły 40% całkowitych inwestycji w technologie przetwarzania Big Data w całym regionie.

W Federacji Rosyjskiej na przetwarzanie Big Data najwięcej wydają firmy z sektora bankowego, publicznego, branży telekomunikacyjnej i przemysłu.

Czym zajmuje się analityk Big Data i ile zarabia w Rosji?

Analityk dużych zbiorów danych jest odpowiedzialny za badanie ogromnych ilości informacji, zarówno częściowo ustrukturyzowanych, jak i nieustrukturyzowanych. Dla organizacji bankowych są to transakcje, dla operatorów – połączenia i ruch, w handlu detalicznym – wizyty i zakupy klientów. Jak wspomniano powyżej, analiza Big Data pozwala odkryć powiązania pomiędzy różnymi czynnikami w „surowej historii informacji”, np. procesem produkcyjnym czy reakcją chemiczną. Na podstawie danych analitycznych opracowywane są nowe podejścia i rozwiązania w różnych obszarach – od produkcji po medycynę.

Umiejętności wymagane od analityka Big Data:

• Możliwość szybkiego zrozumienia cech obszaru, dla którego przeprowadzana jest analiza, oraz zanurzenia się w aspektach pożądanego obszaru. Może to być handel detaliczny, przemysł naftowy i gazowy, medycyna itp.
• Znajomość metod statystycznej analizy danych, budowy modeli matematycznych (sieci neuronowe, sieci bayesowskie, analiza skupień, regresja, analiza czynnikowa, wariancyjna i korelacyjna itp.).
• Umiejętność wydobywania danych z różnych źródeł, przekształcania ich do analizy i ładowania do analitycznej bazy danych.
• Biegła znajomość języka SQL.
• Znajomość języka angielskiego na poziomie wystarczającym do łatwego czytania dokumentacji technicznej.
• Znajomość Pythona (przynajmniej podstawy), Bash (bardzo trudno się bez niego obejść w pracy), dodatkowo pożądana jest znajomość podstaw Java i Scala (potrzebna do aktywnego korzystania ze Sparka, jednego z najpopularniejsze frameworki do pracy z big data).
• Możliwość pracy z Hadoopem.

No właśnie, ile zarabia analityk Big Data?

Specjalistów Big Data brakuje obecnie, popyt przewyższa podaż. Dzieje się tak dlatego, że biznes dochodzi do porozumienia: rozwój wymaga nowych technologii, a rozwój technologii wymaga specjalistów.

A więc analityk danych i analityk danych w USA znalazł się w pierwszej trójce najlepszych zawodów 3 roku – podaje agencja rekrutacyjna Glassdoor. Średnia pensja tych specjalistów w Ameryce zaczyna się od 100 tysięcy dolarów rocznie.

W Rosji specjaliści zajmujący się uczeniem maszynowym otrzymują od 130 do 300 tysięcy rubli miesięcznie, analitycy big data - od 73 do 200 tysięcy rubli miesięcznie. Wszystko zależy od doświadczenia i kwalifikacji. Są oczywiście wakaty z niższymi zarobkami i inne z wyższymi. Maksymalne zapotrzebowanie na analityków Big Data w Moskwie i St. Petersburgu. Na Moskwę, co nie jest zaskakujące, przypada około 50% aktywnych wakatów (wg hh.ru). Znacznie mniejszy popyt jest w Mińsku i Kijowie. Warto zaznaczyć, że niektóre oferty pracy oferują elastyczne godziny pracy i pracę zdalną. Ale generalnie firmy potrzebują specjalistów, którzy pracują w biurze.

Z biegiem czasu możemy spodziewać się wzrostu zapotrzebowania na analityków Big Data i przedstawicieli pokrewnych specjalizacji. Jak wspomniano powyżej, niedobory personelu w sektorze technologii nie zostały anulowane. Ale oczywiście, aby zostać analitykiem Big Data, trzeba się uczyć i pracować, doskonaląc zarówno umiejętności wymienione powyżej, jak i dodatkowe. Jedną z możliwości rozpoczęcia ścieżki analityka Big Data jest zapisz się na kurs w Geekbrains i spróbuj swoich sił w pracy z dużymi zbiorami danych.

Źródło: www.habr.com