Idag är det bara människor som inte har några externa kopplingar till omvärlden som inte har hört talas om big data. På Habré är ämnet Big Data-analys och relaterade ämnen populärt. Men för icke-specialister som skulle vilja ägna sig åt studier av Big Data är det inte alltid klart vilka möjligheter detta område har, var Big Data-analyser kan tillämpas och vad en bra analytiker kan räkna med. Låt oss försöka lista ut det.
Mängden information som genereras av människor ökar varje år. År 2020 kommer mängden lagrad data att öka till 40-44 zettabyte (1 ZB ~ 1 miljard GB). År 2025 - upp till cirka 400 zettabyte. Därför är hantering av strukturerad och ostrukturerad data med hjälp av modern teknik ett område som blir allt viktigare. Både enskilda företag och hela länder är intresserade av big data.
Det var förresten under diskussionen om informationsboomen och metoder för att bearbeta mänskligt genererad data som begreppet Big Data uppstod. Man tror att det först föreslogs 2008 av redaktören för tidskriften Nature, Clifford Lynch.
Sedan dess har Big Data-marknaden ökat årligen med flera tiotals procent. Och denna trend, enligt experter, kommer att fortsätta. Alltså enligt företagets uppskattningar 2021 kommer den totala globala marknaden för big data analytics att öka till 67,2 miljarder USD. Den årliga tillväxten kommer att vara cirka 35,9 %.
Varför behöver vi stordataanalys?
Det låter dig identifiera extremt värdefull information från strukturerade eller ostrukturerade datamängder. Tack vare detta kan en verksamhet till exempel identifiera trender, förutsäga produktionsprestanda och optimera sina egna kostnader. Det är tydligt att för att minska kostnaderna är företag redo att implementera de senaste lösningarna.
Teknik och analysmetoder som används för att analysera Big Data:
- Data Mining;
- crowdsourcing;
- datablandning och integration;
- maskininlärning;
- Artificiellt nervsystem;
- mönsterigenkänning;
- prediktiv analys;
- simuleringsmodellering;
- rumslig analys;
- Statistisk analys;
- visualisering av analytisk data.
Big Data-analys i världen
Big data analytics används nu av mer än 50 % av företagen världen över. Trots att denna siffra 2015 bara var 17%. Big Data används mest aktivt av företag verksamma inom telekommunikations- och finanssektorerna. Sedan finns det företag som är specialiserade på sjukvårdsteknik. Minimal användning av Big Data-analys i utbildningsföretag: i de flesta fall meddelade företrädare för detta område sin avsikt att använda teknik inom en snar framtid.
I USA används Big Data-analys mest aktivt: mer än 55 % av företagen från en mängd olika områden arbetar med denna teknik. I Europa och Asien är efterfrågan på big data-analys inte mycket lägre – cirka 53 %.
Och hur är det i Ryssland?
Enligt IDC-analytiker,. Tillväxten av marknaden för sådana lösningar i Central- och Östeuropa är ganska aktiv, denna siffra ökar med 11% varje år. År 2022 kommer det att nå 5,4 miljarder dollar i kvantitativa termer.
På många sätt beror denna snabba utveckling av marknaden på tillväxten av detta område i Ryssland. Under 2018 uppgick intäkterna från försäljningen av relevanta lösningar i Ryska federationen till 40 % av den totala investeringen i Big Data-teknik i hela regionen.
I Ryska federationen spenderar företag från bank- och offentligsektorn, telekommunikationsindustrin och industrin mest på Big Data-behandling.
Vad gör en Big Data Analyst och hur mycket tjänar han i Ryssland?
En stordataanalytiker är ansvarig för att undersöka stora mängder information, både semistrukturerad och ostrukturerad. För bankorganisationer handlar det om transaktioner, för operatörer - samtal och trafik, i detaljhandeln - kundbesök och köp. Som nämnts ovan tillåter Big Data-analys oss att upptäcka samband mellan olika faktorer i "råinformationshistorien", till exempel en produktionsprocess eller en kemisk reaktion. Baserat på analysdata utvecklas nya tillvägagångssätt och lösningar inom en mängd olika områden – från tillverkning till medicin.
Färdigheter som krävs för en Big Data-analytiker:
- Förmågan att snabbt förstå funktionerna i det område som analysen utförs för, och att fördjupa dig i aspekter av det önskade området. Det kan vara detaljhandel, olje- och gasindustri, medicin osv.
- Kunskaper om metoder för statistisk dataanalys, konstruktion av matematiska modeller (neurala nätverk, Bayesianska nätverk, klustring, regression, faktor-, varians- och korrelationsanalyser etc.).
- Kunna extrahera data från olika källor, omvandla det för analys och ladda in det i en analytisk databas.
- Kunskaper i SQL.
- Kunskaper i engelska på en nivå som är tillräcklig för att enkelt kunna läsa teknisk dokumentation.
- Kunskaper om Python (åtminstone grunderna), Bash (det är mycket svårt att klara sig utan det under arbetets gång), plus att det är önskvärt att känna till grunderna i Java och Scala (som behövs för aktiv användning av Spark, en av de mest populära ramverk för att arbeta med big data).
- Förmåga att arbeta med Hadoop.
Tja, hur mycket tjänar en Big Data-analytiker?
Big Data-specialister är nu en bristvara, efterfrågan överstiger utbudet. Detta beror på att näringslivet kommer till en förståelse: utveckling kräver ny teknik och teknikutveckling kräver specialister.
Så, Data Scientist och Data Analytics i USA enligt rekryteringsbyrån Glassdoor. Den genomsnittliga lönen för dessa specialister i Amerika börjar från $100 tusen per år.
I Ryssland får maskininlärningsspecialister från 130 till 300 tusen rubel per månad, big data-analytiker - från 73 till 200 tusen rubel per månad. Allt beror på erfarenhet och kvalifikationer. Visst finns det lediga jobb med lägre löner, och andra med högre. Maximal efterfrågan på stordataanalytiker i Moskva och St. Petersburg. Moskva, vilket inte är förvånande, står för cirka 50% av de aktiva vakanserna (enligt hh.ru). Mycket mindre efterfrågan är i Minsk och Kiev. Det är värt att notera att vissa lediga tjänster erbjuder flexibla timmar och distansarbete. Men generellt sett behöver företag specialister som arbetar på kontoret.
Med tiden kan vi förvänta oss en ökad efterfrågan på Big Data-analytiker och representanter för relaterade specialiteter. Som nämnts ovan har bristen på personal inom tekniksektorn inte upphävts. Men, naturligtvis, för att bli en Big Data-analytiker måste du studera och arbeta, förbättra både de färdigheter som anges ovan och ytterligare. En av möjligheterna att starta Big Data-analytikerns väg är och prova på att arbeta med big data.
Källa: will.com