I dag er det kun mennesker, der ikke har nogen eksterne forbindelser til omverdenen, der ikke har hørt om big data. På Habré er emnet Big Data-analyse og relaterede emner populært. Men for ikke-specialister, der gerne vil hellige sig studiet af Big Data, er det ikke altid klart, hvilke perspektiver dette område har, hvor Big Data-analyser kan anvendes, og hvad en god analytiker kan regne med. Lad os prøve at finde ud af det.
Mængden af information genereret af mennesker stiger hvert år. I 2020 vil mængden af lagrede data stige til 40-44 zettabyte (1 ZB ~ 1 milliard GB). Inden 2025 - op til cirka 400 zettabyte. Derfor er håndtering af strukturerede og ustrukturerede data ved hjælp af moderne teknologier et område, der bliver stadig vigtigere. Både enkelte virksomheder og hele lande er interesserede i big data.
Det var i øvrigt under diskussionen om informationsboomet og metoder til behandling af menneskeskabte data, at begrebet Big Data opstod. Det menes, at det først blev foreslået i 2008 af redaktøren af tidsskriftet Nature, Clifford Lynch.
Siden da er Big Data-markedet steget årligt med flere titusindvis af procent. Og denne tendens vil ifølge eksperter fortsætte. Således ifølge virksomhedens skøn i 2021 vil det samlede globale marked for big data-analyse stige til 67,2 milliarder USD. Den årlige vækst vil være omkring 35,9 %.
Hvorfor har vi brug for big data-analyse?
Det giver dig mulighed for at identificere ekstremt værdifuld information fra strukturerede eller ustrukturerede datasæt. Takket være dette kan en virksomhed for eksempel identificere trends, forudsige produktionsydelse og optimere sine egne omkostninger. Det er klart, at for at reducere omkostningerne er virksomhederne klar til at implementere de nyeste løsninger.
Teknologier og analysemetoder, der bruges til at analysere Big Data:
- Data Mining;
- crowdsourcing;
- datablanding og integration;
- maskinelæring;
- kunstige neurale netværk;
- mønster genkendelse;
- prædiktiv analyse;
- simuleringsmodellering;
- rumlig analyse;
- Statistisk analyse;
- visualisering af analytiske data.
Big Data-analyse i verden
Big data analytics bruges nu af mere end 50 % af virksomheder verden over. På trods af at dette tal i 2015 kun var 17%. Big Data bruges mest aktivt af virksomheder, der opererer i telekommunikations- og finanssektoren. Så er der virksomheder, der har specialiseret sig i sundhedsteknologi. Minimal brug af Big Data-analyse i uddannelsesvirksomheder: i de fleste tilfælde erklærede repræsentanter for dette felt, at de havde til hensigt at bruge teknologi i den nærmeste fremtid.
I USA bruges Big Data-analyse mest aktivt: mere end 55 % af virksomhederne fra en række forskellige områder arbejder med denne teknologi. I Europa og Asien er efterspørgslen efter big data-analyse ikke meget lavere – omkring 53 %.
Hvad med i Rusland?
Ifølge IDC-analytikere,. Væksten på markedet for sådanne løsninger i Central- og Østeuropa er ret aktiv, dette tal stiger med 11% hvert år. I 2022 vil det nå op på 5,4 milliarder dollars i kvantitative termer.
På mange måder skyldes denne hurtige udvikling af markedet væksten i dette område i Rusland. I 2018 udgjorde omsætningen fra salg af relevante løsninger i Den Russiske Føderation 40 % af den samlede investering i Big Data-behandlingsteknologier i hele regionen.
I Den Russiske Føderation bruger virksomheder fra bank- og offentlige sektorer, telekommunikationsindustrien og industrien mest på Big Data-behandling.
Hvad laver en Big Data Analyst, og hvor meget tjener han i Rusland?
En big data analytiker er ansvarlig for at undersøge enorme mængder information, både semistruktureret og ustruktureret. For bankorganisationer er disse transaktioner, for operatører - opkald og trafik, i detailhandel - kundebesøg og køb. Som nævnt ovenfor giver Big Data-analyse os mulighed for at opdage sammenhænge mellem forskellige faktorer i "råinformationshistorien", for eksempel en produktionsproces eller en kemisk reaktion. Baseret på analysedataene udvikles nye tilgange og løsninger inden for en række forskellige områder - fra fremstilling til medicin.
Kompetencer, der kræves for en Big Data-analytiker:
- Evnen til hurtigt at forstå funktionerne i det område, som analysen udføres for, og fordybe dig i aspekter af det ønskede område. Det kan være detailhandel, olie- og gasindustri, medicin osv.
- Kendskab til metoder til statistisk dataanalyse, konstruktion af matematiske modeller (neurale netværk, Bayesianske netværk, clustering, regression, faktor-, varians- og korrelationsanalyser mv.).
- Kunne udtrække data fra forskellige kilder, transformere dem til analyse og indlæse dem i en analytisk database.
- Kendskab til SQL.
- Kendskab til engelsk på et niveau, der er tilstrækkeligt til let at læse teknisk dokumentation.
- Kendskab til Python (i det mindste det grundlæggende), Bash (det er meget svært at undvære det i arbejdet), plus det er ønskeligt at kende det grundlæggende i Java og Scala (nødvendigt for aktiv brug af Spark, en af de mest populære rammer til at arbejde med big data).
- Evne til at arbejde med Hadoop.
Nå, hvor meget tjener en Big Data-analytiker?
Big Data-specialister er nu en mangelvare; efterspørgslen overstiger udbuddet. Dette skyldes, at erhvervslivet nærmer sig en forståelse: Udvikling kræver nye teknologier, og teknologiudvikling kræver specialister.
Altså, Data Scientist og Data Analytics i USA ifølge rekrutteringsbureauet Glassdoor. Den gennemsnitlige løn for disse specialister i Amerika starter fra $100 tusinde om året.
I Rusland modtager maskinlæringsspecialister fra 130 til 300 tusind rubler om måneden, big data-analytikere - fra 73 til 200 tusind rubler om måneden. Det hele afhænger af erfaring og kvalifikationer. Selvfølgelig er der ledige stillinger med lavere løn, og andre med højere. Maksimal efterspørgsel efter big data analytikere i Moskva og St. Petersborg. Moskva, hvilket ikke er overraskende, tegner sig for omkring 50% af de aktive ledige stillinger (ifølge hh.ru). Meget mindre efterspørgsel er i Minsk og Kiev. Det er værd at bemærke, at nogle ledige stillinger tilbyder fleksible timer og fjernarbejde. Men generelt har virksomheder brug for specialister, der arbejder på kontoret.
Over tid kan vi forvente en stigning i efterspørgslen efter Big Data-analytikere og repræsentanter for relaterede specialer. Som nævnt ovenfor er manglen på personale i teknologisektoren ikke blevet aflyst. Men selvfølgelig, for at blive en Big Data-analytiker, skal du studere og arbejde og forbedre både de ovennævnte færdigheder og yderligere. En af mulighederne for at starte Big Data analytikerens vej er og prøv at arbejde med big data.
Kilde: www.habr.com