I dag er det bare folk som ikke har noen eksterne forbindelser med omverdenen som ikke har hørt om big data. På Habré er temaet Big Data-analyse og relaterte emner populært. Men for ikke-spesialister som ønsker å vie seg til studiet av Big Data, er det ikke alltid klart hvilke utsikter dette området har, hvor Big Data-analyse kan brukes og hva en god analytiker kan stole på. La oss prøve å finne ut av det.
Mengden informasjon generert av mennesker øker hvert år. Innen 2020 vil mengden data som lagres øke til 40-44 zettabyte (1 ZB ~ 1 milliard GB). Innen 2025 - opptil omtrent 400 zettabyte. Følgelig er håndtering av strukturerte og ustrukturerte data ved hjelp av moderne teknologier et område som blir stadig viktigere. Både enkeltselskaper og hele land er interessert i big data.
Det var forresten under diskusjonen om informasjonsboomen og metoder for å behandle menneskeskapte data at begrepet Big Data oppsto. Det antas at det først ble foreslått i 2008 av redaktøren av tidsskriftet Nature, Clifford Lynch.
Siden den gang har Big Data-markedet økt årlig med flere titalls prosent. Og denne trenden, ifølge eksperter, vil fortsette. Dermed ifølge selskapets estimater i 2021 vil det totale globale markedet for big data-analyse øke til 67,2 milliarder dollar. Årlig vekst vil være rundt 35,9 %.
Hvorfor trenger vi big data-analyse?
Den lar deg identifisere ekstremt verdifull informasjon fra strukturerte eller ustrukturerte datasett. Takket være dette kan en virksomhet for eksempel identifisere trender, forutsi produksjonsytelse og optimere sine egne kostnader. Det er klart at for å redusere kostnadene er bedriftene klare til å implementere de nyeste løsningene.
Teknologier og analysemetoder som brukes til å analysere Big Data:
- Datautvinning;
- crowdsourcing;
- datablanding og integrasjon;
- maskinlæring;
- kunstige nevrale nettverk;
- mønstergjenkjenning;
- prediktiv analyse;
- simulering modellering;
- romlig analyse;
- Statistisk analyse;
- visualisering av analytiske data.
Big Data-analyse i verden
Big data-analyse brukes nå av mer enn 50 % av selskaper over hele verden. Til tross for at dette tallet i 2015 bare var 17%. Big Data brukes mest aktivt av selskaper som opererer i telekommunikasjons- og finanssektoren. Så er det selskaper som spesialiserer seg på helseteknologi. Minimal bruk av Big Data-analyse i utdanningsbedrifter: i de fleste tilfeller kunngjorde representanter for dette feltet sin intensjon om å bruke teknologi i nær fremtid.
I USA brukes Big Data-analyse mest aktivt: mer enn 55 % av selskapene fra en rekke felt jobber med denne teknologien. I Europa og Asia er etterspørselen etter big data-analyse ikke mye lavere – omtrent 53 %.
Og hva med Russland?
I følge IDC-analytikere,. Veksten i markedet for slike løsninger i Sentral- og Øst-Europa er ganske aktiv, dette tallet øker med 11% hvert år. Innen 2022 vil den nå 5,4 milliarder dollar i kvantitative termer.
På mange måter skyldes denne raske utviklingen av markedet veksten av dette området i Russland. I 2018 utgjorde inntektene fra salg av relevante løsninger i den russiske føderasjonen 40 % av den totale investeringen i Big Data-behandlingsteknologier i hele regionen.
I den russiske føderasjonen bruker selskaper fra bank og offentlig sektor, telekommunikasjonsindustrien og industrien mest på Big Data-behandling.
Hva gjør en Big Data Analyst og hvor mye tjener han i Russland?
En stordataanalytiker er ansvarlig for å undersøke enorme mengder informasjon, både semistrukturert og ustrukturert. For bankorganisasjoner er dette transaksjoner, for operatører - samtaler og trafikk, i detaljhandel - kundebesøk og kjøp. Som nevnt ovenfor lar Big Data-analyse oss oppdage sammenhenger mellom ulike faktorer i «råinformasjonshistorien», for eksempel en produksjonsprosess eller en kjemisk reaksjon. Basert på analysedataene utvikles nye tilnærminger og løsninger på en rekke områder – fra produksjon til medisin.
Ferdigheter som kreves for en Big Data-analytiker:
- Evnen til raskt å forstå funksjonene i området som analysen utføres for, og fordype deg i aspekter ved det ønskede området. Dette kan være detaljhandel, olje- og gassindustri, medisin osv.
- Kunnskap om metoder for statistisk dataanalyse, konstruksjon av matematiske modeller (nevrale nettverk, Bayesianske nettverk, clustering, regresjon, faktor, varians og korrelasjonsanalyser, etc.).
- Kunne trekke ut data fra forskjellige kilder, transformere dem for analyse og laste dem inn i en analytisk database.
- Beherske i SQL.
- Kunnskaper i engelsk på et nivå som er tilstrekkelig til å enkelt lese teknisk dokumentasjon.
- Kunnskap om Python (i det minste det grunnleggende), Bash (det er veldig vanskelig å klare seg uten det under arbeidet), pluss at det er ønskelig å kjenne til det grunnleggende om Java og Scala (nødvendig for aktiv bruk av Spark, en av de mest populære rammeverk for arbeid med big data).
- Evne til å jobbe med Hadoop.
Vel, hvor mye tjener en Big Data-analytiker?
Big Data-spesialister er nå mangelvare; etterspørselen overstiger tilbudet. Dette er fordi næringslivet kommer til en forståelse: Utvikling krever nye teknologier, og teknologiutvikling krever spesialister.
Så, Data Scientist og Data Analytics i USA ifølge rekrutteringsbyrået Glassdoor. Gjennomsnittslønnen til disse spesialistene i Amerika starter fra $100 tusen per år.
I Russland mottar maskinlæringsspesialister fra 130 til 300 tusen rubler per måned, stordataanalytikere - fra 73 til 200 tusen rubler per måned. Alt avhenger av erfaring og kvalifikasjoner. Selvfølgelig er det ledige stillinger med lavere lønn, og andre med høyere. Maksimal etterspørsel etter stordataanalytikere i Moskva og St. Petersburg. Moskva, som ikke er overraskende, står for omtrent 50% av aktive ledige stillinger (ifølge hh.ru). Mye mindre etterspørsel er i Minsk og Kiev. Det er verdt å merke seg at noen ledige stillinger tilbyr fleksible timer og fjernarbeid. Men generelt trenger bedrifter spesialister som jobber på kontoret.
Over tid kan vi forvente en økning i etterspørselen etter Big Data-analytikere og representanter for relaterte spesialiteter. Som nevnt ovenfor er mangelen på personell i teknologisektoren ikke opphevet. Men, selvfølgelig, for å bli en Big Data-analytiker, må du studere og jobbe, forbedre både ferdighetene som er oppført ovenfor og flere. En av mulighetene for å starte veien til Big Data analytiker er og prøv å jobbe med big data.
Kilde: www.habr.com