Tegenwoordig hebben alleen mensen die geen externe verbindingen hebben met de buitenwereld nog nooit van big data gehoord. Op Habré is het onderwerp Big Data-analyse en aanverwante onderwerpen populair. Maar voor niet-specialisten die zich graag willen wijden aan de studie van Big Data is het niet altijd duidelijk welke perspectieven dit vakgebied heeft, waar Big Data analytics toegepast kan worden en waar een goede analist op kan rekenen. Laten we proberen het uit te zoeken.
De hoeveelheid informatie die door mensen wordt gegenereerd, neemt elk jaar toe. Tegen 2020 zal de hoeveelheid opgeslagen gegevens toenemen tot 40-44 zettabytes (1 ZB ~ 1 miljard GB). Tegen 2025 - tot ongeveer 400 zettabytes. Het beheer van gestructureerde en ongestructureerde gegevens met behulp van moderne technologieën is dan ook een gebied dat steeds belangrijker wordt. Zowel individuele bedrijven als hele landen zijn geïnteresseerd in big data.
Het was trouwens tijdens de discussie over de informatiehausse en de methoden voor het verwerken van door mensen gegenereerde gegevens dat de term Big Data ontstond. Er wordt aangenomen dat het voor het eerst werd voorgesteld in 2008 door de redacteur van het tijdschrift Nature, Clifford Lynch.
Sindsdien groeit de Big Data-markt jaarlijks met enkele tientallen procenten. En deze trend zal zich volgens deskundigen voortzetten. Volgens schattingen van het bedrijf dus in 2021 zal de totale mondiale markt voor big data-analyse toenemen tot 67,2 miljard dollar, met een jaarlijkse groei van ongeveer 35,9%.
Waarom hebben we big data-analyses nodig?
Hiermee kunt u uiterst waardevolle informatie uit gestructureerde of ongestructureerde datasets identificeren. Hierdoor kan een bedrijf bijvoorbeeld trends identificeren, productieprestaties voorspellen en zijn eigen kosten optimaliseren. Het is duidelijk dat bedrijven bereid zijn de nieuwste oplossingen te implementeren om de kosten te verlagen.
Technologieën en analysemethoden die worden gebruikt om Big Data te analyseren:
- Datamining;
- crowdsourcing;
- datamix en -integratie;
- machinaal leren;
- kunstmatige neurale netwerken;
- patroonherkenning;
- voorspellende analyse;
- simulatiemodellering;
- spatiële analyse;
- statistische analyse;
- visualisatie van analytische gegevens.
Big Data-analyse in de wereld
Big data-analyse wordt nu door meer dan 50% van de bedrijven wereldwijd gebruikt. Ondanks het feit dat dit cijfer in 2015 slechts 17% bedroeg. Big Data wordt het meest actief gebruikt door bedrijven die actief zijn in de telecommunicatie- en financiële dienstverleningssector. Dan zijn er bedrijven die gespecialiseerd zijn in zorgtechnologie. Minimaal gebruik van Big Data-analyse in onderwijsbedrijven: in de meeste gevallen maakten vertegenwoordigers van dit vakgebied bekend dat ze van plan zijn technologie in de nabije toekomst te gaan gebruiken.
In de Verenigde Staten wordt Big Data-analyse het meest actief gebruikt: ruim 55% van de bedrijven uit verschillende vakgebieden werkt met deze technologie. In Europa en Azië is de vraag naar big data-analyse niet veel lager: ongeveer 53%.
En hoe zit het in Rusland?
Volgens analisten van IDC is. De groei van de markt voor dergelijke oplossingen in Midden- en Oost-Europa is behoorlijk actief, dit cijfer stijgt elk jaar met 11%. In 2022 zal dit in kwantitatieve termen 5,4 miljard dollar bedragen.
In veel opzichten is deze snelle ontwikkeling van de markt te danken aan de groei van dit gebied in Rusland. In 2018 bedroegen de inkomsten uit de verkoop van relevante oplossingen in de Russische Federatie 40% van de totale investeringen in Big Data-verwerkingstechnologieën in de hele regio.
In de Russische Federatie besteden bedrijven uit de bank- en publieke sector, de telecommunicatie-industrie en de industrie het meeste aan de verwerking van big data.
Wat doet een Big Data-analist en hoeveel verdient hij in Rusland?
Een big data-analist is verantwoordelijk voor het onderzoeken van grote hoeveelheden informatie, zowel semi-gestructureerd als ongestructureerd. Voor bankorganisaties zijn dit transacties, voor operators - oproepen en verkeer, in de detailhandel - klantbezoeken en aankopen. Zoals hierboven vermeld, stelt Big Data-analyse ons in staat verbanden te ontdekken tussen verschillende factoren in de ‘ruwe informatiegeschiedenis’, bijvoorbeeld een productieproces of een chemische reactie. Op basis van de analysegegevens worden nieuwe benaderingen en oplossingen ontwikkeld op verschillende gebieden - van productie tot geneeskunde.
Vaardigheden die vereist zijn voor een Big Data-analist:
- Het vermogen om snel de kenmerken van het gebied waarvoor de analyse wordt uitgevoerd te begrijpen en je te verdiepen in aspecten van het gewenste gebied. Dit kan de detailhandel, de olie- en gasindustrie, de geneeskunde, enz. zijn.
- Kennis van methoden voor statistische data-analyse, constructie van wiskundige modellen (neurale netwerken, Bayesiaanse netwerken, clustering, regressie, factor-, variantie- en correlatieanalyses, enz.).
- Gegevens uit verschillende bronnen kunnen extraheren, transformeren voor analyse en in een analytische database laden.
- Vaardig in SQL.
- Kennis van het Engels op een niveau dat voldoende is om technische documentatie gemakkelijk te kunnen lezen.
- Kennis van Python (tenminste de basis), Bash (het is erg moeilijk om zonder te doen tijdens het werk), plus het is wenselijk om de basis van Java en Scala te kennen (nodig voor actief gebruik van Spark, een van de populairste raamwerken voor het werken met big data).
- Mogelijkheid om met Hadoop te werken.
Hoeveel verdient een Big Data-analist?
Er is nu een tekort aan Big Data-specialisten; de vraag is groter dan het aanbod. Dit komt omdat het bedrijfsleven tot overeenstemming komt: ontwikkeling vereist nieuwe technologieën, en technologieontwikkeling vereist specialisten.
Dus Data Scientist en Data Analytics in de VS aldus wervingsbureau Glassdoor. Het gemiddelde salaris van deze specialisten in Amerika begint vanaf $100 per jaar.
In Rusland ontvangen machine learning-specialisten 130 tot 300 duizend roebel per maand, big data-analisten - van 73 tot 200 duizend roebel per maand. Het hangt allemaal af van ervaring en kwalificaties. Natuurlijk zijn er vacatures met lagere salarissen, en andere met hogere. Maximale vraag naar big data-analisten in Moskou en Sint-Petersburg. Moskou, wat niet verrassend is, is goed voor ongeveer 50% van de actieve vacatures (volgens hh.ru). Er is veel minder vraag in Minsk en Kiev. Het is vermeldenswaard dat sommige vacatures flexibele uren en werken op afstand bieden. Maar over het algemeen hebben bedrijven specialisten nodig die op kantoor werken.
In de loop van de tijd kunnen we een toename van de vraag naar Big Data-analisten en vertegenwoordigers van aanverwante specialismen verwachten. Zoals hierboven vermeld is het tekort aan personeel in de technologiesector niet opgeheven. Maar om Big Data-analist te worden, moet je natuurlijk studeren en werken, waarbij je zowel de hierboven genoemde vaardigheden als aanvullende vaardigheden verbetert. Een van de mogelijkheden om het pad van Big Data-analist te beginnen is en probeer eens te werken met big data.
Bron: www.habr.com