Tänapäeval pole suurandmetest kuulnud vaid inimesed, kellel pole välismaailmaga väliseid sidemeid. Habres on suurandmete analüüsi teema ja sellega seotud teemad populaarne. Kuid mittespetsialistidele, kes tahaksid pühenduda suurandmete uurimisele, pole alati selge, millised on selle valdkonna väljavaated, kus saab Big Data analüütikat rakendada ja millele hea analüütik loota. Proovime selle välja mõelda.
Inimeste genereeritud teabe hulk kasvab iga aastaga. Aastaks 2020 suureneb salvestatavate andmete hulk 40–44 zettabaidini (1 ZB ~ 1 miljard GB). Aastaks 2025 - kuni ligikaudu 400 zetabaiti. Sellest tulenevalt on struktureeritud ja struktureerimata andmete haldamine kaasaegsete tehnoloogiate abil üha olulisem valdkond. Suurandmete vastu tunnevad huvi nii üksikud ettevõtted kui terved riigid.
Muide, just infobuumi ja inimeste loodud andmete töötlemise meetodite arutelu käigus tekkis mõiste Big Data. Arvatakse, et selle pakkus esmakordselt välja 2008. aastal ajakirja Nature toimetaja Clifford Lynch.
Sellest ajast alates on suurandmete turg kasvanud igal aastal mitukümmend protsenti. Ja see trend ekspertide sõnul jätkub. Seega ettevõtte hinnangul 2021. aastal kasvab kogu globaalne suurandmete analüütika turg 67,2 miljardi dollarini. Aastane kasv on umbes 35,9%.
Miks me vajame suurandmete analüüsi?
See võimaldab struktureeritud või struktureerimata andmekogumitest tuvastada äärmiselt väärtuslikku teavet. Tänu sellele saab ettevõte näiteks tuvastada trende, prognoosida tootmise jõudlust ja optimeerida oma kulusid. On selge, et kulude vähendamiseks on ettevõtted valmis uusimaid lahendusi juurutama.
Tehnoloogiad ja analüüsimeetodid, mida kasutatakse suurandmete analüüsimiseks:
- Andmete kaevandamine;
- rahvahulga hankimine;
- andmete segamine ja integreerimine;
- masinõpe;
- tehisnärvivõrgud;
- mustrituvastus;
- ennustav analüütika;
- simulatsiooni modelleerimine;
- ruumianalüüs;
- Statistiline analüüs;
- analüütiliste andmete visualiseerimine.
Suurandmete analüüs maailmas
Suurandmete analüütikat kasutab praegu üle 50% ettevõtetest kogu maailmas. Vaatamata sellele, et 2015. aastal oli see näitaja vaid 17%. Big Datat kasutavad kõige aktiivsemalt telekommunikatsiooni- ja finantsteenuste sektoris tegutsevad ettevõtted. Siis on ettevõtted, mis on spetsialiseerunud tervishoiutehnoloogiale. Big Data analüütika minimaalne kasutamine haridusettevõtetes: enamasti teatasid selle valdkonna esindajad oma kavatsusest lähiajal tehnoloogiat kasutada.
Ameerika Ühendriikides kasutatakse Big Data analüütikat kõige aktiivsemalt: selle tehnoloogiaga töötab enam kui 55% erinevate valdkondade ettevõtetest. Euroopas ja Aasias pole nõudlus suurandmete analüütika järele palju väiksem – umbes 53%.
Aga Venemaal?
IDC analüütikute sõnul. Kesk- ja Ida-Euroopas on selliste lahenduste turu kasv üsna aktiivne, see näitaja kasvab igal aastal 11%. Aastaks 2022 ulatub see kvantitatiivselt 5,4 miljardi dollarini.
See turu kiire areng on paljuski tingitud selle piirkonna kasvust Venemaal. 2018. aastal moodustas tulu asjakohaste lahenduste müügist Venemaa Föderatsioonis 40% kogu investeeringust suurandmete töötlemise tehnoloogiatesse kogu regioonis.
Vene Föderatsioonis kulutavad suurandmete töötlemisele kõige rohkem pangandus- ja avaliku sektori, telekommunikatsioonitööstuse ja tööstuse ettevõtted.
Millega suurandmete analüütik tegeleb ja kui palju ta Venemaal teenib?
Suurandmete analüütik vastutab suure hulga teabe, nii poolstruktureeritud kui ka struktureerimata, uurimise eest. Pangandusorganisatsioonide jaoks on need tehingud, operaatorite jaoks - kõned ja liiklus, jaemüügis - klientide külastused ja ostud. Nagu eespool mainitud, võimaldab Big Data analüüs avastada seoseid erinevate tegurite vahel “toores info ajaloos”, näiteks tootmisprotsess või keemiline reaktsioon. Analüüsiandmete põhjal töötatakse välja uusi lähenemisviise ja lahendusi erinevates valdkondades – alates tootmisest kuni meditsiinini.
Big Data analüütiku jaoks vajalikud oskused:
- Võimalus kiiresti mõista selle piirkonna omadusi, mille kohta analüüsi tehakse, ja sukelduda soovitud valdkonna aspektidesse. See võib olla jaemüük, nafta- ja gaasitööstus, meditsiin jne.
- Statistilise andmeanalüüsi meetodite tundmine, matemaatiliste mudelite konstrueerimine (närvivõrgud, Bayesi võrgud, klasterdamine, regressioon-, faktori-, dispersioon- ja korrelatsioonianalüüsid jne).
- Oskab hankida andmeid erinevatest allikatest, neid analüüsimiseks teisendada ja analüütilisse andmebaasi laadida.
- SQL-i valdamine.
- Inglise keele oskus tehnilise dokumentatsiooni hõlpsaks lugemiseks piisaval tasemel.
- Pythoni (vähemalt põhitõed), Bashi tundmine (ilma selleta on töö käigus väga raske hakkama saada), lisaks on soovitav tunda Java ja Scala põhitõdesid (vajalik Sparki aktiivseks kasutamiseks, üks kõige populaarsemad suurandmetega töötamise raamistikud).
- Võimalus töötada Hadoopiga.
Noh, kui palju Big Data analüütik teenib?
Big Data spetsialistidest on praegu puudus, nõudlus ületab pakkumise. Seda seetõttu, et äri on jõudmas arusaamisele: areng nõuab uusi tehnoloogiaid ja tehnoloogia arendamine nõuab spetsialiste.
Niisiis, Data Scientist ja Data Analytics USA-s värbamisagentuuri Glassdoor andmetel. Nende spetsialistide keskmine palk Ameerikas algab 100 tuhandest dollarist aastas.
Venemaal saavad masinõppe spetsialistid 130–300 tuhat rubla kuus, suurandmete analüütikud 73–200 tuhat rubla kuus. Kõik sõltub kogemustest ja kvalifikatsioonist. Muidugi on vabu kohti madalama palgaga ja teisi kõrgemate palkadega. Maksimaalne nõudlus suurandmete analüütikute järele Moskvas ja Peterburis. Moskva, mis pole üllatav, moodustab umbes 50% aktiivsetest vabadest töökohtadest (hh.ru andmetel). Palju väiksem nõudlus on Minskis ja Kiievis. Tasub teada, et mõned vabad töökohad pakuvad paindlikku tööaega ja kaugtööd. Kuid üldiselt vajavad ettevõtted spetsialiste, kes töötavad kontoris.
Aja jooksul on oodata nõudluse kasvu Big Data analüütikute ja nendega seotud erialade esindajate järele. Nagu eelpool mainitud, pole tehnoloogiasektoris kaadripuudust tühistatud. Aga muidugi selleks, et saada Big Data analüütikuks, on vaja õppida ja töötada, täiendades nii ülalloetletud kui ka täiendavaid oskusi. Üks võimalus Big Data analüütiku tee alustamiseks on ja proovige kätt suurandmetega töötamisel.
Allikas: www.habr.com