Tsjintwurdich hawwe allinich minsken dy't gjin eksterne ferbiningen hawwe mei de bûtenwrâld net heard fan grutte data. Op Habré is it ûnderwerp fan Big Data-analytyk en relatearre ûnderwerpen populêr. Mar foar net-spesjalisten dy't har graach ynsette wolle op de stúdzje fan Big Data, is it net altyd dúdlik hokker perspektyf dit gebiet hat, wêr't Big Data-analytyk tapast wurde kin en wêr't in goede analist op rekkenje kin. Litte wy besykje it út te finen.
De hoemannichte ynformaasje generearre troch minsken nimt alle jierren ta. Tsjin 2020 sil de hoemannichte gegevens opslein wurde tanimme nei 40-44 zettabytes (1 ZB ~ 1 miljard GB). Tsjin 2025 - oant likernôch 400 zettabytes. Dêrtroch is it behearen fan strukturearre en net-strukturearre gegevens mei moderne technologyen in gebiet dat hieltyd wichtiger wurdt. Sawol yndividuele bedriuwen as heule lannen binne ynteressearre yn grutte gegevens.
Trouwens, it wie tidens de diskusje oer de ynformaasjeboom en metoaden foar it ferwurkjen fan minsklike gegevens dat de term Big Data ûntstie. It wurdt leaud dat it foar it earst yn 2008 foarsteld waard troch de redakteur fan it tydskrift Nature, Clifford Lynch.
Sûnt dy tiid is de Big Data-merk jierliks tanommen mei ferskate tsientallen prosint. En dizze trend, neffens saakkundigen, sil trochgean. Sa, neffens bedriuw rûzings yn 2021 sil de totale wrâldwide analytyske merk foar grutte gegevens tanimme nei $ 67,2 miljard. Jierlikse groei sil sawat 35,9% wêze.
Wêrom hawwe wy analyse fan grutte gegevens nedich?
It lit jo ekstreem weardefolle ynformaasje identifisearje fan strukturearre as net-strukturearre datasets. Hjirtroch kin in bedriuw bygelyks trends identifisearje, produksjeprestaasjes foarsizze en har eigen kosten optimalisearje. It is dúdlik dat om de kosten te ferminderjen, bedriuwen ree binne om de lêste oplossingen yn te fieren.
Technologien en analysemetoaden dy't wurde brûkt om Big Data te analysearjen:
- Data Mining;
- crowdsourcing;
- gegevens mingen en yntegraasje;
- masine learen;
- keunstmjittige neuronale netwurken;
- patroan erkenning;
- foarsizzende analytyk;
- simulaasje modeling;
- romtlike analyze;
- statistyske analyse;
- fisualisaasje fan analytyske gegevens.
Big Data analytics yn 'e wrâld
Big data analytics wurdt no brûkt troch mear as 50% fan bedriuwen wrâldwiid. Nettsjinsteande it feit dat yn 2015 dit sifer wie mar 17%. Big Data wurdt it meast aktyf brûkt troch bedriuwen dy't operearje yn 'e telekommunikaasje- en finansjele tsjinstensektor. Dan binne der bedriuwen dy't har spesjalisearje yn soarchtechnology. Minimal gebrûk fan Big Data analytics yn edukative bedriuwen: yn 'e measte gefallen kundige fertsjintwurdigers fan dit fjild har bedoeling oan om technology yn' e heine takomst te brûken.
Yn 'e Feriene Steaten wurdt Big Data analytics it meast aktyf brûkt: mear as 55% fan bedriuwen út in ferskaat oan fjilden wurkje mei dizze technology. Yn Jeropa en Aazje is de fraach nei analyse fan grutte gegevens net folle leger - sawat 53%.
En wat oer Ruslân?
Neffens IDC-analisten,. De groei fan 'e merk foar sokke oplossingen yn Sintraal- en East-Jeropa is frij aktyf, dit sifer nimt alle jierren mei 11% ta. Tsjin 2022 sil it yn kwantitative termen $5,4 miljard berikke.
Op in protte manieren is dizze rappe ûntwikkeling fan 'e merk te tankjen oan' e groei fan dit gebiet yn Ruslân. Yn 2018 bedroegen ynkomsten út 'e ferkeap fan relevante oplossingen yn' e Russyske Federaasje 40% fan 'e totale ynvestearring yn technologyen foar ferwurkjen fan Big Data yn' e heule regio.
Yn 'e Russyske Federaasje besteegje bedriuwen út' e bank- en publike sektoaren, telekommunikaasje-yndustry en yndustry it measte út oan ferwurking fan Big Data.
Wat docht in Big Data Analyst en hoefolle fertsjinnet hy yn Ruslân?
In analist foar grutte gegevens is ferantwurdlik foar it ûndersykjen fan grutte hoemannichten ynformaasje, sawol semi-strukturearre as net-strukturearre. Foar bankorganisaasjes binne dit transaksjes, foar operators - oproppen en ferkear, yn detailhannel - klantbesites en oankeapen. Lykas hjirboppe neamd, lit Big Data-analyse ús ferbinings ûntdekke tusken ferskate faktoaren yn 'e "rauwe ynformaasjeskiednis", bygelyks in produksjeproses of in gemyske reaksje. Op grûn fan 'e analysegegevens wurde nije oanpakken en oplossingen ûntwikkele yn in ferskaat oan gebieten - fan fabrikaazje oant medisinen.
Feardigens nedich foar in Big Data-analist:
- De mooglikheid om de funksjes fluch te begripen yn it gebiet wêrfoar de analyse wurdt útfierd, en josels te ferdjipjen yn aspekten fan it winske gebiet. Dit kin detailhannel, oalje- en gasyndustry, medisinen, ensfh.
- Kennis fan metoaden fan statistyske data-analyze, konstruksje fan wiskundige modellen (neurale netwurken, Bayesian netwurken, klustering, regression, faktor, fariânsje en korrelaasje analyzes, ensfh.).
- Kin gegevens út ferskate boarnen ekstrahearje, transformearje foar analyse, en laden yn in analytyske databank.
- Bekwaam yn SQL.
- Kennis fan Ingelsk op in nivo genôch om technyske dokumintaasje maklik te lêzen.
- Kennis fan Python (op syn minst de basis), Bash (it is heul lestich te dwaan sûnder it yn it proses fan wurk), plus it is winsklik om de basis fan Java en Scala te kennen (nedich foar aktyf gebrûk fan Spark, ien fan 'e meast populêre kaders foar wurkjen mei grutte gegevens).
- Mooglikheid om te wurkjen mei Hadoop.
No, hoefolle fertsjinnet in Big Data-analist?
Big Data-spesjalisten binne no tekoart; fraach is grutter as oanbod. Dit komt om't bedriuw ta in begryp komt: ûntwikkeling fereasket nije technologyen, en technologyûntwikkeling fereasket spesjalisten.
Dat, Data Scientist en Data Analytics yn 'e FS neffens it wervingsburo Glassdoor. It gemiddelde salaris fan dizze spesjalisten yn Amearika begjint fan $ 100 tûzen per jier.
Yn Ruslân, masine learen spesjalisten krije fan 130 oant 300 tûzen roebel per moanne, big data analysts - fan 73 oant 200 tûzen roebel per moanne. It hinget allegear ôf fan ûnderfining en kwalifikaasjes. Fansels binne d'r fakatueres mei legere salarissen, en oaren mei hegere. Maksimum fraach nei grutte data analysts yn Moskou en St. Moskou, dat is net ferrassend, goed foar sa'n 50% fan aktive fakatueres (neffens hh.ru). Folle minder fraach is yn Minsk en Kiev. It is de muoite wurdich op te merken dat guon fakatueres fleksibele oeren en wurk op ôfstân biede. Mar yn 't algemien hawwe bedriuwen spesjalisten nedich dy't op it kantoar wurkje.
Yn 'e rin fan' e tiid kinne wy in tanimming fan 'e fraach ferwachtsje nei Big Data-analisten en fertsjintwurdigers fan relatearre spesjaliteiten. Lykas hjirboppe neamd, is it tekoart oan personiel yn 'e technologysektor net annulearre. Mar, fansels, om in Big Data-analist te wurden, moatte jo studearje en wurkje, sawol de hjirboppe neamde feardigens as oanfoljende ferbetterje. Ien fan 'e kânsen om it paad fan Big Data analist te begjinnen is en besykje jo hân te wurkjen mei grutte gegevens.
Boarne: www.habr.com