Leo tu watu ambao hawana uhusiano wa nje na ulimwengu wa nje hawajasikia habari kubwa. Kuhusu Habre, mada ya uchanganuzi wa Data Kubwa na mada zinazohusiana ni maarufu. Lakini kwa wasio wataalamu ambao wangependa kujishughulisha na utafiti wa Data Kubwa, si mara zote wazi ni matarajio gani eneo hili lina, ambapo uchambuzi wa Big Data unaweza kutumika na nini mchambuzi mzuri anaweza kutegemea. Hebu jaribu kufikiri.
Kiasi cha habari zinazozalishwa na wanadamu huongezeka kila mwaka. Kufikia 2020, kiasi cha data iliyohifadhiwa itaongezeka hadi zettabytes 40-44 (1 ZB ~ GB bilioni 1). Kufikia 2025 - hadi takriban zettabytes 400. Ipasavyo, kudhibiti data iliyopangwa na isiyo na muundo kwa kutumia teknolojia za kisasa ni eneo ambalo linazidi kuwa muhimu. Kampuni binafsi na nchi nzima zinavutiwa na data kubwa.
Kwa njia, ilikuwa wakati wa majadiliano ya kuongezeka kwa habari na mbinu za usindikaji data zinazozalishwa na binadamu kwamba neno Data Kubwa liliibuka. Inaaminika kuwa ilipendekezwa kwa mara ya kwanza mnamo 2008 na mhariri wa jarida la Nature, Clifford Lynch.
Tangu wakati huo, soko la Data Kubwa limekuwa likiongezeka kila mwaka kwa makumi kadhaa ya asilimia. Na hali hii, kulingana na wataalam, itaendelea. Kwa hivyo, kulingana na makadirio ya kampuni mnamo 2021, jumla ya soko kubwa la uchanganuzi wa data litaongezeka hadi $ 67,2 bilioni ukuaji wa mwaka utakuwa karibu 35,9%.
Kwa nini tunahitaji uchanganuzi mkubwa wa data?
Inakuruhusu kutambua taarifa muhimu sana kutoka kwa seti za data zilizoundwa au zisizo na muundo. Shukrani kwa hili, biashara inaweza, kwa mfano, kutambua mwelekeo, kutabiri utendaji wa uzalishaji na kuongeza gharama zake. Ni wazi kwamba ili kupunguza gharama, makampuni ni tayari kutekeleza ufumbuzi wa hivi karibuni.
Teknolojia na mbinu za uchanganuzi zinazotumika kuchambua Data Kubwa:
- Uchimbaji Data;
- umati wa watu;
- kuchanganya na kuunganisha data;
- kujifunza mashine;
- mitandao ya neural ya bandia;
- utambuzi wa muundo;
- uchambuzi wa utabiri;
- simulation modeling;
- uchambuzi wa anga;
- Uchambuzi wa takwimu;
- taswira ya data ya uchambuzi.
Uchambuzi wa Data Kubwa duniani
Uchanganuzi mkubwa wa data sasa unatumiwa na zaidi ya 50% ya makampuni duniani kote. Licha ya ukweli kwamba mwaka 2015 takwimu hii ilikuwa 17% tu. Data Kubwa hutumiwa kikamilifu na makampuni yanayofanya kazi katika sekta ya mawasiliano na huduma za kifedha. Kisha kuna makampuni ambayo yamebobea katika teknolojia ya afya. Matumizi madogo ya uchanganuzi wa Data Kubwa katika makampuni ya elimu: mara nyingi, wawakilishi wa uwanja huu walitangaza nia yao ya kutumia teknolojia katika siku za usoni.
Nchini Marekani, uchanganuzi wa Data Kubwa hutumiwa kikamilifu: zaidi ya 55% ya makampuni kutoka nyanja mbalimbali hufanya kazi na teknolojia hii. Katika Ulaya na Asia, mahitaji ya uchanganuzi mkubwa wa data sio chini sana - karibu 53%.
Vipi huko Urusi?
Kulingana na wachambuzi wa IDC,. Ukuaji wa soko la suluhisho kama hilo katika Ulaya ya Kati na Mashariki ni kazi kabisa, takwimu hii huongezeka kwa 11% kila mwaka. Kufikia 2022, itafikia $ 5,4 bilioni kwa maneno ya kiasi.
Kwa njia nyingi, maendeleo haya ya haraka ya soko ni kutokana na ukuaji wa eneo hili nchini Urusi. Mnamo 2018, mapato kutoka kwa uuzaji wa suluhisho zinazofaa katika Shirikisho la Urusi yalifikia 40% ya jumla ya uwekezaji katika teknolojia za usindikaji wa Data Kubwa katika eneo lote.
Katika Shirikisho la Urusi, makampuni kutoka sekta ya benki na ya umma, sekta ya mawasiliano ya simu na sekta hutumia zaidi katika usindikaji wa Data Kubwa.
Je, Mchambuzi Mkubwa wa Data anafanya nini na anapata kiasi gani nchini Urusi?
Mchambuzi mkubwa wa data ana jukumu la kukagua idadi kubwa ya habari, isiyo na muundo na isiyo na muundo. Kwa mashirika ya benki haya ni shughuli, kwa waendeshaji - simu na trafiki, katika rejareja - ziara za wateja na ununuzi. Kama ilivyoelezwa hapo juu, uchambuzi wa Data Kubwa huturuhusu kugundua miunganisho kati ya mambo mbalimbali katika "historia ya habari ghafi", kwa mfano, mchakato wa uzalishaji au athari ya kemikali. Kulingana na data ya uchambuzi, mbinu mpya na ufumbuzi hutengenezwa katika maeneo mbalimbali - kutoka kwa viwanda hadi dawa.
Ujuzi unaohitajika kwa mchambuzi wa Data Kubwa:
- Uwezo wa kuelewa haraka vipengele katika eneo ambalo uchambuzi unafanywa, na kuzama katika vipengele vya eneo linalohitajika. Hii inaweza kuwa rejareja, sekta ya mafuta na gesi, dawa, nk.
- Ujuzi wa mbinu za uchambuzi wa takwimu za takwimu, ujenzi wa mifano ya hisabati (mitandao ya neural, mitandao ya Bayesian, nguzo, regression, sababu, tofauti na uchambuzi wa uwiano, nk).
- Kuwa na uwezo wa kutoa data kutoka kwa vyanzo tofauti, kuibadilisha kwa uchambuzi, na kuipakia kwenye hifadhidata ya uchanganuzi.
- Ujuzi katika SQL.
- Maarifa ya Kiingereza katika kiwango cha kutosha kusoma kwa urahisi nyaraka za kiufundi.
- Ujuzi wa Python (angalau misingi), Bash (ni ngumu sana kufanya bila hiyo katika mchakato wa kazi), pamoja na ni kuhitajika kujua misingi ya Java na Scala (inahitajika kwa matumizi ya kazi ya Spark, moja ya mifumo maarufu zaidi ya kufanya kazi na data kubwa).
- Uwezo wa kufanya kazi na Hadoop.
Kweli, mchambuzi wa Big Data hupata kiasi gani?
Wataalamu wa Data Kubwa sasa wana uhaba wa mahitaji; Hii ni kwa sababu biashara inaelewana: maendeleo yanahitaji teknolojia mpya, na maendeleo ya teknolojia yanahitaji wataalamu.
Kwa hivyo, Mwanasayansi wa Takwimu na Uchambuzi wa Takwimu huko USA kulingana na wakala wa kuajiri Glassdoor. Mshahara wa wastani wa wataalam hawa huko Amerika huanza kutoka $ 100 elfu kwa mwaka.
Huko Urusi, wataalam wa kujifunza mashine hupokea kutoka rubles 130 hadi 300 kwa mwezi, wachambuzi wakubwa wa data - kutoka rubles 73 hadi 200 kwa mwezi. Yote inategemea uzoefu na sifa. Bila shaka, kuna nafasi za kazi na mishahara ya chini, na wengine na wale wa juu. Mahitaji ya juu ya wachambuzi wa data kubwa huko Moscow na St. Moscow, ambayo haishangazi, inachukua karibu 50% ya nafasi za kazi (kulingana na hh.ru). Kiasi kidogo mahitaji ni katika Minsk na Kyiv. Inafaa kumbuka kuwa nafasi zingine hutoa masaa rahisi na kazi ya mbali. Lakini kwa ujumla, makampuni yanahitaji wataalamu wanaofanya kazi katika ofisi.
Baada ya muda, tunaweza kutarajia ongezeko la mahitaji ya wachanganuzi wa Data Kubwa na wawakilishi wa taaluma zinazohusiana. Kama ilivyoelezwa hapo juu, uhaba wa wafanyakazi katika sekta ya teknolojia haujafutwa. Lakini, bila shaka, ili kuwa mchambuzi wa Data Kubwa, unahitaji kusoma na kufanya kazi, kuboresha ujuzi ulioorodheshwa hapo juu na wale wa ziada. Moja ya fursa ya kuanza njia ya mchambuzi wa Big Data ni na ujaribu mkono wako kufanya kazi na data kubwa.
Chanzo: mapenzi.com