Jodi a sèlman moun ki pa gen okenn koneksyon ekstèn ak mond lan deyò pa te tande pale de gwo done. Sou Habré, sijè a nan analiz Big Data ak sijè ki gen rapò se popilè. Men, pou moun ki pa espesyalis ki ta renmen konsakre tèt yo nan etid Big Data, li pa toujou klè ki pwospè zòn sa a genyen, kote yo ka aplike Big Data analytics ak sou kisa yon bon analis ka konte. Ann eseye kalkile li.
Kantite enfòmasyon moun yo pwodwi ogmante chak ane. Pa 2020, kantite done ki estoke ap ogmante a 40-44 zettabytes (1 ZB ~ 1 milya GB). Pa 2025 - jiska apeprè 400 zettabytes. An konsekans, jere done estriktire ak san estrikti lè l sèvi avèk teknoloji modèn se yon domèn ki ap vin de pli zan pli enpòtan. Tou de konpayi endividyèl yo ak tout peyi yo enterese nan gwo done.
By wout la, li te pandan diskisyon an nan boom nan enfòmasyon ak metòd nan pwosesis done imen-pwodwi ke tèm nan Big Data leve. Yo kwè ke li te premye pwopoze an 2008 pa editè a nan jounal la Nature, Clifford Lynch.
Depi lè sa a, gwo done mache a ap ogmante chak ane pa plizyè dizèn de pousan. Ak tandans sa a, dapre ekspè yo, ap kontinye. Kidonk, dapre estimasyon konpayi yo an 2021, total mondyal gwo done analytics mache a ap ogmante a $ 67,2 milya dola.. Kwasans anyèl pral apeprè 35,9%.
Poukisa nou bezwen gwo done analytics?
Li pèmèt ou idantifye enfòmasyon ki gen anpil valè nan seri done estriktire oswa san estrikti. Mèsi a sa a, yon biznis ka, pou egzanp, idantifye tandans, predi pèfòmans pwodiksyon ak optimize pwòp depans li yo. Li klè ke yo nan lòd yo diminye depans yo, konpayi yo pare pou aplike dènye solisyon yo.
Teknoloji ak metòd analiz ki itilize pou analize Big Data:
- Done Mining;
- crowdsourcing;
- done melanje ak entegrasyon;
- aprantisaj machin;
- rezo neral atifisyèl;
- rekonesans modèl;
- analiz prediksyon;
- modèl simulation;
- analiz espasyal;
- analiz estatistik;
- vizyalizasyon done analyse.
Big Data analytics nan mond lan
Kounye a, plis pase 50% konpayi atravè lemond itilize analiz gwo done yo. Malgre lefèt ke nan 2015 figi sa a te sèlman 17%. Gwo done yo pi aktivman itilize pa konpayi ki opere nan telekominikasyon yo ak sektè sèvis finansye. Lè sa a, gen konpayi ki espesyalize nan teknoloji swen sante. Itilizasyon minimòm de gwo done analytics nan konpayi edikasyon: nan pifò ka yo, reprezantan ki nan domèn sa a te anonse entansyon yo sèvi ak teknoloji nan fiti prè.
Ozetazini, gwo done analytics yo itilize pi aktivman: plis pase 55% nan konpayi ki soti nan yon varyete domèn travay ak teknoloji sa a. An Ewòp ak Azi, demann pou gwo done analytics pa pi ba anpil - apeprè 53%.
Ak sa ki sou Larisi?
Dapre analis IDC,. Kwasans nan mache a pou solisyon sa yo nan Ewòp santral ak lès se byen aktif, figi sa a ogmante pa 11% chak ane. Pa 2022, li pral rive nan 5,4 milya dola nan tèm quantitative.
Nan plizyè fason, devlopman rapid sa a nan mache a se akòz kwasans lan nan zòn sa a nan Larisi. Nan 2018, revni ki soti nan vant solisyon ki enpòtan nan Federasyon Larisi la te monte a 40% nan envestisman total nan teknoloji pwosesis Big Data nan tout rejyon an.
Nan Federasyon Larisi la, konpayi ki soti nan sektè bankè ak piblik, endistri telekominikasyon ak endistri yo depanse pi plis nan pwosesis Big Data.
Ki sa yon analis gwo done fè ak konbyen li touche nan Larisi?
Yon gwo analis done responsab pou egzamine gwo kantite enfòmasyon, tou de semi-estriktire ak san estrikti. Pou òganizasyon bankè sa yo se tranzaksyon, pou operatè - apèl ak trafik, nan Yo Vann an Detay - vizit kliyan ak acha. Kòm mansyone pi wo a, analiz Big Data pèmèt nou dekouvri koneksyon ant divès faktè nan "istwa enfòmasyon anvan tout koreksyon an", pou egzanp, yon pwosesis pwodiksyon oswa yon reyaksyon chimik. Dapre done analiz yo, nouvo apwòch ak solisyon yo devlope nan yon varyete domèn - soti nan fabrikasyon nan medikaman.
Konpetans obligatwa pou yon analis Big Data:
- Kapasite nan byen vit konprann karakteristik yo ki nan zòn nan pou ki analiz la te pote soti, ak plonje tèt ou nan aspè nan zòn nan vle. Sa a ta ka an detay, endistri lwil oliv ak gaz, medikaman, elatriye.
- Konesans nan metòd analiz done estatistik, konstriksyon modèl matematik (rezo neral, rezo Bayezyen, gwoupman, regresyon, faktè, divèjans ak analiz korelasyon, elatriye).
- Kapab ekstrè done ki soti nan diferan sous, transfòme yo pou analiz, epi chaje yo nan yon baz done analyse.
- Konpetan nan SQL.
- Konesans nan lang angle nan yon nivo ase fasil li dokiman teknik.
- Konesans nan Python (omwen Basics yo), Bash (li trè difisil fè san li nan pwosesis la nan travay), plis li se dezirab konnen Basics yo nan Java ak Scala (ki nesesè pou itilize aktif nan Spark, youn nan la. kad ki pi popilè pou travay ak gwo done).
- Kapasite pou travay ak Hadoop.
Oke, konbyen yon analis Big Data touche?
Espesyalis Big Data yo kounye a nan ekipman pou kout; demann depase rezèv. Sa a se paske biznis ap vini nan yon konpreyansyon: devlopman mande pou nouvo teknoloji, ak devlopman teknoloji mande pou espesyalis.
Se konsa, Done Syantis ak Data Analytics nan USA a dapre ajans rekritman Glassdoor. Salè mwayèn espesyalis sa yo nan Amerik lan kòmanse nan $100 mil pa ane.
Nan Larisi, espesyalis aprantisaj machin resevwa soti nan 130 a 300 mil rubles pa mwa, gwo analis done - soti nan 73 a 200 mil rubles pa mwa. Li tout depann sou eksperyans ak kalifikasyon. Natirèlman, gen pòs vid ki gen salè ki pi ba, ak lòt moun ki gen salè ki pi wo. Maksimòm demann pou gwo analis done nan Moskou ak Saint Petersburg. Moskou, ki pa etone, konte pou apeprè 50% nan pòs ki vid aktif (dapre hh.ru). Anpil mwens demann se nan Minsk ak Kyiv. Li se vo anyen ke kèk pòs vid ofri èdtan fleksib ak travay aleka. Men, an jeneral, konpayi yo bezwen espesyalis ki travay nan biwo a.
Apre yon tan, nou ka espere yon ogmantasyon nan demann pou analis Big Data ak reprezantan espesyalite ki gen rapò. Kòm mansyone pi wo a, mank de pèsonèl nan sektè teknoloji a pa te anile. Men, nan kou, yo nan lòd yo vin yon analis Big Data, ou bezwen etidye ak travay, amelyore tou de ladrès ki nan lis pi wo a ak sa yo adisyonèl. Youn nan opòtinite yo kòmanse chemen an nan Big Data analis se epi eseye men ou nan travay ak done gwo.
Sous: www.habr.com