Ngayon ang mga tao lamang na walang panlabas na koneksyon sa labas ng mundo ang hindi nakarinig ng malaking data. Sa HabrΓ©, sikat ang paksa ng Big Data analytics at mga nauugnay na paksa. Ngunit para sa mga di-espesyalista na gustong italaga ang kanilang sarili sa pag-aaral ng Big Data, hindi palaging malinaw kung ano ang mga prospect ng lugar na ito, kung saan maaaring ilapat ang Big Data analytics at kung ano ang maaasahan ng isang mahusay na analyst. Subukan nating malaman ito.
Ang dami ng impormasyong nabuo ng mga tao ay tumataas bawat taon. Sa 2020, ang dami ng data na nakaimbak ay tataas sa 40-44 zettabytes (1 ZB ~ 1 bilyong GB). Sa pamamagitan ng 2025 - hanggang sa humigit-kumulang 400 zettabytes. Alinsunod dito, ang pamamahala ng structured at unstructured na data gamit ang mga modernong teknolohiya ay isang lugar na lalong nagiging mahalaga. Parehong mga indibidwal na kumpanya at buong bansa ay interesado sa malaking data.
Sa pamamagitan ng paraan, ito ay sa panahon ng talakayan ng boom ng impormasyon at mga pamamaraan ng pagproseso ng data na nabuo ng tao na lumitaw ang terminong Big Data. Ito ay pinaniniwalaan na ito ay unang iminungkahi noong 2008 ng editor ng journal Nature, Clifford Lynch.
Simula noon, ang merkado ng Big Data ay tumataas taun-taon ng ilang sampu-sampung porsyento. At ang kalakaran na ito, ayon sa mga eksperto, ay magpapatuloy. Kaya, ayon sa mga pagtatantya ng kumpanya sa 2021, ang kabuuang pandaigdigang big data analytics market ay tataas sa $67,2 bilyon. Ang taunang paglago ay aabot sa 35,9%.
Bakit kailangan natin ng malaking data analytics?
Binibigyang-daan ka nitong tukuyin ang napakahalagang impormasyon mula sa mga structured o unstructured na set ng data. Salamat dito, ang isang negosyo ay maaaring, halimbawa, matukoy ang mga uso, mahulaan ang pagganap ng produksyon at i-optimize ang sarili nitong mga gastos. Ito ay malinaw na upang mabawasan ang mga gastos, ang mga kumpanya ay handa na ipatupad ang pinakabagong mga solusyon.
Mga teknolohiya at pamamaraan ng pagsusuri na ginagamit upang pag-aralan ang Big Data:
- Pagmimina ng Data;
- crowdsourcing;
- paghahalo at pagsasama ng data;
- machine learning;
- mga artipisyal na neural network;
- pagkilala sa pattern;
- predictive analytics;
- pagmomolde ng simulation;
- spatial na pagsusuri;
- istatistikal na pagsusuri;
- visualization ng analytical data.
Big Data analytics sa mundo
Ang malaking data analytics ay ginagamit na ngayon ng higit sa 50% ng mga kumpanya sa buong mundo. Sa kabila ng katotohanan na noong 2015 ang figure na ito ay 17% lamang. Ang Big Data ay pinakaaktibong ginagamit ng mga kumpanyang tumatakbo sa mga sektor ng telekomunikasyon at serbisyong pinansyal. Pagkatapos ay mayroong mga kumpanya na dalubhasa sa teknolohiya ng pangangalagang pangkalusugan. Minimal na paggamit ng Big Data analytics sa mga kumpanyang pang-edukasyon: sa karamihan ng mga kaso, inihayag ng mga kinatawan ng larangang ito ang kanilang intensyon na gumamit ng teknolohiya sa malapit na hinaharap.
Sa United States, pinakaaktibong ginagamit ang analytics ng Big Data: higit sa 55% ng mga kumpanya mula sa iba't ibang larangan ang gumagana sa teknolohiyang ito. Sa Europa at Asya, ang pangangailangan para sa malaking data analytics ay hindi gaanong mas mababa - tungkol sa 53%.
Paano ang tungkol sa Russia?
Ayon sa mga analyst ng IDC,. Ang paglago ng merkado para sa mga naturang solusyon sa Central at Eastern Europe ay medyo aktibo, ang bilang na ito ay tumataas ng 11% bawat taon. Sa 2022, aabot ito sa $5,4 bilyon sa dami.
Sa maraming paraan, ang mabilis na pag-unlad ng merkado ay dahil sa paglaki ng lugar na ito sa Russia. Noong 2018, ang kita mula sa pagbebenta ng mga nauugnay na solusyon sa Russian Federation ay umabot sa 40% ng kabuuang pamumuhunan sa mga teknolohiya sa pagproseso ng Big Data sa buong rehiyon.
Sa Russian Federation, ang mga kumpanya mula sa pagbabangko at pampublikong sektor, industriya ng telekomunikasyon at industriya ang pinakamalaki sa pagpoproseso ng Big Data.
Ano ang ginagawa ng isang Big Data Analyst at magkano ang kinikita niya sa Russia?
Ang isang malaking data analyst ay may pananagutan para sa pagsusuri ng napakaraming impormasyon, parehong semi-structured at unstructured. Para sa mga organisasyon ng pagbabangko ito ay mga transaksyon, para sa mga operator - mga tawag at trapiko, sa tingian - mga pagbisita at pagbili ng customer. Gaya ng nabanggit sa itaas, nagbibigay-daan sa amin ang pagsusuri ng Big Data na tumuklas ng mga koneksyon sa pagitan ng iba't ibang salik sa "hilaw na kasaysayan ng impormasyon", halimbawa, isang proseso ng produksyon o isang kemikal na reaksyon. Batay sa data ng pagsusuri, ang mga bagong diskarte at solusyon ay binuo sa iba't ibang mga lugar - mula sa pagmamanupaktura hanggang sa medisina.
Mga kasanayang kinakailangan para sa isang analyst ng Big Data:
- Ang kakayahang mabilis na maunawaan ang mga tampok sa lugar kung saan isinasagawa ang pagsusuri, at isawsaw ang iyong sarili sa mga aspeto ng nais na lugar. Ito ay maaaring retail, industriya ng langis at gas, gamot, atbp.
- Kaalaman sa mga pamamaraan ng statistical data analysis, pagbuo ng mga mathematical na modelo (neural network, Bayesian network, clustering, regression, factor, variance at correlation analysis, atbp.).
- Makapag-extract ng data mula sa iba't ibang source, ibahin ito para sa pagsusuri, at i-load ito sa isang analytical database.
- Marunong sa SQL.
- Kaalaman sa Ingles sa antas na sapat para madaling mabasa ang teknikal na dokumentasyon.
- Kaalaman sa Python (hindi bababa sa mga pangunahing kaalaman), Bash (napakahirap gawin nang wala ito sa proseso ng trabaho), at kanais-nais na malaman ang mga pangunahing kaalaman ng Java at Scala (kinakailangan para sa aktibong paggamit ng Spark, isa sa mga pinakasikat na mga balangkas para sa pagtatrabaho sa malaking data).
- Kakayahang magtrabaho kasama ang Hadoop.
Well, magkano ang kinikita ng isang Big Data analyst?
Kulang na ngayon ang mga espesyalista sa Big Data; lumampas ang demand sa supply. Ito ay dahil ang negosyo ay nauunawaan na: ang pag-unlad ay nangangailangan ng mga bagong teknolohiya, at ang pag-unlad ng teknolohiya ay nangangailangan ng mga espesyalista.
Kaya, Data Scientist at Data Analytics sa USA ayon sa recruiting agency na Glassdoor. Ang karaniwang suweldo ng mga espesyalistang ito sa Amerika ay nagsisimula sa $100 thousand bawat taon.
Sa Russia, ang mga espesyalista sa pag-aaral ng makina ay tumatanggap mula 130 hanggang 300 libong rubles bawat buwan, mga analyst ng malaking data - mula 73 hanggang 200 libong rubles bawat buwan. Ang lahat ay nakasalalay sa karanasan at mga kwalipikasyon. Syempre, may mga bakante na may mas mababang suweldo, at ang iba ay may mas mataas. Pinakamataas na demand para sa malalaking data analyst sa Moscow at St. Petersburg. Ang Moscow, na hindi nakakagulat, ay nagkakahalaga ng halos 50% ng mga aktibong bakante (ayon sa hh.ru). Mas kaunting demand ang nasa Minsk at Kyiv. Ito ay nagkakahalaga ng pagpuna na ang ilang mga bakante ay nag-aalok ng mga flexible na oras at malayong trabaho. Ngunit sa pangkalahatan, ang mga kumpanya ay nangangailangan ng mga espesyalista na nagtatrabaho sa opisina.
Sa paglipas ng panahon, maaari nating asahan ang pagtaas ng demand para sa mga analyst ng Big Data at mga kinatawan ng mga kaugnay na specialty. Tulad ng nabanggit sa itaas, ang kakulangan ng mga tauhan sa sektor ng teknolohiya ay hindi nakansela. Ngunit, siyempre, upang maging isang analyst ng Big Data, kailangan mong mag-aral at magtrabaho, pagbutihin ang parehong mga kasanayan na nakalista sa itaas at mga karagdagang. Ang isa sa mga pagkakataon upang simulan ang landas ng Big Data analyst ay at subukan ang iyong kamay sa pagtatrabaho sa malaking data.
Pinagmulan: www.habr.com