Аналитика на големи податоци - реалности и перспективи во Русија и во светот

Денес само луѓето кои немаат надворешни врски со надворешниот свет не слушнале за големи податоци. На Habré, темата за аналитика на големи податоци и сродни теми е популарна. Но, за не-специјалистите кои би сакале да се посветат на проучувањето на големите податоци, не е секогаш јасно каква перспектива има оваа област, каде може да се примени анализата на големите податоци и на што може да смета добар аналитичар. Ајде да се обидеме да го сфатиме.

Количината на информации генерирани од луѓето се зголемува секоја година. До 2020 година, количината на складирани податоци ќе се зголеми на 40-44 зетабајти (1 ZB ~ 1 милијарда GB). До 2025 година - до приближно 400 зетабајти. Според тоа, управувањето со структурирани и неструктурирани податоци со користење на современи технологии е област која станува сè поважна. За големи податоци се заинтересирани и поединечни компании и цели земји.

Патем, за време на дискусијата за информативниот бум и методите на обработка на податоци генерирани од човекот се појави терминот Биг податоци. Се верува дека првпат бил предложен во 2008 година од уредникот на списанието Nature, Клифорд Линч.

Оттогаш, пазарот на големи податоци се зголемува годишно за неколку десетици проценти. И овој тренд, според експертите, ќе продолжи. Така, според проценките на компанијата Фрост и Саливан во 2021 година, вкупниот глобален пазар за анализа на големи податоци ќе се зголеми на 67,2 милијарди долари Годишниот раст ќе биде околу 35,9%.

Зошто ни е потребна анализа на големи податоци?

Ви овозможува да идентификувате исклучително вредни информации од структурирани или неструктурирани збирки на податоци. Благодарение на ова, бизнисот може, на пример, да ги идентификува трендовите, да ги предвиди перформансите на производството и да ги оптимизира сопствените трошоци. Јасно е дека за да се намалат трошоците, компаниите се подготвени да ги имплементираат најновите решенија.

Технологии и методи за анализа што се користат за анализа на големи податоци:

• Рударство на податоци;
• crowdsourcing;
• мешање и интеграција на податоци;
• машинско учење;
• вештачки невронски мрежи;
• препознавање на модели;
• предвидлива аналитика;
• симулационо моделирање;
• просторна анализа;
• Статистичка анализа;
• визуелизација на аналитички податоци.

Анализа на големи податоци во светот

Анализата на големи податоци сега ја користат повеќе од 50% од компаниите ширум светот. И покрај фактот дека во 2015 година оваа бројка беше само 17%. Големите податоци најактивно се користат од компании кои работат во секторите на телекомуникациите и финансиските услуги. Потоа, постојат компании кои се специјализирани за технологија за здравствена заштита. Минимална употреба на аналитика на големи податоци во образовните компании: во повеќето случаи, претставниците на оваа област ја објавија својата намера да користат технологија во блиска иднина.

Во Соединетите Американски Држави, најактивно се користи аналитиката за големи податоци: повеќе од 55% од компаниите од различни области работат со оваа технологија. Во Европа и Азија, побарувачката за аналитика на големи податоци не е многу помала - околу 53%.

Што е со Русија?

Според аналитичарите на IDC, Русија е најголемиот регионален пазар за аналитички решенија за големи податоци. Растот на пазарот за вакви решенија во Централна и Источна Европа е доста активен, оваа бројка секоја година се зголемува за 11%. До 2022 година квантитативно ќе достигне 5,4 милијарди долари.

На многу начини, овој брз развој на пазарот се должи на растот на оваа област во Русија. Во 2018 година, приходите од продажба на релевантни решенија во Руската Федерација изнесуваа 40% од вкупната инвестиција во технологии за обработка на големи податоци во целиот регион.

Во Руската Федерација, компаниите од банкарскиот и јавниот сектор, телекомуникациската индустрија и индустријата трошат најмногу за обработка на големи податоци.

Што прави аналитичарот на големи податоци и колку заработува во Русија?

Аналитичарот за големи податоци е одговорен за испитување на огромни количини на информации, и полуструктурирани и неструктурирани. За банкарските организации тоа се трансакции, за операторите - повици и сообраќај, во малопродажбата - посети и купувања на клиенти. Како што споменавме погоре, анализата на големите податоци ни овозможува да откриеме врски помеѓу различни фактори во „историјата на необработени информации“, на пример, производствен процес или хемиска реакција. Врз основа на податоците од анализата, се развиваат нови пристапи и решенија во различни области - од производство до медицина.

Потребни вештини за аналитичар за големи податоци:

• Способност брзо да ги разберете карактеристиките во областа за која се врши анализата и да се задлабочите во аспектите на саканата област. Ова може да биде малопродажба, индустрија за нафта и гас, медицина итн.
• Познавање на методите на статистичка анализа на податоци, конструкција на математички модели (невронски мрежи, Бејзови мрежи, кластерирање, регресија, фактор, варијанса и корелациски анализи и др.).
• Да може да извлече податоци од различни извори, да ги трансформира за анализа и да ги вчита во аналитичка база на податоци.
• Умешен во SQL.
• Познавање на англиски јазик на ниво доволно за лесно читање на техничката документација.
• Познавање на Python (барем основите), Bash (многу е тешко да се направи без него во процесот на работа), плус пожелно е да се знаат основите на Java и Scala (потребни за активно користење на Spark, еден од најпопуларните рамки за работа со големи податоци).
• Способност за работа со Hadoop.

Па, колку заработува аналитичарот на Big Data?

Специјалистите за големи податоци сега се во недостиг; побарувачката ја надминува понудата. Тоа е затоа што бизнисот доаѓа до разбирање: развојот бара нови технологии, а развојот на технологијата бара специјалисти.

Значи, Data Scientist и Data Analytics во САД влезе во топ 3-те најдобри професии за 2017 година според агенцијата за регрутирање Glassdoor. Просечната плата на овие специјалисти во Америка започнува од 100 илјади долари годишно.

Во Русија, специјалистите за машинско учење добиваат од 130 до 300 илјади рубли месечно, аналитичарите на големи податоци - од 73 до 200 илјади рубли месечно. Се зависи од искуството и квалификациите. Секако, има слободни работни места со помали плати, а други со повисоки. Максимална побарувачка за аналитичари за големи податоци во Москва и Санкт Петербург. Москва, што не е изненадувачки, сочинува околу 50% од активните слободни работни места (според hh.ru). Многу помала побарувачка има во Минск и Киев. Вреди да се напомене дека некои слободни работни места нудат флексибилно работно време и работа на далечина. Но, генерално, на компаниите им требаат специјалисти кои работат во канцеларија.

Со текот на времето, можеме да очекуваме зголемување на побарувачката за аналитичари на Big Data и претставници на сродни специјалитети. Како што беше споменато погоре, недостигот на персонал во технолошкиот сектор не е откажан. Но, се разбира, за да станете аналитичар на големи податоци, треба да учите и да работите, подобрувајќи ги и вештините наведени погоре и дополнителните. Една од можностите да се започне патот на аналитичарот на Big Data е пријавете се за курс од Geekbrains и обидете се да работите со големи податоци.

Извор: www.habr.com