Аналитика великих података - реалности и перспективе у Русији и свету

Данас само људи који немају спољне везе са спољним светом нису чули за велике податке. На Хабреу је популарна тема аналитике великих података и сродних тема. Али за неспецијалисте који би желели да се посвете проучавању великих података, није увек јасно какве изгледе има ова област, где се може применити Биг Дата аналитика и на шта добар аналитичар може да рачуна. Хајде да покушамо да то схватимо.

Количина информација које стварају људи повећава се сваке године. До 2020. количина ускладиштених података ће се повећати на 40-44 зетабајта (1 ЗБ ~ 1 милијарда ГБ). До 2025. - до приближно 400 зетабајта. Сходно томе, управљање структурираним и неструктурираним подацима коришћењем савремених технологија је област која постаје све важнија. За велике податке су заинтересоване и појединачне компаније и читаве земље.

Иначе, управо је током расправе о информационом буму и методама обраде података које генерише човек настао термин Биг Дата. Верује се да га је први пут предложио 2008. године уредник часописа Натуре Клифорд Линч.

Од тада се тржиште великих података повећава годишње за неколико десетина процената. И овај тренд ће се, према мишљењу стручњака, наставити. Дакле, према проценама компаније Фрост & Сулливан у 2021. укупно глобално тржиште аналитике великих података ће се повећати на 67,2 милијарде долара. Годишњи раст ће бити око 35,9%.

Зашто нам је потребна аналитика великих података?

Омогућава вам да идентификујете изузетно вредне информације из структурираних или неструктурираних скупова података. Захваљујући томе, предузеће може, на пример, да идентификује трендове, предвиди перформансе производње и оптимизује сопствене трошкове. Јасно је да су у циљу смањења трошкова компаније спремне да имплементирају најновија решења.

Технологије и методе анализе које се користе за анализу великих података:

• Претрага података;
• цровдсоурцинг;
• мешање и интеграција података;
• Машинско учење;
• вештачке неуронске мреже;
• препознавање образаца;
• предиктивна аналитика;
• симулационо моделирање;
• просторна анализа;
• Статистичка анализа;
• визуелизација аналитичких података.

Аналитика великих података у свету

Аналитику великих података сада користи више од 50% компанија широм света. Упркос чињеници да је у 2015. ова цифра износила само 17%. Биг Дата најактивније користе компаније које послују у сектору телекомуникација и финансијских услуга. Затим постоје компаније које су специјализоване за технологију здравствене заштите. Минимална употреба Биг Дата аналитике у образовним компанијама: у већини случајева представници ове области најављују намеру да користе технологију у блиској будућности.

У Сједињеним Државама се најактивније користи аналитика великих података: више од 55% компанија из различитих области ради са овом технологијом. У Европи и Азији потражња за аналитиком великих података није много мања – око 53%.

А шта је у Русији?

Према аналитичарима ИДЦ-а, Русија је највеће регионално тржиште за решења за аналитику великих података. Раст тржишта оваквих решења у Централној и Источној Европи је прилично активан, ова цифра се повећава за 11% сваке године. До 2022. достићи ће 5,4 милијарде долара у квантитативном смислу.

На много начина, овај брзи развој тржишта је последица раста ове области у Русији. У 2018. приход од продаје релевантних решења у Руској Федерацији износио је 40% укупних инвестиција у технологије обраде великих података у целом региону.

У Руској Федерацији на обраду великих података највише троше компаније из банкарског и јавног сектора, телекомуникационе индустрије и индустрије.

Чиме се бави аналитичар великих података и колико зарађује у Русији?

Аналитичар великих података одговоран је за испитивање огромних количина информација, полуструктурираних и неструктурираних. За банкарске организације то су трансакције, за оператере - позиви и саобраћај, за становништво - посете клијената и куповине. Као што је горе поменуто, анализа великих података нам омогућава да откријемо везе између различитих фактора у „историји сирових информација“, на пример, производног процеса или хемијске реакције. На основу података анализе, развијају се нови приступи и решења у различитим областима – од производње до медицине.

Вештине потребне за аналитичара великих података:

• Способност брзог разумевања карактеристика у области за коју се врши анализа и да се уроните у аспекте жељене области. То може бити малопродаја, индустрија нафте и гаса, медицина итд.
• Познавање метода статистичке анализе података, конструкција математичких модела (неуронске мреже, Бајесове мреже, кластеровање, регресија, факторска, варијансна и корелационе анализе итд.).
• Бити у могућности да извучете податке из различитих извора, трансформишете их за анализу и учитате у аналитичку базу података.
• Стручњак у СКЛ-у.
• Познавање енглеског језика на нивоу довољном за лако читање техничке документације.
• Познавање Питхон-а (барем основе), Басх-а (без њега је веома тешко у процесу рада), плус пожељно је познавање основа Јаве и Сцале (потребно за активно коришћење Спарк-а, једног од најпопуларнији оквири за рад са великим подацима).
• Способност рада са Хадооп-ом.

Па, колико зарађује аналитичар великих података?

Специјалисти за велике податке су сада у недостатку; потражња је већа од понуде. То је зато што бизнис долази до разумевања: развој захтева нове технологије, а развој технологије захтева стручњаке.

Дакле, Дата Сциентист и Дата Аналитицс у САД ушао у топ 3 најбоља занимања 2017. године према агенцији за запошљавање Глассдор. Просечна плата ових специјалиста у Америци креће се од 100 хиљада долара годишње.

У Русији, стручњаци за машинско учење добијају од 130 до 300 хиљада рубаља месечно, аналитичари великих података - од 73 до 200 хиљада рубаља месечно. Све зависи од искуства и квалификација. Наравно, има слободних места са мањим платама, а других са већим. Максимална потражња за аналитичарима великих података у Москви и Санкт Петербургу. Москва, што није изненађујуће, чини око 50% активних слободних радних места (према хх.ру). Много мања потражња је у Минску и Кијеву. Вреди напоменути да нека слободна радна места нуде флексибилно радно време и рад на даљину. Али генерално, компанијама су потребни стручњаци који раде у канцеларији.

Временом можемо очекивати пораст потражње за аналитичарима Биг Дата и представницима сродних специјалности. Као што је већ поменуто, недостатак кадрова у технолошком сектору није поништен. Али, наравно, да бисте постали аналитичар великих података, морате учити и радити, побољшавајући и горе наведене вештине и додатне. Једна од прилика да се крене путем Биг Дата аналитичара је пријавите се за курс од Геекбраинс-а и окушајте се у раду са великим подацима.

Извор: ввв.хабр.цом