Анализ на големи данни - реалности и перспективи в Русия и света

Днес само хора, които нямат външни връзки с външния свят, не са чували за големи данни. В Habré темата за анализа на големи данни и свързаните с нея теми е популярна. Но за неспециалистите, които биха искали да се посветят на изучаването на Big Data, не винаги е ясно какви перспективи има тази област, къде може да се приложи анализът на Big Data и на какво може да разчита един добър анализатор. Нека се опитаме да го разберем.

Количеството информация, генерирана от хората, се увеличава всяка година. До 2020 г. обемът на съхраняваните данни ще се увеличи до 40-44 зетабайта (1 ZB ~ 1 милиард GB). До 2025 г. - до приблизително 400 зетабайта. Съответно, управлението на структурирани и неструктурирани данни с помощта на съвременни технологии е област, която става все по-важна. Както отделни компании, така и цели държави се интересуват от големи данни.

Между другото, именно по време на обсъждането на информационния бум и методите за обработка на генерирани от човека данни възниква терминът Big Data. Смята се, че е предложено за първи път през 2008 г. от редактора на списание Nature Клифърд Линч.

Оттогава пазарът на големи данни се увеличава всяка година с няколко десетки процента. И тази тенденция, според експерти, ще продължи. Така според оценките на компанията Frost & Sullivan през 2021 г. общият глобален пазар за анализ на големи данни ще се увеличи до $67,2 млрд. Годишният растеж ще бъде около 35,9%.

Защо имаме нужда от анализ на големи данни?

Тя ви позволява да идентифицирате изключително ценна информация от структурирани или неструктурирани набори от данни. Благодарение на това бизнесът може например да идентифицира тенденции, да предвиди производствените резултати и да оптимизира собствените си разходи. Ясно е, че за да намалят разходите, компаниите са готови да внедрят най-новите решения.

Технологии и методи за анализ, които се използват за анализ на Big Data:

• Извличане на данни;
• краудсорсинг;
• смесване и интегриране на данни;
• машинно обучение;
• изкуствени невронни мрежи;
• разпознаване на шаблон;
• прогнозни анализи;
• симулационно моделиране;
• пространствен анализ;
• Статистически анализ;
• визуализация на аналитични данни.

Анализ на големи данни в света

Анализът на големи данни вече се използва от повече от 50% от компаниите по света. Въпреки факта, че през 2015 г. тази цифра е само 17%. Големите данни се използват най-активно от компании, опериращи в секторите на телекомуникациите и финансовите услуги. След това има компании, които се специализират в здравни технологии. Минимално използване на анализи на големи данни в образователни компании: в повечето случаи представители на тази област обявиха намерението си да използват технологията в близко бъдеще.

В Съединените щати анализът на големи данни се използва най-активно: повече от 55% от компаниите от различни области работят с тази технология. В Европа и Азия търсенето на анализ на големи данни не е много по-ниско – около 53%.

Ами в Русия?

Според анализаторите на IDC, Русия е най-големият регионален пазар за решения за анализ на големи данни. Растежът на пазара за такива решения в Централна и Източна Европа е доста активен, тази цифра се увеличава с 11% всяка година. До 2022 г. той ще достигне 5,4 милиарда долара в количествено изражение.

В много отношения това бързо развитие на пазара се дължи на растежа на тази област в Русия. През 2018 г. приходите от продажбата на съответните решения в Руската федерация възлизат на 40% от общите инвестиции в технологии за обработка на големи данни в целия регион.

В Руската федерация компаниите от банковия и публичния сектор, телекомуникационната индустрия и индустрията харчат най-много за обработка на големи данни.

Какво прави анализаторът на големи данни и колко печели в Русия?

Анализаторът на големи данни е отговорен за изследването на огромни количества информация, както полуструктурирана, така и неструктурирана. За банковите организации това са транзакции, за операторите - разговори и трафик, в търговията на дребно - посещения на клиенти и покупки. Както бе споменато по-горе, анализът на големи данни ни позволява да открием връзки между различни фактори в „историята на необработената информация“, например производствен процес или химическа реакция. На базата на данните от анализа се разработват нови подходи и решения в различни области – от производството до медицината.

Умения, необходими за анализатор на големи данни:

• Способността бързо да разберете характеристиките в областта, за която се извършва анализът, и да се потопите в аспекти на желаната област. Това може да бъде търговия на дребно, нефтена и газова промишленост, медицина и др.
• Познаване на методите за статистически анализ на данни, конструиране на математически модели (невронни мрежи, байесови мрежи, групиране, регресия, факторен, дисперсионен и корелационен анализ и др.).
• Да може да извлича данни от различни източници, да ги трансформира за анализ и да ги зарежда в аналитична база данни.
• Владее SQL.
• Владеене на английски език на ниво, достатъчно за лесно четене на техническа документация.
• Познания по Python (поне основите), Bash (много е трудно без него в процеса на работа), плюс е желателно да познавате основите на Java и Scala (необходими за активно използване на Spark, един от най-популярните рамки за работа с големи данни).
• Възможност за работа с Hadoop.

Е, колко печели един анализатор на големи данни?

Сега има недостиг на специалисти по големи данни; търсенето надвишава предлагането. Това е така, защото бизнесът се разбира: развитието изисква нови технологии, а развитието на технологиите изисква специалисти.

И така, Data Scientist и Data Analytics в САЩ влезе в топ 3 на най-добрите професии за 2017 г според агенцията за подбор на персонал Glassdoor. Средната заплата на тези специалисти в Америка започва от $100 хиляди на година.

В Русия специалистите по машинно обучение получават от 130 до 300 хиляди рубли на месец, анализаторите на големи данни - от 73 до 200 хиляди рубли на месец. Всичко зависи от опита и квалификацията. Разбира се, има свободни позиции с по-ниски заплати, а други с по-високи. Максимално търсене на анализатори на големи данни в Москва и Санкт Петербург. Москва, което не е изненадващо, представлява около 50% от активните свободни работни места (според hh.ru). Много по-малко търсене има в Минск и Киев. Заслужава да се отбележи, че някои свободни позиции предлагат гъвкаво работно време и дистанционна работа. Но като цяло компаниите имат нужда от специалисти, които работят в офиса.

С течение на времето можем да очакваме увеличаване на търсенето на анализатори на големи данни и представители на свързани специалности. Както бе споменато по-горе, недостигът на персонал в технологичния сектор не е отменен. Но, разбира се, за да станете анализатор на големи данни, трябва да учите и работите, като подобрявате както уменията, изброени по-горе, така и допълнителните. Една от възможностите да започнете пътя на анализатора на големи данни е запишете се за курс от Geekbrains и опитайте ръката си в работата с големи данни.

Източник: www.habr.com