Про великі дані сьогодні не чула лише людина, яка не має жодних зовнішніх зв'язків із зовнішнім світом. На Хабре тема аналітики Big Data та суміжні тематики популярні. Але нефахівцям, які хотіли б присвятити себе вивченню Big Data, не завжди зрозуміло, які перспективи має ця сфера, де може застосовуватись аналітика Big Data і на що може розраховувати хороший аналітик. Спробуймо розібратися.
З кожним роком збільшується обсяг інформації, що генерується людиною. До 2020 року обсяг даних, що зберігаються, збільшиться до 40-44 зеттабайт (1 ЗБ ~ 1 мільярд ГБ). До 2025 року - приблизно 400 зеттабайт. Відповідно управління структурованими і неструктурованими даними за допомогою сучасних технологій — сфера, яка стає все більш важливою. Цікавляться великими даними як окремі компанії, і цілі держави.
До речі, саме в процесі обговорення інформаційного буму та способів обробки даних, що генеруються людиною, і виник термін Big Data. Вважається, що вперше його запропонував у 2008 році редактор журналу Nature - Кліффорд Лінч.
З того часу ринок Big Data щорічно збільшується на кілька десятків відсотків. І ця тенденція, на думку фахівців, триматиметься й надалі. Так, за оцінками компанії 2021 року загальний обсяг світового ринку аналітики великих даних збільшиться до показника $67,2 млрд. Щорічне зростання складе близько 35,9 %.
Для чого потрібна аналітика великих даних?
Вона дозволяє виявляти вкрай цінну інформацію із структурованих чи неструктурованих наборів даних. Завдяки цьому бізнес, наприклад, може визначати тенденції, прогнозувати виробничі показники та оптимізувати власні витрати. Зрозуміло, що заради зниження витрат компанії готові впроваджувати нові рішення.
Технології та методи аналізу, які використовуються для аналізу Big Data:
- Data Mining;
- краудсорсинг;
- змішання та інтеграція даних;
- машинне навчання;
- штучні нейронні мережі;
- розпізнавання образів;
- прогнозна аналітика;
- імітаційне моделювання;
- просторовий аналіз;
- статистичний аналіз;
- візуалізація аналітичних даних.
Аналітика Big Data у світі
Зараз аналітика великих даних використовується у понад 50% компаній по всьому світу. При тому, що у 2015 році цей показник становив лише 17 %. Big Data найактивніше використовується компаніями, які працюють у сфері телекомунікацій та фінансових послуг. Потім йдуть компанії, які спеціалізуються на технологіях охорони здоров'я. Мінімальне використання аналітики Big Data в освітніх компаніях: здебільшого представники цієї галузі заявляли про намір використовувати технології в найближчому майбутньому.
У США аналітика Big Data використовується найбільш активно: понад 55% компаній з різних сфер працюють з цією технологією. У Європі та Азії затребуваність аналітики великих даних не набагато нижча — близько 53 %.
А що у Росії?
На думку аналітиків IDC,. Зростання обсягів ринку таких рішень у Центральній та Східній Європі досить активне, щороку цей показник збільшується на 11%. До 2022 року він досягне у кількісному відношенні $5,4 млрд.
Багато в чому такий бурхливий розвиток ринку обумовлюється зростанням цієї сфери у Росії. У 2018 році виторг від продажу відповідних рішень у РФ склав 40% від сукупного обсягу інвестицій у технології обробки Big Data всього регіону.
У РФ найбільше на обробку Big Data витрачають компанії з боку банківського та державного секторів, телекомунікаційної індустрії та промисловості.
Що робить Big Data Analyst і скільки отримує у Росії?
Фахівець з аналізу великих даних відповідає вивчення великих масивів інформації, як частково структурованих, і неструктурованих. У банківських організацій це транзакції, у операторів — дзвінки та трафік, у ритейлі — відвідування клієнтів та покупки. Як і говорилося вище, аналіз Big Data дозволяє виявити зв'язки між різними факторами «сирої інформаційної історії», наприклад, виробничого процесу чи хімічної реакції. На основі даних аналізу розробляються нові підходи і рішення в різних сферах — від виробництва до медицини.
Навички, необхідні аналітику Big Data:
- Вміння швидко розібратися в особливостях у тій галузі, на яку проводиться аналіз, поринути в аспекти потрібної сфери. Це може бути рітейл, нафтогазова галузь, медицина тощо.
- Знання методів статистичного аналізу даних, побудови математичних моделей (нейронні мережі, байєсовські мережі, кластеризація, регресійний, факторний, дисперсійний та кореляційний аналізи тощо).
- Вміти витягувати дані з різних джерел, перетворювати їх для аналізу, завантажувати на аналітичну базу даних.
- Володіння SQL.
- Знання англійської мови на рівні достатньому для безпроблемного читання технічної документації.
- Знання Python (хоча б основ), Bash (без нього дуже складно обійтися в процесі роботи) плюс бажано знати основи Java і Scala (потрібні для активного використання Spark, одного з найпопулярніших фреймворків для роботи з великими даними).
- Вміння працювати з Hadoop.
Ну, а скільки отримує Big Data аналітик?
Фахівці з Big Data зараз у дефіциті, попит перевищує пропозицію. Все тому, що бізнес розуміє: для розвитку потрібні нові технології, а для розвитку технологій потрібні фахівці.
Так ось, Data Scientist і Data Analytic у США за версією кадрової агенції Glassdoor. Середня заробітна плата цих фахівців в Америці починається від $100 тисяч на рік.
У Росії фахівці з машинного навчання одержують від 130 до 300 тисяч рублів на місяць, аналітики великих даних - від 73 до 200 тисяч рублів на місяць. Все залежить від досвіду та кваліфікації. Звісно, є вакансії із меншою зарплатою, є — із більшою. Максимальний попит на аналітиків великих даних у Москві та Санкт-Петербурзі. На Москву, що не дивно, припадає близько 50% активних вакансій (за даними hh.ru). Набагато менший попит — у Мінську та Києві. Варто зазначити, що деякі вакансії пропонують гнучкий графік та віддалену роботу. Але в цілому компаніям потрібні фахівці, які працюють в офісі.
Згодом очікується підвищення попиту на аналітиків Big Data та представників суміжних спеціальностей. Як і говорилося вище, кадровий голод у сфері технологій ніхто не скасовував. Але, звичайно, для того, щоб стати Big Data аналітиком необхідно вчитися і працювати, покращуючи як навички, що вказані вище, так і додаткові. Одна з можливостей розпочати шлях Big Data аналітика та випробувати свої сили у сфері роботи з великими даними.
Джерело: habr.com