Дмитро Козаков, Data Analytics Team Lead у Kolesa Group, ділиться інсайтами з першого казахстанського опитування фахівців із роботи з даними.
На фото: Дмитро Козаков
Пам'ятайте популярну фразу про те, що Big Data найбільше нагадує підлітковий секс – все про нього говорять, але ніхто не знає, чи він є насправді. Те саме можна було сказати і про ринок фахівців з роботи з даними (в Казахстані) – хайп є, а хто за ним стоїть (і чи є там взагалі хоч хтось), не було до кінця зрозуміло – ні ейчарам, ні менеджерам , ні самим дата-саентистам
Ми провели , в рамках якого опитали понад 300 фахівців про їхні зарплати, функції, скіли, інструменти та багато ще про що.
спойлер: так, вони точно існують, але все не так однозначно.
Приємний інсайт. По-перше, фахівців з роботи з даними більше, ніж ми очікували. Нам вдалося опитати 300 осіб, серед яких є не тільки product-, marketing- та BI-аналітики, а й ML-, DWH-інженери, що особливо потішило. У найбільшій групі опинилися всі, хто називає себе дата-саентистами – це 36% опитаних. Покриває це запит ринку чи ні, сказати складно, бо сам ринок лише формується.
Бентежить розподіл рівнів посади – тимлідів та керівників майже стільки ж, скільки джунів. Причин тому може бути кілька. Наприклад, велика кількість маленьких команд по 2-3 особи, у яких керівником може бути фахівець рівня міддла чи сеніору.
Ще однією причиною може бути хаос, що панує поки на ринку, щодо стандартів у розподілі ролей і функціоналу. Тимлідами часом призначають тих, хто просто працює на рік-два довше за інших, без прив'язки до рівня скіл і знань. Ми бачимо це й у розподілі функцій за посадами — 38% керівників та тимлідів займаються передобробкою та ще 33% базовим стат.аналізом.
Тут ми попросили респондентів суб'єктивно оцінити рівень аналітики у їхніх компаніях. Якщо придивитися, можна побачити, що 10% респондентів, які працюють у відділах аналітики з 2-3 осіб, вважають, що у них “просунутий рівень”.
А що таке "просунутий рівень"? BI-система працює чудово. Є DWH та Big Data. Регулярно проводяться A/B тести. Існують працюючі системи ML і DS в production. Рішення приймаються лише за даними. Відділ роботи з даними та Data Science – один із ключових у компанії.
Усього перерахованого практично неможливо досягти відділу з 2-3 осіб. Вважаю, що такий результат опитування – це невелика хвороба зростання – хлопцям поки нема з ким себе порівнювати, щоб визначити свій рівень об'єктивніше.
Очікується, що найбільше часу фахівці з роботи з даними витрачають не на супер складну математику або інженерію, а на передобробку, розвантаження, очищення даних. У кожній спеціалізації ми бачимо передобробку у топ-3. А ось складні речі типу розробки ML-моделей або роботи з Big Data, у топ-3 ми бачимо вкрай рідко – тільки у ML- та DWH-інженерів.
Є й кілька сумних інсайтів. 40% завдань спеціалісти ставлять собі самостійно. У Казахстані поки що тільки топові компанії-єдинороги розкуштували переваги роботи з великими даними і навчилися робити це грамотно. Вони транслюють на ринок, що Big Data та Machine Learning – це круто, а другий ешелон тягнеться слідом, але далеко не завжди розуміє, як влаштовано роботу з даними. Тому бачимо, що завдання фахівці собі ставлять самі, а бізнес не завжди знає, чого хоче.
Здивувало, що 20% фахівців взагалі не знають, чи є у компанії Data Warehouse. Так, і з системами управління базами даних не все так добре – 41% використовують MySQL, а ще 34% – PostgreSQL. Про що це може казати? Вони працюють скоріше зі small data.
У питанні системи зберігання ми знову бачимо MySQL і навіть (!) Excel. Але це може говорити, наприклад, про те, що у більшості компаній просто ще немає запиту на роботу з великими даними.
Тут все знову неоднозначно. Загалом зарплати виявилися трохи нижчими, ніж я очікував.
Особисто мені складно уявити ML-інженера, який готовий працювати за 200 тисяч тенге – мабуть це стажер. Або, компетенції таких фахівців дуже слабкі, чи компаніям поки що складно адекватно оцінити роботу Data Science. Але можливо це також говорить про те, що ринок поки що на початку свого дорослішання. І згодом рівень зарплат встановиться більш адекватному рівні.
Джерело: habr.com