Дмитрий Казаков, Kolesa Group компаниясының Data Analytics тобының жетекшісі, деректер мамандары арасындағы алғашқы қазақстандық сауалнаманың түсініктерімен бөліседі.
Суретте: Дмитрий Казаков
Үлкен деректер жасөспірімдік секс сияқты танымал фразаны есте сақтаңыз - бұл туралы бәрі айтады, бірақ оның бар-жоғын ешкім білмейді. Дата мамандарының нарығы туралы да (Қазақстанда) дәл осылай айтуға болады – әуре-сарсаңға түсіп жатыр, бірақ оның артында кім тұрғаны (және ол жерде мүлде біреу бар ма) толықтай түсініксіз – HR үшін де, менеджерлер үшін де, деректер ғалымдарының өздері.
жұмсадық , онда олар 300-ден астам мамандардан олардың жалақысы, функциялары, дағдылары, құралдары және т.б. туралы сауалнама жүргізді.
Спойлер: Иә, олар сөзсіз бар, бірақ бәрі оңай емес.
Керемет түсінік. Біріншіден, деректер ғалымдары біз күткеннен де көп. Біз 300 адамнан сұхбат ала алдық, олардың арасында тек өнім, маркетинг және BI талдаушылары ғана емес, сонымен қатар ML және DWH инженерлері де болды, бұл ерекше қуантты. Ең үлкен топқа өздерін деректер ғалымдары деп атайтындардың барлығы кірді - бұл респонденттердің 36%. Бұл нарық сұранысын өтей ме, жоқ па, айту қиын, өйткені нарықтың өзі енді ғана қалыптасып жатыр.
Лауазымдық деңгейлерді бөлу түсініксіз - команда жетекшілері мен менеджерлері кіші жастағылар сияқты дерлік. Мұның бірнеше себептері болуы мүмкін. Мысалы, 2-3 адамнан тұратын көптеген шағын командалар, олардың жетекшісі орта немесе жоғары деңгейдегі маман болуы мүмкін.
Тағы бір себеп нарықта рөлдер мен функционалдылықты бөлудегі стандарттарға қатысты қазіргі уақытта орын алған хаос болуы мүмкін. Топ жетекшілері кейде дағдылар мен білім деңгейіне сілтеме жасамай, басқаларға қарағанда бір-екі жыл артық жұмыс істейтіндерге тағайындалады. Біз мұны функцияларды позиция бойынша бөлуден көреміз - менеджерлер мен топ жетекшілерінің 38% алдын ала өңдеумен және тағы 33% негізгі статистикалық талдаумен айналысады.
Мұнда біз респонденттерден өз компанияларындағы аналитика деңгейін субъективті бағалауды сұрадық. Мұқият қарасаңыз, 10-2 адамнан тұратын талдау бөлімдерінде жұмыс істейтін респонденттердің 3%-ы «жоғары деңгейге» ие деп есептейтінін көруге болады.
«Жоғары деңгей» дегеніміз не? BI жүйесі тамаша жұмыс істейді. DWH және Big Data бар. A/B сынақтары жүйелі түрде жүргізіледі. Өндірісте жұмыс істейтін ML және DS жүйелері бар. Шешімдер тек деректер негізінде қабылданады. Деректерді өңдеу және деректер ғылымы бөлімі компаниядағы негізгі бөлімдердің бірі болып табылады.
Жоғарыда айтылғандардың барлығына 2-3 адамнан тұратын бөліммен қол жеткізу мүмкін емес. Менің ойымша, бұл сауалнама нәтижесі аздап өсіп келе жатқан ауырсыну - жігіттердің деңгейін неғұрлым объективті анықтау үшін өздерін салыстыратын ешкім жоқ.
Күтілгендей, деректер ғалымдары уақытының көп бөлігін аса күрделі математикаға немесе инженерияға емес, деректерді алдын ала өңдеуге, жүктеп алуға және тазалауға жұмсайды. Әрбір мамандандыруда біз алғашқы үштікте алдын ала өңдеуді көреміз. Бірақ біз ML үлгілерін жасау немесе үлкен деректермен жұмыс істеу сияқты күрделі нәрселерді алғашқы үштікте сирек көреміз - тек ML және DWH инженерлері арасында.
Бір-екі қайғылы түсініктер де бар. Сарапшылар өздеріне 40% тапсырма қойды. Қазақстанда әзірге тек жалғыз мүйізді компаниялар ғана үлкен деректермен жұмыс істеудің артықшылықтарын сынап көрді және оны сауатты жасауды үйренді. Олар нарыққа Big Data және Machine Learning керемет екенін, ал екінші эшелон артта қалады, бірақ деректермен жұмыс қалай жұмыс істейтінін әрқашан түсінбейді. Сондықтан, мамандардың өз алдына міндеттер қоятынын, ал бизнестің не қалайтынын біле бермейтінін көріп отырмыз.
Мамандардың 20% өз компаниясында деректер қоймасы бар-жоғын білмейтініне таң қалдым. Иә, дерекқорды басқару жүйелерімен бәрі жақсы емес - 41% MySQL, ал тағы 34% PostgreSQL пайдаланады. Бұл нені білдіруі мүмкін? Олар шағын деректермен жұмыс істейді.
Сақтау жүйелері туралы сұрақта біз қайтадан MySQL және тіпті (!) Excel-ді көреміз. Бірақ бұл, мысалы, компаниялардың көпшілігінде үлкен деректермен жұмыс істеуге сұраныс жоқ екенін көрсетуі мүмкін.
Мұнда бәрі қайтадан түсініксіз. Жалпы, жалақы мен күткеннен сәл төмен болды.
Жеке мен үшін 200 мың теңгеге жұмыс істеуге дайын ML инженерін елестету қиын - ол тағылымдамадан өтуші шығар. Немесе мұндай мамандардың құзыреттері өте әлсіз, немесе компаниялар үшін Data Science жұмысын барабар бағалау әлі де қиын. Бірақ, мүмкін, бұл нарық әлі де жетілудің басында екенін көрсетеді. Ал уақыт өте келе жалақы деңгейі неғұрлым сәйкес деңгейде белгіленетін болады.
Ақпарат көзі: www.habr.com