“예, 존재합니다!” 카자흐스탄의 데이터 과학 전문가는 무엇을 하며, 수입은 얼마나 됩니까?

드미트리 카자 코프Kolesa Group의 데이터 분석 팀 책임자인 가 데이터 전문가를 대상으로 한 최초의 카자흐스탄 설문조사에서 얻은 통찰력을 공유합니다.

사진 : Dmitry Kazakov

빅 데이터가 십대 섹스와 가장 유사하다는 유명한 문구를 기억하십시오. 모두가 그것에 대해 이야기하지만 실제로 존재하는지 아는 사람은 없습니다. (카자흐스탄의) 데이터 전문가 시장에 대해서도 마찬가지입니다. 과대광고가 있지만 그 배후에 누가 있는지(그리고 거기에 누군가가 있는지 여부) 완전히 명확하지 않았습니다. HR도 관리자도 마찬가지입니다. 데이터 과학자 자신.

우리는 보냈다 исследование, 300명이 넘는 전문가를 대상으로 급여, 직무, 기술, 도구 등에 관해 설문조사를 실시했습니다.

스포일러 : 예, 확실히 존재하지만 모든 것이 그렇게 간단하지는 않습니다.

좋은 통찰력. 첫째, 예상보다 많은 데이터 과학자가 있습니다. 우리는 300명을 인터뷰했는데 그중에는 제품, 마케팅, BI 분석가뿐만 아니라 ML 및 DWH 엔지니어도 포함되어 있어서 특히 즐거웠습니다. 가장 큰 그룹에는 스스로를 데이터 과학자라고 부르는 모든 사람이 포함되었으며, 이는 응답자의 36%입니다. 시장 자체가 이제 막 형성되는 단계이기 때문에 이것이 시장의 수요를 충족하는지 여부를 말하기는 어렵습니다.

직급 분포가 혼란스럽습니다. 팀장과 관리자가 후배만큼 많습니다. 여기에는 여러 가지 이유가 있을 수 있습니다. 예를 들어, 2~3명으로 구성된 다수의 소규모 팀에서는 리더가 중간 또는 고위급 전문가일 수 있습니다.

또 다른 이유는 역할 및 기능 분배 표준과 관련하여 현재 시장을 지배하고 있는 혼란 때문일 수 있습니다. 때로는 기술이나 지식 수준에 관계없이 다른 사람보다 38~33년 더 오래 일한 사람에게 팀 리더가 배정되는 경우도 있습니다. 직위별 기능 분포에서 이를 확인할 수 있습니다. 관리자와 팀 리더의 XNUMX%는 전처리에 참여하고, XNUMX%는 기본 통계 분석에 참여합니다.

여기서 우리는 응답자들에게 회사의 분석 수준을 주관적으로 평가하도록 요청했습니다. 자세히 살펴보면 10~2명으로 구성된 분석부서에 근무하는 응답자 중 3%가 자신이 '고급' 수준이라고 믿고 있는 것을 알 수 있다.

"고급 레벨"이란 무엇입니까? BI 시스템은 훌륭하게 작동합니다. DWH와 빅데이터가 있습니다. A/B 테스트는 정기적으로 수행됩니다. 프로덕션에는 ML 및 DS 시스템이 작동 중입니다. 의사결정은 데이터를 토대로만 이루어집니다. 데이터 처리 및 데이터 과학 부서는 회사의 핵심 부서 중 하나입니다.

2~3명으로 구성된 부서에서는 위의 모든 것을 달성하는 것이 거의 불가능합니다. 이번 조사 결과는 약간의 성장통이라고 생각합니다. 아직은 남자들의 레벨을 좀 더 객관적으로 판단하기 위해 비교할 상대가 없습니다.

예상대로 데이터 과학자는 매우 복잡한 수학이나 엔지니어링이 아닌 데이터 전처리, 다운로드 및 정리에 대부분의 시간을 보냅니다. 모든 전문 분야에서 전처리가 상위 3위 안에 들었습니다. 그러나 ML 모델 개발이나 빅 데이터 작업과 같은 복잡한 작업은 상위 3위 안에 드는 경우가 거의 없습니다. ML 및 DWH 엔지니어들 사이에서만 그렇습니다.

몇 가지 슬픈 통찰도 있습니다. 전문가들은 업무의 40%를 스스로 설정합니다. 카자흐스탄에서는 지금까지 최고의 유니콘 기업들만이 빅데이터 작업의 이점을 시도하고 이를 능숙하게 수행하는 방법을 배웠습니다. 그들은 빅 데이터와 머신 러닝이 훌륭하다고 시장에 알리고 두 번째 계층이 뒤를 잇지만 데이터 작업이 어떻게 작동하는지 항상 이해하지는 못합니다. 따라서 전문가는 스스로 작업을 설정하고 기업은 자신이 원하는 것이 무엇인지 항상 알 수는 없습니다.

전문가 중 20%가 자신의 회사에 데이터 웨어하우스가 있는지조차 모른다는 사실에 놀랐습니다. 예, 그리고 데이터베이스 관리 시스템의 모든 것이 그렇게 좋은 것은 아닙니다. 41%는 MySQL을 사용하고 또 다른 34%는 PostgreSQL을 사용합니다. 이것이 무엇을 의미할까요? 그들은 작은 데이터로 작업합니다.

스토리지 시스템에 대한 질문에서 우리는 다시 MySQL과 심지어 (!) Excel을 봅니다. 그러나 이는 예를 들어 대부분의 기업이 아직 빅 데이터 작업에 대한 요청을 받지 않았다는 것을 의미할 수 있습니다.

여기서 모든 것이 다시 모호합니다. 전반적으로 급여는 제가 예상했던 것보다 약간 낮았습니다.

개인적으로 200만 텡게에서 일할 준비가 된 ML 엔지니어를 상상하기는 어렵습니다. 그는 아마도 인턴일 것입니다. 그러한 전문가의 역량이 매우 약하거나 기업이 데이터 과학 작업을 적절하게 평가하기가 여전히 어렵습니다. 그러나 아마도 이는 시장이 아직 성숙 단계에 있다는 것을 의미할 수도 있습니다. 그리고 시간이 지남에 따라 급여 수준은 보다 적절한 수준으로 설정될 것입니다.

출처 : habr.com