德米特里卡扎科夫Kolesa Group 数据分析团队负责人分享了哈萨克斯坦首次数据专业人员调查的见解。
照片中：德米特里·卡扎科夫
还记得一句流行的说法：大数据最像青少年的性行为——每个人都在谈论它，但没有人知道它是否真的存在。 对于数据专家市场（哈萨克斯坦）也可以这样说 - 有炒作，但背后的人是谁（以及是否有人）并不完全清楚 - 无论是对人力资源部门，还是对经理，还是对数据科学家本身。
我们花费 ，他们对 300 多名专家进行了调查，了解他们的薪资、职能、技能、工具等等。
剧透： 是的，它们确实存在，但一切并不那么简单。
很好的见解。 首先，数据科学家的数量比我们预期的要多。 我们采访了 300 人，其中不仅有产品、营销和 BI 分析师，还有 ML 和 DWH 工程师，这尤其令人高兴。 最大的群体包括所有自称数据科学家的人——占受访者的 36%。 很难说这是否满足了市场的需求，因为市场本身才刚刚形成。
职位级别的分布令人困惑——团队领导和经理几乎与初级人员一样多。 这可能有几个原因。 例如，大量2-3人的小团队，其中领导者可以是中高级专家。
另一个原因可能是目前市场上关于角色和功能分配标准的混乱。 团队领导有时会被分配给那些比其他人多工作一两年的人，而不考虑技能和知识水平。 我们从按职位划分的职能分布中看到了这一点——38%的经理和团队负责人从事预处理，另外33%从事基础统计分析。
在这里，我们要求受访者主观评估其公司的分析水平。 如果你仔细观察，你会发现，在 10-2 人的分析部门工作的受访者中，有 3% 的人认为自己具有“高级水平”。
什么是“高级”？ BI 系统运行良好。 有 DWH 和大数据。 A/B 测试定期进行。 生产中存在可用的 ML 和 DS 系统。 仅根据数据做出决策。 数据处理和数据科学部门是公司的重点部门之一。
一个2-3人的部门几乎不可能实现上述所有目标。 我认为这个调查结果是一个轻微的成长烦恼——这些家伙还没有任何人可以比较自己，以便更客观地确定他们的水平。
正如预期的那样，数据科学家大部分时间不是花在超级复杂的数学或工程上，而是花在预处理、下载和清理数据上。 在每个专业中，我们都看到预处理位于前 3 名。 但我们很少看到开发 ML 模型或使用大数据等复杂的事情排在前 3 名中——仅在 ML 和 DWH 工程师中出现。
还有一些令人悲伤的见解。 专家们自己设定了 40% 的任务。 在哈萨克斯坦，到目前为止，只有顶尖的独角兽公司尝试过使用大数据的好处，并学会了如何胜任。 他们向市场宣传大数据和机器学习很酷，第二梯队紧随其后，但并不总是了解如何处理数据。 因此，我们看到专家为自己设定任务，而企业并不总是知道他们想要什么。
让我惊讶的是，20% 的专家甚至不知道他们的公司是否有数据仓库。 是的，数据库管理系统并不是一切都那么好 - 41% 使用 MySQL，另外 34% 使用 PostgreSQL。 这意味着什么？ 他们更倾向于处理小数据。
在有关存储系统的问题中，我们再次看到MySQL，甚至（！）Excel。 但这可能表明，大多数公司根本还没有使用大数据的请求。
这里一切又变得模棱两可了。 总体来说，工资比我预期的要低一些。
就我个人而言，我很难想象一个 ML 工程师愿意为 200 万坚戈工作——他可能是一名实习生。 要么这些专家的能力非常薄弱，要么企业仍然很难充分评估数据科学的工作。 但这或许也表明市场仍处于成熟的初期。 随着时间的推移，工资水平将建立在更加充足的水平上。
来源： habr.com