今天只有那些与外界没有联系的人才没有听说过大数据。 在 Habré 上，大数据分析及相关主题很受欢迎。 但对于那些想致力于大数据研究的非专业人士来说，并不总是清楚这个领域有什么前景，大数据分析可以应用在哪里，以及一个好的分析师可以指望什么。 让我们试着找出答案。
人类产生的信息量逐年增加。 到 2020 年，存储的数据量将增加到 40-44 ZB（1 ZB ~ 1 亿 GB）。 到 2025 年，将达到约 400 ZB。 因此，使用现代技术管理结构化和非结构化数据是一个变得越来越重要的领域。 无论是个体公司还是整个国家都对大数据感兴趣。
顺便说一句，正是在讨论信息热潮和处理人类生成数据的方法时，大数据一词出现了。 据信，它是由《自然》杂志的编辑克利福德·林奇于 2008 年首次提出的。
从那时起，大数据市场每年以百分之几十的速度增长。 专家表示，这种趋势将持续下去。 因此，根据公司估计 2021年，全球大数据分析市场总额将增至67,2亿美元，年增长率约为35,9%。
为什么我们需要大数据分析？
它允许您从结构化或非结构化数据集中识别极其有价值的信息。 因此，企业可以识别趋势、预测生产绩效并优化自身成本。 显然，为了降低成本，企业已经准备好实施最新的解决方案。
用于分析大数据的技术和分析方法：
- 数据挖掘;
- 众包；
- 数据混合和集成；
- 机器学习；
- 人工神经网络;
- 模式识别;
- 预测分析；
- 仿真建模；
- 空间分析；
- 统计分析;
- 分析数据的可视化。
世界大数据分析
目前全球超过 50% 的公司使用大数据分析。 尽管2015年这一数字仅为17%。 电信和金融服务行业的公司最积极地使用大数据。 还有一些专门从事医疗保健技术的公司。 教育公司很少使用大数据分析：在大多数情况下，该领域的代表宣布他们打算在不久的将来使用技术。
在美国，大数据分析的使用最为活跃：来自各个领域的超过 55% 的公司都在使用这项技术。 在欧洲和亚洲，对大数据分析的需求也并不低——大约为 53%。
那俄罗斯呢？
据 IDC 分析师称，。 中欧和东欧此类解决方案市场的增长相当活跃，这一数字每年增长11%。 到2022年，从数量上看将达到5,4亿美元。
从很多方面来说，市场的快速发展归功于俄罗斯这一领域的增长。 2018年，俄罗斯联邦销售相关解决方案的收入占整个地区大数据处理技术总投资的40%。
在俄罗斯联邦，来自银行和公共部门、电信行业和工业的公司在大数据处理上的支出最多。
大数据分析师在俄罗斯做什么？他赚多少钱？
大数据分析师负责检查大量信息，包括半结构化和非结构化信息。 对于银行组织来说，这些是交易，对于运营商来说是呼叫和流量，对于零售来说是客户访问和购买。 如上所述，大数据分析使我们能够发现“原始信息历史”中各种因素之间的联系，例如生产过程或化学反应。 根据分析数据，从制造到医药等各个领域都开发出了新的方法和解决方案。
大数据分析师所需的技能：
- 能够快速了解正在执行分析的区域的特征，并使自己沉浸在所需区域的各个方面。 这可能是零售、石油和天然气工业、医药等。
- 了解统计数据分析方法、数学模型构建（神经网络、贝叶斯网络、聚类、回归、因子、方差和相关分析等）。
- 能够从不同来源提取数据，将其转换以进行分析，并将其加载到分析数据库中。
- 精通 SQL。
- 英语水平足以轻松阅读技术文档。
- 了解 Python（至少是基础知识）、Bash（在工作过程中没有它是非常困难的），另外最好了解 Java 和 Scala 的基础知识（积极使用 Spark 所需的知识，Spark 是最重要的工具之一）最流行的大数据处理框架）。
- 能够使用 Hadoop。
那么，大数据分析师能赚多少钱？
大数据专家现在供不应求，供不应求。 这是因为企业逐渐认识到：发展需要新技术，技术开发需要专家。
那么，美国的数据科学家和数据分析 据招聘机构 Glassdoor 称。 美国这些专家的平均年薪从100万美元起。
在俄罗斯，机器学习专家每月收入为 130 至 300 万卢布，大数据分析师每月收入为 73 至 200 万卢布。 这一切都取决于经验和资格。 当然，也有工资较低的职位空缺，也有工资较高的职位空缺。 莫斯科和圣彼得堡对大数据分析师的需求最大。 莫斯科占据了大约 50% 的活跃职位空缺（根据 hh.ru 的数据），这并不奇怪。 明斯克和基辅的需求要少得多。 值得注意的是，一些职位空缺提供灵活的工作时间和远程工作。 但总的来说，公司需要在办公室工作的专家。
随着时间的推移，我们预计对大数据分析师和相关专业代表的需求将会增加。 如上所述，科技领域人才短缺的问题并未消除。 但是，当然，为了成为一名大数据分析师，您需要学习和工作，提高上面列出的技能和其他技能。 开始大数据分析师之路的机会之一是 并尝试使用大数据。
来源： habr.com