许多国外作者一致认为，大数据时代已经结束。 在这种情况下，大数据一词指的是基于 Hadoop 的技术。 许多作者甚至可以自信地说出大数据离开这个世界的日期，这个日期是 05.06.2019/XNUMX/XNUMX。
在这个重要的日子里发生了什么？
这一天，MAPR承诺，如果找不到进一步运作的资金，将暂停工作。 MAPR 随后于 2019 年 43 月被惠普收购。 但回到六月，我们不禁注意到这一时期大数据市场的悲剧。 本月，市场领先企业 CLOUDERA 的股价暴跌，该公司于同年 4,1 月与长期亏损的 HORTOWORKS 合并。 跌幅相当大，跌幅达1,4%；最终CLOUDERA的市值从XNUMX美元减少到XNUMX亿美元。
不能不说，基于 Hadoop 的技术领域出现泡沫的谣言自 2014 年 XNUMX 月以来就一直在流传，但它又勇敢地坚持了近五年。 这些谣言是基于Hadoop技术发源地谷歌拒绝其发明而产生的。 但该技术是在公司向云处理工具过渡以及人工智能快速发展的过程中扎根的。 因此，回过头来看，我们可以自信地说，死亡是预料之中的。
因此，大数据时代已经结束，但在研究大数据的过程中，企业已经意识到了研究大数据的所有细微差别，大数据可以给企业带来的好处，也学会了利用人工智能从原始数据中提取价值的智能。
更有趣的问题是什么将取代这项技术以及分析技术将如何进一步发展。
增强分析
在所描述的事件中，从事数据分析领域工作的公司并没有坐以待毙。 根据2019年发生的交易信息可以判断什么。 今年，进行了市场上最大的交易——Salesforce以15,7亿美元收购分析平台Tableau。 Google 和 Looker 之间发生了一项规模较小的交易。 当然，人们不能不注意到 Qlik 收购了大数据平台 Attunity。
BI 市场领导者和 Gartner 专家宣布数据分析方法将发生重大转变；这一转变将彻底摧毁 BI 市场，并导致 BI 被 AI 取代。 在这种情况下，应该指出的是，缩写AI不是“人工智能”，而是“增强智能”。 让我们仔细看看“增强分析”这个词背后的含义。
增强分析与增强现实一样，基于几个一般假设：
- 使用 NLP（自然语言处理）进行交流的能力，即用人类语言；
- 使用人工智能，这意味着数据将由机器智能进行预处理；
- 当然，还有由人工智能生成的系统用户可用的建议。
据分析平台制造商称，这些平台将可供不具备特殊技能（例如 SQL 或类似脚本语言知识）、未受过统计或数学培训、不具备流行语言知识的用户使用。专门从事数据处理和相应的库。 这样的人，被称为“公民数据科学家”，必须具备出色的商业资质。 他们的任务是从人工智能提供的提示和预测中获取业务洞察，并且可以使用 NLP 完善他们的猜测。
描述用户使用此类系统的过程，可以想象下面的画面。 一个人上班并启动相应的应用程序，除了可以使用标准方法（排序、分组、执行算术运算）进行分析的通常的报告和仪表板集之外，还会看到某些提示和建议，例如：“在为了实现 KPI、销售数量，您应该对“园艺”类别的产品应用折扣。” 此外，一个人还可以联系企业即时通讯工具：Skype、Slack 等。 可以通过文字或语音向机器人提问：“给我五个最赚钱的客户。” 收到合适的答案后，他必须根据自己的业务经验做出最佳决策，为公司带来利润。
如果您退后一步，看看正在分析的信息的构成，在这个阶段，增强分析产品可以让人们的生活变得更轻松。 理想情况下，假设用户只需将分析产品指向所需信息的来源，程序本身将负责创建数据模型、链接表和类似任务。
这一切首先要保证数据的“民主化”，即任何人都可以分析公司可用的全部信息。 决策过程必须有统计分析方法的支持。 数据访问时间应该最短，因此无需编写脚本和 SQL 查询。 当然，您可以节省聘请高薪数据科学专家的费用。
假设，技术为商业提供了非常光明的前景。
什么取代了大数据
但事实上，我的文章是从大数据开始的。 如果不简要介绍一下现代 BI 工具，我就无法展开这个主题，而现代 BI 工具的基础通常是大数据。 大数据的命运现在已经明确，那就是云技术。 我重点关注与 BI 供应商进行的交易，以证明现在每个分析系统背后都有云存储，云服务以 BI 作为前端。
不要忘记像ORACLE、微软这样的数据库领域的支柱，还要注意他们选择的业务发展方向，这就是云。 所有提供的服务都可以在云中找到，但某些云服务在本地不再可用。 他们在机器学习模型的使用方面做了大量工作，创建了可供用户使用的库，并配置了界面，以便于使用模型（从选择模型到设置开始时间）。
制造商表示，使用云服务的另一个重要优势是可以为训练模型提供几乎无限的任何主题的数据集。
但问题来了：云技术在我国的扎根能走多远？
来源： habr.com