未来已经到来，人工智能和机器学习技术已经被您最喜欢的商店、运输公司甚至火鸡农场成功使用。
如果某些东西存在，那么互联网上已经有一些关于它的东西......一个开放的项目！ 了解开放数据中心如何帮助您扩展新技术并避免实施挑战。
尽管人工智能 (AI) 和机器学习 (ML) 具有诸多优势，但组织通常难以扩展这些技术。 这种情况下的主要问题通常有以下几个：
- 信息交流与合作 – 毫不费力地交换信息并快速迭代协作几乎是不可能的。
- 数据存取 – 对于每个任务，都需要手动重新构建，这需要花费大量时间。
- 按需访问 – 无法按需访问机器学习工具和平台以及计算基础设施。
- 生产 – 模型仍处于原型阶段，并未投入工业使用。
- 跟踪并解释人工智能结果 – AI/ML 结果的再现性、跟踪和解释很困难。
如果不加以解决，这些问题会对有价值的数据科学家的速度、效率和生产力产生负面影响。 这导致他们对工作感到沮丧和失望，从而导致企业对人工智能/机器学习的期望落空。
解决这些问题的责任落在了 IT 专家身上，他们必须为数据分析师提供——没错，像云这样的东西。 更详细地说，我们需要一个提供自由选择并方便、轻松访问的平台。 同时，它速度快、易于重新配置、可按需扩展并且具有抗故障能力。 基于开源技术构建这样的平台有助于避免供应商锁定，并在成本控制方面保持长期战略优势。
几年前，应用程序开发中也发生了类似的事情，并导致了微服务、混合云、IT 自动化和敏捷流程的出现。 为了应对这一切，IT 专业人员转向容器、Kubernetes 和开放混合云。
现在，这一经验正被用来解决 Al 面临的挑战。 这就是为什么 IT 专业人员正在构建基于容器的平台，支持在敏捷流程中创建 AI/ML 服务，加速创新，并且在构建时着眼于混合云。
我们将开始使用 Red Hat OpenShift 构建这样一个平台，这是我们用于混合云的容器化 Kubernetes 平台，该平台拥有快速增长的软件和硬件 ML 解决方案生态系统（NVIDIA、H2O.ai、Starburst、PerceptiLabs 等）。 宝马集团、埃克森美孚等红帽客户已经在平台及其生态系统之上部署了容器化机器学习工具链和 DevOps 流程，以将其机器学习架构投入生产并加快数据分析师的工作速度。
我们启动开放数据中心项目的另一个原因是演示基于多个开源软件项目的架构示例，并展示如何实现基于 OpenShift 平台的机器学习解决方案的整个生命周期。
开放数据中心项目
这是一个开源项目，在相应的开发社区内开发，在 OpenShift 上使用容器和 Kubernetes 解决 AI/ML 问题时，实现了从加载和转换初始数据到生成、训练和维护模型的完整操作周期平台。 该项目可以被视为一个参考实现，是如何基于 OpenShift 和相关开源工具（例如 Tensorflow、JupyterHub、Spark 等）构建开放式 AI/ML 即服务解决方案的示例。 值得注意的是，红帽本身使用该项目来提供其 AI/ML 服务。 此外，OpenShift 还与 NVIDIA、Seldon、Starbust 等供应商的关键软件和硬件 ML 解决方案集成，让您可以更轻松地构建和运行自己的机器学习系统。
开放数据中心项目专注于以下类别的用户和用例：
- 数据分析师需要一个用于实施机器学习项目的解决方案，该解决方案的组织方式类似于具有自助服务功能的云。
- 需要从最新的开源 AI/ML 工具和平台中获得最大选择的数据分析师。
- 训练模型时需要访问数据源的数据分析师。
- 需要访问计算资源（CPU、GPU、内存）的数据分析师。
- 需要能够与同事协作和共享工作、接收反馈并在快速迭代中进行改进的数据分析师。
- 数据分析师想要与开发人员（和开发团队）互动，以便他的 ML 模型和工作结果投入生产。
- 需要为数据分析师提供对各种数据源的访问权限，同时遵守法规和安全要求的数据工程师。
- 需要能够轻松控制开源组件和技术的生命周期（安装、配置、升级）的 IT 系统管理员/操作员。 我们还需要适当的管理和配额工具。
开放数据中心项目汇集了一系列开源工具来实施 AI/ML 操作的完整周期。 这里使用 Jupyter Notebook 作为数据分析的主要工作工具。 该工具包如今在数据科学家中广泛流行，开放数据中心允许他们使用内置的 JupyterHub 轻松创建和管理 Jupyter Notebook 工作区。 除了创建和导入 Jupyter 笔记本之外，开放数据中心项目还包含许多 AI 库形式的现成笔记本。
该库是开源机器学习组件和解决方案的集合，适用于简化快速原型设计的常见场景。 JupyterHub 与 OpenShift 的 RBAC 访问模型集成，允许您使用现有的 OpenShift 帐户并实现单点登录。 此外，JupyterHub 还提供了一个名为 Spawner 的用户友好用户界面，通过该界面用户可以轻松地为所选 Jupyter Notebook 配置计算资源量（CPU 核心、内存、GPU）。
数据分析师创建并配置笔记本电脑后，与其相关的所有其他问题都由 Kubernetes 调度程序（OpenShift 的一部分）处理。 用户只能进行实验、保存和分享他们的工作结果。 此外，高级用户可以直接从 Jupyter Notebook 直接访问 OpenShift CLI shell，以利用 Kubernetes 原语（例如 Job）或 OpenShift 功能（例如 Tekton 或 Knative）。 或者为此，您可以使用 OpenShift 方便的 GUI，称为“OpenShift Web 控制台”。
进入下一阶段，开放数据中心使管理数据管道成为可能。 为此，使用 Ceph 对象，该对象作为 S3 兼容的对象数据存储提供。 Apache Spark 允许您从外部源或内置 Ceph S3 存储传输数据，还允许您执行初步数据转换。 Apache Kafka 提供数据管道的高级管理（数据可以多次加载，以及数据转换、分析和持久化操作）。
因此，数据分析师访问数据并构建模型。 现在，他希望与同事或应用程序开发人员分享获得的结果，并为他们提供基于服务原则的模型。 这需要一个推理服务器，Open Data Hub 有这样一个服务器，它称为 Seldon，允许您将模型发布为 RESTful 服务。
在某些时候，Seldon 服务器上有多个这样的模型，并且需要监视它们的使用方式。 为了实现这一目标，开放数据中心提供了一系列相关指标和基于广泛使用的开源监控工具 Prometheus 和 Grafana 的报告引擎。 因此，我们会收到反馈来监控人工智能模型的使用，特别是在生产环境中。
通过这种方式，开放数据中心在整个 AI/ML 生命周期（从数据访问和准备到模型训练和生产）中提供了类似云的方法。
把它放在一起
现在的问题是如何为 OpenShift 管理员组织这一切。 这就是开放数据中心项目的特殊 Kubernetes 运算符发挥作用的地方。
该操作员管理开放数据中心项目的安装、配置和生命周期，包括上述工具的部署，例如 JupyterHub、Ceph、Spark、Kafka、Seldon、Prometheus 和 Grafana。 开放数据中心项目可以在 OpenShift Web 控制台的社区运营商部分中找到。 因此，OpenShift 管理员可以指定将相应的 OpenShift 项目分类为“开放数据中心项目”。 此操作完成一次。 之后，数据分析师通过 OpenShift Web 控制台登录到他的项目空间，并看到相应的 Kubernetes Operator 已安装并可用于他的项目。 然后，他一键创建一个开放数据中心项目实例，并立即可以访问上述工具。 而这一切都可以在高可用性和容错模式下进行配置。
如果您想亲自尝试开放数据中心项目，请从 。 开放数据中心架构的技术细节可以找到 、项目开发计划—— 。 未来，我们计划实施与 Kubeflow 的额外集成，解决数据监管和安全方面的一些问题，并组织与基于规则的系统 Drools 和 Optaplanner 的集成。 表达您的意见并成为项目的参与者 页面上可以 .
回顾一下：严重的扩展挑战正在阻止组织充分发挥人工智能和机器学习的潜力。 红帽 OpenShift 早已成功用于解决软件行业的类似问题。 在开源开发社区内实施的开放数据中心项目提供了一个参考架构，用于组织基于 OpenShift 混合云的完整 AI/ML 操作周期。 我们对这个项目的发展有一个清晰而深思熟虑的计划，我们认真地围绕它创建一个活跃且富有成效的社区，以便在 OpenShift 平台上开发开放的人工智能解决方案。
来源： habr.com