未來已經到來，人工智慧和機器學習技術已經被您最喜歡的商店、運輸公司甚至火雞農場成功使用。
如果某些東西存在，那麼互聯網上已經有一些關於它的東西......一個開放的項目！ 了解開放資料中心如何協助您擴展新技術並避免實施挑戰。
儘管人工智慧 (AI) 和機器學習 (ML) 具有許多優勢，但組織通常難以擴展這些技術。 這種情況下的主要問題通常有以下幾個：
- 資訊交流與合作 – 毫不費力地交換資訊並快速迭代協作幾乎是不可能的。
- 資料存取 – 對於每個任務，都需要手動重新構建，這需要花費大量時間。
- 按需訪問 – 無法按需存取機器學習工具和平台以及運算基礎設施。
- 生產 – 模型仍處於原型階段，並未投入工業使用。
- 追蹤並解釋人工智慧結果 – AI/ML 結果的再現性、追蹤和解釋很困難。
如果不加以解決，這些問題會對有價值的資料科學家的速度、效率和生產力產生負面影響。 這導致他們對工作感到沮喪和失望，從而導致企業對人工智慧/機器學習的期望落空。
解決這些問題的責任落在了 IT 專家身上，他們必須為數據分析師提供——沒錯，像雲端這樣的東西。 更詳細地說，我們需要一個提供自由選擇且方便、輕鬆存取的平台。 同時，它速度快、易於重新配置、可按需擴展並且具有抗故障能力。 基於開源技術建立這樣的平台有助於避免供應商鎖定，並在成本控制方面保持長期策略優勢。
幾年前，應用程式開發中也發生了類似的事情，並導致了微服務、混合雲、IT 自動化和敏捷流程的出現。 為了應對這一切，IT 專業人員轉向容器、Kubernetes 和開放混合雲。
現在，這項經驗正被用來解決 Al 面臨的挑戰。 這就是為什麼 IT 專業人員正在建立基於容器的平台，支援在敏捷流程中創建 AI/ML 服務，加速創新，並且在建置時專注於混合雲。
我們將開始使用Red Hat OpenShift 建立這樣一個平台，這是我們用於混合雲的容器化Kubernetes 平台，該平台擁有快速增長的軟體和硬體ML 解決方案生態系統（NVIDIA、H2O.ai、Starburst、PerceptiLabs 等）。 BMW集團、埃克森美孚等紅帽客戶已經在平台及其生態系統之上部署了容器化機器學習工具鍊和 DevOps 流程，以將其機器學習架構投入生產並加快資料分析師的工作速度。
我們啟動開放資料中心專案的另一個原因是展示基於多個開源軟體專案的架構範例，並展示如何實現基於 OpenShift 平台的機器學習解決方案的整個生命週期。
開放資料中心項目
這是一個開源項目，在相應的開發社群內開發，在 OpenShift 上使用容器和 Kubernetes 解決 AI/ML 問題時，實現了從載入和轉換初始資料到生成、訓練和維護模型的完整操作週期平台。 該專案可以被視為一個參考實現，是如何基於 OpenShift 和相關開源工具（例如 Tensorflow、JupyterHub、Spark 等）建立開放式 AI/ML 即服務解決方案的範例。 值得注意的是，紅帽本身使用該項目來提供其 AI/ML 服務。 此外，OpenShift 還與 NVIDIA、Seldon、Starbust 等供應商的關鍵軟體和硬體 ML 解決方案集成，讓您可以更輕鬆地建立和運行自己的機器學習系統。
開放資料中心專案專注於以下類別的使用者和用例：
- 資料分析師需要一個用於實施機器學習專案的解決方案，該解決方案的組織方式類似於具有自助服務功能的雲端。
- 需要從最新的開源 AI/ML 工具和平台中獲得最大選擇的資料分析師。
- 訓練模型時需要存取資料來源的資料分析師。
- 需要存取運算資源（CPU、GPU、記憶體）的資料分析師。
- 需要能夠與同事協作和共享工作、接收回饋並在快速迭代中進行改進的資料分析師。
- 資料分析師想要與開發人員（和開發團隊）互動，以便他的 ML 模型和工作結果能投入生產。
- 需要為資料分析師提供各種資料來源的存取權限，同時遵守法規和安全要求的資料工程師。
- 需要能夠輕鬆控制開源元件和技術的生命週期（安裝、設定、升級）的 IT 系統管理員/操作員。 我們也需要適當的管理和配額工具。
開放資料中心專案匯集了一系列開源工具來實施 AI/ML 操作的完整週期。 這裡使用 Jupyter Notebook 作為資料分析的主要工作工具。 該工具包如今在資料科學家中廣泛流行，開放資料中心允許他們使用內建的 JupyterHub 輕鬆建立和管理 Jupyter Notebook 工作區。 除了建立和匯入 Jupyter 筆記本之外，開放資料中心專案還包含許多 AI 庫形式的現成筆記本。
該函式庫是開源機器學習元件和解決方案的集合，適用於簡化快速原型設計的常見場景。 JupyterHub 與 OpenShift 的 RBAC 存取模型集成，讓您可以使用現有的 OpenShift 帳戶並實作單一登入。 此外，JupyterHub 還提供了一個名為 Spawner 的使用者友善使用者介面，透過該介面使用者可以輕鬆地為所選 Jupyter Notebook 配置計算資源量（CPU 核心、記憶體、GPU）。
資料分析師創建並配置筆記型電腦後，與其相關的所有其他問題都由 Kubernetes 調度程式（OpenShift 的一部分）處理。 使用者只能進行實驗、保存和分享他們的工作結果。 此外，進階使用者可以直接從 Jupyter Notebook 直接存取 OpenShift CLI shell，以利用 Kubernetes 原語（例如 Job）或 OpenShift 功能（例如 Tekton 或 Knative）。 或者為此，您可以使用 OpenShift 方便的 GUI，稱為「OpenShift Web 控制台」。
進入下一階段，開放資料中心使管理資料管道成為可能。 為此，使用 Ceph 對象，該對像作為 S3 相容的對象資料存儲提供。 Apache Spark 可讓您從外部來源或內建 Ceph S3 儲存傳輸數據，還可讓您執行初步數據轉換。 Apache Kafka 提供資料管道的高階管理（資料可以多次加載，以及資料轉換、分析和持久化操作）。
因此，數據分析師存取數據並建立模型。 現在，他希望與同事或應用程式開發人員分享所獲得的結果，並為他們提供基於服務原則的模型。 這需要一個推理伺服器，Open Data Hub 有這樣一個伺服器，它稱為 Seldon，允許您將模型發佈為 RESTful 服務。
在某些時候，Seldon 伺服器上有多個這樣的模型，並且需要監視它們的使用方式。 為了實現這一目標，開放資料中心提供了一系列相關指標和基於廣泛使用的開源監控工具 Prometheus 和 Grafana 的報告引擎。 因此，我們會收到回饋來監控人工智慧模型的使用，特別是在生產環境中。
透過這種方式，開放資料中心在整個 AI/ML 生命週期（從資料存取和準備到模型訓練和生產）中提供了類似雲端的方法。
把它放在一起
現在的問題是如何為 OpenShift 管理員組織這一切。 這就是開放資料中心專案的特殊 Kubernetes 運算子發揮作用的地方。
該操作員管理開放資料中心專案的安裝、配置和生命週期，包括上述工具的部署，例如 JupyterHub、Ceph、Spark、Kafka、Seldon、Prometheus 和 Grafana。 開放資料中心專案可以在 OpenShift Web 控制台的社群運營商部分中找到。 因此，OpenShift 管理員可以指定將對應的 OpenShift 項目分類為「開放資料中心專案」。 此操作完成一次。 之後，資料分析師透過 OpenShift Web 控制台登入他的專案空間，並看到對應的 Kubernetes Operator 已安裝並可用於他的專案。 然後，他一鍵創建一個開放資料中心專案實例，並立即可以存取上述工具。 而這一切都可以在高可用性和容錯模式下進行設定。
如果您想親自嘗試開放資料中心項目，請從 。 開放資料中心架構的技術細節可以找到 、專案開發計畫—— 。 未來，我們計劃實施與 Kubeflow 的額外集成，解決資料監管和安全性方面的一些問題，並組織與基於規則的系統 Drools 和 Optaplanner 的整合。 表達您的意見並成為專案的參與者 頁面上可以 .
回顧一下：嚴重的擴展挑戰正在阻止組織充分發揮人工智慧和機器學習的潛力。 紅帽 OpenShift 早已成功用於解決軟體產業的類似問題。 在開源開發社群內實作的開放資料中心專案提供了一個參考架構，用於組織基於 OpenShift 混合雲的完整 AI/ML 操作週期。 我們對這個項目的發展有一個清晰而深思熟慮的計劃，我們認真地圍繞它創建一個活躍且富有成效的社區，以便在 OpenShift 平台上開發開放的人工智慧解決方案。
來源： www.habr.com