Open Data Hub プロジェクトは、Red Hat OpenShift に基づくオープン機械学習プラットフォームです。

未来が到来し、人工知能と機械学習テクノロジーはすでにお気に入りの店舗、運送会社、さらには七面鳥農場でうまく活用されています。

そして、何かが存在するなら、それに関する何かがインターネット上にすでに存在しています...オープンプロジェクトです! Open Data Hub が新しいテクノロジーを拡張し、実装上の課題を回避するのにどのように役立つかをご覧ください。

人工知能 (AI) と機械学習 (ML) にはさまざまな利点がありますが、多くの場合、組織はこれらのテクノロジーを拡張することが困難になります。 この場合の主な問題は通常次のとおりです。

• 情報交換と協力 – 簡単に情報を交換し、迅速に共同作業を行うことはほとんど不可能です。
• データアクセス – タスクごとに手動で新たに構築する必要があり、非常に時間がかかります。
• オンデマンドでアクセス – 機械学習ツールやプラットフォーム、コンピューティング インフラストラクチャにオンデマンドでアクセスする方法はありません。
• 製造 – モデルは試作段階に留まり、産業用途には導入されません。
• AI の結果を追跡して説明する – AI/ML 結果の再現性、追跡、説明が困難。

これらの問題を放置すると、貴重なデータ サイエンティストのスピード、効率、生産性に悪影響を及ぼします。 これは彼らの仕事に対するフラストレーションや失望につながり、その結果、AI/ML に対するビジネスの期待は無駄になってしまいます。

これらの問題を解決する責任は IT スペシャリストにあり、データ アナリストにクラウドのようなものを提供する必要があります。 さらに詳しく言えば、選択の自由を与え、便利で簡単にアクセスできるプラットフォームが必要です。 同時に、高速で再構成が容易で、オンデマンドで拡張可能であり、障害に強いです。 オープンソース テクノロジーに基づいてこのようなプラットフォームを構築すると、ベンダーのロックインを回避し、コスト管理の観点から長期的な戦略的優位性を維持するのに役立ちます。

数年前、アプリケーション開発でも同様のことが起こり、マイクロサービス、ハイブリッド クラウド、IT 自動化、アジャイル プロセスの出現につながりました。 これらすべてに対処するために、IT プロフェッショナルはコンテナ、Kubernetes、オープン ハイブリッド クラウドに目を向けてきました。

この経験は現在、アルの課題に答えるために応用されています。 そのため、IT プロフェッショナルは、コンテナベースで、アジャイル プロセス内で AI/ML サービスの作成を可能にし、イノベーションを加速し、ハイブリッド クラウドを見据えて構築されたプラットフォームを構築しています。

当社は、ハイブリッド クラウド用のコンテナ化された Kubernetes プラットフォームである Red Hat OpenShift を使用して、そのようなプラットフォームの構築を開始します。これは、ソフトウェアおよびハードウェア ML ソリューション (NVIDIA、H2O.ai、Starburst、PerceptiLabs など) のエコシステムが急速に成長しています。 BMW Group、ExxonMobil などの Red Hat の顧客の一部は、プラットフォームとそのエコシステム上にコンテナ化された ML ツールチェーンと DevOps プロセスをすでにデプロイして、ML アーキテクチャを本番環境に導入し、データ アナリストの作業を高速化しています。

私たちが Open Data Hub プロジェクトを立ち上げたもう XNUMX つの理由は、いくつかのオープンソース ソフトウェア プロジェクトに基づくアーキテクチャの例を示し、OpenShift プラットフォームに基づいて ML ソリューションのライフサイクル全体を実装する方法を示すことです。

オープンデータハブプロジェクト

これは、対応する開発コミュニティ内で開発されるオープンソース プロジェクトであり、OpenShift 上のコンテナと Kubernetes を使用して AI / ML 問題を解決する際に、初期データのロードと変換からモデルの生成、トレーニング、保守に至るまでの操作のフル サイクルを実装します。プラットホーム。 このプロジェクトはリファレンス実装、つまり OpenShift および関連するオープン ソース ツール (Tensorflow、JupyterHub、Spark など) に基づくオープン AI/ML-as-a-service ソリューションを構築する方法の例と考えることができます。 Red Hat 自体がこのプロジェクトを使用して AI/ML サービスを提供していることに注意することが重要です。 さらに、OpenShift は、NVIDIA、Seldon、Starbust、その他のベンダーの主要なソフトウェアおよびハードウェア ML ソリューションと統合されており、独自の機械学習システムの構築と実行が容易になります。

Open Data Hub プロジェクトは、次のカテゴリのユーザーとユースケースに焦点を当てています。

• セルフサービス機能を備えたクラウドのように組織された、ML プロジェクトを実装するためのソリューションを必要とするデータ アナリスト。
• 最新のオープンソース AI/ML ツールおよびプラットフォームから最大限の選択肢を必要とするデータ アナリスト。
• モデルをトレーニングするときにデータ ソースにアクセスする必要があるデータ アナリスト。
• コンピューティング リソース (CPU、GPU、メモリ) にアクセスする必要があるデータ アナリスト。
• 同僚と協力して作業を共有し、フィードバックを受け取り、迅速な反復で改善を行う能力を必要とするデータ アナリスト。
• 開発者 (および Devops チーム) と対話して、ML モデルと作業結果を本番環境に導入したいと考えているデータ アナリスト。
• 規制やセキュリティの要件を遵守しながら、データ アナリストにさまざまなデータ ソースへのアクセスを提供する必要があるデータ エンジニア。
• オープンソース コンポーネントおよびテクノロジのライフサイクル (インストール、構成、アップグレード) を容易に制御する能力を必要とする IT システム管理者/オペレーター。 適切な管理ツールとクォータ ツールも必要です。

Open Data Hub プロジェクトは、AI/ML 運用の完全なサイクルを実装するために、さまざまなオープンソース ツールを統合します。 ここでは、データ分析の主な作業ツールとして Jupyter Notebook が使用されています。 このツールキットは現在データ サイエンティストの間で広く普及しており、Open Data Hub を使用すると、組み込みの JupyterHub を使用して Jupyter Notebook ワークスペースを簡単に作成および管理できます。 Jupyter ノートブックの作成とインポートに加えて、Open Data Hub プロジェクトには、AI ライブラリの形式で既製のノートブックが多数含まれています。

このライブラリは、ラピッド プロトタイピングを簡素化する一般的なシナリオ用のオープンソースの機械学習コンポーネントとソリューションのコレクションです。 JupyterHub は OpenShift の RBAC アクセス モデルと統合されているため、既存の OpenShift アカウントを使用してシングル サインオンを実装できます。 さらに、JupyterHub はスポナーと呼ばれる使いやすいユーザー インターフェイスを提供しており、ユーザーはこれを通じて、選択した Jupyter Notebook のコンピューティング リソース (CPU コア、メモリ、GPU) の量を簡単に構成できます。

データ アナリストがラップトップを作成して構成した後、ラップトップに関するその他すべての懸念事項は、OpenShift の一部である Kubernetes スケジューラーによって処理されます。 ユーザーは、実験を実行し、作業結果を保存および共有することのみが可能です。 さらに、上級ユーザーは、Jupyter ノートブックから OpenShift CLI シェルに直接アクセスして、ジョブなどの Kubernetes プリミティブや、Tekton や Knative などの OpenShift 機能を利用できます。 または、このために、「OpenShift Web コンソール」と呼ばれる OpenShift の便利な GUI を使用することもできます。

次の段階に進むと、Open Data Hub によりデータ パイプラインの管理が可能になります。 このために、S3 互換のオブジェクト データ ストレージとして提供される Ceph オブジェクトが使用されます。 Apache Spark を使用すると、外部ソースまたは組み込み Ceph S3 ストレージからデータをストリーミングしたり、予備的なデータ変換を実行したりできます。 Apache Kafka は、データ パイプライン (データを複数回ロードできるほか、データ変換、分析、永続化操作など) の高度な管理を提供します。

そこで、データ アナリストはデータにアクセスしてモデルを構築しました。 現在、彼は得られた結果を同僚やアプリケーション開発者と共有し、サービスの原則に関するモデルを提供したいと考えています。 これには推論サーバーが必要です。Open Data Hub には Seldon と呼ばれるそのようなサーバーがあり、モデルを RESTful サービスとして公開できます。

ある時点で、Seldon サーバー上にそのようなモデルがいくつか存在し、それらがどのように使用されているかを監視する必要があります。 これを実現するために、Open Data Hub は、関連するメトリクスのコレクションと、広く使用されているオープン ソース監視ツール Prometheus および Grafana に基づくレポート エンジンを提供します。 その結果、特に実稼働環境での AI モデルの使用を監視するためのフィードバックを受け取ります。

このように、Open Data Hub は、データのアクセスと準備からモデルのトレーニングと生成に至るまで、AI/ML ライフサイクル全体を通じてクラウドのようなアプローチを提供します。

それをまとめて

ここで、OpenShift 管理者のためにこれらすべてをどのように整理するかという問題が生じます。 ここで、Open Data Hub プロジェクト用の特別な Kubernetes オペレーターが登場します。

このオペレーターは、JupyterHub、Ceph、Spark、Kafka、Seldon、Prometheus、Grafana などの前述のツールのデプロイメントを含む、Open Data Hub プロジェクトのインストール、構成、ライフサイクルを管理します。 Open Data Hub プロジェクトは、OpenShift Web コンソールのコミュニティ オペレーター セクションにあります。 したがって、OpenShift 管理者は、対応する OpenShift プロジェクトが「Open Data Hub プロジェクト」として分類されるように指定できます。 これは一度だけ行われます。 この後、データ アナリストは OpenShift Web コンソールを通じてプロジェクト スペースにログインし、対応する Kubernetes オペレーターがインストールされ、プロジェクトで使用できることを確認します。 次に、ワンクリックで Open Data Hub プロジェクト インスタンスを作成し、上記のツールにすぐにアクセスできるようになります。 これらはすべて、高可用性およびフォールト トレランス モードで構成できます。

Open Data Hub プロジェクトを自分で試してみたい場合は、以下から始めてください。 インストール手順と入門チュートリアル。 Open Data Hub アーキテクチャの技術的な詳細については、こちらをご覧ください。 ここで、プロジェクト開発計画 – ここで。 将来的には、Kubeflow との追加の統合を実装し、データ規制とセキュリティに関する多くの問題を解決し、ルールベースのシステム Drools および Optaplanner との統合も計画しています。 あなたの意見を表明してプロジェクトの参加者になりましょう データハブを開く ページ上で可能 コミュニティ.

要約: 深刻なスケーリングの課題により、組織は人工知能と機械学習の可能性を最大限に活用することができません。 Red Hat OpenShift は、ソフトウェア業界における同様の問題を解決するために長い間使用されて成功してきました。 オープンソース開発コミュニティ内で実装された Open Data Hub プロジェクトは、OpenShift ハイブリッド クラウドに基づいて AI/ML 運用の全サイクルを組織するためのリファレンス アーキテクチャを提供します。 私たちはこのプロジェクトの開発について明確で思慮深い計画を持っており、OpenShift プラットフォーム上でオープン AI ソリューションを開発するために、そのプロジェクトを中心にアクティブで実りあるコミュニティを構築することに真剣に取り組んでいます。

出所： habr.com