Open Data Hub 프로젝트는 Red Hat OpenShift를 기반으로 하는 오픈 머신 러닝 플랫폼입니다.

미래가 도래했으며, 인공 지능과 기계 학습 기술은 이미 여러분이 좋아하는 상점, 운송 회사, 심지어 칠면조 농장에서도 성공적으로 사용되고 있습니다.

그리고 뭔가가 존재한다면 이미 인터넷에 뭔가가 있는 것입니다. 바로 공개 프로젝트입니다! Open Data Hub가 어떻게 새로운 기술을 확장하고 구현 문제를 방지하는 데 도움이 되는지 알아보세요.

인공지능(AI)과 머신러닝(ML)의 모든 장점에도 불구하고 조직은 이러한 기술을 확장하는 데 어려움을 겪는 경우가 많습니다. 이 경우의 주요 문제는 일반적으로 다음과 같습니다.

• 정보교류 및 협력 – 쉽게 정보를 교환하고 빠른 반복으로 협업하는 것은 거의 불가능합니다.
• 데이터 접근 – 각 작업마다 새로 수동으로 구축해야 하므로 시간이 많이 걸립니다.
• 요청 시 액세스 – 기계 학습 도구 및 플랫폼은 물론 컴퓨팅 인프라에 대한 온디맨드 액세스를 얻을 수 있는 방법이 없습니다.
• 생산 – 모델은 프로토타입 단계에 머물러 있으며 산업용으로 사용되지 않습니다.
• AI 결과 추적 및 설명 – AI/ML 결과의 재현성, 추적 및 설명이 어렵습니다.

해결되지 않은 채 방치되면 이러한 문제는 귀중한 데이터 과학자의 속도, 효율성 및 생산성에 부정적인 영향을 미칩니다. 이는 업무에 대한 좌절감과 실망으로 이어지며 결과적으로 AI/ML에 대한 비즈니스 기대치가 물거품이 됩니다.

이러한 문제를 해결하는 책임은 데이터 분석가에게 클라우드와 같은 것을 제공해야 하는 IT 전문가에게 있습니다. 좀 더 자세히 말하면, 선택의 자유를 주고 편리하고 쉽게 접근할 수 있는 플랫폼이 필요합니다. 동시에 빠르고, 쉽게 재구성할 수 있고, 필요에 따라 확장 가능하며, 오류에 강합니다. 오픈 소스 기술을 기반으로 이러한 플랫폼을 구축하면 공급업체 종속을 방지하고 비용 제어 측면에서 장기적인 전략적 이점을 유지하는 데 도움이 됩니다.

몇 년 전, 애플리케이션 개발에서도 비슷한 일이 일어나 마이크로서비스, 하이브리드 클라우드, IT 자동화, 민첩한 프로세스가 등장했습니다. 이 모든 것에 대처하기 위해 IT 전문가는 컨테이너, Kubernetes 및 개방형 하이브리드 클라우드로 전환했습니다.

이 경험은 이제 Al의 도전에 답하기 위해 적용되고 있습니다. 이것이 바로 IT 전문가가 컨테이너 기반 플랫폼을 구축하고, 민첩한 프로세스 내에서 AI/ML 서비스 생성을 지원하고, 혁신을 가속화하고, 하이브리드 클라우드를 염두에 두고 구축되는 이유입니다.

우리는 소프트웨어 및 하드웨어 ML 솔루션(NVIDIA, H2O.ai, Starburst, PerceptiLabs 등)의 생태계가 빠르게 성장하고 있는 하이브리드 클라우드용 컨테이너화된 Kubernetes 플랫폼인 Red Hat OpenShift를 사용하여 이러한 플랫폼 구축을 시작할 것입니다. BMW 그룹, ExxonMobil 등 일부 Red Hat 고객은 이미 ML 아키텍처를 프로덕션 환경으로 가져오고 데이터 분석가의 작업 속도를 높이기 위해 플랫폼과 에코시스템 위에 컨테이너화된 ML 툴체인과 DevOps 프로세스를 배포했습니다.

우리가 Open Data Hub 프로젝트를 시작한 또 다른 이유는 여러 오픈 소스 소프트웨어 프로젝트를 기반으로 한 아키텍처의 예를 보여주고 OpenShift 플랫폼을 기반으로 ML 솔루션의 전체 라이프사이클을 구현하는 방법을 보여주기 위해서입니다.

오픈 데이터 허브 프로젝트

해당 개발 커뮤니티 내에서 개발된 오픈소스 프로젝트로, OpenShift에서 컨테이너와 Kubernetes를 사용하여 AI/ML 문제를 해결할 때 초기 데이터 로드 및 변환부터 모델 생성, 교육 및 유지 관리까지 전체 작업 주기를 구현합니다. 플랫폼. 이 프로젝트는 OpenShift 및 Tensorflow, JupyterHub, Spark 등과 같은 관련 오픈 소스 도구를 기반으로 개방형 AI/ML-as-a-Service 솔루션을 구축하는 방법의 예인 참조 구현으로 간주될 수 있습니다. Red Hat 자체가 이 프로젝트를 사용하여 AI/ML 서비스를 제공한다는 점에 유의하는 것이 중요합니다. 또한 OpenShift는 NVIDIA, Seldon, Starbust 및 기타 공급업체의 주요 소프트웨어 및 하드웨어 ML 솔루션과 통합되어 자체 기계 학습 시스템을 보다 쉽게 ​​구축하고 실행할 수 있습니다.

Open Data Hub 프로젝트는 다음 범주의 사용자 및 사용 사례에 중점을 둡니다.

• 셀프 서비스 기능을 갖춘 클라우드처럼 구성된 ML 프로젝트 구현을 위한 솔루션이 필요한 데이터 분석가입니다.
• 최신 오픈 소스 AI/ML 도구 및 플랫폼 중에서 최대한의 선택이 필요한 데이터 분석가입니다.
• 모델을 교육할 때 데이터 소스에 액세스해야 하는 데이터 분석가입니다.
• 컴퓨팅 리소스(CPU, GPU, 메모리)에 액세스해야 하는 데이터 분석가입니다.
• 동료들과 협업하고 작업을 공유하며 피드백을 받고 빠른 반복을 통해 개선할 수 있는 능력이 필요한 데이터 분석가입니다.
• ML 모델 및 작업 결과가 프로덕션에 적용되도록 개발자(및 DevOps 팀)와 상호 작용하려는 데이터 분석가입니다.
• 규제 및 보안 요구 사항을 준수하면서 데이터 분석가에게 다양한 데이터 소스에 대한 액세스 권한을 제공해야 하는 데이터 엔지니어입니다.
• 오픈 소스 구성 요소 및 기술의 수명 주기(설치, 구성, 업그레이드)를 손쉽게 제어할 수 있는 능력이 필요한 IT 시스템 관리자/운영자입니다. 또한 적절한 관리 및 할당량 도구도 필요합니다.

Open Data Hub 프로젝트는 AI/ML 작업의 전체 주기를 구현하기 위해 다양한 오픈 소스 도구를 통합합니다. Jupyter Notebook은 여기에서 데이터 분석을 위한 주요 작업 도구로 사용됩니다. 이 툴킷은 오늘날 데이터 과학자들 사이에서 널리 인기가 있으며, Open Data Hub를 사용하면 내장된 JupyterHub를 사용하여 Jupyter Notebook 작업 영역을 쉽게 생성하고 관리할 수 있습니다. Open Data Hub 프로젝트에는 Jupyter 노트북을 만들고 가져오는 것 외에도 AI 라이브러리 형태의 기성 노트북이 많이 포함되어 있습니다.

이 라이브러리는 신속한 프로토타입 제작을 단순화하는 일반적인 시나리오를 위한 오픈 소스 기계 학습 구성 요소 및 솔루션 모음입니다. JupyterHub는 OpenShift의 RBAC 액세스 모델과 통합되어 있어 기존 OpenShift 계정을 사용하고 Single Sign-On을 구현할 수 있습니다. 또한 JupyterHub는 사용자가 선택한 Jupyter Notebook의 컴퓨팅 리소스(CPU 코어, 메모리, GPU)의 양을 쉽게 구성할 수 있는 스포너라는 사용자 친화적인 사용자 인터페이스를 제공합니다.

데이터 분석가가 노트북을 생성하고 구성한 후에는 OpenShift의 일부인 Kubernetes 스케줄러가 이에 대한 다른 모든 문제를 처리합니다. 사용자는 실험을 수행하고 작업 결과를 저장하고 공유할 수만 있습니다. 또한 고급 사용자는 Jupyter 노트북에서 직접 OpenShift CLI 셸에 직접 액세스하여 Job과 같은 Kubernetes 기본 요소나 Tekton 또는 Knative와 같은 OpenShift 기능을 활용할 수 있습니다. 또는 이를 위해 "OpenShift 웹 콘솔"이라고 하는 OpenShift의 편리한 GUI를 사용할 수 있습니다.

다음 단계로 넘어가면 Open Data Hub를 통해 데이터 파이프라인을 관리할 수 있습니다. 이를 위해 S3 호환 개체 데이터 저장소로 제공되는 Ceph 개체가 사용됩니다. Apache Spark를 사용하면 외부 소스 또는 내장 Ceph S3 스토리지에서 데이터를 스트리밍할 수 있으며 예비 데이터 변환을 수행할 수도 있습니다. Apache Kafka는 데이터 파이프라인(데이터 변환, 분석 및 지속성 작업뿐만 아니라 데이터를 여러 번 로드할 수 있음)에 대한 고급 관리를 제공합니다.

그래서 데이터 분석가는 데이터에 접근하여 모델을 구축했습니다. 이제 그는 얻은 결과를 동료나 애플리케이션 개발자와 공유하고 서비스 원칙에 대한 자신의 모델을 그들에게 제공하고 싶습니다. 이를 위해서는 추론 서버가 필요하며 Open Data Hub에는 Seldon이라는 서버가 있으며 이를 통해 모델을 RESTful 서비스로 게시할 수 있습니다.

어떤 시점에서는 Seldon 서버에 이러한 모델이 여러 개 있으며 이러한 모델이 어떻게 사용되는지 모니터링할 필요가 있습니다. 이를 달성하기 위해 Open Data Hub는 널리 사용되는 오픈 소스 모니터링 도구인 Prometheus 및 Grafana를 기반으로 관련 지표 모음과 보고 엔진을 제공합니다. 결과적으로 우리는 특히 프로덕션 환경에서 AI 모델의 사용을 모니터링하기 위한 피드백을 받습니다.

이러한 방식으로 Open Data Hub는 데이터 액세스 및 준비부터 모델 훈련 및 생산에 이르기까지 전체 AI/ML 수명주기에 걸쳐 클라우드와 유사한 접근 방식을 제공합니다.

그것을 하나로 모으기

이제 OpenShift 관리자를 위해 이 모든 것을 구성하는 방법에 대한 의문이 생깁니다. Open Data Hub 프로젝트를 위한 특별한 Kubernetes 운영자가 등장하는 곳이 바로 여기입니다.

이 운영자는 JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus 및 Grafana와 같은 앞서 언급한 도구의 배포를 포함하여 Open Data Hub 프로젝트의 설치, 구성 및 수명 주기를 관리합니다. Open Data Hub 프로젝트는 OpenShift 웹 콘솔의 커뮤니티 운영자 섹션에서 찾을 수 있습니다. 따라서 OpenShift 관리자는 해당 OpenShift 프로젝트가 "Open Data Hub 프로젝트"로 분류되도록 지정할 수 있습니다. 이것은 한 번 수행됩니다. 그런 다음 데이터 분석가는 OpenShift 웹 콘솔을 통해 자신의 프로젝트 공간에 로그인하고 해당 Kubernetes 운영자가 설치되어 자신의 프로젝트에 사용 가능한지 확인합니다. 그런 다음 클릭 한 번으로 Open Data Hub 프로젝트 인스턴스를 생성하고 위에서 설명한 도구에 즉시 액세스할 수 있습니다. 그리고 이 모든 것은 고가용성 및 내결함성 모드에서 구성될 수 있습니다.

Open Data Hub 프로젝트를 직접 사용해 보고 싶다면 다음으로 시작하세요. 설치 지침 및 소개 튜토리얼. Open Data Hub 아키텍처의 기술적 세부 사항을 확인할 수 있습니다. 여기에, 프로젝트 개발 계획 – 여기에. 앞으로는 Kubeflow와의 추가 통합을 구현하고 데이터 규제 및 보안과 관련된 여러 문제를 해결하며 규칙 기반 시스템인 Drools 및 Optaplanner와의 통합을 구성할 계획입니다. 자신의 의견을 표현하고 프로젝트에 참여해보세요 데이터 허브 열기 페이지에서 가능 커뮤니티.

요약하자면, 심각한 확장 문제로 인해 조직은 인공 지능과 기계 학습의 잠재력을 최대한 활용하지 못하고 있습니다. Red Hat OpenShift는 소프트웨어 업계에서 유사한 문제를 해결하는 데 오랫동안 성공적으로 사용되어 왔습니다. 오픈 소스 개발 커뮤니티 내에서 구현된 Open Data Hub 프로젝트는 OpenShift 하이브리드 클라우드를 기반으로 AI/ML 운영의 전체 주기를 구성하기 위한 참조 아키텍처를 제공합니다. 우리는 이 프로젝트 개발을 위한 명확하고 사려 깊은 계획을 가지고 있으며, OpenShift 플랫폼에서 개방형 AI 솔루션을 개발하기 위해 적극적이고 유익한 커뮤니티를 만드는 데 진지하게 임하고 있습니다.

출처 : habr.com