Die Zukunft ist da: Künstliche Intelligenz und maschinelles Lernen werden bereits erfolgreich von Ihren Lieblingsgeschäften, Transportunternehmen und sogar von Putenfarmen eingesetzt.
Und wenn etwas existiert, dann gibt es darüber bereits im Internet… ein offenes Projekt! Sehen Sie, wie das Open Data Hub hilft, neue Technologien zu skalieren und Schwierigkeiten bei deren Implementierung zu vermeiden.
Trotz aller Vorteile von künstlicher Intelligenz (Artificial Intelligence, AI) und maschinellem Lernen (Machine Learning, ML) haben Organisationen oft Schwierigkeiten, diese Technologien zu skalieren. Die Hauptprobleme sind in der Regel folgende:
- Informationsaustausch und Zusammenarbeit – ein müheloser Informationsaustausch und die Zusammenarbeit in schnellen Iterationen ist praktisch unmöglich.
- Zugang zu Daten – für jede Aufgabe muss es neu und manuell aufgebaut werden, was viel Zeit in Anspruch nimmt.
- On-Demand-Zugang – es besteht keine Möglichkeit, einen On-Demand-Zugang zu den Werkzeugen und der Plattform für maschinelles Lernen sowie zur Recheninfrastruktur zu erhalten.
- Produktion – Modelle befinden sich noch in der Prototypenphase und werden nicht für den kommerziellen Einsatz bereitgestellt.
- Überwachung und Erklärung der Ergebnisse von KI – Die Reproduzierbarkeit, Nachvollziehbarkeit und Erklärung von KI/ML Ergebnissen sind schwierig.
Wenn diese Probleme ungelöst bleiben, beeinträchtigen sie die Geschwindigkeit, Effizienz und Produktivität wertvoller Datenanalytiker. Dies führt zu Frustration und Enttäuschung bei der Arbeit, und letztlich gehen die Erwartungen des Unternehmens an KI/ML verloren.
Die Verantwortung für die Lösung dieser Probleme liegt bei den IT-Spezialisten, die den Datenanalysten – korrekt gesagt, eine Art Cloud – bereitstellen müssen. Im Detail ist eine Plattform erforderlich, die Wahlfreiheit bietet und einen bequemen, einfachen Zugang ermöglicht. Sie sollte schnell, leicht umkonfigurierbar, bedarfsgerecht skalierbar und ausfallsicher sein. Der Aufbau einer solchen Plattform auf Basis von Open-Source-Technologien hilft, von Anbietern unabhängig zu bleiben und einen langfristigen strategischen Vorteil in Bezug auf Kostenkontrolle zu wahren.
Vor einigen Jahren erlebte die Anwendungsentwicklung eine ähnliche Entwicklung, die zur Entstehung von Mikrodiensten, hybriden Cloud-Umgebungen, IT-Automatisierung und agilen Prozessen führte. Um all dem gerecht zu werden, begannen IT-Fachleute mit der Nutzung von Containern, Kubernetes und offenen hybriden Clouds.
Jetzt wird dieses Wissen genutzt, um den Herausforderungen von KI zu begegnen. Daher entwickeln IT-Experten Plattformen, die auf Containern basieren, die die Erstellung von KI/ML-Diensten im Rahmen agiler Prozesse ermöglichen, Innovationen beschleunigen und mit dem Ziel arbeiten, eine hybride Cloud zu schaffen.
Den Aufbau einer solchen Plattform beginnen wir mit Red Hat OpenShift, unserer Kubernetes-Containerplattform für hybride Clouds, die über ein schnell wachsendes Ökosystem von Software- und Hardware-ML-Lösungen (NVIDIA, H2O.ai, Starburst, PerceptiLabs usw.) verfügt. Einige Red Hat-Kunden, wie BMW Group, ExxonMobil und andere, haben bereits containerisierte ML-Toolchains und DevOps-Prozesse auf Basis dieser Plattform und ihres Ökosystems implementiert, um ihre ML-Architekturen in den industriellen Betrieb zu überführen und die Arbeit von Datenanalysten zu beschleunigen.
Ein weiterer Grund, warum wir das Open Data Hub-Projekt ins Leben gerufen haben, ist die Demonstration einer Architektur, die auf mehreren Open-Source-Projekten basiert, und die Veranschaulichung des gesamten Lebenszyklus einer ML-Lösung auf der OpenShift-Plattform.
Open Data Hub-Projekt
Dies ist ein Open-Source-Projekt, das sich innerhalb der entsprechenden Entwicklergemeinschaft weiterentwickelt und den vollständigen Zyklus von Operationen abwickelt – von der Datenaufnahme und -transformation bis hin zur Modellbildung, -schulung und -betreuung – zur Lösung von AI/ML-Aufgaben mithilfe von Containern und Kubernetes auf der OpenShift-Plattform. Dieses Projekt kann als Referenzimplementierung betrachtet werden, als Beispiel, wie eine offene Lösung der Klasse „AI/ML als Dienst“ auf Basis von OpenShift und entsprechenden Open-Source-Tools wie Tensorflow, JupyterHub, Spark und anderen aufgebaut werden kann. Es ist wichtig zu betonen, dass Red Hat dieses Projekt selbst nutzt, um seine AI/ML-Dienste anzubieten. Darüber hinaus integriert sich OpenShift mit wichtigen Software- und Hardware-ML-Lösungen von NVIDIA, Seldon, Starburst und anderen Anbietern, was den Aufbau und das Starten eigener Systeme für maschinelles Lernen erleichtert.
Das Open Data Hub-Projekt ist auf folgende Benutzerkategorien und Anwendungsszenarien ausgerichtet:
- Ein Datenanalytiker, der eine cloudbasierte Lösung mit Self-Service-Funktionen für die Umsetzung von ML-Projekten benötigt.
- Ein Datenanalytiker, der die größtmögliche Auswahl an neuesten Open-Source-Tools und -Plattformen für AI/ML verlangt.
- Ein Datenanalytiker, der Zugang zu Datensätzen für das Training von Modellen benötigt.
- Ein Datenanalytiker, der Zugriff auf Rechenressourcen (CPU, GPU, RAM) braucht.
- Ein Datenanalytiker, der die Möglichkeit benötigt, mit Kollegen zusammenzuarbeiten, Ergebnisse auszutauschen, Feedback zu erhalten und Verbesserungen durch schnelle Iterationen einzuführen.
- Ein Datenanalytiker, der mit Entwicklern (und DevOps-Teams) interagieren möchte, um seine ML-Modelle und Ergebnisse in die Produktion zu bringen.
- Ein Data Engineer, der sicherstellen muss, dass die Datenanalyse auf eine Vielzahl von Datenquellen zugreifen kann und dabei Sicherheitsstandards und -anforderungen beachtet.
- Ein IT-Systemadministrator oder Operator benötigt die Möglichkeit, den Lebenszyklus (Installation, Konfiguration, Aktualisierung) von Open-Source-Komponenten und -Technologien mühelos zu steuern. Ebenso sind die entsprechenden Management- und Quotenwerkzeuge erforderlich.
Das Projekt Open Data Hub vereint eine Vielzahl von Open-Source-Werkzeugen zur Durchführung des vollständigen Zyklus von AI/ML-Operationen. Jupyter Notebook dient hier als Hauptarbeitswerkzeug für Datenanalysten. Dieses Tool ist heutzutage sehr beliebt bei Fachleuten für Datenverarbeitung und -analyse, und der Open Data Hub ermöglicht es ihnen, Arbeitsbereiche für Jupyter Notebook problemlos zu erstellen und zu verwalten, indem er die integrierte JupyterHub-Funktion nutzt. Neben der Erstellung und dem Import von Jupyter-Notebooks enthält das Projekt Open Data Hub auch eine Reihe bereits fertiger Notebooks in Form einer AI Library.
Diese Bibliothek ist eine Sammlung von Open-Source-Komponenten für maschinelles Lernen und Lösungen für gängige Szenarien, die das schnelle Prototyping vereinfachen. JupyterHub ist mit dem RBAC-Zugriffsmodell von OpenShift integriert, wodurch bestehende OpenShift-Konten verwendet und ein einheitlicher Zugang realisiert werden kann. Darüber hinaus bietet JupyterHub eine benutzerfreundliche Oberfläche namens Spawner, mit der der Benutzer die notwendigen Rechenressourcen (CPU-Kerne, Speicher, GPU) für das ausgewählte Jupyter-Notebook einfach konfigurieren kann.
Nachdem der Datenanalyst das Notebook erstellt und konfiguriert hat, kümmert sich der Kubernetes-Planer, der Teil von OpenShift ist, um alle weiteren Belange. Den Benutzern bleibt es überlassen, ihre Experimente durchzuführen, die Ergebnisse ihrer Arbeit zu speichern und zu teilen. Zudem können erfahrene Benutzer direkt über die CLI-Shell von OpenShift auf Jupyter-Notebooks zugreifen, um Kubernetes-Primitiven wie Jobs oder OpenShift-Funktionen wie Tekton oder Knative zu nutzen. Alternativ kann auch die benutzerfreundliche OpenShift-GUI, die als "OpenShift-Webkonsole" bezeichnet wird, verwendet werden.
Der Open Data Hub ermöglicht es, Datenpipelines zu verwalten. Hierfür wird ein Ceph-Objekt verwendet, das als S3-kompatible Datenspeicherlösung bereitgestellt wird. Apache Spark streamt Daten aus externen Quellen oder dem integrierten Ceph S3-Speicher und ermöglicht auch die Durchführung von Vorverarbeitungen der Daten. Apache Kafka bietet erweiterte Verwaltungsmöglichkeiten für Datenpipelines, wo man Mehrfachladungen sowie Transformations-, Analyse- und Speichervorgänge durchführen kann.
Der Datenanalytiker hat nun Zugang zu den Daten und hat ein Modell erstellt. Jetzt möchte er seine Ergebnisse mit Kollegen oder Anwendungsentwicklern teilen und ihnen sein Modell als Dienstleistung zur Verfügung stellen. Dafür benötigt er einen Ausgabe-Server, und der Open Data Hub bietet einen solchen Server, der Seldon heißt und die Veröffentlichung des Modells als RESTful-Service ermöglicht.
Irgendwann gibt es mehrere solche Modelle auf dem Seldon-Server, und es entsteht die Notwendigkeit, ihre Nutzung zu überwachen. Zu diesem Zweck bietet Open Data Hub eine Sammlung relevanter Metriken und eine Reporting-Engine basierend auf den weit verbreiteten Open-Source-Überwachungstools Prometheus und Grafana an. Damit erhalten wir Feedback zur Überwachung der Nutzung von KI-Modellen, insbesondere in Produktionsumgebungen.
So ermöglicht Open Data Hub einen cloudähnlichen Ansatz über den gesamten Lebenszyklus der AI/ML-Operationen, beginnend mit dem Zugriff auf und der Vorbereitung von Daten bis hin zum Training und dem industriellen Einsatz des Modells.
Alles zusammenführen
Jetzt stellt sich die Frage, wie all das für den OpenShift-Administrator organisiert werden kann. Hier kommt ein spezieller Kubernetes-Operator für Open Data Hub-Projekte ins Spiel.
Dieser Operator verwaltet die Installation, Konfiguration und den Lebenszyklus des Open Data Hub-Projekts, einschließlich der Bereitstellung der zuvor genannten Tools wie JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus und Grafana. Das Open Data Hub-Projekt ist in der OpenShift-Webkonsole im Bereich der Community-Operatoren zu finden. So kann der OpenShift-Administrator festlegen, dass die entsprechenden OpenShift-Projekte zur Kategorie "Open Data Hub-Projekt" gehören. Dies geschieht einmalig. Danach kann der Data Analyst über die OpenShift-Webkonsole in seinen Projektbereich gehen und sehen, dass der passende Kubernetes-Operator für seine Projekte installiert und verfügbar ist. Anschließend erstellt er mit einem Klick einen Open Data Hub-Projektexemplar und erhält sofort Zugriff auf die oben beschriebenen Tools. All dies kann in einem Hochverfügbarkeits- und Ausfallsicherheitsszenario konfiguriert werden.
Wenn Sie das Open Data Hub-Projekt selbst ausprobieren möchten, beginnen Sie mit . Technische Einzelheiten zur Architektur des Open Data Hub finden Sie , die Entwicklungsroadmap des Projekts – . In Zukunft ist eine erweiterte Integration mit Kubeflow geplant, um eine Reihe von Fragen zur Datenspeicherung und Sicherheit zu klären sowie Integrationen mit regelbasierten Systemen wie Drools und Optaplanner zu ermöglichen. Teilen Sie Ihre Meinung mit und werden Sie Teil des Projekts. kann auf der Seite .
Zusammenfassend lässt sich sagen: Ernsthafte Skalierungsprobleme hindern Organisationen daran, das volle Potenzial von Künstlicher Intelligenz und maschinellem Lernen auszuschöpfen. Red Hat OpenShift wird seit langem erfolgreich zur Lösung ähnlicher Probleme in der Softwarebranche eingesetzt. Das Projekt Open Data Hub, das im Rahmen der Open-Source-Entwicklungsgemeinschaft realisiert wurde, bietet eine Referenzarchitektur für die Umsetzung des kompletten AI/ML-Betriebszyklus in einer hybriden OpenShift-Cloud. Wir haben einen klaren und durchdachten Entwicklungsplan für dieses Projekt, und wir sind fest entschlossen, ein aktives und produktives Open-Source-Entwicklungsteam für AI-Lösungen auf der OpenShift-Plattform zu schaffen.
Quelle: habr.com
