D'Zukunft ass ukomm, a kënschtlech Intelligenz a Maschinnléieren Technologien gi scho mat Erfolleg vun Äre Liiblingsgeschäfter, Transportfirmen a souguer Tierkei Häff benotzt.
A wann et eppes gëtt, da gëtt et schonn eppes doriwwer um Internet... en oppene Projet! Kuckt wéi Open Data Hub Iech hëlleft nei Technologien ze skaléieren an Implementéierungsfuerderunge vermeiden.
Mat all de Virdeeler vun der kënschtlecher Intelligenz (AI) a Maschinn Léieren (ML), hunn Organisatiounen dacks Schwieregkeeten dës Technologien ze skaléieren. D'Haaptprobleemer an dësem Fall sinn normalerweis déi folgend:
- Informatiounsaustausch a Kooperatioun - et ass bal onméiglech Informatiounen ouni Ustrengung auszetauschen an a séieren Iteratiounen ze kollaboréieren.
- Daten Zougang – fir all Aufgab muss se nei a manuell gebaut ginn, wat vill Zäit brauch.
- Zougang op Nofro - et gëtt kee Wee fir on-demand Zougang zu Maschinnléierinstrumenter a Plattform ze kréien, souwéi Informatikinfrastruktur.
- Produktioun - Modeller bleiwen an der Prototypstadium a ginn net fir industriell Notzung bruecht.
- Verfollegt an erkläert AI Resultater - Reproducibilitéit, Tracking an Erklärung vun AI / ML Resultater si schwéier.
Lénks net adresséiert, beaflossen dës Probleemer negativ op d'Geschwindegkeet, d'Effizienz an d'Produktivitéit vu wäertvollen Datewëssenschaftler. Dëst féiert zu hirer Frustratioun, Enttäuschung an hirer Aarbecht, an als Resultat ginn d'Geschäftserwaardungen betreffend AI / ML verschwonnen.
D'Verantwortung fir dës Probleemer ze léisen fällt op IT Spezialisten, déi Datenanalytiker mussen ubidden - dat ass richteg, eppes wéi d'Wollek. Méi detailléiert brauche mir eng Plattform déi d'Wielfräiheet gëtt an e prakteschen, einfachen Zougang huet. Zur selwechter Zäit ass et séier, liicht rekonfiguréierbar, skalierbar op Ufro a resistent géint Feeler. Bauen vun esou enger Plattform op Open Source Technologien hëlleft Vendor Lock-in ze vermeiden an e laangfristeg strategesche Virdeel a punkto Käschte Kontroll ze halen.
Virun e puer Joer ass eppes ähnlech an der Applikatiounsentwécklung geschitt an huet zu der Entstoe vu Mikroservicer, Hybridwolken, IT-Automatisatioun an agile Prozesser gefouert. Fir dëst alles ze bewältegen, hunn IT Professionnelen sech op Containeren, Kubernetes an oppe Hybridwolken gedréit.
Dës Erfahrung gëtt elo applizéiert fir dem Al seng Erausfuerderungen ze beäntweren. Dofir bauen IT Professionnelen Plattformen déi Container-baséiert sinn, d'Schafe vun AI/ML Servicer bannent agile Prozesser erméiglechen, Innovatioun beschleunegen, a mat engem Aen op d'Hybridwolk gebaut ginn.
Mir fänken un sou eng Plattform ze bauen mat Red Hat OpenShift, eiser containeriséierter Kubernetes Plattform fir d'Hybridwolk, déi e séier wuessend Ökosystem vu Software an Hardware ML Léisungen huet (NVIDIA, H2O.ai, Starburst, PerceptiLabs, etc.). E puer vu Red Hat Clienten, wéi BMW Group, ExxonMobil an anerer, hu scho containeriséiert ML Toolchains an DevOps Prozesser uewen op der Plattform a sengem Ökosystem ofgesat fir hir ML Architekturen op d'Produktioun ze bréngen an d'Aarbecht vun Datenanalyten ze beschleunegen.
En anere Grond firwat mir den Open Data Hub Projet lancéiert hunn ass e Beispill vun enger Architektur ze demonstréieren baséiert op e puer Open Source Software Projeten a weisen wéi een de ganze Liewenszyklus vun enger ML Léisung baséiert op der OpenShift Plattform implementéiert.
Open Data Hub Project
Dëst ass en Open Source Projet deen an der entspriechender Entwécklungsgemeinschaft entwéckelt gëtt an e ganzen Zyklus vun Operatiounen implementéiert - vun der Luede an der Transformatioun vun initialen Daten bis zum Generéiere, Training an Erhalen vun engem Modell - wann Dir AI / ML Probleemer léist mat Container a Kubernetes op der OpenShift Plattform. Dëse Projet kann als Referenzimplementatioun ugesi ginn, e Beispill vu wéi een eng oppen AI / ML-as-a-Service-Léisung baséiert op OpenShift a verwandte Open Source Tools wéi Tensorflow, JupyterHub, Spark an anerer bauen. Et ass wichteg ze notéieren datt Red Hat selwer dëse Projet benotzt fir seng AI / ML Servicer ze bidden. Zousätzlech integréiert OpenShift mat Schlësselsoftware an Hardware ML Léisunge vun NVIDIA, Seldon, Starbust an aner Ubidder, wat et méi einfach mécht Är eege Maschinnléiersystemer ze bauen an ze lafen.
Den Open Data Hub Projet konzentréiert sech op déi folgend Kategorien vu Benotzer a Benotzungsfäll:
- Data Analyst deen eng Léisung brauch fir ML Projeten ëmzesetzen, organiséiert wéi eng Wollek mat Self-Service Funktiounen.
- Data Analyst dee maximal Wiel vun de leschten Open Source AI / ML Tools a Plattformen brauch.
- Daten Analyst deen Zougang zu Datenquellen brauch wann Dir Modeller trainéiert.
- Data Analyst deen Zougang zu Rechenressourcen brauch (CPU, GPU, Erënnerung).
- Data Analyst deen d'Fäegkeet erfuerdert fir mat Kollegen ze kollaboréieren an d'Aarbecht ze deelen, Feedback ze kréien a Verbesserungen a séier Iteratioun ze maachen.
- En Datanalytiker dee mat Entwéckler interagéiere wëll (an Teams devopst) sou datt seng ML Modeller an Aarbechtsresultater a Produktioun ginn.
- Dateingenieur deen engem Datenanalytiker Zougang zu enger Vielfalt vun Datequellen muss ubidden, wärend de Regulatiouns- a Sécherheetsufuerderunge respektéiert.
- IT System Administrateur / Bedreiwer deen d'Fäegkeet erfuerdert fir de Liewenszyklus (Installatioun, Konfiguratioun, Upgrade) vun Open Source Komponenten an Technologien ouni Ustrengung ze kontrolléieren. Mir brauchen och entspriechend Gestioun a Quoten Tools.
Den Open Data Hub Projet bréngt eng Rei vun Open Source Tools zesummen fir e ganzen Zyklus vun AI / ML Operatiounen ëmzesetzen. Jupyter Notebook gëtt hei als Haaptaarbechtsinstrument fir Datenanalyse benotzt. D'Toolkit ass haut populär bei Datewëssenschaftler, an Open Data Hub erlaabt hinnen einfach Jupyter Notebook Workspaces ze kreéieren an ze verwalten mat der agebauter JupyterHub. Zousätzlech fir Jupyter Notizbicher ze kreéieren an z'importéieren, enthält den Open Data Hub Projet och eng Zuel vu fäerdege Notizbicher a Form vun enger AI Bibliothéik.
Dës Bibliothéik ass eng Sammlung vun Open-Source Maschinnléiere Komponenten a Léisunge fir allgemeng Szenarien déi séier Prototyping vereinfachen. JupyterHub ass integréiert mam OpenShift's RBAC Zouganksmodell, wat Iech erlaabt existent OpenShift Konten ze benotzen an Single Sign-On ëmzesetzen. Zousätzlech bitt JupyterHub eng userfrëndlech User-Interface genannt Spawner, duerch déi de Benotzer d'Quantitéit vun de Rechenressourcen (CPU Cores, Memory, GPU) fir de gewielte Jupyter Notebook einfach konfiguréieren.
Nodeems den Datenanalytiker de Laptop erstellt a konfiguréiert, ginn all aner Bedenken doriwwer vum Kubernetes Scheduler gesuergt, deen Deel vun OpenShift ass. D'Benotzer kënnen nëmmen hir Experimenter ausféieren, späicheren an d'Resultater vun hirer Aarbecht deelen. Zousätzlech kënnen fortgeschratt Benotzer direkt op d'OpenShift CLI Shell direkt vun Jupyter Notizbicher zougräifen fir Kubernetes Primitiv wéi Job oder OpenShift Funktionalitéit wéi Tekton oder Knative ze profitéieren. Oder dofir kënnt Dir OpenShift's praktesch GUI benotzen, déi "OpenShift Web Console" genannt gëtt.
Gitt op déi nächst Etapp weider, Open Data Hub mécht et méiglech Datepipelines ze managen. Dofir gëtt e Ceph-Objet benotzt, deen als S3-kompatibel Objektdatenlagerung zur Verfügung gestallt gëtt. Apache Spark bitt Datenstreaming vun externen Quellen oder agebaute Ceph S3 Späicheren, an erlaabt Iech och virleefeg Datentransformatiounen auszeféieren. Apache Kafka bitt fortgeschratt Gestioun vun Datepipelines (wou Daten e puer Mol geluede kënne ginn, souwéi Datentransformatioun, Analyse a Persistenzoperatioune).
Also, den Datanalytiker huet Zougang zu den Daten an huet e Modell gebaut. Elo huet hien e Wonsch d'Resultater mat Kollegen oder Applikatioun Entwéckler ze deelen, an hinnen mat sengem Modell op d'Prinzipien vun engem Service ze bidden. Dëst erfuerdert en Inferenzserver, an den Open Data Hub huet sou e Server, et gëtt Seldon genannt an erlaabt Iech de Modell als RESTful Service ze publizéieren.
Irgendwann ginn et e puer esou Modeller um Seldon Server, an et ass néideg ze iwwerwaachen wéi se benotzt ginn. Fir dëst z'erreechen, bitt Open Data Hub eng Sammlung vu relevante Metriken an e Berichtungsmotor baséiert op de wäit benotzte Open Source Iwwerwaachungsinstrumenter Prometheus a Grafana. Als Resultat kréien mir Feedback fir d'Benotzung vun AI Modeller ze iwwerwaachen, besonnesch an engem Produktiounsëmfeld.
Op dës Manéier bitt Open Data Hub eng Cloud-ähnlech Approche duerch de ganzen AI / ML Liewenszyklus, vum Datezougang a Virbereedung bis Modelltraining a Produktioun.
All zesummen maachen
Elo stellt sech d'Fro wéi Dir dëst alles fir den OpenShift Administrator organiséiert. An dat ass wou e spezielle Kubernetes Bedreiwer fir Open Data Hub Projeten an d'Spill kënnt.
Dëse Bedreiwer geréiert d'Installatioun, d'Konfiguratioun an d'Liewenszyklus vum Open Data Hub-Projet, och d'Deployment vun den uewe genannten Tools wéi JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus a Grafana. Den Open Data Hub Projet kann an der OpenShift Webkonsole fonnt ginn, an der Gemeinschaftsoperateur Sektioun. Sou kann den OpenShift Administrator spezifizéieren datt déi entspriechend OpenShift Projeten als "Open Data Hub Project" kategoriséiert ginn. Dëst gëtt eemol gemaach. Duerno loggt den Datenanalytiker a säi Projetsraum duerch d'OpenShift Webkonsole a gesäit datt de entspriechende Kubernetes Bedreiwer installéiert a verfügbar ass fir seng Projeten. Hien erstellt dann eng Open Data Hub Projet Instanz mat engem Klick an huet direkt Zougang zu den uewe beschriwwenen Tools. An all dëst kann an héich Disponibilitéit a Feeler Toleranz Modus konfiguréiert ginn.
Wann Dir den Open Data Hub Projet fir Iech selwer wëllt probéieren, fänkt un mat . Technesch Detailer vun der Open Data Hub Architektur kënne fonnt ginn , Projet Entwécklung Pläng - . An Zukunft plangen mir zousätzlech Integratioun mat Kubeflow ëmzesetzen, eng Rei vu Problemer mat Datereguléierung a Sécherheet ze léisen, an och Integratioun mat Regelbaséierte Systemer Drools an Optaplanner organiséieren. Ausdréck Är Meenung a ginn e Participant am Projet méiglech op der Säit .
Fir zréckzekréien: Seriöse Skaléierungserausfuerderunge verhënneren datt Organisatiounen dat vollt Potenzial vu kënschtlecher Intelligenz a Maschinnléiere realiséieren. Red Hat OpenShift gouf laang erfollegräich benotzt fir ähnlech Probleemer an der Softwareindustrie ze léisen. Den Open Data Hub Projet, implementéiert an der Open Source Entwécklungsgemeinschaft, bitt eng Referenzarchitektur fir e ganzen Zyklus vun AI / ML Operatiounen ze organiséieren baséiert op der OpenShift Hybrid Cloud. Mir hunn e kloeren an Duerchduechte Plang fir d'Entwécklung vun dësem Projet, a mir si eescht fir eng aktiv a fruchtbar Gemeinschaft ze kreéieren fir oppe AI Léisungen op der OpenShift Plattform ronderëm z'entwéckelen.
Source: will.com