U futuru hè ghjuntu, è l'intelligenza artificiale è e tecnulugia di l'apprendimentu automaticu sò digià aduprate cù successu da i vostri buttreghi preferiti, cumpagnie di trasportu è ancu splutazioni di tacchino.
E s'ellu esiste qualcosa, allora ci hè digià qualcosa nantu à Internet ... un prughjettu apertu ! Vede cumu Open Data Hub vi aiuta à scala e tecnulugia novi è evità e sfide di implementazione.
Cù tutti i vantaghji di l'intelligenza artificiale (AI) è di l'apprendimentu di machine (ML), l'urganisazioni anu spessu difficultà à scalà queste tecnulugia. I prublemi principali in questu casu sò generalmente i seguenti:
- Scambiu d'infurmazioni è cooperazione - hè quasi impussibile di scambià infurmazioni senza sforzu è di cullaburazione in iterazioni veloci.
- Accessu à i dati - per ogni compitu deve esse custruitu novu è manualmente, chì piglia assai tempu.
- Accessu nantu à dumanda - ùn ci hè micca manera di uttene l'accessu à a dumanda à l'arnesi di l'apprendimentu automaticu è a piattaforma, è ancu à l'infrastruttura informatica.
- Pruduzione - i mudelli restanu in u stadiu di prototipu è ùn sò micca purtati à l'usu industriale.
- Traccia è spiegà i risultati AI - a riproducibilità, u seguimentu è a spiegazione di i risultati AI / ML sò difficili.
Lasciati senza risposta, sti prublemi anu un impattu negativu in a rapidità, l'efficienza è a produtividade di i scientifichi di dati preziosi. Questu porta à a so frustrazione, a delusione in u so travagliu, è in u risultatu, l'aspettattivi di l'imprese in quantu à l'AI / ML si perdenu.
A rispunsabilità di risolve questi prublemi hè nantu à i specialisti IT, chì devenu furnisce l'analista di dati - hè cusì, qualcosa cum'è u nuvulu. In più detail, avemu bisognu di una piattaforma chì dà libertà di scelta è hà un accessu faciule è faciule. À u listessu tempu, hè veloce, facilmente reconfigurable, scalabile nantu à a dumanda è resistente à i fallimenti. Custruì una tale piattaforma nantu à e tecnulugia open source aiuta à evità u lock-in di u venditore è mantene un vantaghju strategicu à longu andà in quantu à u cuntrollu di i costi.
Uni pochi anni fà, qualcosa di simile era accadutu in u sviluppu di l'applicazioni è hà purtatu à l'emergenza di microservizi, nuvole hibridi, automatizazione IT è prucessi agili. Per affruntà tuttu questu, i prufessiunali di l'IT anu vultatu à cuntenituri, Kubernetes è nuvuli hibridi aperti.
Sta sperienza hè avà applicata per risponde à e sfide di Al. Hè per quessa chì i prufessiunali IT custruiscenu piattaforme basate in cuntainer, permettenu a creazione di servizii AI / ML in processi agili, acceleranu l'innuvazione è sò custruiti cun un ochju versu u nuvulu hibridu.
Cuminceremu à custruisce una tale piattaforma cù Red Hat OpenShift, a nostra piattaforma Kubernetes containerizzata per u nuvulu hibridu, chì hà un ecosistema in rapida crescita di soluzioni ML di software è hardware (NVIDIA, H2O.ai, Starburst, PerceptiLabs, etc.). Alcuni di i clienti di Red Hat, cum'è BMW Group, ExxonMobil è altri, anu digià implementatu catene di strumenti ML containerizzate è prucessi DevOps in cima à a piattaforma è u so ecosistema per portà e so architetture ML à a produzzione è accelerà u travagliu di l'analista di dati.
Un altru mutivu chì avemu lanciatu u prughjettu Open Data Hub hè di dimustrà un esempiu di una architettura basatu annantu à parechji prughjetti di software open source è dimustrà cumu implementà u ciclu di vita tutale di una suluzione ML basata nantu à a piattaforma OpenShift.
Prughjettu Open Data Hub
Questu hè un prughjettu open source chì hè sviluppatu in a cumunità di sviluppu currispundente è implementa un ciclu cumpletu di operazioni - da a carica è a trasfurmazioni di dati iniziali à a generazione, furmazione è mantene un mudellu - quandu si risolve i prublemi AI / ML cù cuntenituri è Kubernetes nantu à OpenShift. piattaforma. Stu prughjettu pò esse cunsideratu una implementazione di riferimentu, un esempiu di cumu custruisce una soluzione aperta AI / ML-as-a-service basata nantu à OpenShift è strumenti open source cunnessi cum'è Tensorflow, JupyterHub, Spark è altri. Hè impurtante di nutà chì Red Hat stessu usa stu prughjettu per furnisce i so servizii AI / ML. Inoltre, OpenShift s'integra cù e soluzioni ML di software è hardware chjave da NVIDIA, Seldon, Starbust è altri venditori, facenu più faciule per custruisce è gestisce i vostri propri sistemi di apprendimentu di macchina.
U prughjettu Open Data Hub hè focu annantu à e seguenti categurie d'utilizatori è casi d'usu:
- Analista di dati chì hà bisognu di una suluzione per l'implementazione di prughjetti ML, urganizatu cum'è una nuvola cù funzioni di self-service.
- Analista di dati chì hà bisognu di a scelta massima da l'ultimi strumenti è piattaforme AI / ML open source.
- Analista di dati chì hà bisognu di accessu à e fonti di dati quandu i mudelli di furmazione.
- Analista di dati chì hà bisognu di accessu à e risorse di l'informatica (CPU, GPU, memoria).
- Analista di dati chì esige l'abilità di cullaburazione è di sparte u travagliu cù i culleghi, riceve feedback, è migliurà in iterazione rapida.
- Un analista di dati chì vole interagisce cù i sviluppatori (è i squadre di devops) per chì i so mudelli ML è i risultati di u travagliu entranu in produzzione.
- Ingegnere di dati chì hà bisognu di furnisce un analista di dati cù accessu à una varietà di fonti di dati mentre cumpiendu i requisiti regulatori è di sicurezza.
- Amministratore / operatore di u sistema di TI chì esige a capacità di cuntrullà senza sforzu u ciclu di vita (installazione, cunfigurazione, aghjurnamentu) di cumpunenti è tecnulugia open source. Avemu ancu bisognu di strumenti di gestione è di quota adattati.
U prughjettu Open Data Hub riunisce una gamma di strumenti open source per implementà un ciclu cumpletu di operazioni AI / ML. Jupyter Notebook hè adupratu quì cum'è u principale strumentu di travagliu per l'analisi di dati. U toolkit hè assai populari trà i scientifichi di dati oghje, è Open Data Hub li permette di creà è gestisce facilmente spazii di travagliu Jupyter Notebook utilizendu u JupyterHub integratu. In più di creà è impurtà libretti Jupyter, u prughjettu Open Data Hub cuntene ancu una quantità di notebooks pronti in forma di una Biblioteca AI.
Questa biblioteca hè una cullizzioni di cumpunenti di apprendimentu automaticu open-source è soluzioni per scenarii cumuni chì simplificanu a prototipazione rapida. JupyterHub hè integratu cù u mudellu d'accessu RBAC d'OpenShift, chì vi permette di utilizà i cunti OpenShift esistenti è implementà un sign-on unicu. Inoltre, JupyterHub offre una interfaccia d'utilizatore user-friendly chjamata spawner, attraversu quale l'utilizatore pò facilmente cunfigurà a quantità di risorse di computing (core CPU, memoria, GPU) per u Jupyter Notebook sceltu.
Dopu chì l'analista di dati crea è cunfigurà u laptop, tutti l'altri preoccupati sò curati da u pianificatore Kubernetes, chì face parte di OpenShift. L'utilizatori ponu solu fà i so esperimenti, salvà è sparte i risultati di u so travagliu. Inoltre, l'utilizatori avanzati ponu accede direttamente à l'OpenShift CLI shell direttamente da i notebooks Jupyter per sfruttà i primitivi Kubernetes cum'è a funziunalità Job o OpenShift cum'è Tekton o Knative. O per questu pudete aduprà a GUI cunvene di OpenShift, chì hè chjamata "consola web OpenShift".
Passendu à a tappa dopu, Open Data Hub permette di gestisce i pipelines di dati. Per questu, hè utilizatu un ughjettu Ceph, chì hè furnitu cum'è un almacenamiento di dati d'ughjettu S3-compatibile. Apache Spark permette di trasmette dati da fonti esterne o di almacenamiento integratu di Ceph S3, è permette ancu di fà trasfurmazioni di dati preliminari. Apache Kafka furnisce una gestione avanzata di e pipeline di dati (induve e dati ponu esse caricati parechje volte, è ancu operazioni di trasfurmazioni, analisi è persistenza di dati).
Allora, l'analista di dati accede à e dati è hà custruitu un mudellu. Avà hà u desideriu di sparte i risultati ottenuti cù i culleghi o i sviluppatori di l'applicazioni, è furnisce u so mudellu nantu à i principii di un serviziu. Questu hè bisognu di un servitore d'inferenza, è Open Data Hub hà un tali servitore, hè chjamatu Seldon è vi permette di publicà u mudellu cum'è un serviziu RESTful.
À un certu puntu, ci sò parechji mudelli tali nantu à u servitore Seldon, è ci hè bisognu di monitorà cumu si sò usati. Per ottene questu, Open Data Hub offre una cullizzioni di metriche pertinenti è un mutore di rapportu basatu annantu à l'arnesi di surviglianza open source largamente utilizati Prometheus è Grafana. In u risultatu, ricevemu feedback per monitorizà l'usu di mudelli AI, particularmente in un ambiente di produzzione.
In questu modu, Open Data Hub furnisce un approcciu cum'è nuvola in tuttu u ciclu di vita AI / ML, da l'accessu à i dati è a preparazione à a furmazione è a produzzione di mudelli.
Mettendu tuttu inseme
Avà hè a quistione di cumu urganizà tuttu questu per l'amministratore OpenShift. È questu hè induve un operatore Kubernetes speciale per i prughjetti Open Data Hub entra in ghjocu.
Questu operatore gestisce a stallazione, a cunfigurazione è u ciclu di vita di u prughjettu Open Data Hub, cumpresa a implementazione di l'arnesi citati cum'è JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus è Grafana. U prughjettu Open Data Hub pò esse truvatu in a cunsola web OpenShift, in a sezione di l'operatori di a cumunità. Cusì, l'amministratore OpenShift pò specificà chì i prughjetti OpenShift currispondenti sò categurizzati cum'è "Progettu Open Data Hub". Questu hè fattu una volta. Dopu questu, l'analista di dati accede à u so spaziu di prughjettu attraversu a cunsola web OpenShift è vede chì l'operatore Kubernetes currispondente hè stallatu è dispunibule per i so prughjetti. Dopu crea una istanza di prughjettu Open Data Hub cun un clic è hà immediatamente accessu à l'arnesi descritti sopra. È tuttu questu pò esse cunfiguratu in alta dispunibilità è in modu di tolleranza di difetti.
Se vulete pruvà u prughjettu Open Data Hub per voi stessu, cuminciate cù . I dettagli tecnichi di l'architettura Open Data Hub ponu esse truvati , piani di sviluppu di prughjettu - . In u futuru, pensemu à implementà integrazione supplementu cù Kubeflow, risolve una quantità di prublemi cù u regulamentu di dati è a sicurità, è ancu urganizà l'integrazione cù i sistemi basati in reguli Drools è Optaplanner. Esprimi a vostra opinione è diventa un participante in u prugettu pussibule nantu à a pagina .
Per ricapitolare: Sfidi di scala seria impediscenu à l'urganisazioni di rializà u pienu potenziale di l'intelligenza artificiale è l'apprendimentu automaticu. Red Hat OpenShift hè statu longu usatu cù successu per risolve prublemi simili in l'industria di u software. U prughjettu Open Data Hub, implementatu in a cumunità di sviluppu open source, offre una architettura di riferimentu per urganizà un ciclu cumpletu di operazioni AI / ML basatu nantu à u cloud hibridu OpenShift. Avemu un pianu chjaru è pensativu per u sviluppu di stu prughjettu, è simu serii per creà una cumunità attiva è fruttuosa intornu à ellu per sviluppà suluzioni AI aperte nantu à a piattaforma OpenShift.
Source: www.habr.com