Masa depan parantos sumping, sareng téknologi intelijen buatan sareng mesin diajar parantos suksés dianggo ku toko karesep anjeun, perusahaan angkutan bahkan kebon kalkun.
Sareng upami aya anu aya, maka parantos aya ngeunaan éta dina Internét ... proyék kabuka! Tingali kumaha Open Data Hub ngabantosan anjeun skala téknologi anyar sareng nyingkahan tantangan palaksanaan.
Kalayan sagala kaunggulan intelijen buatan (AI) sareng pembelajaran mesin (ML), organisasi sering ngalaman kasusah skala téknologi ieu. Masalah utama dina hal ieu biasana di handap ieu:
- bursa informasi jeung gawé babarengan - ampir teu mungkin pikeun tukeur inpormasi sacara gampang sareng kolaborasi dina iterasi gancang.
- Aksés data - pikeun tiap tugas perlu diwangun anew sarta sacara manual, nu butuh loba waktu.
- Aksés dina paménta - teu aya deui jalan pikeun kéngingkeun aksés on-demand kana alat sareng platform pembelajaran mesin, ogé infrastruktur komputasi.
- Produksi - model tetep dina tahap prototipe jeung teu dibawa ka pamakéan industri.
- Lacak sareng terangkeun hasil AI - reproducibility, tracking jeung katerangan hasil AI / ML hese.
Ditinggalkeun unaddressed, masalah ieu négatip mangaruhan laju, efisiensi, jeung produktivitas élmuwan data berharga. Ieu ngakibatkeun frustasi maranéhanana, kuciwa dina karya maranéhanana, sarta salaku hasilna, ekspektasi bisnis ngeunaan AI / ML jadi runtah.
Tanggung jawab pikeun ngarengsekeun masalah ieu aya dina spesialis IT, anu kedah nyayogikeun analis data - éta leres, sapertos awan. Dina leuwih jéntré, urang peryogi platform nu mere kabebasan pilihan sarta ngabogaan merenah, aksés gampang. Dina waktu nu sarua, éta gancang, gampang reconfigurable, scalable on demand jeung tahan ka gagal. Ngawangun platform sapertos dina téknologi open source ngabantosan ngahindarkeun vendor lock-in sareng ngajaga kauntungan strategis jangka panjang dina hal kontrol biaya.
Sababaraha taun ka pengker, hal anu sami kajantenan dina pamekaran aplikasi sareng nyababkeun mecenghulna microservices, awan hibrid, automation IT, sareng prosés tangkas. Pikeun ngatasi sadayana ieu, para profesional IT tos ka wadah, Kubernetes sareng awan hibrid kabuka.
Pangalaman ieu ayeuna keur dilarapkeun pikeun ngajawab tantangan Al. Éta sababna para profesional IT ngawangun platform anu dumasar kana wadahna, ngaktifkeun nyiptakeun jasa AI/ML dina prosés lincah, ngagancangkeun inovasi, sareng diwangun kalayan ati-ati kana awan hibrid.
Kami bakal ngamimitian ngawangun platform sapertos Red Hat OpenShift, platform Kubernetes wadah kami pikeun awan hibrid, anu ngagaduhan ékosistem solusi ML parangkat lunak sareng hardware anu gancang (NVIDIA, H2O.ai, Starburst, PerceptiLabs, jsb.). Sababaraha palanggan Red Hat, sapertos BMW Group, ExxonMobil sareng anu sanésna, parantos nyebarkeun toolchains ML wadahna sareng prosés DevOps di luhur platform sareng ékosistemna pikeun nyangking arsitéktur ML kana produksi sareng nyepetkeun padamelan analis data.
Alesan anu sanésna kami ngaluncurkeun proyék Open Data Hub nyaéta pikeun nunjukkeun conto arsitéktur dumasar kana sababaraha proyék parangkat lunak open source sareng nunjukkeun kumaha ngalaksanakeun sakabéh siklus kahirupan solusi ML dumasar kana platform OpenShift.
Buka Proyék Data Hub
Ieu mangrupikeun proyék open source anu dikembangkeun dina komunitas pamekaran anu saluyu sareng ngalaksanakeun siklus operasi pinuh - tina ngamuat sareng ngarobih data awal pikeun ngahasilkeun, ngalatih sareng ngajaga modél - nalika ngarengsekeun masalah AI / ML nganggo wadah sareng Kubernetes dina OpenShift. platform. Proyék ieu tiasa dianggap salaku palaksanaan rujukan, conto kumaha cara ngawangun solusi AI / ML-as-a-service kabuka dumasar kana OpenShift sareng alat open source anu aya hubunganana sapertos Tensorflow, JupyterHub, Spark sareng anu sanésna. Penting pikeun dicatet yén Red Hat sorangan ngagunakeun proyék ieu pikeun nyayogikeun jasa AI/ML na. Salaku tambahan, OpenShift ngahijikeun sareng parangkat lunak konci sareng solusi ML hardware ti NVIDIA, Seldon, Starbust sareng padagang sanésna, ngajantenkeun langkung gampang ngawangun sareng ngajalankeun sistem pembelajaran mesin anjeun nyalira.
Proyék Open Data Hub museurkeun kana kategori pangguna sareng kasus pamakean ieu:
- Analis data anu peryogi solusi pikeun ngalaksanakeun proyék ML, dikelompokeun sapertos awan kalayan fungsi jasa mandiri.
- Analis Data anu peryogi pilihan maksimal tina alat sareng platform AI/ML open source panganyarna.
- Analis data anu peryogi aksés kana sumber data nalika ngalatih modél.
- Analis data anu peryogi aksés kana sumber komputasi (CPU, GPU, mémori).
- Analis Data anu ngabutuhkeun kamampuan pikeun kolaborasi sareng ngabagi karya sareng kolega, nampi tanggapan, sareng ningkatkeun perbaikan gancang.
- Analis data anu hoyong berinteraksi sareng pamekar (sareng devops tim) supados modél ML sareng hasil padamelan na janten produksi.
- Insinyur data anu kedah nyayogikeun analis data aksés kana sababaraha sumber data bari sasuai sareng syarat pangaturan sareng kaamanan.
- Administrator / operator sistem IT anu peryogi kamampuan pikeun ngadalikeun siklus hirup (instalasi, konfigurasi, ningkatkeun) komponén sareng téknologi open source. Urang ogé peryogi alat manajemén sareng kuota anu pas.
Proyék Open Data Hub ngahijikeun sajumlah alat open source pikeun ngalaksanakeun siklus lengkep operasi AI/ML. Jupyter Notebook dianggo di dieu salaku alat kerja utama pikeun analitik data. Toolkit ieu populer pisan di kalangan élmuwan data ayeuna, sareng Open Data Hub ngamungkinkeun aranjeunna gampang nyiptakeun sareng ngatur ruang kerja Jupyter Notebook nganggo JupyterHub anu diwangun. Salian ti nyieun jeung ngimpor notebook Jupyter, proyék Open Data Hub ogé ngandung sajumlah notebook siap-dijieun dina bentuk hiji Perpustakaan AI.
Perpustakaan ieu mangrupikeun kumpulan komponén pembelajaran mesin open-source sareng solusi pikeun skenario umum anu nyederhanakeun prototyping gancang. JupyterHub diintegrasikeun sareng modél aksés RBAC OpenShift, anu ngamungkinkeun anjeun ngagunakeun akun OpenShift anu tos aya sareng nerapkeun tanda-on tunggal. Sajaba ti éta, nawarkeun JupyterHub panganteur pamaké ramah-pamaké disebut spawner, ngaliwatan nu pamaké bisa kalayan gampang ngonpigurasikeun jumlah sumberdaya komputasi (inti CPU, memori, GPU) pikeun Notebook Jupyter dipilih.
Saatos analis data nyiptakeun sareng ngonpigurasikeun laptop, sadaya masalah anu sanésna diurus ku jadwal Kubernetes, anu mangrupikeun bagian tina OpenShift. Pamaké ngan ukur tiasa ngalaksanakeun ékspériménna, nyimpen sareng ngabagi hasil padamelan na. Salaku tambahan, pangguna canggih tiasa langsung ngaksés cangkang OpenShift CLI langsung tina notebook Jupyter pikeun ngamangpaatkeun primitif Kubernetes sapertos fungsionalitas Job atanapi OpenShift sapertos Tekton atanapi Knative. Atanapi pikeun ieu anjeun tiasa nganggo GUI anu cocog sareng OpenShift, anu disebut "konsol wéb OpenShift".
Pindah ka tahap salajengna, Open Data Hub ngamungkinkeun pikeun ngatur jalur pipa data. Jang ngalampahkeun ieu, hiji obyék Ceph dipaké, nu disadiakeun salaku gudang data obyék S3-cocog. Apache Spark ngidinan Anjeun pikeun ngalirkeun data tina sumber éksternal atawa diwangun-di gudang Ceph S3, sarta ogé ngidinan Anjeun pikeun ngalakukeun transformasi data awal. Apache Kafka nyadiakeun manajemén canggih tina pipelines data (dimana data bisa dimuat sababaraha kali, kitu ogé transformasi data, analisis, sarta operasi kegigihan).
Janten, analis data ngaksés data sareng ngawangun modél. Ayeuna anjeunna boga kahayang pikeun babagi hasil diala kalawan kolega atawa pamekar aplikasi, sarta nyadiakeun aranjeunna kalayan model na dina prinsip layanan a. Ieu merlukeun hiji server inferensi, sarta Buka Data Hub boga server misalna, mangka disebut Seldon sarta ngidinan Anjeun pikeun nyebarkeun model salaku layanan RESTful.
Di sawatara titik, aya sababaraha model misalna dina server Seldon, sarta aya anu peryogi pikeun ngawas kumaha aranjeunna dipaké. Pikeun ngahontal ieu, Open Data Hub nawiskeun kumpulan métrik anu relevan sareng mesin pelapor dumasar kana alat ngawaskeun open source anu seueur dianggo Prometheus sareng Grafana. Hasilna, kami nampi tanggapan pikeun ngawas pamakean model AI, khususna dina lingkungan produksi.
Ku cara kieu, Open Data Hub nyayogikeun pendekatan sapertos awan sapanjang siklus hirup AI/ML, tina aksés data sareng persiapan dugi ka pelatihan sareng produksi modél.
Putting eta sadayana babarengan
Ayeuna timbul patarosan kumaha ngatur sadayana ieu pikeun administrator OpenShift. Sareng ieu mangrupikeun operator Kubernetes khusus pikeun proyék Open Data Hub.
Operator ieu ngatur pamasangan, konfigurasi sareng siklus kahirupan proyék Open Data Hub, kalebet panyebaran alat-alat anu disebatkeun sapertos JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus sareng Grafana. Proyék Open Data Hub tiasa dipendakan dina konsol wéb OpenShift, dina bagian operator komunitas. Ku kituna, administrator OpenShift bisa nangtukeun yén proyék OpenShift pakait anu categorized salaku "Proyék Open Data Hub". Hal ieu dilakukeun sakali. Saatos ieu, analis data asup kana rohangan proyék na ngalangkungan konsol wéb OpenShift sareng ningali yén operator Kubernetes anu cocog dipasang sareng sayogi pikeun proyék-proyékna. Anjeunna teras nyiptakeun conto proyék Open Data Hub kalayan hiji klik sareng langsung ngagaduhan aksés kana alat anu dijelaskeun di luhur. Sarta sakabeh ieu bisa ngonpigurasi dina kasadiaan tinggi na mode kasabaran sesar.
Upami anjeun hoyong nyobian proyék Open Data Hub nyalira, mimitian ku . Rincian téknis ngeunaan arsitéktur Open Data Hub tiasa dipendakan , rencana pangwangunan proyék - . Dina mangsa nu bakal datang, urang rencanana pikeun nerapkeun integrasi tambahan kalawan Kubeflow, ngabéréskeun sababaraha masalah jeung pangaturan data sarta kaamanan, sarta ogé ngatur integrasi jeung sistem dumasar aturan Drools na Optaplanner. Nyarioskeun pendapat anjeun sareng janten pamilon dina proyék éta mungkin dina kaca .
Pikeun recap: Tantangan skala serius anu nyegah organisasi tina ngawujudkeun poténsi pinuh ku kecerdasan jieunan sarta learning mesin. Red Hat OpenShift parantos lami dianggo pikeun ngarengsekeun masalah anu sami dina industri parangkat lunak. Proyék Open Data Hub, dilaksanakeun dina komunitas pamekaran open source, nawiskeun arsitéktur rujukan pikeun ngatur siklus pinuh operasi AI/ML dumasar kana awan hibrid OpenShift. Kami gaduh rencana anu jelas sareng wijaksana pikeun ngembangkeun proyék ieu, sareng kami serius ngeunaan nyiptakeun komunitas anu aktip sareng suksés di sabudeureun éta pikeun ngembangkeun solusi AI kabuka dina platform OpenShift.
sumber: www.habr.com