Masa depan wis teka, lan teknologi intelijen buatan lan pembelajaran mesin wis sukses digunakake dening toko favorit, perusahaan transportasi lan uga peternakan kalkun.
Lan yen ana sing ana, mula ana sing ana ing Internet ... proyek sing mbukak! Deleng carane Open Data Hub mbantu sampeyan ngukur teknologi anyar lan ngindhari tantangan implementasine.
Kanthi kabeh kaluwihan saka intelijen buatan (AI) lan pembelajaran mesin (ML), organisasi asring angel nggedhekake teknologi kasebut. Masalah utama ing kasus iki biasane ing ngisor iki:
- Ijol-ijolan informasi lan kerjasama - meh mokal kanggo ngganti informasi kanthi gampang lan kolaborasi kanthi cepet.
- Akses data - kanggo saben tugas kudu dibangun anew lan manual, kang njupuk akèh wektu.
- Akses ing dikarepake - ora ana cara kanggo entuk akses on-demand menyang alat lan platform pembelajaran mesin, uga infrastruktur komputasi.
- Produksi - model tetep ing tahap prototipe lan ora digawa menyang industri.
- Lacak lan nerangake asil AI - reproducibility, nelusuri lan panjelasan asil AI / ML angel.
Yen ora ditanggulangi, masalah kasebut duwe pengaruh negatif marang kacepetan, efisiensi, lan produktivitas ilmuwan data sing terkenal. Iki ndadΓ©kakΓ© frustasi, kuciwo ing karya, lan minangka asil, pangarepan bisnis babagan AI / ML dadi sampah.
Tanggung jawab kanggo ngrampungake masalah kasebut ana ing spesialis IT, sing kudu menehi analis data - bener, kaya awan. Kanthi luwih rinci, kita butuh platform sing menehi kebebasan milih lan nduweni akses sing gampang lan gampang. Ing wektu sing padha, iku cepet, gampang reconfigurable, keukur ing dikarepake lan tahan kanggo gagal. Mbangun platform kasebut ing teknologi open source mbantu nyegah vendor lock-in lan njaga kauntungan strategis jangka panjang babagan kontrol biaya.
Sawetara taun kepungkur, kedadeyan sing padha ing pangembangan aplikasi lan nyebabake munculna layanan mikro, awan hibrida, otomatisasi IT, lan proses sing lincah. Kanggo ngatasi kabeh iki, para profesional IT wis dadi kontaner, Kubernetes lan awan hibrida sing mbukak.
Pengalaman iki saiki ditrapake kanggo njawab tantangan Al. Pramila para profesional IT mbangun platform sing adhedhasar wadah, mbisakake nggawe layanan AI/ML ing proses sing lincah, nyepetake inovasi, lan dibangun kanthi fokus menyang awan hibrida.
Kita bakal miwiti mbangun platform kasebut nganggo Red Hat OpenShift, platform Kubernetes sing dikontainer kanggo awan hibrida, sing nduwe ekosistem solusi ML piranti lunak lan hardware sing berkembang kanthi cepet (NVIDIA, H2O.ai, Starburst, PerceptiLabs, lsp.). Sawetara pelanggan Red Hat, kayata BMW Group, ExxonMobil lan liya-liyane, wis masang toolchain ML lan proses DevOps ing ndhuwur platform lan ekosistem kanggo nggawe arsitektur ML menyang produksi lan nyepetake karya analis data.
Alasan liyane kita ngluncurake proyek Open Data Hub yaiku kanggo nduduhake conto arsitektur adhedhasar sawetara proyek piranti lunak open source lan nuduhake carane ngetrapake kabeh siklus urip solusi ML adhedhasar platform OpenShift.
Bukak Proyek Data Hub
Iki minangka proyek open source sing dikembangake ing komunitas pangembangan sing cocog lan ngetrapake siklus lengkap operasi - saka ngemot lan ngowahi data awal dadi ngasilake, latihan lan njaga model - nalika ngrampungake masalah AI / ML nggunakake wadhah lan Kubernetes ing OpenShift. platform. Proyek iki bisa dianggep minangka implementasi referensi, conto carane mbangun solusi AI / ML-as-a-service sing mbukak adhedhasar OpenShift lan piranti open source sing gegandhengan kayata Tensorflow, JupyterHub, Spark lan liya-liyane. Penting kanggo dicathet yen Red Hat dhewe nggunakake proyek iki kanggo nyedhiyakake layanan AI/ML. Kajaba iku, OpenShift nggabungake karo piranti lunak utama lan solusi ML hardware saka NVIDIA, Seldon, Starbust lan vendor liyane, nggawe luwih gampang kanggo mbangun lan mbukak sistem learning machine dhewe.
Proyek Open Data Hub fokus ing kategori pangguna lan kasus panggunaan ing ngisor iki:
- Analis data sing butuh solusi kanggo ngetrapake proyek ML, diatur kaya awan kanthi fungsi layanan mandiri.
- Analis Data sing butuh pilihan maksimal saka alat lan platform AI/ML open source paling anyar.
- Analis data sing butuh akses menyang sumber data nalika latihan model.
- Analis data sing butuh akses menyang sumber daya komputasi (CPU, GPU, memori).
- Analis Data sing mbutuhake kemampuan kanggo kolaborasi lan nuduhake karya karo kolega, nampa umpan balik, lan nggawe perbaikan kanthi cepet.
- Analis data sing pengin sesambungan karo pangembang (lan tim devops) supaya model ML lan asil kerjane dadi produksi.
- Insinyur data sing kudu nyedhiyakake analis data kanthi akses menyang macem-macem sumber data nalika tundhuk karo syarat peraturan lan keamanan.
- Administrator/operator sistem IT sing mbutuhake kemampuan kanggo ngontrol siklus urip (instalasi, konfigurasi, upgrade) komponen lan teknologi open source kanthi gampang. Kita uga butuh alat manajemen lan kuota sing cocog.
Proyek Open Data Hub nggabungake macem-macem alat open source kanggo ngleksanakake siklus lengkap operasi AI/ML. Jupyter Notebook digunakake ing kene minangka alat kerja utama kanggo analytics data. Toolkit iki populer banget ing antarane para ilmuwan data saiki, lan Open Data Hub ngidini nggawe lan ngatur ruang kerja Jupyter Notebook kanthi gampang nggunakake JupyterHub sing dibangun. Saliyane nggawe lan ngimpor notebook Jupyter, proyek Open Data Hub uga ngemot pirang-pirang notebook sing wis siap awujud Perpustakaan AI.
Pustaka iki minangka koleksi komponen lan solusi machine learning open-source kanggo skenario umum sing nyederhanakake prototipe kanthi cepet. JupyterHub digabungake karo model akses RBAC OpenShift, sing ngidini sampeyan nggunakake akun OpenShift sing wis ana lan ngleksanakake mlebu siji. Kajaba iku, JupyterHub nawakake antarmuka pangguna-loropaken sing disebut spawner, ing ngendi pangguna bisa kanthi gampang ngatur jumlah sumber daya komputer (inti CPU, memori, GPU) kanggo Notebook Jupyter sing dipilih.
Sawise analis data nggawe lan ngatur laptop, kabeh keprihatinan liyane babagan iki bakal ditindakake dening panjadwal Kubernetes, yaiku bagean saka OpenShift. Pangguna mung bisa nindakake eksperimen, nyimpen lan nuduhake asil karyane. Kajaba iku, pangguna maju bisa langsung ngakses cangkang OpenShift CLI langsung saka notebook Jupyter kanggo nggunakake primitif Kubernetes kayata fungsi Job utawa OpenShift kayata Tekton utawa Knative. Utawa, sampeyan bisa nggunakake GUI OpenShift sing trep, sing diarani "konsol web OpenShift".
Ngalih menyang tahap sabanjure, Open Data Hub ndadekake bisa ngatur pipa data. Kanggo iki, obyek Ceph digunakake, sing diwenehake minangka panyimpenan data obyek sing kompatibel karo S3. Apache Spark ngijini sampeyan kanggo stream data saka sumber external utawa panyimpenan Ceph S3 dibangun ing, lan uga ngijini sampeyan kanggo nindakake transformasi data awal. Apache Kafka nyedhiyakake manajemen pipa data sing luwih maju (ing ngendi data bisa dimuat kaping pirang-pirang, uga transformasi data, analisis, lan operasi kegigihan).
Dadi, analis data ngakses data lan nggawe model. Saiki dheweke duwe kepinginan kanggo nuduhake asil sing dipikolehi karo kolega utawa pangembang aplikasi, lan menehi model babagan prinsip layanan. Iki mbutuhake server inferensi, lan Open Data Hub duwe server kasebut, diarani Seldon lan ngidini sampeyan nerbitake model kasebut minangka layanan RESTful.
Ing sawetara titik, ana sawetara model kuwi ing server Seldon, lan ana perlu kanggo ngawasi carane padha digunakake. Kanggo nggayuh iki, Open Data Hub nawakake koleksi metrik sing relevan lan mesin pelapor adhedhasar alat pemantauan sumber terbuka sing akeh digunakake Prometheus lan Grafana. AkibatΓ©, kita nampa umpan balik kanggo ngawasi panggunaan model AI, utamane ing lingkungan produksi.
Kanthi cara iki, Open Data Hub nyedhiyakake pendekatan kaya awan ing kabeh siklus urip AI/ML, saka akses data lan persiapan kanggo latihan model lan produksi.
Sijine kabeh bebarengan
Saiki muncul pitakonan babagan carane ngatur kabeh iki kanggo administrator OpenShift. Lan ing kene ana operator Kubernetes khusus kanggo proyek Open Data Hub.
Operator iki ngatur instalasi, konfigurasi lan siklus urip proyek Open Data Hub, kalebu panyebaran alat kasebut kayata JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus lan Grafana. Proyek Open Data Hub bisa ditemokake ing konsol web OpenShift, ing bagean operator komunitas. Dadi, administrator OpenShift bisa nemtokake manawa proyek OpenShift sing cocog dikategorikake minangka "proyek Open Data Hub". Iki rampung sapisan. Sawise iki, analis data mlebu menyang ruang proyek liwat konsol web OpenShift lan ndeleng manawa operator Kubernetes sing cocog wis diinstal lan kasedhiya kanggo proyeke. Dheweke banjur nggawe conto proyek Open Data Hub kanthi siji klik lan langsung entuk akses menyang alat sing kasebut ing ndhuwur. Lan kabeh iki bisa diatur ing kasedhiyan dhuwur lan mode toleransi fault.
Yen sampeyan pengin nyoba proyek Open Data Hub dhewe, miwiti karo . Rincian teknis arsitektur Open Data Hub bisa ditemokake , rencana pembangunan proyek - . Ing mangsa ngarep, kita rencana kanggo ngleksanakake integrasi tambahan karo Kubeflow, mutusake masalah sawetara masalah karo angger-angger data lan keamanan, lan uga ngatur integrasi karo sistem basis aturan Drools lan Optaplanner. Tulis pendapat sampeyan lan dadi peserta ing proyek kasebut bisa ing kaca .
Kanggo rekap: Tantangan skala serius nyegah organisasi supaya bisa ngerteni potensi intelijen buatan lan pembelajaran mesin. Red Hat OpenShift wis suwe digunakake kanggo ngatasi masalah sing padha ing industri piranti lunak. Proyek Open Data Hub, sing ditindakake ing komunitas pangembangan sumber terbuka, nawakake arsitektur referensi kanggo ngatur siklus lengkap operasi AI/ML adhedhasar awan hibrida OpenShift. Kita duwe rencana sing jelas lan wicaksana kanggo pangembangan proyek iki, lan kita serius babagan nggawe komunitas sing aktif lan produktif ing saubengΓ© kanggo ngembangake solusi AI sing mbukak ing platform OpenShift.
Source: www.habr.com