Kelajak keldi va sun'iy intellekt va mashinani o'rganish texnologiyalari allaqachon sizning sevimli do'konlaringiz, transport kompaniyalari va hatto kurka fermalari tomonidan muvaffaqiyatli qo'llanilmoqda.
Va agar biror narsa mavjud bo'lsa, unda Internetda bu haqda allaqachon biror narsa bor ... ochiq loyiha! Open Data Hub yangi texnologiyalarni kengaytirish va amalga oshirish muammolaridan qochishga qanday yordam berishiga qarang.
Sun'iy intellekt (AI) va mashinani o'rganish (ML) ning barcha afzalliklari bilan, tashkilotlar ko'pincha ushbu texnologiyalarni kengaytirishda qiyinchiliklarga duch kelishadi. Bu holatda asosiy muammolar odatda quyidagilar:
- Axborot almashinuvi va hamkorlik - tez takrorlashda ma'lumot almashish va hamkorlik qilish deyarli mumkin emas.
- Dostup k dannym - har bir vazifa uchun uni yangidan va qo'lda qurish kerak, bu juda ko'p vaqtni oladi.
- Talab bo'yicha kirish - Mashinani o'rganish vositalari va platformasiga, shuningdek, hisoblash infratuzilmasiga talab bo'yicha kirishning hech qanday usuli yo'q.
- Ishlab chiqarish - modellar prototip bosqichida qoladi va sanoat foydalanishga keltirilmaydi.
- AI natijalarini kuzatib boring va tushuntiring – AI/ML natijalarini takrorlash, kuzatish va tushuntirish qiyin.
E'tibor berilmagan holda, bu muammolar qimmatli ma'lumotlar olimlarining tezligi, samaradorligi va mahsuldorligiga salbiy ta'sir qiladi. Bu ularning hafsalasi pir bo'lishiga, ishlarida umidsizlikka olib keladi va natijada AI/ML bo'yicha biznes umidlari behuda ketadi.
Ushbu muammolarni hal qilish uchun mas'uliyat IT-mutaxassislariga tushadi, ular ma'lumotlar tahlilchilariga bulut kabi narsalarni taqdim etishlari kerak. Batafsilroq aytadigan bo'lsak, bizga tanlash erkinligini beradigan va qulay, oson kirish imkoniyatiga ega platforma kerak. Shu bilan birga, u tez, osongina qayta sozlanishi, talab bo'yicha kengaytirilishi va nosozliklarga chidamli. Bunday platformani ochiq manba texnologiyalari asosida qurish sotuvchilarni blokirovka qilishdan qochishga va xarajatlarni nazorat qilish nuqtai nazaridan uzoq muddatli strategik ustunlikni saqlashga yordam beradi.
Bir necha yil oldin, shunga o'xshash narsa ilovalarni ishlab chiqishda sodir bo'ldi va mikroservislar, gibrid bulutlar, IT avtomatizatsiyasi va tezkor jarayonlarning paydo bo'lishiga olib keldi. Bularning barchasini engish uchun IT mutaxassislari konteynerlar, Kubernetes va ochiq gibrid bulutlarga murojaat qilishdi.
Bu tajriba endi Alning muammolariga javob berish uchun qo'llaniladi. Shuning uchun IT-mutaxassislari konteynerga asoslangan platformalarni qurmoqdalar, tezkor jarayonlar doirasida AI/ML xizmatlarini yaratishga imkon beradi, innovatsiyalarni tezlashtiradi va gibrid bulutga qarab qurilgan.
Biz bunday platformani Red Hat OpenShift, gibrid bulut uchun konteynerlashtirilgan Kubernetes platformamiz yordamida qurishni boshlaymiz, u tez rivojlanayotgan dasturiy va apparat ML yechimlari (NVIDIA, H2O.ai, Starburst, PerceptiLabs va boshqalar) ekotizimiga ega. Red Hat kompaniyasining BMW Group, ExxonMobil va boshqalar kabi ba'zi mijozlari o'zlarining ML arxitekturasini ishlab chiqarishga olib borish va ma'lumotlar tahlilchilarining ishini tezlashtirish uchun platforma va uning ekotizimida konteynerlashtirilgan ML asboblar zanjiri va DevOps jarayonlarini allaqachon joylashtirgan.
Open Data Hub loyihasini ishga tushirishimizning yana bir sababi bir nechta ochiq kodli dasturiy taʼminot loyihalariga asoslangan arxitektura namunasini namoyish etish va OpenShift platformasi asosida ML yechimining butun hayot aylanishini qanday amalga oshirishni koʻrsatishdir.
Open Data Hub loyihasi
Bu ochiq kodli loyiha bo'lib, tegishli ishlab chiqish hamjamiyatida ishlab chiqilgan va OpenShift-dagi konteynerlar va Kubernetes yordamida AI / ML muammolarini hal qilishda dastlabki ma'lumotlarni yuklash va o'zgartirishdan modelni yaratish, o'qitish va saqlashgacha bo'lgan operatsiyalarning to'liq tsiklini amalga oshiradi. platforma. Ushbu loyihani ma'lumotnomani amalga oshirish, OpenShift va Tensorflow, JupyterHub, Spark va boshqalar kabi ochiq manba vositalariga asoslangan ochiq AI/ML-xizmat yechimini yaratish misoli sifatida ko'rib chiqilishi mumkin. Shuni ta'kidlash kerakki, Red Hat kompaniyasi o'zining AI/ML xizmatlarini taqdim etish uchun ushbu loyihadan foydalanadi. Bundan tashqari, OpenShift NVIDIA, Seldon, Starbust va boshqa ishlab chiqaruvchilarning asosiy dasturiy va apparat ML yechimlari bilan integratsiyalashib, oʻz mashina oʻrganish tizimlarini yaratish va ishga tushirishni osonlashtiradi.
Open Data Hub loyihasi foydalanuvchilarning quyidagi toifalariga va foydalanish holatlariga qaratilgan:
- O'z-o'ziga xizmat ko'rsatish funktsiyalariga ega bulut kabi tashkil etilgan ML loyihalarini amalga oshirish uchun yechimga muhtoj bo'lgan ma'lumotlar tahlilchisi.
- Eng yangi ochiq manbali AI/ML vositalari va platformalaridan maksimal tanlovga muhtoj bo'lgan ma'lumotlar tahlilchisi.
- Modellarni o'rgatishda ma'lumotlar manbalariga kirishga muhtoj bo'lgan ma'lumotlar tahlilchisi.
- Hisoblash resurslariga (CPU, GPU, xotira) kirishga muhtoj bo'lgan ma'lumotlar tahlilchisi.
- Hamkasblar bilan hamkorlik qilish va ishni baham ko'rish, fikr-mulohazalarni olish va tezkor iteratsiyani yaxshilash qobiliyatini talab qiladigan ma'lumotlar tahlilchisi.
- Uning ML modellari va ish natijalari ishlab chiqarishga kirishi uchun ishlab chiquvchilar (va ishlab chiqadigan jamoalar) bilan o'zaro aloqada bo'lishni xohlaydigan ma'lumotlar tahlilchisi.
- Normativ va xavfsizlik talablariga rioya qilgan holda ma'lumotlar tahlilchisiga turli xil ma'lumotlar manbalariga kirishni ta'minlashi kerak bo'lgan ma'lumotlar muhandisi.
- Ochiq kodli komponentlar va texnologiyalarning hayot aylanishini (o'rnatish, konfiguratsiya, yangilash) osonlikcha boshqarish qobiliyatini talab qiladigan AT tizimi ma'muri/operatori. Bizga tegishli boshqaruv va kvota vositalari ham kerak.
Open Data Hub loyihasi AI/ML operatsiyalarining to‘liq tsiklini amalga oshirish uchun bir qator ochiq manba vositalarini birlashtiradi. Jupyter Notebook bu erda ma'lumotlarni tahlil qilish uchun asosiy ishchi vosita sifatida ishlatiladi. Asboblar to'plami bugungi kunda ma'lumotlar olimlari orasida keng tarqalgan va Open Data Hub ularga o'rnatilgan JupyterHub yordamida Jupyter Notebook ish joylarini osongina yaratish va boshqarish imkonini beradi. Open Data Hub loyihasi Jupyter noutbuklarini yaratish va import qilishdan tashqari, sunʼiy intellekt kutubxonasi koʻrinishidagi bir qancha tayyor noutbuklarni ham oʻz ichiga oladi.
Bu kutubxona tez prototiplashni soddalashtiradigan umumiy stsenariylar uchun ochiq manbali mashina oʻrganish komponentlari va yechimlari toʻplamidir. JupyterHub OpenShift-ning RBAC kirish modeli bilan birlashtirilgan bo'lib, u sizga mavjud OpenShift hisoblaridan foydalanish va yagona tizimga kirishni amalga oshirish imkonini beradi. Bundan tashqari, JupyterHub foydalanuvchiga qulay foydalanuvchi interfeysi spawnerni taklif etadi, bu orqali foydalanuvchi tanlangan Jupyter Notebook uchun hisoblash resurslari (CPU yadrolari, xotira, GPU) miqdorini osongina sozlashi mumkin.
Ma'lumotlar tahlilchisi noutbukni yaratgandan va sozlagandan so'ng, u bilan bog'liq barcha boshqa tashvishlar OpenShift tarkibiga kiruvchi Kubernetes rejalashtiruvchisi tomonidan hal qilinadi. Foydalanuvchilar faqat o'z tajribalarini amalga oshirishlari, o'z ishlari natijalarini saqlashlari va baham ko'rishlari mumkin. Bundan tashqari, ilg'or foydalanuvchilar OpenShift CLI qobig'iga to'g'ridan-to'g'ri Jupyter noutbuklaridan to'g'ridan-to'g'ri kirishlari mumkin, masalan, Tekton yoki Knative kabi Job yoki OpenShift funksiyalari kabi Kubernetes primitivlaridan foydalanish. Yoki buning uchun siz OpenShift-ning qulay GUI-dan foydalanishingiz mumkin, bu "OpenShift veb-konsoli" deb ataladi.
Keyingi bosqichga o'tish, Open Data Hub ma'lumotlar quvurlarini boshqarish imkonini beradi. Buning uchun S3-mos keladigan ob'ekt ma'lumotlarini saqlash sifatida taqdim etilgan Ceph ob'ekti ishlatiladi. Apache Spark sizga tashqi manbalardan yoki o'rnatilgan Ceph S3 xotirasidan ma'lumotlarni uzatish imkonini beradi, shuningdek, dastlabki ma'lumotlarni o'zgartirishni amalga oshirishga imkon beradi. Apache Kafka ma'lumotlar quvurlarini ilg'or boshqaruvini ta'minlaydi (bu erda ma'lumotlar bir necha marta yuklanishi mumkin, shuningdek, ma'lumotlarni o'zgartirish, tahlil qilish va doimiylik operatsiyalari).
Shunday qilib, ma'lumotlar tahlilchisi ma'lumotlarga kirishdi va modelni yaratdi. Endi u olingan natijalarni hamkasblari yoki dastur ishlab chiquvchilari bilan baham ko'rish va ularga xizmat tamoyillari bo'yicha o'z modelini taqdim etish istagiga ega. Bu xulosa serverini talab qiladi va Open Data Hub shunday serverga ega, u Seldon deb ataladi va modelni RESTful xizmati sifatida nashr qilish imkonini beradi.
Bir nuqtada, Seldon serverida bir nechta bunday modellar mavjud va ulardan qanday foydalanishni kuzatish kerak. Bunga erishish uchun Open Data Hub tegishli koʻrsatkichlar toʻplamini va keng qoʻllaniladigan Prometey va Grafana ochiq manbali monitoring vositalariga asoslangan hisobot mexanizmini taklif etadi. Natijada, biz AI modellaridan, xususan, ishlab chiqarish muhitida foydalanishni kuzatish uchun fikr-mulohazalarni olamiz.
Shu tariqa, Open Data Hub butun AI/ML hayot aylanishi davomida, maʼlumotlarga kirish va tayyorlashdan tortib modelni oʻqitish va ishlab chiqarishgacha bulutga oʻxshash yondashuvni taqdim etadi.
Hammasini bir joyga qo'yish
Endi OpenShift administratori uchun bularning barchasini qanday tashkil qilish kerakligi savol tug'iladi. Va bu erda Open Data Hub loyihalari uchun maxsus Kubernetes operatori ishga tushadi.
Ushbu operator Open Data Hub loyihasini oʻrnatish, sozlash va hayot aylanishini, jumladan JupyterHub, Ceph, Spark, Kafka, Seldon, Prometey va Grafana kabi yuqorida tilga olingan vositalarni joylashtirishni boshqaradi. Open Data Hub loyihasini OpenShift veb-konsolida, hamjamiyat operatorlari bo'limida topish mumkin. Shunday qilib, OpenShift administratori tegishli OpenShift loyihalari "Ochiq ma'lumotlar markazi loyihasi" sifatida tasniflanishini belgilashi mumkin. Bu bir marta amalga oshiriladi. Shundan so'ng, ma'lumotlar tahlilchisi OpenShift veb-konsoli orqali loyiha maydoniga kiradi va tegishli Kubernetes operatori o'rnatilganligini va uning loyihalari uchun mavjud ekanligini ko'radi. Keyin u bir marta bosish orqali Open Data Hub loyihasi namunasini yaratadi va darhol yuqorida tavsiflangan vositalarga kirish huquqiga ega. Va bularning barchasi yuqori mavjudlik va xatolarga chidamlilik rejimida sozlanishi mumkin.
Agar siz Open Data Hub loyihasini oʻzingiz uchun sinab koʻrmoqchi boʻlsangiz, undan boshlang . Open Data Hub arxitekturasining texnik tafsilotlarini topish mumkin , loyihani ishlab chiqish rejalari - . Kelajakda biz Kubeflow bilan qo'shimcha integratsiyani amalga oshirishni, ma'lumotlarni tartibga solish va xavfsizlik bilan bog'liq bir qator muammolarni hal qilishni, shuningdek, Drools va Optaplanner qoidalariga asoslangan tizimlar bilan integratsiyani tashkil qilishni rejalashtirmoqdamiz. Fikringizni bildiring va loyiha ishtirokchisiga aylaning sahifada mumkin .
Xulosa qilish uchun: Jiddiy masshtablash muammolari tashkilotlarga sun'iy intellekt va mashinani o'rganish imkoniyatlarini to'liq amalga oshirishga to'sqinlik qilmoqda. Red Hat OpenShift dasturiy ta'minot sanoatidagi shunga o'xshash muammolarni hal qilish uchun uzoq vaqtdan beri muvaffaqiyatli ishlatilgan. Ochiq manbalarni ishlab chiqish hamjamiyatida amalga oshirilgan Open Data Hub loyihasi OpenShift gibrid buluti asosida AI/ML operatsiyalarining toʻliq siklini tashkil qilish uchun mos yozuvlar arxitekturasini taklif etadi. Bizda ushbu loyihani rivojlantirish bo‘yicha aniq va puxta o‘ylangan reja bor va biz OpenShift platformasida ochiq AI yechimlarini ishlab chiqish uchun uning atrofida faol va samarali hamjamiyat yaratishga jiddiy yondashamiz.
Manba: www.habr.com