Gələcək gəldi və süni intellekt və maşın öyrənmə texnologiyaları artıq sevimli mağazalarınız, nəqliyyat şirkətləri və hətta hinduşka fermalarında uğurla istifadə olunur.
Və əgər bir şey varsa, o zaman İnternetdə bu barədə bir şey var ... açıq layihə! Open Data Hub sizə yeni texnologiyaların miqyasını genişləndirməyə və tətbiqetmə problemlərindən qaçmağa necə kömək etdiyini görün.
Süni intellektin (AI) və maşın öyrənməsinin (ML) bütün üstünlükləri ilə təşkilatlar tez-tez bu texnologiyaların miqyasını genişləndirməkdə çətinlik çəkirlər. Bu vəziyyətdə əsas problemlər adətən aşağıdakılardır:
- İnformasiya mübadiləsi və əməkdaşlıq – məlumatı səylə mübadilə etmək və sürətli iterasiyalarda əməkdaşlıq etmək demək olar ki, mümkün deyil.
- Dostup к данным – hər bir tapşırıq üçün onu yenidən və əl ilə qurmaq lazımdır ki, bu da çox vaxt aparır.
- Tələb üzrə giriş – maşın öyrənmə vasitələrinə və platformasına, həmçinin hesablama infrastrukturuna tələb üzrə giriş əldə etmək üçün heç bir yol yoxdur.
- İstehsal – modellər prototip mərhələsində qalır və sənaye istifadəsinə gətirilmir.
- AI nəticələrini izləyin və izah edin – AI/ML nəticələrinin təkrarlanması, izlənilməsi və izahı çətindir.
Bu problemlər həll edilmədikdə, qiymətli məlumat alimlərinin sürətinə, səmərəliliyinə və məhsuldarlığına mənfi təsir göstərir. Bu, onların məyusluğuna, işlərində məyus olmasına gətirib çıxarır və nəticədə AI/ML ilə bağlı biznes gözləntiləri puç olur.
Bu problemlərin həlli üçün məsuliyyət İT mütəxəssislərinin üzərinə düşür, onlar məlumat analitiklərini təmin etməlidirlər - bu, bulud kimi bir şeydir. Daha ətraflı desək, bizə seçim azadlığı verən və rahat, asan çıxışı olan platforma lazımdır. Eyni zamanda, o, sürətli, asanlıqla yenidən konfiqurasiya edilə bilən, istəyə görə genişləndirilə bilən və uğursuzluqlara davamlıdır. Belə bir platformanın açıq mənbə texnologiyaları üzərində qurulması satıcıların bağlanmasından qaçmağa və xərclərə nəzarət baxımından uzunmüddətli strateji üstünlüyü qorumağa kömək edir.
Bir neçə il əvvəl, tətbiqlərin inkişafında oxşar bir şey baş verdi və mikroservislərin, hibrid buludların, İT avtomatlaşdırılmasının və çevik proseslərin yaranmasına səbəb oldu. Bütün bunların öhdəsindən gəlmək üçün İT mütəxəssisləri konteynerlərə, Kubernetlərə və açıq hibrid buludlara müraciət ediblər.
Bu təcrübə indi Alın çağırışlarına cavab vermək üçün tətbiq edilir. Buna görə də İT mütəxəssisləri konteyner əsaslı platformalar qurur, çevik proseslər çərçivəsində AI/ML xidmətlərinin yaradılmasına imkan verir, innovasiyaları sürətləndirir və hibrid buludlara diqqət yetirərək qurulur.
Hibrid bulud üçün konteynerləşdirilmiş Kubernetes platformamız olan Red Hat OpenShift ilə belə bir platforma qurmağa başlayacağıq. Bu platforma sürətlə inkişaf edən proqram və aparat ML həllərinin (NVIDIA, H2O.ai, Starburst, PerceptiLabs və s.) malik olduğu ekosistemdir. Red Hat-ın BMW Group, ExxonMobil və başqaları kimi bəzi müştəriləri ML arxitekturasını istehsala gətirmək və məlumat analitiklərinin işini sürətləndirmək üçün platforma və onun ekosisteminə artıq konteynerləşdirilmiş ML alət zəncirləri və DevOps proseslərini yerləşdiriblər.
Open Data Hub layihəsini işə salmağımızın başqa bir səbəbi bir neçə açıq mənbəli proqram layihəsinə əsaslanan arxitektura nümunəsini nümayiş etdirmək və OpenShift platforması əsasında ML həllinin bütün həyat dövrünün necə həyata keçiriləcəyini göstərməkdir.
Açıq Məlumat Mərkəzi Layihəsi
Bu, müvafiq inkişaf icması daxilində hazırlanmış açıq mənbə layihəsidir və OpenShift-də konteynerlər və Kubernetlərdən istifadə edərək AI / ML problemlərini həll edərkən ilkin məlumatların yüklənməsi və dəyişdirilməsindən tutmuş modelin yaradılması, öyrədilməsi və saxlanmasına qədər əməliyyatların tam dövrünü həyata keçirir. platforma. Bu layihə, OpenShift və Tensorflow, JupyterHub, Spark və başqaları kimi əlaqəli açıq mənbə alətlərinə əsaslanan açıq AI/xidmət olaraq ML həllinin necə qurulacağına dair bir nümunə, istinad tətbiqi hesab edilə bilər. Qeyd etmək vacibdir ki, Red Hat özü bu layihəni AI/ML xidmətlərini təmin etmək üçün istifadə edir. Bundan əlavə, OpenShift NVIDIA, Seldon, Starbust və digər təchizatçıların əsas proqram və aparat ML həlləri ilə inteqrasiya edərək öz maşın öyrənmə sistemlərinizi qurmağı və idarə etməyi asanlaşdırır.
Open Data Hub layihəsi istifadəçilərin aşağıdakı kateqoriyalarına və istifadə hallarına yönəlib:
- Özünə xidmət funksiyaları ilə bulud kimi təşkil edilmiş ML layihələrinin həyata keçirilməsi üçün həllə ehtiyacı olan məlumat analitiki.
- Ən son açıq mənbəli AI/ML alətləri və platformalarından maksimum seçimə ehtiyacı olan Data Analitiki.
- Modelləri öyrədərkən məlumat mənbələrinə çıxışa ehtiyacı olan məlumat analitiki.
- Hesablama resurslarına (CPU, GPU, yaddaş) çıxışa ehtiyacı olan məlumat analitiki.
- Həmkarları ilə əməkdaşlıq etmək və işi bölüşmək, rəy almaq və sürətli iterasiyada təkmilləşdirmələr etmək bacarığı tələb edən Data Analitiki.
- ML modellərinin və iş nəticələrinin istehsala keçməsi üçün tərtibatçılarla (və inkişaf edən komandalarla) qarşılıqlı əlaqədə olmaq istəyən məlumat analitiki.
- Tənzimləmə və təhlükəsizlik tələblərinə əməl etməklə, məlumat analitikinə müxtəlif məlumat mənbələrinə girişi təmin etməli olan məlumat mühəndisi.
- Açıq mənbə komponentləri və texnologiyalarının həyat dövrünə (quraşdırma, konfiqurasiya, təkmilləşdirmə) səy olmadan nəzarət etmək qabiliyyətini tələb edən İT sistem administratoru/operatoru. Bizə həmçinin müvafiq idarəetmə və kvota alətləri lazımdır.
Open Data Hub layihəsi AI/ML əməliyyatlarının tam dövrəsini həyata keçirmək üçün bir sıra açıq mənbə alətlərini bir araya gətirir. Jupyter Notebook burada verilənlərin analitikası üçün əsas iş aləti kimi istifadə olunur. Alətlər dəsti bu gün data alimləri arasında çox populyardır və Open Data Hub onlara daxili JupyterHub-dan istifadə edərək Jupyter Notebook iş yerlərini asanlıqla yaratmağa və idarə etməyə imkan verir. Open Data Hub layihəsi Jupyter noutbuklarının yaradılması və idxalı ilə yanaşı, həmçinin süni intellekt kitabxanası formasında bir sıra hazır noutbukları ehtiva edir.
Bu kitabxana, sürətli prototipləşdirməni asanlaşdıran ümumi ssenarilər üçün açıq mənbəli maşın öyrənmə komponentləri və həllər toplusudur. JupyterHub, mövcud OpenShift hesablarından istifadə etməyə və tək girişi həyata keçirməyə imkan verən OpenShift-in RBAC giriş modeli ilə inteqrasiya olunub. Bundan əlavə, JupyterHub spawner adlı istifadəçi dostu istifadəçi interfeysi təklif edir, onun vasitəsilə istifadəçi seçilmiş Jupyter Notebook üçün hesablama resurslarının (CPU nüvələri, yaddaş, GPU) miqdarını asanlıqla konfiqurasiya edə bilər.
Məlumat analitiki noutbuku yaratdıqdan və konfiqurasiya etdikdən sonra onunla bağlı bütün digər narahatlıqlar OpenShift-in bir hissəsi olan Kubernetes planlaşdırıcısı tərəfindən həll edilir. İstifadəçilər yalnız təcrübələrini həyata keçirə, işlərinin nəticələrini saxlaya və paylaşa bilərlər. Bundan əlavə, qabaqcıl istifadəçilər İş və ya Tekton və ya Knative kimi OpenShift funksionallığı kimi Kubernetes primitivlərindən istifadə etmək üçün birbaşa Jupyter noutbuklarından OpenShift CLI qabığına daxil ola bilərlər. Və ya bunun üçün OpenShift-in “OpenShift veb konsolu” adlanan rahat GUI-dən istifadə edə bilərsiniz.
Növbəti mərhələyə keçərək, Open Data Hub məlumat boru kəmərlərini idarə etməyə imkan verir. Bunun üçün S3 uyğun obyekt məlumat yaddaşı kimi təqdim edilən Ceph obyektindən istifadə edilir. Apache Spark xarici mənbələrdən və ya daxili Ceph S3 yaddaşından məlumat axını təmin edir və həmçinin ilkin məlumat transformasiyalarını həyata keçirməyə imkan verir. Apache Kafka məlumat boru kəmərlərinin qabaqcıl idarə edilməsini təmin edir (burada verilənlər bir neçə dəfə yüklənə bilər, həmçinin məlumatların transformasiyası, təhlili və davamlılıq əməliyyatları).
Beləliklə, məlumat analitiki məlumatlara daxil oldu və bir model qurdu. İndi o, əldə etdiyi nəticələri həmkarları və ya proqram tərtibatçıları ilə bölüşmək və onlara xidmət prinsipləri üzrə öz modelini təqdim etmək arzusundadır. Bunun üçün bir nəticə çıxarma serveri tələb olunur və Open Data Hub-da belə bir server var, o, Seldon adlanır və modeli RESTful xidmət kimi dərc etməyə imkan verir.
Müəyyən bir nöqtədə Seldon serverində bir neçə belə model var və onlardan necə istifadə edildiyinə nəzarət etmək lazımdır. Buna nail olmaq üçün Open Data Hub geniş istifadə olunan açıq mənbə monitorinq alətləri Prometheus və Grafana əsasında müvafiq ölçülər toplusunu və hesabat mühərrikini təklif edir. Nəticədə biz AI modellərinin, xüsusən də istehsal mühitində istifadəsinə nəzarət etmək üçün rəy alırıq.
Bu yolla Open Data Hub, məlumat əldə etmək və hazırlamaqdan tutmuş model təlimi və istehsalına qədər bütün AI/ML həyat dövrü boyunca bulud kimi yanaşma təmin edir.
Hamısını birlikdə qoymaq
İndi sual yaranır ki, OpenShift administratoru üçün bütün bunları necə təşkil etmək olar. Açıq Məlumat Hub layihələri üçün xüsusi Kubernetes operatorunun işə girdiyi yer budur.
Bu operator JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus və Grafana kimi yuxarıda qeyd olunan alətlərin tətbiqi də daxil olmaqla Open Data Hub layihəsinin quraşdırılması, konfiqurasiyası və həyat dövrünü idarə edir. Open Data Hub layihəsini OpenShift veb konsolunda, icma operatorları bölməsində tapmaq olar. Beləliklə, OpenShift administratoru müvafiq OpenShift layihələrinin "Open Data Hub layihəsi" kimi təsnif olunduğunu müəyyən edə bilər. Bu bir dəfə edilir. Bundan sonra məlumat analitiki OpenShift veb konsolu vasitəsilə layihə sahəsinə daxil olur və müvafiq Kubernetes operatorunun quraşdırıldığını və layihələri üçün əlçatan olduğunu görür. Sonra o, bir kliklə Open Data Hub layihə nümunəsini yaradır və dərhal yuxarıda təsvir olunan alətlərə çıxış əldə edir. Və bütün bunlar yüksək əlçatanlıq və səhvlərə dözümlülük rejimində konfiqurasiya edilə bilər.
Özünüz üçün Open Data Hub layihəsini sınamaq istəyirsinizsə, ondan başlayın . Open Data Hub arxitekturasının texniki təfərrüatlarını tapa bilərsiniz , layihənin inkişaf planları – . Gələcəkdə biz Kubeflow ilə əlavə inteqrasiya həyata keçirməyi, məlumatların tənzimlənməsi və təhlükəsizliyi ilə bağlı bir sıra problemləri həll etməyi, həmçinin Drools və Optaplanner qaydalara əsaslanan sistemlərlə inteqrasiyanı təşkil etməyi planlaşdırırıq. Fikrinizi bildirin və layihənin iştirakçısı olun səhifəsində mümkündür .
Xülasə: Ciddi miqyaslı problemlər təşkilatlara süni intellekt və maşın öyrənməsinin tam potensialını reallaşdırmağa mane olur. Red Hat OpenShift proqram sənayesində oxşar problemlərin həlli üçün çoxdan uğurla istifadə olunur. Açıq mənbə inkişaf etdirmə icması çərçivəsində həyata keçirilən Open Data Hub layihəsi OpenShift hibrid buluduna əsaslanan AI/ML əməliyyatlarının tam dövrəsini təşkil etmək üçün istinad arxitekturasını təklif edir. Bu layihənin inkişafı üçün aydın və düşünülmüş planımız var və biz OpenShift platformasında açıq süni intellekt həllərinin hazırlanması üçün onun ətrafında fəal və məhsuldar icma yaratmağa ciddi yanaşırıq.
Mənbə: www.habr.com