Gelecəyin zamanı gəlib çatdı, süni intellekt və maşın öyrənmə texnologiyaları artıq sevdiyiniz mağazalarda, nəqliyyat şirkətlərində və hətta hind toyuqlarını yetişdirən fermalarda uğurla istifadə olunur.
Əgər bir şey mövcuddursa, bu, internetdə bununla bağlı bir şey olduğu anlamına gəlir... açıq layihə! Açıq Məlumat Mərkəzinin yeni texnologiyaların istifadəsini genişləndirməyə və onların tətbiqində çətinliklərdən qaçmağa necə kömək etdiyini görün.
Süni intellektin (artificial Intelligence, AI) və maşın öyrənmənin (machine learning, ML) bütün üstünlüklərinə baxmayaraq, təşkilatların bu texnologiyaları genişləndirməkdə tez-tez çətinlikləri olur. Bu baxımdan əsas problemlər adətən bunlardır:
- Məlumat mübadiləsi və əməkdaşlıq – məlumat mübadiləsi aparmaq və sürətli iterasiyalarda əməkdaşlıq etmək demək olar ki, mümkün deyil.
- Məlumatlara giriş – hər bir vəzifə üçün onu yenidən qurmaq və əl ilə etmək lazımdır ki, bu da çox vaxt aparır.
- Tələbə əsaslanan giriş – maşın öyrənmə alətlərinə və platformasına, eləcə də hesablama infrastrukturuna tələbə əsaslanan giriş əldə etmək imkanı yoxdur.
- İstehsal – modellər prototip mərhələsində qalır və istehsala keçmir.
- AI-nin nəticələrinin izlenməsi və izahı – AI/ML-nin nəticələrinin bərpası, izlenməsi və izahı çətindir.
Bu problemlər həll olunmadan qaldığı zaman, məlumatların işlənməsi və analizi üzrə dəyərli mütəxəssislərin sürətinə, səmərəliliyinə və məhsuldarlığına mənfi təsir göstərir. Bu, onların məyus olması, işlərindən imtina etməsi və nəticədə biznesin AI/ML-ə olan gözləntilərinin boşa çıxması ilə nəticələnir.
Bu problemləri həll etmək məsuliyyəti IT mütəxəssislərinin üzərinə düşür, onlar data analitiklərinə doğru, yəni, cloud kimi bir şey təqdim etməlidirlər. Əlavə olaraq, belə bir platforma lazımdır ki, seçim azadlığı versin və istifadəsi rahat və sadə olsun. Həmçinin, o, sürətli, asan yenidən quraşdırıla bilən, tələbə əsaslanaraq genişlənə bilən və qeyri-sabitliklərə qarşı dözümlü olmalıdır. Açıq kod texnologiyaları üzərində bu tip bir platformanın qurulması, satıcıdan asılılığa düşməməyə və xərclərin nəzarətində uzunmüddətli strateji üstünlüyü qorumağa kömək edir.
Bir neçə il əvvəl, bununla bağlı tətbiqetmə inşasında baş verənlər, mikroservislərin, hibrid bulud mühitlərinin, IT avtomatlaşdırmasının və agile proseslərin ortaya çıxmasına səbəb oldu. Bütün bunları idarə etmək üçün IT mütəxəssisləri konteynerlər, Kubernetes və açıq hibrid buludlardan istifadə etməyə başladılar.
İndi bu təcrübə Al çağırışlarına cavab vermək üçün tətbiq olunur. Bu səbəbdən, IT mütəxəssisləri konteynerlərə əsaslanan və agile proseslər çərçivəsində AI/ML xidmətləri yaradılmasına imkan verən platformalar yaradır, innovasiyaları sürətləndirir və hibrid bulud nəzərə alınaraq qurulurlar.
Bu cür bir platformanın inşasına Red Hat OpenShift ilə başlayacağıq, bu, hibrid bulud üçün bizim konteyner əsaslı Kubernetes platformamızdır və burada sürətlə böyüyən proqram və hardware ML həlləri ekosistemi mövcuddur (NVIDIA, H2O.ai, Starburst, PerceptiLabs və s.). Red Hat-ın BMW Group, ExxonMobil və digər müştəriləri artıq bu platforma və onun ekosistemi əsasında konteynerləşdirilmiş ML alət zəncirləri və DevOps proseslərini tətbiq edərək, ML arxitekturalarını istehsal vəziyyətinə gətirib, məlumat analitiklərinin işini sürətləndirmişdir.
Open Data Hub layihəsini başlatmağımızın bir başqa səbəbi, bir sıra açıq mənbə (SPO) layihələrinin əsasını göstərmək və OpenShift platforması ilə ML həllinin bütün yaşam dövrünü necə reallaşdırmağı nümayiş etdirməkdir.
Open Data Hub Layihəsi
Bu, açıq mənbə olan bir layihədir ki, müvafiq inkişaf icması çərçivəsində inkişaf etdirilir və bütün əməliyyat dövrünü həyata keçirir – ilkin verilənlərin yüklənməsindən və çevrilməsindən tutmuş, modelin formalaşması, öyrədilməsi və dəstəklənməsinə qədər – konteynerlər və Kubernetes istifadə edərək AI/ML ilə bağlı məsələləri həll etməyə yönəlir. Bu layihəni OpenShift və Tensorflow, JupyterHub, Spark və digər açıq mənbə alətləri əsasında 'AI/ML xidmət olaraq' açıq bir həllin necə yaradılmasına dair standart bir tətbiq halında görmək olar. Qeyd etmək lazımdır ki, Red Hat bu layihəni öz AI/ML xidmətlərini təqdim etmək üçün istifadə edir. Bununla yanaşı, OpenShift, NVIDIA, Seldon, Starburst və digər provayderlərin əsas proqram və hardware ML həlləri ilə inteqrasiya olunur ki, bu da öz maşın öyrənmə sistemlərinizi qurmağı və işə salmağı asanlaşdırır.
Open Data Hub layihəsi aşağıdakı istifadəçi kateqoriyalarına və istifadəyə yönəlmiş senarilərə diqqət edir:
- ML layihələrinin həyata keçirilməsi üçün özünə xidmət funksiyaları ilə bulud tipli bir həllə ehtiyacı olan məlumat analitiki.
- Ən son açıq mənbə AI/ML alətləri və platformalarında maksimum seçimə ehtiyacı olan məlumat analitiki.
- Model öyrənmə zamanı verilənlər mənbələrinə daxil olmaq üçün ehtiyacı olan məlumat analitiki.
- Hesablama resurslarına (CPU, GPU, yaddaş) daxil olmaq üçün ehtiyacı olan məlumat analitiki.
- İş nəticələrini həmkarları ilə paylaşmağı, geribildirim almağı və sürətli iterasiyalarla təkmilləşdirməyi tələb edən məlumat analitiki.
- ML modelləri və iş nəticələrinin istehsala gəlməsi üçün inkişaf etdiricilərlə (və devops komandaları ilə) qarşılıqlı əlaqə qurmağı istəyən məlumat analitiki.
- Məlumat analitikinə müxtəlif məlumat mənbələrinə çıxış imkanı təqdim etməyə ehtiyacı olan məlumat mühəndisi, təhlükəsizlik normaları və tələblərinə riayət etməklə.
- İT sistemləri üzrə administrator/operator, açıq mənbə texnologiyalarının və komponentlərinin yaşam dövrünü (quraşdırma, konfiqurasiya, yeniləmə) asanlıqla nəzarət etməyə imkan verən birinə ehtiyac duyur. Həmçinin müvafiq idarəetmə və kvotalaşdırma alətlərinə də ehtiyac var.
Open Data Hub layihəsi, AI/ML əməliyyatlarının tam dövrünü həyata keçirmək üçün bir sıra açıq mənbə alətlərini bir araya gətirir. Burada məlumat analitikləri üçün əsas iş aləti Jupyter Notebook-dur. Bu alətcə, məlumatların işlənməsi və analizi üzrə mütəxəssislər arasında geniş populyarlıq qazanmışdır və Open Data Hub istifadəçilərə daxili JupyterHub-dan istifadə edərək Jupyter Notebook iş sahələrini asanlıqla yaratmaq və idarə etmək imkanı verir. Jupyter notebooks yaratmaq və idxal etməkdən başqa, Open Data Hub layihəsi, AI Library kitabxanası şəklində artıq hazır olan bir sıra notebooks da təqdim edir.
Bu kitabxana, sürətli prototipləşdirməyə imkan verən maşın öyrənməsi üçün açıq mənbə komponentlərinin və standart senarilərin bir kollektsiyasıdır. JupyterHub, mövcud OpenShift hesablarını istifadə etməyə imkan verən RBAC giriş modelinə inteqrasiya olunmuşdur və bu, sistemə birləşməni təmin edir. Bundan əlavə, JupyterHub, istifadəçiyə seçilmiş Jupyter Notebook üçün hesablama resurslarının (prosesor nüvələri, yaddaş, GPU) həcmini asanlıqla tənzimləməyə imkan verən spawner adlı istifadəçi interfeysi təqdim edir.
Məlumat analitikləri notebook yaradıb konfiqurasiya etdikdən sonra, bütün digər məsələlər Kubernetes planlayıcısı tərəfindən, OpenShift-in bir hissəsi olan planlayıcı tərəfindən idarə olunur. İstifadəçilərin təkcə öz təcrübələrini yerinə yetirmələri, işlərinin nəticələrini saxlamaları və paylaşmaları qalır. Bundan əlavə, irəliləmiş istifadəçilər, Jupyter notebooks-dan birbaşa OpenShift CLI qabığına müraciət edərək Kubernetes primitivlərindən, məsələn, Job-dan, və ya OpenShift funksionallığından, məsələn, Tekton və ya Knative-dən istifadə edə bilərlər. Həmçinin, bu məqsədlə 'OpenShift veb konsolu' adlanan istifadəsi rahat olan OpenShift GUI-ni də istifadə edə bilərlər.
Növbəti mərhələyə keçərkən, Open Data Hub məlumat konveyerlərini (data pipelines) idarə etməyə imkan verir. Bunun üçün S3 uyğun olan obyekt saxlama sistemində təqdim edilən Ceph obyekti istifadə olunur. Apache Spark xarici mənbələrdən və ya daxili Ceph S3 saxlama sistemindən məlumatların axınına imkan tanıyır və data transformasiyalarını həyata keçirir. Apache Kafka genişləndirilmiş məlumat konveyerlərinin idarə olunmasını təmin edir (hansında bir neçə yükləmə, eləcə də transformasiya, analiz və məlumatların saxlanması əməliyyatları həyata keçirilə bilər).
Beləliklə, data analitik məlumatlara daxil olub model qurdu. İndi o, əldə olunan nəticələri həmkarları və ya tətbiq inkişaf etdiriciləri ilə bölüşmək istəyir, bunun üçün onlara xidmət prinsiplərinə əsaslanan modelini təqdim etməlidir. Bunun üçün çıxış serveri lazımdır və Open Data Hub-da belə bir server var, adı Seldon-dur və modeli RESTful xidmət kimi yayımlamağa imkan verir.
Bir anda Seldon serverində bu tip modellər bir neçə olur və onların necə istifadə olunduğunu izləmək ehtiyacı yaranır. Bu məqsədlə Open Data Hub, geniş şəkildə yayılmış Açıq Kodla Monitorinq Alətləri olan Prometheus və Grafana əsasında müvafiq metriklər toplusu və hesabat mühərriki təklif edir. Nəticədə, AI modellərindən istifadənin monitorinqi üçün geribildirim alırıq, xüsusilə istehsal mühitində.
Beləliklə, Open Data Hub AI/ML əməliyyat dövrü boyunca bulud bənzər yanaşma təmin edir, məlumatlara giriş və hazırlıqdan modelin öyrədilməsi və istehsal dövrünə qədər.
Hamısını bir araya gətiririk
İndi sual yaranır, bütün bunları OpenShift administratoru necə təşkil etməlidir. Burada Open Data Hub layihələri üçün xüsusi Kubernetes operatoru devreye girir.
Bu operator Open Data Hub layihəsinin quraşdırılması, konfiqurasiyası və həyat dövrünü idarə edir, yuxarıda qeyd olunan JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus və Grafana kimi alətlərin yerləşdirilməsini də əhatə edir. Open Data Hub layihəsini OpenShift veb konsolunda, community-operatorlar bölməsində tapa bilərsiniz. Beləliklə, OpenShift administratoru соответствующий OpenShift layihələrinin "Open Data Hub layihəsi" kateqoriyasına aid olduğunu göstərə bilər. Bu, bir dəfə edilir. Ardınca, data analitik veb konsol vasitəsilə OpenShift-də öz layihə sahəsinə daxil olur və onun layihələri üçün müvafiq Kubernetes operatorunun quraşdırıldığını və mövcud olduğunu görür. Sonra o, bir kliklə Open Data Hub layihəsinin nümunəsini yaradır və dərhal yuxarıda təsvir olunan alətlərə girişi əldə edir. Və bütün bunları yüksək əlçatanlıq və dayanıqlıq rejimlərində tənzimləmək mümkündür.
Open Data Hub layihəsini öz əllərinizlə sınamaq istəyirsinizsə, başlayın . Open Data Hub arxitekturasının texniki detallarını tapa bilərsiniz , layihənin inkişaf planları – . Gələcəkdə Kubeflow ilə əlavə inteqrasiya həyata keçirmək, məlumatların tənzimlənməsi və təhlükəsizliyi ilə bağlı bir sıra məsələləri həll etmək, eləcə də Drools və Optaplanner əsaslı sistemlərlə inteqrasiya təşkil etmək planlaşdırılır. Fikrinizi bildirmək və layihənin iştirakçısı olmaq istəyirsinizsə səhifəmizdə .
Yekunlaşdıraraq deyə bilərik ki, ciddi genişlənmə problemləri təşkilatların süni intellekt və maşın öyrənmə potensialını tam istifadə etməsinə mane olur. Red Hat OpenShift uzun müddətdir ki, proqram təminatı sənayesində oxşar problemləri həll etmək üçün uğurla istifadə edilir. Açıq kodlu inkişaf icması çərçivəsində həyata keçirilən Open Data Hub layihəsi, OpenShift hibrid buludunda AI/ML əməliyyatlarının tam dövrünü təşkil etmək üçün nümunəvi arxitektura təklif edir. Bizim bu layihənin inkişafı üçün aydın və düşünülmüş bir planımız var və biz OpenShift platformasında açıq AI həllərinin inkişafı üçün aktiv və məhsuldar bir icma yaratmaq niyyətindəyik.
Mənbə: habr.com
