Open Data Hub პროექტი არის ღია მანქანათმცოდნეობის პლატფორმა, რომელიც დაფუძნებულია Red Hat OpenShift-ზე

მომავალი მოვიდა და ხელოვნური ინტელექტისა და მანქანათმცოდნეობის ტექნოლოგიებს უკვე წარმატებით იყენებენ თქვენი საყვარელი მაღაზიები, სატრანსპორტო კომპანიები და ინდაურის ფერმებიც კი.

და თუ რამე არსებობს, მაშინ უკვე არის ამის შესახებ ინტერნეტში... ღია პროექტი! ნახეთ, როგორ გეხმარებათ Open Data Hub ახალი ტექნოლოგიების მასშტაბირებაში და დანერგვის გამოწვევების თავიდან აცილებაში.

ხელოვნური ინტელექტის (AI) და მანქანათმცოდნეობის (ML) ყველა უპირატესობით, ორგანიზაციებს ხშირად უჭირთ ამ ტექნოლოგიების მასშტაბირება. ამ შემთხვევაში ძირითადი პრობლემები, როგორც წესი, შემდეგია:

• ინფორმაციის გაცვლა და თანამშრომლობა - თითქმის შეუძლებელია ინფორმაციის უპრობლემოდ გაცვლა და სწრაფ გამეორებებში თანამშრომლობა.
• მონაცემთა წვდომა – თითოეული ამოცანისთვის საჭიროა მისი ხელახლა და ხელით აშენება, რასაც დიდი დრო სჭირდება.
• წვდომა მოთხოვნით – მოთხოვნილ წვდომის საშუალება არ არსებობს მანქანათმცოდნეობის ინსტრუმენტებზე და პლატფორმაზე, ისევე როგორც გამოთვლით ინფრასტრუქტურაზე.
• წარმოება – მოდელები რჩება პროტოტიპის ეტაპზე და არ არის მიყვანილი სამრეწველო გამოყენებაში.
• თვალყური ადევნეთ და ახსენით AI შედეგები – AI/ML შედეგების განმეორებადობა, თვალყურის დევნება და ახსნა რთულია.

გადაუჭრელი, ეს პრობლემები უარყოფითად აისახება ღირებული მონაცემთა მეცნიერების სიჩქარეზე, ეფექტურობასა და პროდუქტიულობაზე. ეს იწვევს მათ იმედგაცრუებას, იმედგაცრუებას სამუშაოში და, შედეგად, ბიზნესის მოლოდინები AI/ML-თან დაკავშირებით ფუჭდება.

ამ პრობლემების გადაჭრაზე პასუხისმგებლობა ეკისრება IT სპეციალისტებს, რომლებმაც უნდა მიაწოდონ მონაცემთა ანალიტიკოსები - ეს მართალია, რაღაც ღრუბლის მსგავსი. უფრო დეტალურად, ჩვენ გვჭირდება პლატფორმა, რომელიც იძლევა არჩევანის თავისუფლებას და აქვს მოსახერხებელი, მარტივი წვდომა. ამავდროულად, ის არის სწრაფი, ადვილად კონფიგურირებადი, მასშტაბირებადი მოთხოვნით და მდგრადია წარუმატებლობის მიმართ. ღია კოდის ტექნოლოგიებზე ასეთი პლატფორმის აგება ხელს უწყობს გამყიდველის ჩაკეტვის თავიდან აცილებას და ხარჯების კონტროლის თვალსაზრისით გრძელვადიანი სტრატეგიული უპირატესობის შენარჩუნებას.

რამდენიმე წლის წინ მსგავსი რამ ხდებოდა აპლიკაციების შემუშავებაში და გამოიწვია მიკროსერვისების, ჰიბრიდული ღრუბლების, IT ავტომატიზაციისა და სწრაფი პროცესების გაჩენა. ამ ყველაფერთან გასამკლავებლად IT პროფესიონალებმა მიმართეს კონტეინერებს, კუბერნეტებს და ღია ჰიბრიდულ ღრუბლებს.

ეს გამოცდილება ახლა გამოიყენება ალ-ის გამოწვევებზე პასუხის გასაცემად. სწორედ ამიტომ, IT პროფესიონალები აშენებენ პლატფორმებს, რომლებიც კონტეინერზეა დაფუძნებული, საშუალებას აძლევს შექმნას AI/ML სერვისები სწრაფი პროცესების ფარგლებში, აჩქარებს ინოვაციას და აგებულია ჰიბრიდული ღრუბლისკენ.

ჩვენ დავიწყებთ ასეთი პლატფორმის შექმნას Red Hat OpenShift-ით, ჩვენი კონტეინერიზებული Kubernetes პლატფორმით ჰიბრიდული ღრუბლისთვის, რომელსაც აქვს პროგრამული და აპარატურის ML გადაწყვეტილებების სწრაფად მზარდი ეკოსისტემა (NVIDIA, H2O.ai, Starburst, PerceptiLabs და ა.შ.). Red Hat-ის ზოგიერთმა მომხმარებელმა, როგორიცაა BMW Group, ExxonMobil და სხვები, უკვე განათავსეს კონტეინერიზებული ML ხელსაწყოების ჯაჭვები და DevOps პროცესები პლატფორმისა და მისი ეკოსისტემის თავზე, რათა მათი ML არქიტექტურები წარმოებამდე მიიყვანონ და დააჩქარონ მონაცემთა ანალიტიკოსების მუშაობა.

კიდევ ერთი მიზეზი, რის გამოც ჩვენ დავიწყეთ Open Data Hub პროექტი, არის არქიტექტურის მაგალითის დემონსტრირება, რომელიც დაფუძნებულია რამდენიმე ღია კოდის პროგრამულ პროექტზე და ვაჩვენოთ, თუ როგორ უნდა განხორციელდეს ML გადაწყვეტის მთელი სასიცოცხლო ციკლი, რომელიც დაფუძნებულია OpenShift პლატფორმაზე.

გახსენით მონაცემთა ჰაბ პროექტი

ეს არის ღია კოდის პროექტი, რომელიც შემუშავებულია განვითარების შესაბამის საზოგადოებაში და ახორციელებს ოპერაციების სრულ ციკლს - საწყისი მონაცემების ჩატვირთვიდან და ტრანსფორმაციიდან მოდელის გენერირებამდე, სწავლებასა და შენარჩუნებამდე - AI / ML პრობლემების გადაჭრისას კონტეინერების და Kubernetes-ის გამოყენებით OpenShift-ზე. პლატფორმა. ეს პროექტი შეიძლება ჩაითვალოს საცნობარო იმპლემენტაციად, მაგალითად, თუ როგორ უნდა ავაშენოთ ღია AI/ML-as-a-service გადაწყვეტა OpenShift-ზე და მასთან დაკავშირებულ ღია კოდის ინსტრუმენტებზე, როგორიცაა Tensorflow, JupyterHub, Spark და სხვა. მნიშვნელოვანია აღინიშნოს, რომ თავად Red Hat იყენებს ამ პროექტს თავისი AI/ML სერვისების უზრუნველსაყოფად. გარდა ამისა, OpenShift ინტეგრირდება NVIDIA-ს, Seldon-ის, Starbust-ისა და სხვა მომწოდებლების ძირითადი პროგრამული უზრუნველყოფისა და აპარატურის ML გადაწყვეტილებებთან, რაც აადვილებს საკუთარი მანქანური სწავლების სისტემების შექმნას და გაშვებას.

Open Data Hub პროექტი ორიენტირებულია მომხმარებელთა შემდეგ კატეგორიებზე და გამოყენების შემთხვევებზე:

• მონაცემთა ანალიტიკოსი, რომელსაც სჭირდება გადაწყვეტა ML პროექტების განსახორციელებლად, ორგანიზებული ღრუბელივით თვითმომსახურების ფუნქციებით.
• მონაცემთა ანალიტიკოსი, რომელსაც სჭირდება მაქსიმალური არჩევანი უახლესი ღია AI/ML ინსტრუმენტებიდან და პლატფორმებიდან.
• მონაცემთა ანალიტიკოსი, რომელსაც სჭირდება მონაცემთა წყაროებზე წვდომა მოდელების მომზადებისას.
• მონაცემთა ანალიტიკოსი, რომელსაც სჭირდება წვდომა გამოთვლით რესურსებზე (CPU, GPU, მეხსიერება).
• მონაცემთა ანალიტიკოსი, რომელიც მოითხოვს კოლეგებთან თანამშრომლობისა და სამუშაოს გაზიარების უნარს, მიიღოს უკუკავშირი და გააუმჯობესოს სწრაფი გამეორება.
• მონაცემთა ანალიტიკოსი, რომელსაც სურს ურთიერთქმედება დეველოპერებთან (და აწარმოებს გუნდებს) ისე, რომ მისი ML მოდელები და სამუშაო შედეგები გადავიდეს წარმოებაში.
• მონაცემთა ინჟინერი, რომელსაც სჭირდება მონაცემთა ანალიტიკოსისთვის წვდომა მონაცემთა მრავალფეროვან წყაროზე, მარეგულირებელი და უსაფრთხოების მოთხოვნების დაცვით.
• IT სისტემის ადმინისტრატორი/ოპერატორი, რომელიც მოითხოვს ღია კოდის კომპონენტებისა და ტექნოლოგიების სასიცოცხლო ციკლის (ინსტალაცია, კონფიგურაცია, განახლება) ძალისხმევის გარეშე კონტროლის უნარს. ჩვენ ასევე გვჭირდება შესაბამისი მართვისა და კვოტირების ინსტრუმენტები.

Open Data Hub პროექტი აერთიანებს ღია კოდის ინსტრუმენტების მთელ რიგს AI/ML ოპერაციების სრული ციკლის განსახორციელებლად. Jupyter Notebook აქ გამოიყენება, როგორც ძირითადი სამუშაო ინსტრუმენტი მონაცემთა ანალიტიკისთვის. ინსტრუმენტთა ნაკრები დღეს ფართო პოპულარობით სარგებლობს მონაცემთა მეცნიერთა შორის და Open Data Hub საშუალებას აძლევს მათ მარტივად შექმნან და მართონ Jupyter Notebook სამუშაო სივრცეები ჩაშენებული JupyterHub-ის გამოყენებით. იუპიტერის ნოუთბუქების შექმნისა და იმპორტის გარდა, Open Data Hub პროექტი ასევე შეიცავს მზა ნოუთბუქებს AI ბიბლიოთეკის სახით.

ეს ბიბლიოთეკა არის ღია კოდის მანქანური სწავლების კომპონენტებისა და გადაწყვეტილებების კოლექცია საერთო სცენარებისთვის, რომლებიც ამარტივებს სწრაფ პროტოტიპებს. JupyterHub ინტეგრირებულია OpenShift-ის RBAC წვდომის მოდელთან, რომელიც საშუალებას გაძლევთ გამოიყენოთ არსებული OpenShift ანგარიშები და განახორციელოთ ერთიანი შესვლა. გარდა ამისა, JupyterHub გთავაზობთ მოსახერხებელი მომხმარებლის ინტერფეისს სახელწოდებით spawner, რომლის მეშვეობითაც მომხმარებელს შეუძლია მარტივად დააკონფიგურიროს გამოთვლითი რესურსების რაოდენობა (CPU ბირთვები, მეხსიერება, GPU) შერჩეული Jupyter Notebook-ისთვის.

მას შემდეგ, რაც მონაცემთა ანალიტიკოსი ქმნის და დააკონფიგურირებს ლეპტოპს, მასზე ყველა სხვა პრობლემაზე ზრუნავს Kubernetes-ის განრიგი, რომელიც არის OpenShift-ის ნაწილი. მომხმარებლებს შეუძლიათ მხოლოდ თავიანთი ექსპერიმენტების ჩატარება, მათი მუშაობის შედეგების შენახვა და გაზიარება. გარდა ამისა, მოწინავე მომხმარებლებს შეუძლიათ პირდაპირ წვდომა OpenShift CLI გარსზე პირდაპირ Jupyter-ის ნოუთბუქებიდან, რათა გამოიყენონ Kubernetes პრიმიტივები, როგორიცაა Job ან OpenShift ფუნქციები, როგორიცაა Tekton ან Knative. ან ამისთვის შეგიძლიათ გამოიყენოთ OpenShift-ის მოსახერხებელი GUI, რომელსაც ეწოდება "OpenShift ვებ კონსოლი".

შემდეგ ეტაპზე გადასვლა, Open Data Hub შესაძლებელს ხდის მონაცემთა მილსადენების მართვას. ამისათვის გამოიყენება Ceph ობიექტი, რომელიც მოცემულია როგორც S3-თან თავსებადი ობიექტის მონაცემთა საცავი. Apache Spark საშუალებას გაძლევთ გადაიტანოთ მონაცემები გარე წყაროებიდან ან ჩაშენებული Ceph S3 საცავიდან, ასევე გაძლევთ საშუალებას შეასრულოთ წინასწარი მონაცემების ტრანსფორმაციები. Apache Kafka უზრუნველყოფს მონაცემთა მილსადენების გაფართოებულ მართვას (სადაც მონაცემთა მრავალჯერ ჩატვირთვა შესაძლებელია, ასევე მონაცემთა ტრანსფორმაცია, ანალიზი და მდგრადი ოპერაციები).

ასე რომ, მონაცემთა ანალიტიკოსმა მიიღო ინფორმაცია და შექმნა მოდელი. ახლა მას აქვს სურვილი, მიღებული შედეგები გაუზიაროს კოლეგებს ან აპლიკაციის შემქმნელებს და მიაწოდოს მათ თავისი მოდელი სერვისის პრინციპებზე. ამისათვის საჭიროა დასკვნების სერვერი და Open Data Hub-ს აქვს ასეთი სერვერი, მას ჰქვია Seldon და გაძლევთ საშუალებას გამოაქვეყნოთ მოდელი, როგორც RESTful სერვისი.

რაღაც მომენტში, Seldon სერვერზე რამდენიმე ასეთი მოდელია და საჭიროა მათი გამოყენების მონიტორინგი. ამის მისაღწევად, Open Data Hub გთავაზობთ შესაბამისი მეტრიკის კოლექციას და საანგარიშო ძრავას, რომელიც დაფუძნებულია ფართოდ გამოყენებულ ღია კოდის მონიტორინგის ინსტრუმენტებზე Prometheus და Grafana. შედეგად, ჩვენ ვიღებთ გამოხმაურებას AI მოდელების გამოყენების მონიტორინგისთვის, განსაკუთრებით საწარმოო გარემოში.

ამგვარად, Open Data Hub უზრუნველყოფს ღრუბლის მსგავს მიდგომას AI/ML სასიცოცხლო ციკლის განმავლობაში, მონაცემთა ხელმისაწვდომობისა და მომზადებიდან დაწყებული მოდელის სწავლებამდე და წარმოებამდე.

აყენებს ყველა ერთად

ახლა ჩნდება კითხვა, თუ როგორ უნდა მოაწყოთ ეს ყველაფერი OpenShift ადმინისტრატორისთვის. და აქ მოქმედებს სპეციალური Kubernetes ოპერატორი Open Data Hub პროექტებისთვის.

ეს ოპერატორი მართავს Open Data Hub-ის პროექტის ინსტალაციას, კონფიგურაციას და სასიცოცხლო ციკლს, მათ შორის ზემოაღნიშნული ხელსაწყოების გამოყენებას, როგორიცაა JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus და Grafana. Open Data Hub პროექტი შეგიძლიათ იხილოთ OpenShift ვებ კონსოლში, საზოგადოების ოპერატორების განყოფილებაში. ამრიგად, OpenShift-ის ადმინისტრატორს შეუძლია დააკონკრეტოს, რომ შესაბამისი OpenShift პროექტები კატეგორიზებულია, როგორც "Open Data Hub პროექტი". ეს კეთდება ერთხელ. ამის შემდეგ, მონაცემთა ანალიტიკოსი შედის თავისი პროექტის სივრცეში OpenShift ვებ კონსოლის მეშვეობით და ხედავს, რომ შესაბამისი Kubernetes ოპერატორი არის დაინსტალირებული და ხელმისაწვდომი მისი პროექტებისთვის. შემდეგ ის ქმნის Open Data Hub პროექტის მაგალითს ერთი დაწკაპუნებით და დაუყოვნებლივ აქვს წვდომა ზემოთ აღწერილ ინსტრუმენტებზე. და ამ ყველაფრის კონფიგურაცია შესაძლებელია მაღალი ხელმისაწვდომობისა და ხარვეზების ტოლერანტობის რეჟიმში.

თუ გსურთ სცადოთ Open Data Hub პროექტი თქვენთვის, დაიწყეთ ინსტალაციის ინსტრუქციები და გაცნობითი გაკვეთილი. Open Data Hub-ის არქიტექტურის ტექნიკური დეტალები შეგიძლიათ იხილოთ აქ, პროექტის განვითარების გეგმები – აქ. სამომავლოდ, ჩვენ ვგეგმავთ Kubeflow-თან დამატებითი ინტეგრაციის განხორციელებას, მონაცემთა რეგულირებისა და უსაფრთხოების არაერთი საკითხის გადაჭრას, ასევე წესების დაფუძნებულ სისტემებთან ინტეგრაციის ორგანიზებას Drools და Optaplanner. გამოხატეთ თქვენი აზრი და გახდით პროექტის მონაწილე გახსენით მონაცემთა ცენტრი შესაძლებელია გვერდზე საზოგადოება.

შეგახსენებთ: მასშტაბის სერიოზული გამოწვევები ხელს უშლის ორგანიზაციებს ხელოვნური ინტელექტისა და მანქანათმცოდნეობის სრული პოტენციალის რეალიზებაში. Red Hat OpenShift უკვე დიდი ხანია წარმატებით გამოიყენება პროგრამული უზრუნველყოფის ინდუსტრიაში მსგავსი პრობლემების გადასაჭრელად. Open Data Hub პროექტი, რომელიც განხორციელებულია ღია კოდის განვითარების საზოგადოებაში, გთავაზობთ საცნობარო არქიტექტურას AI/ML ოპერაციების სრული ციკლის ორგანიზებისთვის OpenShift ჰიბრიდული ღრუბლის საფუძველზე. ჩვენ გვაქვს მკაფიო და გააზრებული გეგმა ამ პროექტის განვითარებისთვის და სერიოზულად ვართ მის ირგვლივ აქტიური და ნაყოფიერი საზოგადოების შესაქმნელად OpenShift პლატფორმაზე ღია AI გადაწყვეტილებების შემუშავებისთვის.

წყარო: www.habr.com