פרויקט Open Data Hub הוא פלטפורמת למידת מכונה פתוחה המבוססת על Red Hat OpenShift

העתיד הגיע, וטכנולוגיות בינה מלאכותית ולמידת מכונה כבר נמצאות בשימוש מוצלח על ידי החנויות האהובות עליך, חברות הובלה ואפילו חוות הודו.

ואם משהו קיים אז כבר יש על זה משהו באינטרנט... פרויקט פתוח! ראה כיצד Open Data Hub עוזר לך להרחיב טכנולוגיות חדשות ולהימנע מאתגרי הטמעה.

עם כל היתרונות של בינה מלאכותית (AI) ולמידת מכונה (ML), ארגונים מתקשים לרוב להרחיב את הטכנולוגיות הללו. הבעיות העיקריות במקרה זה הן בדרך כלל הבאות:

• חילופי מידע ושיתוף פעולה - כמעט בלתי אפשרי להחליף מידע ללא מאמץ ולשתף פעולה באיטרציות מהירות.
• גישה למידע – לכל משימה צריך לבנות אותה מחדש וידני, מה שלוקח הרבה זמן.
• גישה לפי דרישה - אין דרך לקבל גישה לפי דרישה לכלי למידת מכונה ולפלטפורמה, כמו גם לתשתית מחשוב.
• הפקה - דגמים נשארים בשלב אב הטיפוס ואינם מובאים לשימוש תעשייתי.
• עקוב אחר תוצאות בינה מלאכותית והסביר אותן - יכולת שחזור, מעקב והסבר של תוצאות AI/ML קשים.

ללא מענה, בעיות אלה משפיעות לרעה על המהירות, היעילות והפרודוקטיביות של מדעני נתונים יקרי ערך. זה מוביל לתסכול שלהם, לאכזבה מהעבודה שלהם, וכתוצאה מכך, הציפיות העסקיות לגבי AI/ML הולכות ומתבזבזות.

האחריות לפתרון הבעיות הללו נופלת על מומחי IT, שחייבים לספק למנתחי נתונים - זה נכון, משהו כמו הענן. ביתר פירוט, אנו זקוקים לפלטפורמה שנותנת חופש בחירה ובעלת גישה נוחה וקלה. יחד עם זאת, הוא מהיר, ניתן להגדרה מחדש בקלות, ניתן להרחבה לפי דרישה ועמיד בפני כשלים. בניית פלטפורמה כזו על טכנולוגיות קוד פתוח מסייעת למנוע נעילת ספקים ולשמור על יתרון אסטרטגי לטווח ארוך במונחים של בקרת עלויות.

לפני מספר שנים, משהו דומה קרה בפיתוח אפליקציות והוביל להופעת מיקרו-שירותים, עננים היברידיים, אוטומציה של IT ותהליכים זריזים. כדי להתמודד עם כל זה, מומחי IT פנו לקונטיינרים, Kubernetes ועננים היברידיים פתוחים.

הניסיון הזה מיושם כעת כדי לענות על האתגרים של אל. לכן מומחי IT בונים פלטפורמות המבוססות על קונטיינרים, המאפשרות יצירת שירותי AI/ML בתוך תהליכים זריזים, מאיצים חדשנות ונבנות עם עין לעבר הענן ההיברידי.

נתחיל לבנות פלטפורמה כזו עם Red Hat OpenShift, פלטפורמת Kubernetes המכולה שלנו לענן ההיברידי, בעלת מערכת אקולוגית צומחת במהירות של פתרונות ML של תוכנה וחומרה (NVIDIA, H2O.ai, Starburst, PerceptiLabs וכו'). חלק מהלקוחות של Red Hat, כמו BMW Group, ExxonMobil ואחרים, כבר פרסו שרשרת כלים ML ותהליכי DevOps במכולות על גבי הפלטפורמה והאקוסיסטם שלה כדי להביא את ארכיטקטורות ה-ML שלהם לייצור ולהאיץ את עבודתם של מנתחי נתונים.

סיבה נוספת שהשקנו את פרויקט Open Data Hub היא להדגים דוגמה לארכיטקטורה המבוססת על מספר פרויקטי תוכנה בקוד פתוח ולהראות כיצד ליישם את כל מחזור החיים של פתרון ML המבוסס על פלטפורמת OpenShift.

פתח את פרויקט Data Hub

זהו פרויקט קוד פתוח שפותח בתוך קהילת הפיתוח המקבילה ומיישם מחזור פעולות מלא - מטעינה והפיכת נתונים ראשוניים ועד להפקה, הדרכה ותחזוקה של מודל - בעת פתרון בעיות AI/ML באמצעות קונטיינרים ו-Kubernetes ב-OpenShift פּלַטפוֹרמָה. פרויקט זה יכול להיחשב כיישום ייחוס, דוגמה לאופן בניית פתרון AI/ML-as-a-service פתוח המבוסס על OpenShift וכלי קוד פתוח קשורים כגון Tensorflow, JupyterHub, Spark ואחרים. חשוב לציין ש-Red Hat עצמה משתמשת בפרויקט זה כדי לספק את שירותי ה-AI/ML שלה. בנוסף, OpenShift משתלב עם פתרונות ML של תוכנה וחומרה מפתח של NVIDIA, Seldon, Starbust וספקים אחרים, מה שמקל על הבנייה וההפעלה של מערכות למידת מכונה משלך.

פרויקט Open Data Hub מתמקד בקטגוריות הבאות של משתמשים ומקרי שימוש:

• מנתח נתונים הזקוק לפתרון להטמעת פרויקטי ML, מאורגן כמו ענן עם פונקציות בשירות עצמי.
• מנתח נתונים שזקוק לבחירה מקסימלית מכלי ופלטפורמות ה-AI/ML בקוד פתוח העדכניים ביותר.
• מנתח נתונים הזקוק לגישה למקורות נתונים בעת אימון מודלים.
• מנתח נתונים הזקוק לגישה למשאבי מחשוב (CPU, GPU, זיכרון).
• מנתח נתונים הדורש את היכולת לשתף פעולה ולשתף עבודה עם עמיתים, לקבל משוב ולבצע שיפורים באיטרציה מהירה.
• מנתח נתונים שרוצה ליצור אינטראקציה עם מפתחים (ומפתח צוותים) כך שמודלי ה-ML ותוצאות העבודה שלו ייכנסו לייצור.
• מהנדס נתונים שצריך לספק לנתח נתונים גישה למגוון מקורות נתונים תוך עמידה בדרישות הרגולציה והאבטחה.
• מנהל/מפעיל מערכת IT הדורש יכולת לשלוט ללא מאמץ במחזור החיים (התקנה, תצורה, שדרוג) של רכיבים וטכנולוגיות קוד פתוח. אנחנו צריכים גם כלי ניהול ומכסה מתאימים.

פרויקט Open Data Hub מפגיש מגוון של כלים בקוד פתוח ליישום מחזור מלא של פעולות AI/ML. Jupyter Notebook משמש כאן ככלי העבודה העיקרי לניתוח נתונים. ערכת הכלים פופולרית בקרב מדעני נתונים כיום, ו-Open Data Hub מאפשר להם ליצור ולנהל בקלות סביבות עבודה של Jupyter Notebook באמצעות JupyterHub המובנה. בנוסף ליצירה ויבוא של מחברות Jupyter, פרויקט Open Data Hub מכיל גם מספר מחברות מוכנות בצורה של ספריית AI.

ספרייה זו היא אוסף של רכיבי למידת מכונה בקוד פתוח ופתרונות לתרחישים נפוצים המפשטים אב טיפוס מהיר. JupyterHub משולב עם מודל הגישה RBAC של OpenShift, המאפשר לך להשתמש בחשבונות OpenShift קיימים וליישם כניסה יחידה. בנוסף, JupyterHub מציע ממשק משתמש ידידותי בשם spawner, שדרכו המשתמש יכול להגדיר בקלות את כמות משאבי המחשוב (ליבות מעבד, זיכרון, GPU) עבור ה-Jupyter Notebook הנבחר.

לאחר שמנתח הנתונים יוצר ומגדיר את המחשב הנייד, כל שאר החששות לגביו מטופלים על ידי מתזמן Kubernetes, שהוא חלק מ-OpenShift. משתמשים יכולים רק לבצע את הניסויים שלהם, לשמור ולשתף את תוצאות העבודה שלהם. בנוסף, משתמשים מתקדמים יכולים לגשת ישירות למעטפת OpenShift CLI ישירות ממחברות Jupyter כדי למנף את הפרימיטיבים של Kubernetes כגון פונקציונליות Job או OpenShift כגון Tekton או Knative. או בשביל זה אתה יכול להשתמש ב-GUI הנוח של OpenShift, הנקרא "קונסולת האינטרנט של OpenShift".

מעבר לשלב הבא, Open Data Hub מאפשר לנהל צינורות נתונים. לשם כך, נעשה שימוש באובייקט Ceph, המסופק כאחסון נתוני אובייקט תואם S3. Apache Spark מאפשר לך להזרים נתונים ממקורות חיצוניים או אחסון Ceph S3 מובנה, וגם מאפשר לך לבצע טרנספורמציות נתונים ראשוניות. Apache Kafka מספק ניהול מתקדם של צינורות נתונים (שם ניתן לטעון נתונים מספר פעמים, כמו גם פעולות טרנספורמציה, ניתוח והתמדה של נתונים).

אז מנתח הנתונים ניגש לנתונים ובנה מודל. כעת יש לו רצון לחלוק את התוצאות שהושגו עם עמיתים או מפתחי אפליקציות, ולספק להם את המודל שלו על עקרונות השירות. זה דורש שרת מסקנות, ול-Open Data Hub יש שרת כזה, הוא נקרא Seldon ומאפשר לפרסם את המודל כשירות RESTful.

בשלב מסוים, ישנם מספר דגמים כאלה בשרת סלדון, ויש צורך לפקח על אופן השימוש בהם. כדי להשיג זאת, Open Data Hub מציע אוסף של מדדים רלוונטיים ומנוע דיווח המבוסס על כלי ניטור הקוד הפתוח הנפוצים Prometheus ו-Grafana. כתוצאה מכך, אנו מקבלים משוב לניטור השימוש במודלים של AI, במיוחד בסביבת ייצור.

בדרך זו, Open Data Hub מספק גישה דמוית ענן לאורך כל מחזור החיים של AI/ML, מגישה והכנה לנתונים ועד להדרכה וייצור של מודלים.

מחברים את הכל ביחד

כעת נשאלת השאלה כיצד לארגן את כל זה עבור מנהל OpenShift. וכאן נכנס לתמונה מפעיל Kubernetes מיוחד לפרויקטים של Open Data Hub.

מפעיל זה מנהל את ההתקנה, התצורה ומחזור החיים של פרויקט Open Data Hub, כולל פריסת הכלים הנ"ל כגון JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus ו-Grafana. ניתן למצוא את פרויקט Open Data Hub במסוף האינטרנט של OpenShift, בקטע מפעילי הקהילה. לפיכך, מנהל OpenShift יכול לציין שהפרויקטים המתאימים של OpenShift מסווגים כ"פרויקט Open Data Hub". זה נעשה פעם אחת. לאחר מכן, מנתח הנתונים נכנס למרחב הפרויקט שלו דרך קונסולת האינטרנט OpenShift ורואה שהמפעיל המקביל של Kubernetes מותקן וזמין עבור הפרויקטים שלו. לאחר מכן הוא יוצר מופע פרויקט Open Data Hub בלחיצה אחת ומיד יש לו גישה לכלים שתוארו לעיל. וכל זה יכול להיות מוגדר במצב זמינות גבוה וסובלנות תקלות.

אם תרצה לנסות את פרויקט Open Data Hub בעצמך, התחל עם הוראות התקנה והדרכה מבוא. ניתן למצוא פרטים טכניים של ארכיטקטורת Open Data Hub כאן, תוכניות פיתוח פרויקטים - כאן. בעתיד, אנו מתכננים ליישם אינטגרציה נוספת עם Kubeflow, לפתור מספר בעיות עם ויסות נתונים ואבטחה, וכן לארגן אינטגרציה עם מערכות מבוססות כללים Drools ו-Optaplanner. הביעו את דעתכם והפכו למשתתפים בפרויקט פתח את Data Hub אפשרי בעמוד קהילה.

לסיכום: אתגרי קנה מידה רציניים מונעים מארגונים לממש את מלוא הפוטנציאל של בינה מלאכותית ולמידת מכונה. Red Hat OpenShift שימשה זה מכבר בהצלחה לפתרון בעיות דומות בתעשיית התוכנה. פרויקט Open Data Hub, המיושם בתוך קהילת פיתוח הקוד הפתוח, מציע ארכיטקטורת ייחוס לארגון מחזור מלא של פעולות AI/ML המבוססות על הענן ההיברידי של OpenShift. יש לנו תוכנית ברורה ומתחשבת לפיתוח הפרויקט הזה, ואנו רציניים ביצירת קהילה פעילה ופוריה סביבו לפיתוח פתרונות AI פתוחים בפלטפורמת OpenShift.

מקור: www.habr.com