InterSystems IRIS - פלטפורמת AI/ML אוניברסלית בזמן אמת

מחבר: סרגיי לוקיאנצ'יקוב, מהנדס יועץ ב-InterSystems

שיחות מחשוב AI/ML בזמן אמת

נתחיל עם דוגמאות מהניסיון של תרגול מדעי הנתונים ב-InterSystems:

• פורטל הקונים הנטען מחובר למערכת המלצות מקוונת. יהיה ארגון מחדש של מבצעים ברחבי הרשת הקמעונאית (לדוגמה, במקום קו "שטוח" של מבצעים, כעת ייעשה שימוש במטריצת "פלחים-טקטיקות"). מה קורה למנועי המלצות? מה קורה עם הגשת ועדכון הנתונים למנוע ההמלצות (נפח נתוני הקלט גדל פי 25000)? מה קורה לפיתוח ההמלצות (הצורך להפחית פי אלף את סף הסינון של כללי ההמלצה עקב עלייה של פי אלף במספר וב"טווח" שלהן)?
• קיימת מערכת לניטור הסבירות להיווצרות ליקויים ברכיבי ציוד. למערכת הניטור חוברה מערכת בקרת תהליכים אוטומטית, המשדרת אלפי פרמטרים טכנולוגיים של תהליך בכל שנייה. מה קורה למערכת הניטור שעבדה בעבר על "דגימות ידניות" (האם היא מסוגלת לספק ניטור הסתברות שנייה אחר שנייה)? מה יקרה אם יופיע בלוק חדש של כמה מאות עמודות בנתוני הקלט עם קריאות מחיישנים שנוספו לאחרונה למערכת בקרת התהליך (האם יהיה צורך ולכמה זמן לעצור את מערכת הניטור כדי לכלול נתונים מחיישנים חדשים בניתוח )?
• נוצרה קבוצה של מנגנוני AI/ML (המלצה, ניטור, חיזוי) המשתמשים בתוצאות עבודתו של זה. כמה שעות עבודה נדרשות מדי חודש כדי להתאים את פעולת המתחם הזה לשינויים בנתוני הקלט? מהי ה"האטה" הכללית כאשר היא נתמכת על ידי תסביך קבלת ההחלטות ההנהלה (תדירות התרחשות מידע תומך חדש בו ביחס לתדירות התרחשות נתוני קלט חדשים)?

בסיכום דוגמאות אלו ורבות אחרות, הגענו לניסוח האתגרים המתעוררים כאשר עוברים לשימוש במנגנוני למידת מכונה ובינה מלאכותית בזמן אמת:

• האם אנו מרוצים ממהירות היצירה וההתאמה (למצב המשתנה) של פיתוחי AI/ML בחברה שלנו?
• עד כמה פתרונות ה-AI/ML שבהם אנו משתמשים תומכים בניהול עסקי בזמן אמת?
• האם פתרונות ה-AI/ML שבהם אנו משתמשים מסוגלים להסתגל באופן עצמאי (ללא מפתחים) לשינויים בנתונים ובנהלי ניהול עסקי?

המאמר שלנו הוא סקירה יסודית של היכולות של פלטפורמת InterSystems IRIS במונחים של תמיכה אוניברסלית בפריסה של מנגנוני AI/ML, הרכבה (אינטגרציה) של פתרונות AI/ML והדרכה (בדיקות) של פתרונות AI/ML על אינטנסיביות זרמי נתונים. במאמר זה נסתכל על מחקרי שוק, מקרי מקרה של פתרונות AI/ML והיבטים רעיוניים של מה שאנו מכנים פלטפורמת AI/ML בזמן אמת.

מה שאנחנו יודעים מסקרים: יישומים בזמן אמת

ממצאים סקרשנערך בקרב כמעט 800 מומחי IT בשנת 2019 על ידי Lightbend, מדברים בעד עצמם:

איור 1 צרכנים מובילים של נתונים בזמן אמת

הבה נצטט קטעים חשובים מהדוח על תוצאות הסקר הזה בתרגום שלנו:

"... מגמות בפופולריות של כלים לשילוב זרמי נתונים ובמקביל, תמיכה במחשוב בקונטיינרים מספקות מענה סינרגטי לבקשת השוק להצעה יותר מגיבה, רציונלית ודינאמית של פתרונות יעילים. הזרמת נתונים מעבירה מידע מהר יותר מנתוני מנות מסורתיים. לכך מתווספת היכולת ליישם במהירות שיטות חישוביות, כמו למשל, המלצות מבוססות AI/ML, יצירת יתרונות תחרותיים באמצעות הגברת שביעות רצון הלקוחות. המירוץ אחר הזריזות משפיע גם על כל התפקידים בפרדיגמת DevOps - מה שהופך את הפיתוח והפריסה של יישומים ליעילים יותר. ... שמונה מאות וארבעה מומחי IT סיפקו מידע על השימוש בזרימות נתונים בארגונים שלהם. המרואיינים היו ממוקמים בעיקר במדינות מערביות (41% באירופה ו-37% בצפון אמריקה) וחולקו כמעט באופן שווה בין חברות קטנות, בינוניות וגדולות. ...

... בינה מלאכותית היא לא הייפ. XNUMX אחוזים מאלה שכבר משתמשים בעיבוד זרם נתונים ביישומי AI/ML פרודוקטיביים מאשרים שהשימוש שלהם ב-AI/ML יראה את הצמיחה הגדולה ביותר בשנה הבאה (בהשוואה ליישומים אחרים).

• על פי רוב המשיבים, השימוש בזרמי נתונים בתרחישי AI/ML יראה את הצמיחה הגדולה ביותר בשנה הבאה.
• יישומים ב-AI/ML יגדלו לא רק בגלל סוגים חדשים יחסית של תרחישים, אלא גם בגלל תרחישים מסורתיים שבהם נעשה שימוש הולך וגובר בנתונים בזמן אמת.
• בנוסף ל-AI/ML, רמת ההתלהבות בקרב המשתמשים ב-IoT data pipelines מרשימה - 48% מאלה שכבר שילבו נתוני IoT אומרים שיישום תרחישים על נתונים אלו יראה עלייה משמעותית בעתיד הקרוב. ..."

מהסקר המעניין למדי הזה, ברור שתפיסת תרחישי למידת מכונה ובינה מלאכותית כמובילים בצריכת זרמי נתונים כבר "בדרך". אבל תצפית חשובה לא פחות היא התפיסה של AI/ML בזמן אמת דרך עדשת ה-DevOps: כאן אנחנו כבר יכולים להתחיל לדבר על הטרנספורמציה של התרבות הדומיננטית עדיין של "AI/ML חד פעמי עם מערך נתונים נגיש לחלוטין".

קונספט פלטפורמת AI/ML בזמן אמת

אזור יישום טיפוסי אחד עבור AI/ML בזמן אמת הוא בקרת תהליכים בייצור. בעזרת הדוגמה שלה ובהתחשב במחשבות קודמות, נגבש את הרעיון של פלטפורמת AI/ML בזמן אמת.
לשימוש בבינה מלאכותית ולמידת מכונה בבקרת תהליכים יש מספר תכונות:

• נתונים על מצב התהליך הטכנולוגי מתקבלים באופן אינטנסיבי: בתדירות גבוהה ולמגוון רחב של פרמטרים (עד עשרות אלפי ערכי פרמטרים המשודרים בשנייה ממערכת בקרת התהליך)
• נתונים על זיהוי ליקויים, שלא לדבר על נתונים על התפתחותם, להיפך, הם נדירים ואינם סדירים, מאופיינים באי אפיון מספק של פגמים ולוקליזציה שלהם בזמן (מיוצג לרוב על ידי רישומי נייר)
• מנקודת מבט מעשית, רק "חלון רלוונטי" של נתוני המקור זמין להדרכה ויישום מודלים, המשקף את הדינמיקה של התהליך הטכנולוגי על פני מרווח הזזה סביר המסתיים בערכי הקריאה האחרונים של פרמטרי התהליך

תכונות אלו מאלצות אותנו, בנוסף לקבלה ועיבוד בסיסי בזמן אמת של "אות הכניסה הרחב" האינטנסיבי מהתהליך הטכנולוגי, לבצע (במקביל) את היישום, ההדרכה ובקרת האיכות של תוצאות ה-AI/ דגמי ML - גם בזמן אמת. ה"פריים" שהדגמים שלנו "רואים" בחלון הזזה של הרלוונטיות משתנה כל הזמן - ואיתו משתנה גם איכות תוצאות העבודה של דגמי AI/ML שהוכשרו על אחת ה"פריימים" בעבר. . אם איכות תוצאות העבודה של מודלים AI/ML יורדת (לדוגמה: ערכה של שגיאת הסיווג "נורמה אזעקה" עבר את הגבולות שהגדרנו), יש להפעיל הכשרה נוספת של המודלים באופן אוטומטי ב- "מסגרת" עדכנית יותר - והבחירה ברגע להשיק הכשרה נוספת של הדגמים צריכה לקחת בחשבון איך משך האימון עצמו, והדינמיקה של ההידרדרות באיכות העבודה של הגרסה הנוכחית של הדגמים (מאז הגרסאות הנוכחיות של הדגמים ממשיכות בשימוש בזמן שהדגמים מאומנים, ועד להיווצרות הגרסאות ה"חדשות שהוכשרו" שלהם).

ל-InterSystems IRIS יכולות פלטפורמה מרכזיות לאפשר פתרונות AI/ML לבקרת תהליכים בזמן אמת. ניתן לחלק את היכולות הללו לשלוש קבוצות עיקריות:

• פריסה רציפה (פריסה/מסירה רציפה, CD) של מנגנוני AI/ML קיימים חדשים או מותאמים לפתרון פרודוקטיבי הפועל בזמן אמת על פלטפורמת InterSystems IRIS
• אינטגרציה מתמשכת (CI) לפתרון פרודוקטיבי יחיד של זרמי נתוני תהליכים טכנולוגיים נכנסים, תורי נתונים ליישום/הדרכה/בקרת איכות של מנגנוני AI/ML וחילופי נתונים/קוד/פעולות בקרה עם סביבות מידול מתמטיות, המתוזמרות בזמן אמת. פלטפורמת InterSystems IRIS
• אימון מתמשך (עצמי) (Continuous Training, CT) של מנגנוני AI/ML, המבוצע בסביבות דוגמנות מתמטיות תוך שימוש בנתונים, קוד ופעולות בקרה ("התקבלו החלטות") המועברות על ידי פלטפורמת InterSystems IRIS

הסיווג של יכולות הפלטפורמה ביחס ללמידת מכונה ובינה מלאכותית לקבוצות אלו בדיוק אינו מקרי. הבה נצטט את המתודולוגית פרסום גוגל, המספקת בסיס רעיוני לסיווג זה, בתרגום שלנו:

"... תפיסת ה-DevOps, הפופולרית בימים אלה, מכסה את הפיתוח והתפעול של מערכות מידע בקנה מידה גדול. היתרונות של יישום תפיסה זו הם צמצום משך מחזורי הפיתוח, פריסה מהירה יותר של פיתוחים וגמישות בתכנון השחרור. כדי להשיג את היתרונות הללו, DevOps כרוך ביישום של לפחות שני פרקטיקות:

• אינטגרציה רציפה (CI)
• משלוח רציף (CD)

פרקטיקות אלה חלות גם על פלטפורמות AI/ML כדי להבטיח הרכבה אמינה וביצועית של פתרונות AI/ML פרודוקטיביים.

פלטפורמות AI/ML שונות ממערכות מידע אחרות בהיבטים הבאים:

• כישורי צוות: בעת יצירת פתרון AI/ML, הצוות כולל בדרך כלל מדעני נתונים או מומחים "אקדמיים" בתחום חקר הנתונים המבצעים ניתוח נתונים, מפתחים ובודקים מודלים. ייתכן שחברי צוות אלו אינם מפתחי קוד פרודוקטיביים מקצועיים.
• פיתוח: מנועי AI/ML הם ניסיוניים באופיים. על מנת לפתור בעיה בצורה היעילה ביותר, יש צורך לעבור על שילובים שונים של משתני קלט, אלגוריתמים, שיטות מידול ופרמטרים של מודל. המורכבות של חיפוש כזה טמונה במעקב אחר "מה עבד/לא עבד", הבטחת שחזור של פרקים, הכללה של התפתחויות למימושים חוזרים.
• בדיקות: בדיקת מנועי AI/ML דורשת מגוון רחב יותר של בדיקות מאשר רוב הפיתוחים האחרים. בנוסף למבחני יחידה ואינטגרציה סטנדרטיים, נבדקים תוקף הנתונים ואיכות התוצאות של יישום המודל על דגימות הדרכה ובקרה.
• פריסה: פריסת פתרונות AI/ML אינה מוגבלת לשירותי חיזוי המשתמשים במודל שהוכשר פעם אחת. פתרונות AI/ML בנויים סביב צינורות רב-שלביים המבצעים אימון ויישום מודלים אוטומטיים. פריסת צינורות כאלה כרוכה באוטומציה של פעולות לא טריוויאליות המבוצעות באופן מסורתי על ידי מדעני נתונים על מנת להיות מסוגלים לאמן ולבדוק מודלים.
• פרודוקטיביות: מנועי AI/ML יכולים לחסר פרודוקטיביות לא רק בגלל תכנות לא יעיל, אלא גם בגלל האופי המשתנה כל הזמן של נתוני הקלט. במילים אחרות, הביצועים של מנגנוני AI/ML יכולים להתדרדר בגלל מגוון רחב יותר של סיבות מאשר הביצועים של פיתוחים קונבנציונליים. מה שמוביל לצורך לנטר (מקוון) את הביצועים של מנועי ה-AI/ML שלנו, כמו גם לשלוח התראות או לדחות תוצאות אם מדדי הביצועים אינם עומדים בציפיות.

פלטפורמות AI/ML דומות למערכות מידע אחרות בכך ששתיהן דורשות שילוב קוד מתמשך עם בקרת גרסאות, בדיקות יחידות, בדיקות אינטגרציה ופריסה מתמשכת של פיתוח. עם זאת, במקרה של AI/ML, ישנם מספר הבדלים חשובים:

• CI (Integration Continuous Integration) אינו מוגבל עוד לבדיקה ואימות הקוד של רכיבים פרוסים - הוא כולל גם בדיקה ואימות נתונים ומודלים של AI/ML.
• CD (Continuous Delivery/Deployment, Continuous Deployment) אינו מוגבל לכתיבה ושחרור של חבילות או שירותים, אלא מרמז על פלטפורמה להרכבה, הדרכה ויישום של פתרונות AI/ML.
• CT (Continuous Training, Continuous Training) הוא אלמנט חדש [כ. מחבר המאמר: אלמנט חדש ביחס לתפיסה המסורתית של DevOps, שבה CT הוא, ככלל, Continuous Testing], הטבוע בפלטפורמות AI/ML, האחראי על הניהול האוטונומי של מנגנוני ההדרכה והיישום של AI מודלים /ML. ..."

אנו יכולים לקבוע שלמידת מכונה ובינה מלאכותית שעובדים על נתונים בזמן אמת דורשים מערך רחב יותר של כלים וכישורים (מפיתוח קוד ועד תזמור של סביבות דוגמנות מתמטיות), אינטגרציה הדוקה יותר בין כל תחומי התפקוד והנושא, ארגון יעיל יותר של בני אדם משאבי מכונה.

תרחיש בזמן אמת: זיהוי התפתחות פגמים במשאבות הזנה

המשך להשתמש באזור בקרת התהליך כדוגמה, שקול בעיה ספציפית (כבר הזכרנו בהתחלה): עלינו לספק ניטור בזמן אמת של התפתחות פגמים במשאבות על סמך זרימת ערכי פרמטרים של תהליך. ודיווחים מאנשי תיקונים על ליקויים שזוהו.

איור 2 ניסוח בעיה לניטור התפתחות ליקויים

מאפיין של רוב המשימות המוצבות באופן זה בפועל הוא שיש לשקול את הקביעות והיעילות של קבלת נתונים (APCS) על רקע התרחשות (ורישום) אפיזודית ובלתי סדירה של ליקויים מסוגים שונים. במילים אחרות: נתונים ממערכת בקרת התהליך מגיעים פעם בשנייה, נכונים ומדויקים, והערות על ליקויים נעשות בעיפרון כימי המציין את התאריך במחברת כללית בסדנה (לדוגמה: "12.01 – דליפה לכריכה מהצד של המיסב השלישי").

לפיכך, אנו יכולים להשלים את ניסוח הבעיה במגבלה החשובה הבאה: יש לנו רק "תווית" אחת של פגם מסוג מסוים (כלומר, דוגמה של פגם מסוג מסוים מיוצגת על ידי נתונים מבקרה התהליך מערכת בתאריך מסוים - ואין לנו עוד דוגמאות לפגם מסוג זה). מגבלה זו מוציאה אותנו מיד אל מעבר להיקף של למידת מכונה קלאסית (למידה מפוקחת), שעבורה אמורים להיות הרבה "תגים".

איור 3 הבהרת משימת המעקב אחר התפתחות הליקויים

האם נוכל איכשהו "להכפיל" את ה"תג" היחיד שעומד לרשותנו? כן אנחנו יכולים. המצב הנוכחי של המשאבה מאופיין במידת הדמיון לפגמים רשומים. גם ללא שימוש בשיטות כמותיות, ברמת התפיסה החזותית, על ידי התבוננות בדינמיקה של ערכי נתונים המגיעים ממערכת בקרת התהליך, אתה כבר יכול ללמוד הרבה:

איור 4 דינמיקה של מצב המשאבה על רקע "סימן" של פגם מסוג נתון

אבל תפיסה חזותית (לפחות לעת עתה) היא לא המחולל המתאים ביותר של "תגים" בתרחיש המשתנה במהירות שלנו. אנו נעריך את הדמיון של מצב המשאבה הנוכחי לליקויים המדווחים באמצעות בדיקה סטטיסטית.

איור 5 החלת מבחן סטטיסטי על נתונים נכנסים על רקע פגם "תווית"

בדיקה סטטיסטית קובעת את ההסתברות שהרשומות עם ערכי פרמטרי התהליך הטכנולוגיים ב"חבילת הזרימה" המתקבלת ממערכת בקרת התהליך דומות לרשומות ה"תג" של פגם מסוג מסוים. ערך ההסתברות (מדד הדמיון הסטטיסטי) המחושב כתוצאה מיישום מבחן סטטיסטי מומר לערך של 0 או 1, והופך ל"תווית" ללמידת מכונה בכל רשומה ספציפית בחבילה הנבחנת לאיתור דמיון. כלומר, לאחר עיבוד חבילה חדשה שהתקבלה של רשומות מצב משאבה עם בדיקה סטטיסטית, יש לנו הזדמנות (א) להוסיף את החבילה הזו למערך ההדרכה לאימון מודל ה-AI/ML ו-(ב) לבצע בקרת איכות של הגרסה הנוכחית של הדגם בעת השימוש בו לחבילה זו.

איור 6 החלת מודל למידת מכונה על נתונים נכנסים על רקע "תווית" פגם

באחד מהקודמים שלנו סמינרים ברשת אנו מראים ומסבירים כיצד פלטפורמת InterSystems IRIS מאפשרת לך ליישם כל מנגנון AI/ML בצורה של ביצוע רציף של תהליכים עסקיים המנטרים את מהימנות תוצאות המודלים ומתאימים את פרמטרי המודל. בעת הטמעת אב טיפוס של התרחיש שלנו עם משאבות, אנו משתמשים בכל הפונקציונליות של InterSystems IRIS שהוצגה במהלך הוובינר - יישום בתהליך הניתוח כחלק מהפתרון שלנו לא למידה מפוקחת קלאסית, אלא למידת חיזוק, המנהלת אוטומטית את הבחירה למודלים של אימון. . מדגם ההכשרה מכיל רשומות שעליהן מתעוררת "קונצנזוס זיהוי" לאחר יישום המבחן הסטטיסטי והן הגרסה הנוכחית של המודל - כלומר, הן המבחן הסטטיסטי (לאחר הפיכת מדד הדמיון ל-0 או 1) והן המודל הפיק את התוצאה על רשומות כאלה 1. במהלך הכשרה חדשה של המודל, במהלך תיקוף שלו (המודל החדש שהוכשר מוחל על מדגם ההכשרה שלו, עם יישום ראשוני של מבחן סטטיסטי עליו), רשומות ש"לא שמר" את תוצאה 1 לאחר עיבוד על ידי המבחן הסטטיסטי (בשל הנוכחות המתמדת באימון דגימת רשומות מה"תווית" המקורית של הפגם), מוסרות ממערך ההדרכה, וגרסה חדשה של המודל לומדת מה"תווית" של פגם בתוספת הרשומות ה"נשמרות" מהזרם.

איור 7 רובוטיזציה של חישובי AI/ML ב-InterSystems IRIS

אם יש צורך במעין "חוות דעת שנייה" על איכות הזיהוי המתקבלת במהלך חישובים מקומיים ב-InterSystems IRIS, נוצר תהליך יועץ לביצוע הדרכה ויישום מודלים על מערך בקרה באמצעות שירותי ענן (לדוגמה, Microsoft Azure, Amazon Web Services, Google Cloud Platform וכו'):

איור 8 חוות דעת שנייה מ-Microsoft Azure בתזמורת של InterSystems IRIS

אב הטיפוס של התרחיש שלנו ב-InterSystems IRIS מתוכנן כמערכת מבוססת סוכנים של תהליכים אנליטיים המקיימים אינטראקציה עם אובייקט ציוד (משאבה), סביבות דוגמנות מתמטיות (Python, R וג'וליה), ומבטיחות למידה עצמית של כל ה-AI המעורבים/ מנגנוני ML - על זרמי נתונים בזמן אמת.

איור 9 הפונקציונליות העיקרית של פתרון AI/ML בזמן אמת ב-InterSystems IRIS

התוצאה המעשית של אב הטיפוס שלנו:

• פגם לדוגמה שזוהה על ידי הדגם (12 בינואר):

• פגם מתפתח שהוכר על ידי הדגם שלא נכלל בדגימה (11 בספטמבר, הפגם עצמו זוהה על ידי צוות התיקון רק יומיים לאחר מכן, ב-13 בספטמבר):

הדמיה על נתונים אמיתיים המכילים מספר פרקים של אותו פגם הראתה שהפתרון שלנו, המיושם בפלטפורמת InterSystems IRIS, מאפשר לנו לזהות התפתחות של ליקויים מסוג זה מספר ימים לפני שהם מתגלים על ידי צוות התיקון.

InterSystems IRIS - פלטפורמת מחשוב אוניברסלית בזמן אמת AI/ML

פלטפורמת InterSystems IRIS מפשטת את הפיתוח, הפריסה והתפעול של פתרונות נתונים בזמן אמת. InterSystems IRIS מסוגלת לבצע בו זמנית עיבוד נתונים עסקאות ואנליטיות; תמיכה בתצוגות נתונים מסונכרנות לפי מספר מודלים (כולל יחסי, היררכיים, אובייקטים ומסמכים); לפעול כפלטפורמה לשילוב מגוון רחב של מקורות נתונים ויישומים בודדים; לספק ניתוח מתקדם בזמן אמת על נתונים מובנים ולא מובנים. InterSystems IRIS מספקת גם מנגנונים לשימוש בכלים אנליטיים חיצוניים ומאפשרת שילוב גמיש של אירוח בענן ובשרתים מקומיים.

יישומים שנבנו על פלטפורמת InterSystems IRIS נפרסו במגוון תעשיות, ומסייעות לחברות לממש יתרונות כלכליים משמעותיים מנקודת מבט אסטרטגית ותפעולית, הגדלת קבלת החלטות מושכלת וגישור על הפערים בין אירוע, ניתוח ופעולה.

איור 10 ארכיטקטורת InterSystems IRIS בהקשר של AI/ML בזמן אמת

כמו התרשים הקודם, התרשים שלהלן משלב את "מערכת הקואורדינטות" החדשה (CD/CI/CT) עם תרשים של זרימת המידע בין מרכיבי העבודה של הפלטפורמה. ההדמיה מתחילה בתקליטור המקרומנגנון וממשיכה במנגנוני המקרו CI ו-CT.

איור 11 תרשים של זרימות מידע בין רכיבי AI/ML של פלטפורמת InterSystems IRIS

המהות של מנגנון ה-CD ב-InterSystems IRIS: משתמשי פלטפורמה (מפתחי פתרונות AI/ML) מתאימים את הקיימים ו/או יוצרים פיתוחי AI/ML חדשים באמצעות עורך קוד מיוחד למנגנוני AI/ML: Jupyter (שם מלא: Jupyter Notebook; לקיצור, מסמכים שנוצרו בעורך זה נקראים לפעמים). ב-Jupyter, למפתח יש הזדמנות לכתוב, לנפות באגים ולאמת את הביצועים (כולל שימוש בגרפיקה) של פיתוח AI/ML ספציפי לפני שהוא מוצב ("פריסה") ב-InterSystems IRIS. ברור שפיתוח חדש שנוצר כך יקבל רק איתור באגים בסיסי (מכיוון שבפרט, Jupyter לא עובד עם זרמי נתונים בזמן אמת) - זה לפי סדר הדברים, כי התוצאה העיקרית של הפיתוח ב- Jupyter מהווה אישור לתפעול הבסיסי של מנגנון AI/ML נפרד ("מראה את התוצאה הצפויה במדגם נתונים"). באופן דומה, מנגנון שכבר הוצב בפלטפורמה (ראה את מנגנוני המאקרו הבאים) לפני ניפוי באגים ב-Jupyter עשוי לדרוש "החזרה" לטופס "טרום-פלטפורמה" (קריאת נתונים מקבצים, עבודה עם נתונים דרך xDBC במקום טבלאות, אינטראקציה ישירה עם גלובלים - מערכי נתונים רב מימדיים InterSystems IRIS וכו').

היבט חשוב של הטמעת CD ב-InterSystems IRIS: הוטמע אינטגרציה דו-כיוונית בין הפלטפורמה ל-Jupyter, המאפשרת העברת תוכן ב-Python, R וג'וליה לפלטפורמה (ולאחר מכן, עיבוד בפלטפורמה) (שלושתם מתכנתים שפות בשפות הקוד הפתוח המובילות המקבילות). סביבות מודלים מתמטיות מקור). לפיכך, למפתחי תוכן AI/ML יש הזדמנות לבצע "פריסה רציפה" של תוכן זה בפלטפורמה, תוך עבודה בעורך Jupyter המוכר שלהם, עם ספריות מוכרות הזמינות ב-Python, R, Julia, ולבצע איתור באגים בסיסי (במידת הצורך) מחוץ לרציף.

בואו נעבור למנגנון המאקרו CI ב-InterSystems IRIS. התרשים מציג את תהליך המאקרו של "הרובוטייזר בזמן אמת" (קומפלקס של מבני נתונים, תהליכים עסקיים ושברי קוד המתוזמרים על ידם בשפות מתמטיות ו-ObjectScript - שפת הפיתוח המקורית של InterSystems IRIS). המשימה של תהליך מאקרו זה היא לשמור על תורי הנתונים הדרושים לתפעול מנגנוני AI/ML (בהתבסס על זרמי נתונים המועברים לפלטפורמה בזמן אמת), לקבל החלטות לגבי רצף היישום וה"מבחר" של AI/ מנגנוני ML (הם גם "אלגוריתמים מתמטיים", "מודלים" וכו' - יכולים להיקרא אחרת בהתאם לפרטי היישום והעדפות טרמינולוגיות), שומרים על מבני נתונים מעודכנים לניתוח תוצאות העבודה של AI/ מנגנוני ML (קוביות, טבלאות, מערכי נתונים רב מימדיים וכו') וכו' – לדוחות, לוחות מחוונים וכו').

היבט חשוב של הטמעת CI ב-InterSystems IRIS: הוטמע אינטגרציה דו-כיוונית בין הפלטפורמה לסביבות דוגמנות מתמטיות, מה שמאפשר לך לבצע תוכן שמתארח בפלטפורמה ב-Python, R וג'וליה בסביבותיהם בהתאמה ולקבל בחזרה את תוצאות הביצוע. אינטגרציה זו מיושמת הן ב"מצב מסוף" (כלומר, תוכן AI/ML מנוסח כקוד ObjectScript המבצע קריאות לסביבה) והן ב"מצב תהליך עסקי" (כלומר, תוכן AI/ML מנוסח כתהליך עסקי באמצעות עורך גרפי, או לפעמים באמצעות Jupyter, או באמצעות IDE - IRIS Studio, Eclipse, Visual Studio Code). הזמינות של תהליכים עסקיים לעריכה ב-Jupyter באה לידי ביטוי באמצעות החיבור בין IRIS ברמת CI לבין Jupyter ברמת CD. סקירה מפורטת יותר של אינטגרציה עם סביבות דוגמנות מתמטיות מסופקת להלן. בשלב זה, לדעתנו, יש כל סיבה להבטיח שלפלטפורמה יהיו את כל הכלים הדרושים ליישום "אינטגרציה רציפה" של פיתוחי AI/ML (המגיעים מ"פריסה רציפה") לתוך פתרונות AI/ML בזמן אמת.

ומנגנון המאקרו העיקרי: CT. בלעדיה, לא תהיה פלטפורמת AI/ML (אם כי "זמן אמת" יוטמע באמצעות CD/CI). המהות של CT היא עבודת הפלטפורמה עם "חפצים" של למידת מכונה ובינה מלאכותית ישירות במפגשי עבודה של סביבות מידול מתמטי: מודלים, טבלאות הפצה, וקטורים מטריצות, שכבות של רשתות עצביות וכו'. "יצירה" זו, ברוב המקרים, מורכבת מיצירת החפצים המוזכרים בסביבות (במקרה של מודלים, למשל, "יצירה" מורכבת מקביעת מפרט המודל ובחירה לאחר מכן של ערכי הפרמטרים שלו - מה שנקרא "הכשרה" של המודל), היישום שלהם (עבור מודלים: חישוב בעזרתם של ערכי "מודל" של משתני יעד - תחזיות, חברות בקטגוריה, הסתברות לאירוע וכו') ושיפור של כבר פריטים שנוצרו ויישמו (לדוגמה, הגדרה מחדש של קבוצה של משתני קלט מודל על סמך תוצאות היישום - על מנת לשפר את דיוק החיזוי, כאופציה). נקודת המפתח בהבנת תפקידו של ה-CT היא ה"הסתרה" שלו מהמציאות של CD ו-CI: CT יישם את כל החפצים, תוך התמקדות במפרטים החישוביים והמתמטיים של פתרון AI/ML במסגרת היכולות שמספקות סביבות ספציפיות. האחריות על "מתן תשומות" ו"אספקת פלטים" תהיה באחריות CD ו-CI.

היבט חשוב של הטמעת CT במיוחד ב-InterSystems IRIS: באמצעות האינטגרציה עם סביבות דוגמנות מתמטיות שכבר הוזכרו לעיל, לפלטפורמה יש את היכולת לחלץ את אותם חפצים ממשיפי עבודה הפועלים בשליטתה בסביבות מתמטיות ו(הכי חשוב) להפוך אותם לתוך אובייקטי נתונים של פלטפורמה. לדוגמה, טבלת הפצה שזה עתה נוצרה בהפעלת Python עובדת יכולה להיות מועברת (מבלי לעצור את סשן Python) לפלטפורמה בצורה של, למשל, גלובלי (מערך נתונים רב-ממדי InterSystems IRIS) - ולהשתמש בו. לחישובים במנגנון AI/ML- אחר (מיושם בשפה של סביבה אחרת - למשל ב-R) - או טבלה וירטואלית. דוגמה נוספת: במקביל ל"מצב רגיל" של פעולת המודל (בסשן העבודה של Python), "auto-ML" מתבצע על נתוני הקלט שלו: בחירה אוטומטית של משתני קלט אופטימליים וערכי פרמטרים. ויחד עם ההדרכה ה"רגילה", מודל פרודוקטיבי בזמן אמת מקבל גם "הצעה לייעול" של המפרט שלו - שבה סט משתני הקלט משתנה, ערכי הפרמטרים משתנים (כבר לא כתוצאה מאימון ב-Python, אך כתוצאה מאימון עם גרסה "חלופית" "של עצמה, כגון מחסנית H2O), המאפשרת לפתרון ה-AI/ML הכולל להתמודד באופן אוטונומי עם שינויים בלתי צפויים באופי נתוני הקלט והתופעות המוצגות במודל. .

בואו להכיר ביתר פירוט את הפונקציונליות של פלטפורמת AI/ML של InterSystems IRIS, תוך שימוש בדוגמה של אב טיפוס מהחיים האמיתיים.

בתרשים למטה, בצד שמאל של השקף ישנו חלק מהתהליך העסקי שמיישם ביצוע סקריפטים ב-Python ו-R. בחלק המרכזי ישנם יומנים חזותיים של ביצוע חלק מהסקריפטים הללו, בהתאמה, ב-Python ו-R. מיד מאחוריהם יש דוגמאות לתכנים בשפה אחת ועוד, המועברים לביצוע לסביבות המתאימות. בסוף בצד ימין מוצגות הדמיות המבוססות על תוצאות ביצוע הסקריפט. ההדמיות בחלק העליון נעשו ב-IRIS Analytics (הנתונים נלקחו מ-Python לפלטפורמת הנתונים של InterSystems IRIS והוצגו בלוח מחוונים באמצעות הפלטפורמה), בחלק התחתון נעשו ישירות בסשן העבודה של R והפלט משם לקבצים גרפיים . היבט חשוב: הפרגמנט המוצג באב הטיפוס אחראי לאימון המודל (סיווג מצבי ציוד) על נתונים המתקבלים בזמן אמת מתהליך סימולטור הציוד, לפי פקודה מתהליך ניטור איכות הסיווג שנצפה במהלך יישום המודל. יישום של פתרון AI/ML בצורה של קבוצה של תהליכי אינטראקציה ("סוכנים") יידון בהמשך.

איור 12 אינטראקציה עם Python, R וג'וליה ב-InterSystems IRIS

תהליכי פלטפורמה (הם גם "תהליכים עסקיים", "תהליכים אנליטיים", "צינורות וכו' - תלוי בהקשר), קודם כל, נערכים בעורך התהליכים העסקיים הגרפי בפלטפורמה עצמה, ובמקרה כזה. כך שגם דיאגרמת הבלוק שלו וגם מנגנון ה-AI/ML התואם (קוד התוכנית) נוצרים בו זמנית. כאשר אנו אומרים ש"מתקבל מנגנון AI/ML", אנו מתכוונים בתחילה להיברידיות (בתוך תהליך אחד): תוכן בשפות של סביבות דוגמנות מתמטיות צמוד לתוכן ב-SQL (כולל הרחבות מ- IntegratedML), ב-InterSystems ObjectScript, עם שפות נתמכות אחרות. יתרה מכך, תהליך הפלטפורמה מספק הזדמנויות רחבות מאוד ל"עיבוד" בצורה של פרגמנטים מקוננים היררכית (כפי שניתן לראות בדוגמה בתרשים למטה), המאפשר לך לארגן ביעילות אפילו תוכן מורכב מאוד מבלי "ליפול" של הפורמט הגרפי (לפורמטים "לא גרפיים") » שיטות/מחלקות/נהלים וכו'). כלומר, במידת הצורך (וזה צפוי ברוב הפרויקטים), ניתן ליישם את כל פתרון ה-AI/ML בפורמט של תיעוד עצמי גרפי. שימו לב שבחלק המרכזי של התרשים למטה, המייצג "רמת קינון" גבוהה יותר, ברור שבנוסף לעבודה בפועל של אימון המודל (באמצעות Python ו-R), ניתוח של מה שנקרא מתווספת עקומת ROC של המודל המאומן, המאפשרת חזותית (וגם חישובית) להעריך את איכות האימון - וניתוח זה מיושם בשפת ג'וליה (מתבצע, בהתאם, בסביבה המתמטית של ג'וליה).

איור 13 סביבה חזותית להרכב פתרונות AI/ML ב-InterSystems IRIS

כפי שהוזכר קודם לכן, הפיתוח הראשוני ו(במקרים מסוימים) התאמה של מנגנוני AI/ML שכבר מיושמים בפלטפורמה יתבצעו מחוץ לפלטפורמה בעורך Jupyter. בתרשים למטה נראה דוגמה להתאמת תהליך פלטפורמה קיים (זהה לתרשים למעלה) – כך נראה הפרגמנט שאחראי על אימון המודל בג'ופיטר. תוכן Python זמין לעריכה, איתור באגים ופלט גרפי ישירות ב-Jupyter. ניתן לבצע שינויים (במידת הצורך) עם סנכרון מיידי לתהליך הפלטפורמה, כולל הגרסה היצרנית שלה. ניתן להעביר תוכן חדש לפלטפורמה בצורה דומה (נוצר תהליך פלטפורמה חדש באופן אוטומטי).

איור 14 שימוש ב-Jupyter Notebook כדי לערוך את מנוע ה-AI/ML בפלטפורמת InterSystems IRIS

התאמה של תהליך פלטפורמה יכולה להתבצע לא רק בפורמט גרפי או מחשב נייד - אלא גם בפורמט ה-IDE (Integrated Development Environment). IDEs אלה הם IRIS Studio (אולפן IRIS מקורי), Visual Studio Code (הרחבה של InterSystems IRIS עבור VSCode) ו-Eclipse (תוסף Atelier). במקרים מסוימים, ניתן לצוות פיתוח להשתמש בכל שלושת ה-IDE בו-זמנית. התרשים שלהלן מציג דוגמה לעריכה של אותו תהליך ב-IRIS studio, ב-Visual Studio Code וב-Eclipse. לחלוטין כל התוכן זמין לעריכה: Python/R/Julia/SQL, ObjectScript ותהליך עסקי.

איור 15 פיתוח התהליך העסקי של InterSystems IRIS ב-IDEs שונים

הכלים לתיאור וביצוע תהליכים עסקיים של InterSystems IRIS בשפת התהליכים העסקיים (BPL) ראויים לציון מיוחד. BPL מאפשרת להשתמש ב"רכיבי אינטגרציה מוכנים" (פעילויות) בתהליכים עסקיים - מה שלמעשה נותן את כל הסיבות לומר ש"אינטגרציה רציפה" מיושם ב-InterSystems IRIS. רכיבי תהליכים עסקיים מוכנים (פעילויות וחיבורים ביניהם) הם מאיץ רב עוצמה להרכבת פתרון AI/ML. ולא רק הרכבות: הודות לפעילויות והקשרים ביניהן על פני פיתוחים ומנגנוני AI/ML שונים, נוצרת "שכבת ניהול אוטונומית", המסוגלת לקבל החלטות בהתאם למצב, בזמן אמת.

איור 16 רכיבי תהליכים עסקיים מוכנים לאינטגרציה מתמשכת (CI) בפלטפורמת InterSystems IRIS

למושג מערכות סוכנים (הידוע גם בשם "מערכות ריבוי סוכנים") יש עמדה חזקה ברובוטיזציה, ופלטפורמת InterSystems IRIS תומכת בה באופן אורגני באמצעות המבנה של "מוצר-תהליך". בנוסף לאפשרויות הבלתי מוגבלות "למלא" כל תהליך בפונקציונליות הדרושה לפתרון הכולל, הקניית מערכת תהליכי הפלטפורמה בנכס של "סוכנות" מאפשרת ליצור פתרונות יעילים לתופעות מדומה לא יציבות במיוחד (התנהגות חברתית/ מערכות ביו, תהליכים טכנולוגיים הניתנים לצפייה חלקית וכו').

איור 16 תפעול של פתרון AI/ML כמערכת תהליכים עסקיים מבוססי סוכנים ב-InterSystems IRIS

אנו ממשיכים את הסקירה שלנו של InterSystems IRIS עם סיפור על השימוש היישומי בפלטפורמה לפתרון מחלקות שלמות של בעיות בזמן אמת (אפשר למצוא מבוא מפורט למדי לכמה מהשיטות המומלצות של פלטפורמת AI/ML ב-InterSystems IRIS מהקודם שלנו סמינרים ברשת).

חם על עקבות התרשים הקודם, להלן תרשים מפורט יותר של מערכת הסוכנים. התרשים מציג את אותו אב טיפוס, כל ארבעת תהליכי הסוכן גלויים, היחסים ביניהם מצוירים באופן סכמטי: GENERATOR - מעבד יצירת נתונים על ידי חיישני ציוד, BUFFER - מנהל תורי נתונים, ANALYZER - מבצע למידת מכונה בעצמו, MONITOR - מנטר את איכות למידת מכונה ומגישה אות לגבי הצורך בהכשרת המודל מחדש.

איור 17 הרכב פתרון AI/ML בצורה של מערכת תהליכים עסקיים מבוססי סוכן ב-InterSystems IRIS

התרשים שלהלן ממחיש את התפקוד האוטונומי של אב טיפוס רובוטי אחר (הכרה של צביעה רגשית של טקסטים) במשך זמן מה. בחלק העליון התפתחות מחוון האיכות של אימון מודל (האיכות גדלה), בחלק התחתון הדינמיקה של מחוון האיכות של יישום המודל והעובדות של אימון חוזר (פסים אדומים). כפי שניתן לראות, הפתרון למד את עצמו בצורה יעילה ואוטונומית, ופועל ברמת איכות נתונה (ערכי ציון האיכות אינם יורדים מתחת ל-80%).

איור 18 אימון מתמשך (עצמי) (CT) בפלטפורמת InterSystems IRIS

הזכרנו גם את "אוטו-ML" קודם לכן, אך התרשים שלהלן מציג את השימוש בפונקציונליות זו בפירוט תוך שימוש בדוגמה של אב טיפוס אחר. הדיאגרמה הגרפית של קטע של תהליך עסקי מראה את הפעילות שמפעילה את המידול בערימת H2O, מציגה את התוצאות של מידול זה (הדומיננטיות הברורה של המודל המתקבל על פני מודלים "מעשה ידי אדם", על פי הדיאגרמה ההשוואתית של עקומות ROC, כמו גם זיהוי אוטומטי של "המשתנים המשפיעים ביותר" הזמינים במערך הנתונים המקורי). נקודה חשובה כאן היא חיסכון בזמן ובמשאבי מומחים המושגים באמצעות "אוטו-ML": מה שתהליך הפלטפורמה שלנו עושה בחצי דקה (מציאת והכשרת הדגם האופטימלי) יכול לקחת למומחה משבוע לחודש.

איור 19 שילוב של "אוטו-ML" בפתרון AI/ML בפלטפורמת InterSystems IRIS

התרשים שלהלן מפספס מעט את הנקודה, אבל זו דרך טובה לסיים את הסיפור על מחלקות הבעיות בזמן אמת שנפתרות: אנו מזכירים לכם שעם כל היכולות של פלטפורמת InterSystems IRIS, מודלים של אימון בשליטתה הם לא חובה. הפלטפורמה יכולה לקבל מבחוץ את מה שנקרא מפרט PMML של הדגם, מאומן בכלי שאינו בשליטת הפלטפורמה - וליישם את המודל הזה בזמן אמת מרגע ייבואו מפרטי PMML. חשוב לקחת בחשבון שלא ניתן לצמצם את כל חפצי AI/ML למפרט PMML, גם אם רוב החפצים הנפוצים ביותר מאפשרים זאת. לפיכך, פלטפורמת InterSystems IRIS היא "לולאה פתוחה" ואין פירושו "עבדות פלטפורמה" עבור המשתמשים.

איור 20 שילוב של "אוטו-ML" בפתרון AI/ML בפלטפורמת InterSystems IRIS

הבה נפרט את יתרונות הפלטפורמה הנוספים של InterSystems IRIS (לצורך הבהירות, ביחס לבקרת תהליכים), שהם בעלי חשיבות רבה באוטומציה של בינה מלאכותית ולמידת מכונה בזמן אמת:

• פיתח כלי אינטגרציה עם כל מקורות נתונים וצרכנים (מערכת בקרת תהליכים/SCADA, ציוד, MRO, ERP וכו')
• מובנה DBMS רב מודלים לעיבוד עסקה ואנליטי בעל ביצועים גבוהים (Hybrid Transaction/Analytical Processing, HTAP) של כל נפח של נתוני תהליכים טכנולוגיים
• כלי פיתוח לפריסה רציפה של מנועי AI/ML לפתרונות בזמן אמת המבוססים על Python, R, Julia
• תהליכים עסקיים מסתגלים לאינטגרציה מתמשכת ולמידה (עצמית) של מנועי פתרונות AI/ML בזמן אמת
• כלי Business Intelligence מובנים להמחשת נתוני תהליך ותוצאות של פתרון AI/ML
• ניהול API לאספקת תוצאות פתרון ה-AI/ML למערכות בקרת תהליכים/SCADA, מערכות מידע וניתוח, שליחת התראות וכו'.

פתרונות AI/ML בפלטפורמת InterSystems IRIS משתלבים בקלות בתשתית ה-IT הקיימת. פלטפורמת InterSystems IRIS מבטיחה אמינות גבוהה של פתרונות AI/ML על ידי תמיכה בתצורות סובלניות לתקלות וסובלנות לאסונות ופריסה גמישה בסביבות וירטואליות, על שרתים פיזיים, בעננים פרטיים וציבוריים, ומכולות Docker.

לפיכך, InterSystems IRIS היא פלטפורמת מחשוב אוניברסלית בזמן אמת AI/ML. האוניברסליות של הפלטפורמה שלנו מאושרת בפועל על ידי היעדר הגבלות דה פקטו על מורכבות החישובים המיושמים, היכולת של InterSystems IRIS לשלב (בזמן אמת) עיבוד של תרחישים ממגוון רחב של תעשיות, ויכולת הסתגלות יוצאת דופן של כל פונקציות ומנגנוני פלטפורמה לצרכים הספציפיים של המשתמשים.

איור 21 InterSystems IRIS - פלטפורמת מחשוב אוניברסלית בזמן אמת AI/ML

לאינטראקציה מהותית יותר עם אלו מהקוראים שלנו שמתעניינים בחומר המוצג כאן, אנו ממליצים לא להגביל את עצמך לקריאה ולהמשיך בדיאלוג "חי". נשמח לתת תמיכה בגיבוש תרחישי AI/ML בזמן אמת ביחס לפרטי החברה שלכם, לבצע אב טיפוס משותף בפלטפורמת InterSystems IRIS, לגבש וליישם בפועל מפת דרכים להכנסת בינה מלאכותית ולמידת מכונה. לתוך תהליכי הייצור והניהול שלך. דוא"ל ליצירת קשר עם צוות מומחי AI/ML שלנו - [מוגן בדוא"ל].

מקור: www.habr.com