Sber.DS היא פלטפורמה המאפשרת ליצור וליישם מודלים גם ללא קוד

רעיונות ופגישות לגבי אילו תהליכים נוספים ניתן לבצע אוטומטית עולים בעסקים בגדלים שונים מדי יום. אבל בנוסף לעובדה שניתן לבזבז זמן רב על יצירת מודל, אתה צריך להשקיע אותו על הערכתו ולבדוק שהתוצאה המתקבלת אינה אקראית. לאחר היישום, יש לנטר כל מודל ולבדוק מעת לעת.

ואלה כל השלבים שצריך להשלים בכל חברה, ללא קשר לגודלה. אם אנחנו מדברים על קנה המידה והמורשת של Sberbank, מספר הכוונון העדין גדל באופן משמעותי. עד סוף 2019, Sber כבר השתמשה ביותר מ-2000 דגמים. לא מספיק פשוט לפתח מודל, יש צורך להשתלב עם מערכות תעשייתיות, לפתח דאטה מרטס לבניית מודלים ולהבטיח שליטה על פעולתו באשכול.

הצוות שלנו מפתח את פלטפורמת Sber.DS. היא מאפשרת לפתור בעיות למידת מכונה, מזרזת את תהליך בדיקת השערות, מפשטת באופן עקרוני את תהליך הפיתוח והאימות של מודלים וגם שולטת בתוצאת המודל ב-PROM.

כדי לא לרמות את הציפיות שלכם, אני רוצה לומר מראש שהפוסט הזה הוא פוסט היכרות, ובתחתית, בתור התחלה, אנחנו מדברים על מה שבאופן עקרוני נמצא מתחת למכסה המנוע של פלטפורמת Sber.DS. נספר בנפרד את הסיפור על מחזור החיים של המודל מהיצירה ועד ליישום.

Sber.DS מורכב ממספר רכיבים, כאשר המפתח שבהם הם הספרייה, מערכת הפיתוח ומערכת ביצוע המודלים.

הספרייה שולטת במחזור החיים של המודל מרגע הופעת הרעיון לפיתוחו ועד להטמעתו ב-PROM, ניטור ופירוק. יכולות ספריות רבות מוכתבות על ידי חוקי הרגולטור, למשל, דיווח ואחסון של דוגמאות הדרכה ואימות. למעשה, זהו רישום של כל הדגמים שלנו.

מערכת הפיתוח מיועדת לפיתוח ויזואלי של מודלים וטכניקות אימות. המודלים שפותחו עוברים אימות ראשוני ומסופקים למערכת הביצוע לביצוע תפקידיהם העסקיים. כמו כן, במערכת זמן הריצה ניתן להציב את הדגם על מוניטור לצורך השקה תקופתית של טכניקות אימות לניטור פעולתו.

ישנם מספר סוגים של צמתים במערכת. חלקם נועדו להתחבר למקורות נתונים שונים, אחרים נועדו להפוך נתוני מקור ולהעשיר אותם (סימון). ישנם צמתים רבים לבניית מודלים שונים וצמתים לאימותם. המפתח יכול לטעון נתונים מכל מקור, להפוך, לסנן, לדמיין נתוני ביניים ולפרק אותם לחלקים.

הפלטפורמה מכילה גם מודולים מוכנים הניתנים לגרירה ושחרור על אזור העיצוב. כל הפעולות מבוצעות באמצעות ממשק חזותי. למעשה, אתה יכול לפתור את הבעיה ללא שורת קוד אחת.

אם היכולות המובנות אינן מספיקות, המערכת מספקת את היכולת ליצור במהירות מודולים משלך. עשינו מצב פיתוח משולב המבוסס על Jupyter Kernel Gateway למי שיוצר מודולים חדשים מאפס.

הארכיטקטורה של Sber.DS בנויה על שירותי מיקרו. ישנן דעות רבות לגבי מה הם שירותי מיקרו. יש אנשים שחושבים שמספיק לפצל את הקוד המונוליטי לחלקים, אבל באותו זמן הם עדיין הולכים לאותו מסד נתונים. המיקרו-שירות שלנו חייב לתקשר עם מיקרו-שירות אחר רק באמצעות REST API. אין דרכים לעקיפת גישה ישירות למסד הנתונים.

אנו מנסים להבטיח שהשירותים לא יהפכו לגדולים ומגושמים במיוחד: מופע אחד לא צריך לצרוך יותר מ-4-8 גיגה-בייט של זיכרון RAM וחייב לספק את היכולת להרחיב בקשות אופקית על ידי השקת מופעים חדשים. כל שירות מתקשר עם אחרים רק באמצעות REST API (פתח ממשק API). הצוות האחראי על השירות נדרש לשמור על ה-API תואם לאחור עד הלקוח האחרון שמשתמש בו.

ליבת האפליקציה כתובה ב-Java באמצעות Spring Framework. הפתרון תוכנן בתחילה לפריסה מהירה בתשתית הענן, ולכן האפליקציה נבנתה באמצעות מערכת קונטיינריזציה רד האט (קוברנט). הפלטפורמה מתפתחת כל הזמן, הן מבחינת הגדלת הפונקציונליות העסקית (מתווספים מחברים חדשים, AutoML) והן מבחינת יעילות טכנולוגית.

אחת התכונות של הפלטפורמה שלנו היא שאנו יכולים להריץ קוד שפותח בממשק ויזואלי בכל מערכת ביצוע מודל Sberbank. עכשיו יש כבר שניים מהם: אחד ב-Hadoop, השני ב-OpenShift (Docker). אנחנו לא עוצרים שם ויוצרים מודולי אינטגרציה להרצת קוד על כל תשתית, כולל On-premise ובענן. לגבי האפשרויות של אינטגרציה אפקטיבית לתוך המערכת האקולוגית של Sberbank, אנו מתכננים גם לתמוך בעבודה עם סביבות ביצוע קיימות. בעתיד, ניתן לשלב את הפתרון בצורה גמישה "מחוץ לקופסה" בכל נוף של כל ארגון.

מי שאי פעם ניסה לתמוך בפתרון שמריץ את Python על Hadoop ב-PROM יודע שזה לא מספיק להכין ולספק סביבת משתמש Python לכל dataanode. המספר העצום של ספריות C/C++ ללמידת מכונה המשתמשות במודולים של Python לא יאפשר לכם להיות רגועים. עלינו לזכור לעדכן חבילות בעת הוספת ספריות או שרתים חדשים, תוך שמירה על תאימות לאחור עם קוד מודל שכבר מיושם.

ישנן מספר גישות כיצד לעשות זאת. לדוגמה, הכן מספר ספריות בשימוש תכוף מראש והטמיע אותן ב-PROM. בהפצת Hadoop של Cloudera, הם בדרך כלל משתמשים חֲבִילָה. גם עכשיו ב-Hadoop אפשר לרוץ סַוָר-מכולות. במקרים פשוטים אפשר להעביר את הקוד יחד עם החבילה python.eggs.

הבנק לוקח את האבטחה של הפעלת קוד של צד שלישי ברצינות רבה, ולכן אנו מנצלים את המרב מהתכונות החדשות של ליבת לינוקס, שבה תהליך פועל בסביבה מבודדת מרחב השמות של לינוקס, אתה יכול להגביל, למשל, את הגישה לרשת ולדיסק המקומי, מה שמפחית באופן משמעותי את היכולות של קוד זדוני. אזורי הנתונים של כל מחלקה מוגנים ונגישים רק לבעלי הנתונים הללו. הפלטפורמה מבטיחה כי נתונים מאזור אחד יכולים להגיע לאזור אחר רק באמצעות תהליך פרסום נתונים עם שליטה בכל השלבים מגישה למקורות ועד נחיתה של נתונים בחזית החנות היעד.

השנה אנו מתכננים להשלים את ה-MVP של השקת דגמים שנכתבו ב-Python/R/Java ב-Hadoop. הצבנו לעצמנו את המשימה השאפתנית ללמוד כיצד להפעיל כל סביבה מותאמת אישית ב-Hadoop, כדי לא להגביל את המשתמשים בפלטפורמה שלנו בשום צורה.

בנוסף, כפי שהתברר, מומחי DS רבים מצוינים במתמטיקה וסטטיסטיקה, מייצרים מודלים מגניבים, אך אינם בקיאים בטרנספורמציות ביג דאטה, והם זקוקים לעזרה של מהנדסי הנתונים שלנו כדי להכין דוגמאות הדרכה. החלטנו לעזור לעמיתינו וליצור מודולים נוחים לטרנספורמציה סטנדרטית והכנת תכונות עבור דגמים במנוע Spark. זה יאפשר לך להשקיע יותר זמן בפיתוח מודלים ולא לחכות למהנדסי נתונים שיכינו מערך נתונים חדש.

אנו מעסיקים אנשים בעלי ידע בתחומים שונים: לינוקס ו-DevOps, Hadoop ו-Spark, Java ו-Spring, Scala ו-Akka, OpenShift ו-Kubernetes. בפעם הבאה נדבר על ספריית המודלים, איך המודל עובר את מחזור החיים בתוך החברה, איך מתרחשים אימות והטמעה.

מקור: www.habr.com