סקירת Gartner MQ 2020: פלטפורמות למידת מכונה ובינה מלאכותית

אי אפשר להסביר את הסיבה שבגללה קראתי את זה. פשוט היה לי זמן והתעניינתי איך השוק עובד. וזה כבר שוק מן המניין על פי גרטנר מאז 2018. מ-2014-2016 זה נקרא מתקדם אנליטיקה (שורשים ב-BI), ב-2017 - Data Science (אני לא יודע איך לתרגם את זה לרוסית). למעוניינים בתנועות הרוכלים מסביב לכיכר, ניתן כאן תראה. ואני אדבר על הריבוע של 2020, במיוחד מכיוון שהשינויים שם מאז 2019 הם מינימליים: SAP יצאה החוצה ואלטאיר רכשה את Datawatch.

זה לא ניתוח שיטתי או טבלה. השקפה אינדיבידואלית, גם מנקודת מבטו של גיאופיזיקאי. אבל אני תמיד סקרן לקרוא את Gartner MQ, הם מנסחים כמה נקודות בצורה מושלמת. אז הנה הדברים ששמתי לב אליהם הן מבחינה טכנית, מבחינת השוק והן מבחינה פילוסופית.

זה לא מיועד לאנשים שמתעמקים בנושא ML, אלא לאנשים שמתעניינים במה שקורה בדרך כלל בשוק.

שוק ה-DSML עצמו מקנן באופן הגיוני בין שירותי מפתחי BI ו-Cloud AI.

ציטוטים ומונחים מועדפים תחילה:

• "ייתכן שמנהיג אינו הבחירה הטובה ביותר" - מוביל שוק הוא לא בהכרח מה שאתה צריך. דחוף מאוד! כתוצאה מהיעדר לקוח פונקציונלי, הם תמיד מחפשים את הפתרון "הטוב ביותר", ולא את ה"מתאים".
• "מבצע מודל" - קיצור של MOPs. ולכולם קשה עם פאגים! – (נושא פאג מגניב גורם לדגם לעבוד).
• "סביבת מחברת" הוא מושג חשוב שבו קוד, הערות, נתונים ותוצאות מתאחדים. זה מאוד ברור, מבטיח ויכול להפחית משמעותית את כמות הקוד של ממשק המשתמש.
• "מושרש ב-OpenSource" - נאמר היטב - משתרש בקוד פתוח.
• "מדעני מידע אזרחים" - בחורים כל כך קלים, כאלה צלילים, לא מומחים, שצריכים סביבה ויזואלית וכל מיני דברים נלווים. הם לא יקודדו.
• "דֵמוֹקרָטִיָה" - לעתים קרובות פירושו "להעמיד לרשות מגוון רחב יותר של אנשים". אנחנו יכולים לומר "להפוך את הנתונים לדמוקרטים" במקום "שחרר את הנתונים" המסוכן שבו השתמשנו. "דמוקרטיזציה" היא תמיד זנב ארוך וכל הספקים רצים אחריו. להפסיד בעוצמת הידע - רווח בנגישות!
• "ניתוח נתונים חקרניים - EDA" - התחשבות באמצעים הזמינים הללו. קצת סטטיסטיקות. קצת הדמיה. משהו שכולם עושים במידה כזו או אחרת. לא ידעתי שיש לזה שם
• "ניתנות לשחזור" - שימור מירבי של כל הפרמטרים הסביבתיים, התשומות והתפוקות כך שניתן לחזור על הניסוי לאחר ביצועו. המונח החשוב ביותר עבור סביבת מבחן ניסיוני!

אז:

אלטריקס

ממשק מגניב, ממש כמו צעצוע. מדרגיות, כמובן, קצת קשה. בהתאם, קהילת האזרח של מהנדסים סביב אותו עם tchotchkes לשחק. Analytics הוא כולו שלך בבקבוק אחד. הזכיר לי קומפלקס של ניתוח נתוני מתאם ספקטרלי קוסקאד, שתוכנת בשנות ה-90.

האנקונדה

קהילה סביב מומחי Python ו-R. הקוד הפתוח גדול בהתאם. התברר שהקולגות שלי משתמשים בזה כל הזמן. אבל לא ידעתי.

DataBricks

מורכב משלושה פרויקטים בקוד פתוח - מפתחי Spark גייסו הרבה מאוד כסף מאז 2013. אני באמת חייב לצטט את הוויקי:

"בספטמבר 2013, Databricks הודיעה שהיא גייסה 13.9 מיליון דולר מאנדריסן הורוביץ. החברה גייסה 33 מיליון דולר נוספים ב-2014, 60 מיליון דולר ב-2016, 140 מיליון דולר ב-2017, 250 מיליון דולר ב-2019 (פברואר) ו-400 מיליון דולר ב-2019 (אוקטובר)”!!!

כמה אנשים נהדרים חתכו את ספארק. אני לא יודע, סליחה!

והפרויקטים הם:

• אגם דלתא - ACID on Spark שוחרר לאחרונה (על מה חלמנו עם Elasticsearch) - הופך אותו למסד נתונים: סכמה נוקשה, ACID, אודיטינג, גרסאות...
• ML Flow - מעקב, אריזה, ניהול ואחסון של דגמים.
• קואלות - Pandas DataFrame API על Spark - Pandas - Python API לעבודה עם טבלאות ונתונים באופן כללי.

אתה יכול להסתכל על Spark למי שלא יודע או שכח: קשר. צפיתי בסרטונים עם דוגמאות של נקרים מעט משעממים אך מפורטים: DataBricks for Data Science (קשר) ועבור הנדסת נתונים (קשר).

בקיצור, Databricks שולף ספארק. כל מי שרוצה להשתמש ב-Spark כרגיל בענן לוקח את DataBricks ללא היסוס, כמתוכנן 🙂 Spark הוא המבדיל העיקרי כאן.
למדתי ש-Spark Streaming הוא לא בזמן אמת מזויף אמיתי או מיקרו-באצ'ינג. ואם אתה צריך זמן אמת אמיתי, זה ב-Apache STORM. כולם גם אומרים וכותבים ש-Spark עדיף על MapReduce. זו הסלוגן.

DATAIKU

דבר מגניב מקצה לקצה. יש הרבה פרסומות. אני לא מבין איך זה שונה מאלטריקס?

DataRobot

Paxata להכנת נתונים היא חברה נפרדת שנרכשה על ידי Data Robots בדצמבר 2019. גייסנו 20 MUSD ומכרנו. הכל תוך 7 שנים.

הכנת נתונים בפקסטה, לא באקסל - ראה כאן: קשר.
יש חיפושים והצעות אוטומטיות לחיבורים בין שני מערכי נתונים. דבר נהדר - כדי להבין את הנתונים, יהיה עוד יותר דגש על מידע טקסטואלי (קשר).
קטלוג נתונים הוא קטלוג מצוין של מערכי נתונים "חיים" חסרי תועלת.
זה גם מעניין איך מדריכים נוצרים בפקסטה (קשר).

"לפי חברת אנליסטים ביצית, התוכנה מתאפשרת באמצעות התקדמות בתחום אנליזה ניבוי, למידת מכונה ו NoSQL מתודולוגיית שמירת נתונים.[15] התוכנה משתמשת סמנטי אלגוריתמים להבנת המשמעות של עמודות טבלת נתונים ואלגוריתמים לזיהוי תבניות כדי למצוא כפילויות פוטנציאליות במערך נתונים.[15][7] הוא גם משתמש באינדקס, זיהוי דפוסי טקסט וטכנולוגיות אחרות שנמצאות באופן מסורתי במדיה חברתית ובתוכנות חיפוש".

המוצר העיקרי של Data Robot הוא כאן. הסלוגן שלהם הוא ממודל ליישום ארגוני! מצאתי ייעוץ לתעשיית הנפט בקשר למשבר, אבל זה היה מאוד בנאלי ולא מעניין: קשר. צפיתי בסרטונים שלהם ב-Mops או MLops (קשר). זהו פרנקנשטיין שכזה שהורכב מ-6-7 רכישות של מוצרים שונים.

כמובן, מתברר שלצוות גדול של מדעני נתונים חייבת להיות בדיוק סביבה כזו לעבודה עם מודלים, אחרת הם יפיקו הרבה מהם ולעולם לא יפרסו כלום. ובמציאות הנפט והגז שלנו במעלה הזרם, אם רק נוכל ליצור מודל מוצלח אחד, זו תהיה התקדמות גדולה!

התהליך עצמו הזכיר מאוד את העבודה עם מערכות עיצוב בגיאולוגיה-גיאופיזיקה, למשל יַסעוּרוֹן. כל מי שלא עצלן מייצר ומשנה דגמים. אסוף נתונים לתוך המודל. אחר כך הם הכינו מודל ייחוס ושלחו אותו לייצור! בין, נניח, מודל גיאולוגי למודל ML, אתה יכול למצוא הרבה מן המשותף.

דומינו

דגש על פלטפורמה פתוחה ושיתוף פעולה. משתמשים עסקיים מתקבלים ללא תשלום. מעבדת הנתונים שלהם דומה מאוד ל-sharepoint. (והשם נודף מאוד מ-IBM). כל הניסויים מקשרים למערך הנתונים המקורי. כמה זה מוכר :) כמו בנוהג שלנו - חלק מהנתונים נגררו למודל, אחר כך נוקו וסדרו אותם במודל, וכל זה כבר חי שם במודל ולא ניתן למצוא את הקצוות בנתוני המקור .

לדומינו יש וירטואליזציה מגניבה של תשתית. הרכבתי את המכונה כמה ליבות שצריך בשנייה והלכתי לספור. איך זה נעשה לא ברור מיד. דוקר נמצא בכל מקום. הרבה חופש! ניתן לחבר כל סביבות עבודה של הגרסאות העדכניות ביותר. השקה מקבילה של ניסויים. מעקב ובחירה של מוצלחים.

זהה ל-DataRobot - התוצאות מתפרסמות למשתמשים עסקיים בצורה של אפליקציות. ל"בעלי עניין" מחוננים במיוחד. וגם השימוש בפועל בדגמים מנוטר. הכל בשביל פאגס!

אני לא לגמרי מבין איך דגמים מורכבים מגיעים לייצור. סוג של API מסופק כדי להאכיל אותם בנתונים ולהשיג תוצאות.

H2O

בינה מלאכותית ללא כונן היא מערכת קומפקטית ואינטואיטיבית מאוד ל-Supervised ML. הכל בקופסה אחת. זה לא לגמרי ברור מיד לגבי הקצה האחורי.

הדגם נארז אוטומטית לשרת REST או אפליקציית Java. זה רעיון נהדר. נעשה הרבה למען פרשנות והסבר. פרשנות והסבר של תוצאות המודל (מה מטבעו לא צריך להיות מוסבר, אחרת אדם יכול לחשב אותו הדבר?).
בפעם הראשונה, מחקר מקרה על נתונים לא מובנים ו NLP. תמונה אדריכלית איכותית. ובכלל אהבתי את התמונות.

יש מסגרת H2O גדולה בקוד פתוח שאינה ברורה לגמרי (סט של אלגוריתמים/ספריות?). מחשב נייד חזותי משלך ללא תכנות כמו יופיטר (קשר). קראתי גם על Pojo ו-Mojo - דגמי H2O עטופים בג'אווה. הראשון פשוט, השני עם אופטימיזציה. H20 הם היחידים(!) שגרטנר רשמה בפניהם את ניתוח הטקסט וה-NLP כנקודות החוזק שלהם, כמו גם את המאמצים שלהם לגבי הסבר. זה מאוד חשוב!

באותו מקום: ביצועים גבוהים, אופטימיזציה וסטנדרט תעשייתי בתחום האינטגרציה עם חומרה ועננים.

והחולשה הגיונית - Driverles AI חלש וצרה בהשוואה לקוד הפתוח שלהם. הכנת הנתונים צולעת בהשוואה לפקסטה! והם מתעלמים מנתונים תעשייתיים - זרם, גרף, גיאוגרפי. ובכן, הכל לא יכול להיות רק טוב.

KNIME

אהבתי את 6 המקרים העסקיים הספציפיים מאוד, מאוד מעניינים בעמוד הראשי. OpenSource חזק.

גרטנר הוריד אותם ממנהיגים לבעלי חזון. להרוויח כסף בצורה גרועה הוא סימן טוב למשתמשים, בהתחשב בכך שהלידר הוא לא תמיד הבחירה הטובה ביותר.

מילת המפתח, כמו ב-H2O, היא מוגברת, כלומר לעזור למדעני מידע אזרחים עניים. זו הפעם הראשונה שמישהו ספג ביקורת על ביצועים בביקורת! מעניין? כלומר, יש כל כך הרבה כוח מחשוב שביצועים לא יכולים להיות בעיה מערכתית בכלל? לגרטנר יש על המילה הזו "מוגברת" מאמר נפרד, שאליו לא ניתן היה להגיע.
ונראה כי KNIME הוא הלא אמריקאי הראשון בסקירה! (והמעצבים שלנו מאוד אהבו את דף הנחיתה שלהם. אנשים מוזרים.

MathWorks

MatLab הוא חבר כבוד ותיק המוכר לכולם! ארגזי כלים לכל תחומי החיים והמצבים. משהו מאוד שונה. למעשה, המון המון המון מתמטיקה לכל דבר בחיים!

מוצר תוסף Simulink לעיצוב מערכת. חפרתי בארגזי כלים עבור תאומים דיגיטליים - אני לא מבין בזה כלום, אבל כאן הרבה נכתב. ל תעשיית השמן. באופן כללי, מדובר במוצר שונה מהותית ממעמקי המתמטיקה וההנדסה. לבחירת ערכות כלים ספציפיות למתמטיקה. לפי גרטנר, הבעיות שלהם זהות לאלו של מהנדסים חכמים - אין שיתוף פעולה - כל אחד מפשפש במודל שלו, בלי דמוקרטיה, בלי הסבר.

RapidMiner

נתקלתי ושמעתי הרבה בעבר (יחד עם Matlab) בהקשר של קוד פתוח טוב. התעמקתי קצת ב-TurboPrep כרגיל. אני מתעניין כיצד לקבל נתונים נקיים מנתונים מלוכלכים.

שוב אתה יכול לראות שהאנשים טובים בהתבסס על חומרי השיווק של 2018 והאנשים הנוראים דוברי אנגלית בהדגמת הפיצ'ר.

ואנשים מדורטמונד מאז 2001 עם רקע גרמני חזק)

אני עדיין לא מבין מהאתר מה בדיוק זמין בקוד פתוח - צריך לחפור יותר לעומק. סרטונים טובים על פריסה ומושגי AutoML.

אין שום דבר מיוחד גם ב-RapidMiner Server Backend. זה כנראה יהיה קומפקטי ויעבוד היטב על פרימיום מחוץ לקופסה. זה ארוז ב-Docker. סביבה משותפת רק בשרת RapidMiner. ואז יש Radoop, נתונים מ-Hadoop, ספירת חרוזים מ-Spark in Studio.

כצפוי, מוכרים חמים צעירים "מוכרי מקלות פסים" הורידו אותם למטה. עם זאת, גרטנר חוזה את הצלחתם העתידית בתחום ה-Enterprise. אפשר לגייס שם כסף. הגרמנים יודעים לעשות את זה, קדוש-קדוש :) אל תזכיר את סאפ!!!

הם עושים הרבה למען האזרחים! אבל מהעמוד אפשר לראות שגרטנר אומרת שהם נאבקים בחדשנות במכירות ולא נלחמים על רוחב הכיסוי, אלא על רווחיות.

נשאר SAS и טיבקו ספקי BI טיפוסיים עבורי... ושניהם נמצאים בפסגה, מה שמאשר את הביטחון שלי ש-DataScience רגיל צומח באופן הגיוני
מ-BI, ולא מעננים ותשתיות Hadoop. מהעסק, כלומר, ולא מה-IT. כמו ב-Gazpromneft למשל: קשר,סביבת DSML בוגרת צומחת מתוך שיטות BI חזקות. אבל אולי זה מטומטם ומוטה כלפי MDM ודברים אחרים, מי יודע.

SAS

אין הרבה מה לומר. רק הדברים הברורים.

טיבקו

האסטרטגיה נקראת ברשימת קניות בדף ויקי בן עמודים. כן, סיפור ארוך, אבל 28!!! צ'ארלס. קניתי את BI Spotfire (2007) עוד בצעירותי הטכנו. וגם דיווח מג'ספרסופט (2014), אז לא פחות משלוש ספקי אנליטיקה חזויה Insightful (S-plus) (2008), Statistica (2017) ו-Alpine Data (2017), עיבוד אירועים והזרמת Streambase System (2013), MDM Orchestra פלטפורמת הזיכרון של Networks (2018) ו-Snappy Data (2019).

שלום פרנקי!

מקור: www.habr.com