לימוד אנסמבל קסם

היי הבר! אנו מזמינים מהנדסי נתונים ומומחי למידת מכונה לשיעור הדגמה חינם "הכנסת מודלים של ML לסביבה התעשייתית תוך שימוש בדוגמה של המלצות מקוונות". אנו מפרסמים גם מאמר מאת לוקה מונו - ראש מחלקת אנליטיקה פיננסית ב-CDP SpA.

אחת השיטות השימושיות והפשוטות ביותר ללימוד מכונה היא Ensemble Learning. Ensemble Learning היא הטכניקה הבסיסית של XGBoost, Bagging, Random Forest ואלגוריתמים רבים אחרים.

יש הרבה מאמרים נהדרים על Towards Data Science, אבל בחרתי שני סיפורים (הראשון и שני) שהכי אהבתי. אז למה לכתוב עוד כתבה על EL? כי אני רוצה להראות לך איך זה עובד בדוגמה פשוטה, מה שגרם לי להבין שאין כאן קסם.

כשראיתי לראשונה את EL בפעולה (עובד עם כמה מודלים מאוד פשוטים של רגרסיה) לא האמנתי למראה עיניי, ואני עדיין זוכר את הפרופסור שלימד אותי את השיטה הזו.

היו לי שני מודלים שונים (שני אלגוריתמי למידה חלשים) עם אקספוננטים מחוץ לדגימה R² שווה ל-0,90 ו-0,93 בהתאמה. לפני שהסתכלתי על התוצאה, חשבתי שאקבל R² איפשהו בין שני הערכים ההתחלתיים. במילים אחרות, חשבתי שאפשר להשתמש ב-EL כדי לגרום לדגם לא לבצע ביצועים גרועים כמו הדגם הגרוע ביותר, אבל לא כמו הדגם הטוב ביותר.

להפתעתי הגדולה, התוצאות של ממוצע פשוט של התחזיות נתנו R² של 0,95. 

בהתחלה התחלתי לחפש שגיאה, אבל אז חשבתי שאולי מסתתר כאן איזה קסם!

מהי למידת אנסמבל

עם EL, אתה יכול לשלב את התחזיות של שני דגמים או יותר כדי לקבל מודל אמין וביצועי יותר. ישנן מתודולוגיות רבות לעבודה עם אנסמבלים של מודלים. כאן אגע בשניים השימושיים ביותר כדי לתת לך רעיון.

עם נְסִיגָה אתה יכול לבצע ממוצע של הביצועים של הדגמים הזמינים.

עם סיווגים אתה יכול לתת לדגמים לבחור תוויות. התווית שנבחרה לרוב היא זו שתיבחר על ידי הדגם החדש.

למה EL עובד טוב יותר

הסיבה העיקרית לכך ש-EL עובד טוב יותר היא בגלל שלכל חיזוי יש שגיאה (אנחנו יודעים את זה מתורת ההסתברות), שילוב של שני תחזיות יכול לעזור להפחית את השגיאה, ובכך לשפר את מדדי הביצועים (RMSE, R² וכו'). ד).

התרשים הבא מראה כיצד שני אלגוריתמים חלשים עובדים על מערך נתונים. לאלגוריתם הראשון יש שיפוע גדול מהנדרש, בעוד שלשני יש כמעט אפס (ייתכן בגלל רגוליזציה מוגזמת). אבל להקה מציג תוצאות טובות יותר. 

אם תסתכל על R², אז אלגוריתם האימון הראשון והשני יהיה שווה ל-0.01¹, 0.22, בהתאמה, בעוד עבור האנסמבל הוא יהיה שווה ל-0.73.

ישנן סיבות רבות לכך שאלגוריתם יכול להיות מודל גרוע אפילו עבור דוגמה בסיסית כמו זו: אולי החלטת להשתמש ברגוליזציה כדי למנוע התאמת יתר, או שהחלטת לא לחסל כמה חריגות, או אולי השתמשת ברגרסיה פולינומית ובחרת בדרגה הלא נכונה (לדוגמה, השתמשו בפולינום מהמעלה השנייה, ונתוני הבדיקה מראים אסימטריה ברורה, שעבורה המעלה השלישית תתאים יותר).

כאשר EL עובד הכי טוב

בואו נסתכל על שני אלגוריתמי למידה שעובדים על אותם נתונים.

כאן ניתן לראות ששילוב שני הדגמים לא שיפר בהרבה את הביצועים. בתחילה, עבור שני אלגוריתמי האימון, ערכי R² היו -0,37 ו- 0,22, בהתאמה, ועבור האנסמבל התברר שהם -0,04. כלומר, מודל EL קיבל את הערך הממוצע של האינדיקטורים.

עם זאת, יש הבדל גדול בין שתי הדוגמאות הללו: בדוגמה הראשונה, השגיאות של המודלים היו מתואמות שלילי, ובשנייה - חיובית (המקדמים של שלושת המודלים לא נאמדו, אלא פשוט נבחרו על ידי המחבר לדוגמא.)

לכן, ניתן להשתמש ב-Ensemble Learning כדי לשפר את איזון ההטיה/פיזור בכל המקרים, אבל מתי שגיאות מודל אינן בקורלציה חיובית, שימוש ב-EL יכול להוביל לביצועים טובים יותר.

מודלים הומוגניים והטרוגניים

לעתים קרובות מאוד נעשה שימוש ב-EL במודלים הומוגניים (כמו בדוגמה זו או ביער אקראי), אך למעשה ניתן לשלב מודלים שונים (רגרסיה לינארית + רשת עצבית + XGBoost) עם קבוצות שונות של משתנים מסבירים. זה עשוי להוביל לשגיאות לא מתואמות ולשפר את הביצועים.

השוואה עם פיזור תיקים

EL פועלת בצורה דומה לגיוון בתורת התיקים, אבל הרבה יותר טוב עבורנו. 

כאשר אתה מגוון, אתה מנסה להפחית את השונות בביצועים שלך על ידי השקעה במניות לא מתואמות. תיק מגוון היטב של מניות ישיג ביצועים טובים יותר מהמניה הבודדת הגרועה ביותר, אך לעולם לא טוב מהטובים ביותר.

מצטט את וורן באפט: 

"גיוון הוא הגנה מפני בורות, למי שלא יודע מה הוא עושה, זה [גיוון] מעט מאוד הגיוני".

בלמידת מכונה, EL עוזר להפחית את השונות של המודל שלך, אבל זה יכול לגרום למודל עם ביצועים כלליים טובים יותר מהמודל הראשוני הטוב ביותר.

לסכם

שילוב של מספר מודלים לאחד הוא טכניקה פשוטה יחסית שיכולה להוביל לפתרון בעיית הטיית השונות ולשיפור הביצועים.

אם יש לכם שני דגמים או יותר שעובדים טוב, אל תבחרו ביניהם: השתמשו בכולם (אבל בזהירות)!

האם אתה מעוניין להתפתח בכיוון הזה? הירשם לשיעור הדגמה בחינם "הכנסת מודלים של ML לסביבה התעשייתית תוך שימוש בדוגמה של המלצות מקוונות" ולהשתתף ב פגישה מקוונת עם אנדריי קוזנצוב - מהנדס למידת מכונה בקבוצת Mail.ru.

מקור: www.habr.com