למידת חיזוק או אסטרטגיות אבולוציוניות? - שניהם

היי הבר!

לעתים קרובות אנו לא מחליטים לפרסם כאן תרגומים של טקסטים בני שנתיים, ללא קוד ובעלי אופי אקדמי בעליל - אבל היום נעשה חריג. אנו מקווים שהדילמה המופיעה בכותרת המאמר מדאיגה רבים מהקוראים שלנו, וכבר קראתם את העבודה הבסיסית על אסטרטגיות אבולוציוניות עמן הפוסט הזה מתווכח במקור או תקראו אותו עכשיו. ברוכים הבאים לחתול!

במרץ 2017, OpenAI הכתה גלים בקהילת הלמידה העמוקה עם העיתון "אסטרטגיות אבולוציה כאלטרנטיבה ניתנת להרחבה ללמידה חיזוקית" עבודה זו תיארה תוצאות מרשימות לטובת העובדה שלמידת חיזוק (RL) לא הפכה לטריז, וכאשר מאמנים רשתות עצביות מורכבות, מומלץ לנסות שיטות אחרות. אז פרץ ויכוח בנוגע לחשיבותה של למידת תגבור וכיצד ראוי למעמדה כטכנולוגיית "חובה" להוראת פתרון בעיות. כאן אני רוצה לומר שאין להתייחס לשתי הטכנולוגיות הללו כמתחרות, שאחת מהן בבירור טובה מהשנייה; להיפך, הם בסופו של דבר משלימים זה את זה. אכן, אם תחשוב קצת על מה שצריך כדי ליצור AI כללי ומערכות כאלה, שלאורך כל קיומן יהיו מסוגלות ללמוד, לשפוט ולתכנן, אז כמעט בוודאות נגיע למסקנה כי יידרש פתרון משולב זה או אחר. אגב, דווקא לפתרון המשולב הזה הגיע הטבע, שהעניק ליונקים ולבעלי חיים גבוהים אחרים אינטליגנציה מורכבת במהלך האבולוציה.

אסטרטגיות אבולוציוניות

התזה העיקרית של המאמר של OpenAI הייתה שבמקום להשתמש בלימוד חיזוק בשילוב עם התפשטות לאחור מסורתית, הם אימנו בהצלחה רשת עצבית לפתור בעיות מורכבות באמצעות מה שהם כינו "אסטרטגיה אבולוציונית" (ES). גישת ES זו מורכבת משמירה על חלוקה רחבה של משקלים ברשת, מעורבת מספר סוכנים הפועלים במקביל ושימוש בפרמטרים שנבחרו מהתפלגות זו. כל סוכן פועל בסביבה שלו, ובסיום מספר מוגדר של פרקים או שלבים של פרק, האלגוריתם מחזיר תגמול מצטבר, המתבטא בציון כושר. אם לוקחים בחשבון ערך זה, ניתן להעביר את חלוקת הפרמטרים לכיוון סוכנים מצליחים יותר, ולמנוע סוכנים פחות מצליחים. באמצעות חזרה על מבצע כזה מיליוני פעמים בהשתתפות מאות סוכנים, ניתן להעביר את חלוקת המשקולות למרחב שיאפשר לסוכנים לגבש מדיניות איכותית לפתרון המשימה שהוטלה עליהם. ואכן, התוצאות המוצגות במאמר מרשימות: הוכח שאם אתה מפעיל אלף סוכנים במקביל, אז ניתן ללמוד תנועה אנתרופומורפית על שתי רגליים תוך פחות מחצי שעה (בעוד שאפילו שיטות ה-RL המתקדמות ביותר דורשות הוצאה גבוהה יותר משעה על זה). למידע מפורט יותר, אני ממליץ לקרוא את המצוין להציב מחברי הניסוי, כמו גם מאמר מדעי.

אסטרטגיות שונות להוראת הליכה זקופה אנתרופומורפית, שנלמדו בשיטת ES מבית OpenAI.

קופסה שחורה

היתרון הגדול של שיטה זו הוא שניתן להקביל אותה בקלות. בעוד ששיטות RL, כגון A3C, דורשות החלפת מידע בין שרשורי עובדים ושרת פרמטרים, ES זקוקה רק לאומדני כושר ומידע כללי על הפצת פרמטרים. בשל הפשטות הזו שיטה זו מקדימה בהרבה את שיטות ה-RL המודרניות מבחינת יכולות קנה המידה. עם זאת, כל זה לא בא לשווא: אתה צריך לייעל את הרשת על פי עקרון הקופסה השחורה. במקרה זה, ה"קופסה השחורה" פירושה שבמהלך האימון מתעלמים לחלוטין מהמבנה הפנימי של הרשת, ומשמשים רק את התוצאה הכוללת (תגמול על הפרק), ותלוי בה אם המשקלים של רשת מסוימת יעברו בירושה לדורות הבאים. במצבים שבהם אנחנו לא מקבלים הרבה משוב מהסביבה - ובהרבה בעיות RL מסורתיות זרימת התגמולים דלילה מאוד - הבעיה עוברת מ"קופסה שחורה בחלקה" ל"קופסה שחורה לחלוטין". במקרה זה, אתה יכול להגדיל באופן משמעותי את הפרודוקטיביות, אז, כמובן, פשרה כזו מוצדקת. "מי צריך שיפועים אם הם רועשים ללא תקנה בכלל?" - זו הדעה הכללית.

עם זאת, במצבים שבהם המשוב פעיל יותר, דברים מתחילים להשתבש עבור ה-ES. צוות OpenAI מתאר כיצד הוכשרה רשת סיווג MNIST פשוטה באמצעות ES, והפעם האימון היה איטי פי 1000. העובדה היא שאות השיפוע בסיווג תמונה הוא אינפורמטיבי ביותר לגבי איך ללמד את הרשת סיווג טוב יותר. לפיכך, הבעיה היא פחות בטכניקת RL ויותר עם תגמולים דל בסביבות שמייצרות שיפועים רועשים.

הפתרון של הטבע

אם ננסה ללמוד מהדוגמה של הטבע, לחשוב על דרכים לפתח בינה מלאכותית, אז במקרים מסוימים ניתן לחשוב על AI כעל גישה ממוקדת בעיה. אחרי הכל, הטבע פועל במסגרת אילוצים שפשוט אין למדעני מחשבים. ישנה דעה שגישה תיאורטית גרידא לפתרון בעיה מסוימת יכולה לספק פתרונות יעילים יותר מאשר חלופות אמפיריות. עם זאת, אני עדיין חושב שכדאי לבדוק כיצד מערכת דינמית הפועלת תחת אילוצים מסוימים (כדור הארץ) יצרה סוכנים (בעלי חיים, במיוחד יונקים) המסוגלים להתנהגות גמישה ומורכבת. בעוד שחלק מהאילוצים הללו אינם חלים בעולמות מדעי הנתונים המדומים, אחרים בסדר גמור.

לאחר שבדקנו את ההתנהגות האינטלקטואלית של יונקים, אנו רואים שהיא נוצרת כתוצאה מהשפעה הדדית מורכבת של שני תהליכים הקשורים זה בזה: ללמוד מניסיונם של אחרים и ללמוד תוך כדי עשייה. הראשון משווה לרוב לאבולוציה המונעת על ידי ברירה טבעית, אבל כאן אני משתמש במונח רחב יותר כדי לקחת בחשבון אפיגנטיקה, מיקרוביום ומנגנונים אחרים המאפשרים שיתוף חוויות בין אורגניזמים שאינם קשורים גנטית. התהליך השני, למידה מניסיון, הוא כל המידע שבעל חיים מצליח ללמוד במהלך חייו, ומידע זה נקבע ישירות על ידי האינטראקציה של בעל חיים זה עם העולם החיצון. קטגוריה זו כוללת הכל מלמידה לזיהוי אובייקטים ועד שליטה בתקשורת הגלומה בתהליך הלמידה.

באופן גס, ניתן להשוות את שני התהליכים הללו המתרחשים בטבע לשתי אפשרויות לאופטימיזציה של רשתות עצביות. אסטרטגיות אבולוציוניות, שבהן משתמשים במידע על שיפועים לעדכון מידע על האורגניזם, מתקרבות ללמידה מניסיונם של אחרים. באופן דומה, שיטות שיפוע, שבהן השגת חוויה כזו או אחרת מובילה לשינוי כזה או אחר בהתנהגותו של הסוכן, ניתנות להשוואה ללמידה מהניסיון שלו. אם נחשוב על סוגי ההתנהגות או היכולות האינטליגנטית שכל אחת משתי הגישות הללו מפתחת בבעלי חיים, ההשוואה הופכת בולטת יותר. בשני המקרים, "שיטות אבולוציוניות" מקדמות את חקר התנהגויות תגובתיות המאפשרות לפתח כושר מסוים (מספיק כדי להישאר בחיים). לימוד הליכה או בריחה מהשבי מקביל במקרים רבים להתנהגויות "אינסטינקטיביות" יותר ש"קשורות" בבעלי חיים רבים ברמה הגנטית. בנוסף, דוגמה זו מאשרת ששיטות אבולוציוניות ישימות במקרים שבהם אות התגמול נדיר ביותר (לדוגמה, עובדת גידול מוצלח של תינוק). במקרה כזה, אי אפשר לתאם את התגמול למערכת ספציפית של פעולות שאולי בוצעו שנים רבות לפני התרחשות עובדה זו. מצד שני, אם ניקח בחשבון מקרה שבו ES נכשל, כלומר סיווג תמונה, התוצאות דומות להפליא לתוצאות של למידה של בעלי חיים שהושגו באינספור ניסויים פסיכולוגיים התנהגותיים שנערכו במשך 100 שנים פלוס.

לומדים מבעלי חיים

השיטות המשמשות בלמידה חיזוקית לקוחות במקרים רבים ישירות מהספרות הפסיכולוגית ואילך התניה אופרנטית, והתניה אופרנטית נחקרה באמצעות פסיכולוגיה של בעלי חיים. אגב, לריצ'רד סאטון, אחד משני מייסדי למידת החיזוק, יש תואר ראשון בפסיכולוגיה. בהקשר של התניה אופרנטית, בעלי חיים לומדים לקשר שכר או עונש לדפוסי התנהגות ספציפיים. מאמנים וחוקרים יכולים לתמרן את אסוציאציית התגמול הזו בדרך זו או אחרת, ולעורר חיות להפגין אינטליגנציה או התנהגויות מסוימות. עם זאת, התניה אופרנטית, כפי שהיא משמשת בחקר בעלי חיים, היא לא יותר מאשר צורה בולטת יותר של אותה התניה שעל בסיסה לומדים בעלי חיים לאורך כל חייהם. אנו מקבלים כל הזמן אותות של חיזוק חיובי מהסביבה ומתאימים את ההתנהגות שלנו בהתאם. למעשה, מדעני מוח ומדענים קוגניטיביים רבים מאמינים שבני אדם ובעלי חיים אחרים פועלים למעשה ברמה גבוהה עוד יותר ולומדים ללא הרף לחזות את התוצאה של התנהגותם במצבים עתידיים על סמך תגמולים פוטנציאליים.

התפקיד המרכזי של חיזוי בלמידה מניסיון משנה את הדינמיקה שתוארה לעיל בדרכים משמעותיות. האות שנחשב בעבר דליל מאוד (פרס אפיזודי) מתברר כצפוף מאוד. תיאורטית, המצב הוא בערך כך: בכל זמן נתון, מוחו של היונק מחשב תוצאות על סמך זרם מורכב של גירויים ופעולות חושיות, בעוד שהחיה פשוט שקועה בזרם הזה. במקרה זה, ההתנהגות הסופית של בעל החיים נותנת איתות חזק שיש להשתמש בו כדי להנחות את התאמת התחזיות ופיתוח ההתנהגות. המוח משתמש בכל האותות הללו על מנת לייעל את התחזיות (ובהתאם, את איכות הפעולות שננקטו) בעתיד. סקירה כללית של גישה זו ניתנת בספר המעולה "חוסר ודאות בגלישה"מדען קוגניטיבי ופילוסוף אנדי קלארק. אם ניקח היגיון כזה לאימון של גורמים מלאכותיים, אזי מתגלה פגם מהותי בלמידת חיזוק: האות המשמש בפרדיגמה זו חלש חסר תקנה בהשוואה למה שהוא יכול להיות (או צריך להיות). במקרים בהם אי אפשר להגדיל את רווית האות (אולי בגלל שהיא חלשה מטבעה או קשורה לתגובתיות ברמה נמוכה), כנראה שעדיף להעדיף שיטת אימון מקבילה היטב, למשל ES.

אימון עשיר יותר של רשתות עצביות

בהתבסס על עקרונות הפעילות העצבית הגבוהה יותר הטבועה במוח היונקים, שעסוק כל הזמן בביצוע תחזיות, התפתחו לאחרונה התקדמות בתחום למידת החיזוק, אשר לוקחת כעת בחשבון את החשיבות של תחזיות כאלה. אני יכול להמליץ ​​לך מיד על שתי עבודות דומות:

• ללמוד לפעול על ידי חיזוי העתיד
• למידה תגבורת עם משימות עזר ללא פיקוח

בשני המאמרים הללו, המחברים משלימים את מדיניות ברירת המחדל האופיינית של הרשתות העצביות שלהם עם תוצאות חיזוי לגבי מצב הסביבה בעתיד. במאמר הראשון מיושמת חיזוי על מגוון משתני מדידה, ובשני חיזוי על שינויים בסביבה ובהתנהגות הסוכן ככזה. בשני המקרים, האות הדליל הקשור לחיזוק חיובי הופך לעשיר ואינפורמטיבי הרבה יותר, ומאפשר גם למידה מהירה יותר וגם רכישת התנהגויות מורכבות יותר. שיפורים כאלה זמינים רק בשיטות המשתמשות באות שיפוע, ולא בשיטות הפועלות על עיקרון "קופסה שחורה", כמו ES.

בנוסף, למידה מניסיון ושיטות שיפוע יעילות הרבה יותר. גם במקרים בהם ניתן היה ללמוד בעיה מסוימת בשיטת ES מהר יותר מאשר באמצעות למידת חיזוק, הרווח הושג בשל העובדה שאסטרטגיית ה-ES כללה פי כמה יותר נתונים מאשר עם RL. בהרהורים במקרה זה על עקרונות הלמידה בבעלי חיים, נציין כי התוצאה של למידה מדוגמה של מישהו אחר באה לידי ביטוי לאחר דורות רבים, בעוד שלפעמים די באירוע בודד שנחווה בפני עצמו כדי שהחיה ילמד את הלקח לנצח. בעוד כמו אימון ללא דוגמאות למרות שזה לא ממש מתאים לשיטות שיפוע מסורתיות, זה הרבה יותר מובן מ-ES. יש, למשל, גישות כגון שליטה אפיזודית עצבית, שבו מאוחסנים ערכי Q במהלך תהליך האימון, ולאחר מכן התוכנית בודקת אותם לפני ביצוע פעולות. התוצאה היא שיטת שיפוע המאפשרת ללמוד כיצד לפתור בעיות הרבה יותר מהר מבעבר. במאמר על שליטה אפיזודית עצבית, המחברים מזכירים את ההיפוקמפוס האנושי, המסוגל לשמור מידע על אירוע גם לאחר חוויה בודדת, ולכן, משחק תפקיד קריטי בתהליך ההיזכרות. מנגנונים כאלה דורשים גישה לארגון הפנימי של הסוכן, מה שגם הוא, בהגדרה, בלתי אפשרי בפרדיגמת ה-ES.

אז למה לא לשלב אותם?

סביר להניח שחלק גדול מהמאמר הזה עשוי להשאיר את הרושם שאני תומך בשיטות RL. עם זאת, אני דווקא חושב שבטווח הארוך הפתרון הטוב ביותר הוא לשלב את שתי השיטות, כך שכל אחת תשמש במצבים שבהם היא הכי מתאימה. ברור שבמקרה של פוליסות ריאקטיביות רבות או במצבים עם אותות דל מאוד של חיזוק חיובי, ה-ES מנצח, במיוחד אם יש לך את כוח המחשוב שעומד לרשותך שעליו אתה יכול להריץ אימון מקביל מאסיבי. מצד שני, שיטות שיפוע באמצעות למידת חיזוק או למידה מפוקחת יהיו שימושיות כאשר יש לנו גישה למשוב נרחב וצריך ללמוד כיצד לפתור בעיה במהירות ובפחות נתונים.

כשפונים לטבע, אנו מוצאים שהשיטה הראשונה, במהותה, מניחה את הבסיס לשיטה השנייה. זו הסיבה שבמהלך האבולוציה, יונקים פיתחו מוחות המאפשרים להם ללמוד בצורה יעילה ביותר מאותות מורכבים המגיעים מהסביבה. אז השאלה נשארת פתוחה. אולי אסטרטגיות אבולוציוניות יעזרו לנו להמציא ארכיטקטורות למידה אפקטיביות שיהיו שימושיות גם לשיטות למידה מדורגות. הרי הפתרון שמצא הטבע אכן מוצלח מאוד.

מקור: www.habr.com