NeurIPS 2019: מגמות ML שילוו אותנו בעשור הבא

NeuroIPS (מערכות עיבוד מידע עצבי) הוא הכנס הגדול בעולם בנושא למידת מכונה ובינה מלאכותית והאירוע המרכזי בעולם הלמידה העמוקה.

האם אנו, מהנדסי DS, נשלוט בעשור החדש גם בביולוגיה, בלשנות ופסיכולוגיה? נספר לך בסקירה שלנו.

השנה הכנס ריכז יותר מ-13500 אנשים מ-80 מדינות בוונקובר, קנדה. זו לא השנה הראשונה ש-Sberbank מייצג את רוסיה בכנס - צוות DS דיבר על הטמעת ML בתהליכים בנקאיים, על תחרות ה-ML ועל היכולות של פלטפורמת Sberbank DS. מה היו המגמות העיקריות של 2019 בקהילת ה-ML? משתתפי הכנס אומרים: אנדריי צ'רטוק и טטיאנה שברינה.

השנה, NeurIPS קיבלה יותר מ-1400 מאמרים - אלגוריתמים, דגמים חדשים ויישומים חדשים לנתונים חדשים. קישור לכל החומרים

תוכן:

• מגמות
• • פרשנות מודל
  • רב תחומיות
  • הַנמָקָה
  • RL
  • גן
• שיחות מוזמנות בסיסיות
• • "אינטליגנציה חברתית", Blaise Aguera y Arcas (גוגל)
  • "מדעי הנתונים האמיתיים", בן יו (ברקלי)
  • "דוגמנות התנהגות אנושית עם למידת מכונה: הזדמנויות ואתגרים", נוריה מ אוליבר, אלברט עלי סלאח
  • "ממערכת 1 למערכת 2 למידה עמוקה", יושע בנג'יו

טרנדים 2019

1. פרשנות מודל ומתודולוגיה חדשה של ML

הנושא המרכזי של הכנס הוא פרשנות והוכחות מדוע אנו מקבלים תוצאות מסוימות. אפשר לדבר הרבה זמן על החשיבות הפילוסופית של פרשנות "הקופסה השחורה", אבל היו יותר שיטות אמיתיות והתפתחויות טכניות בתחום זה.

המתודולוגיה לשכפול מודלים והפקת ידע מהם היא ערכת כלים חדשה למדע. מודלים יכולים לשמש כלי להשגת ידע חדש ובדיקתו, וכל שלב של עיבוד מקדים, הדרכה ויישום של המודל חייב להיות בר-שחזור.
חלק ניכר מהפרסומים מוקדש לא לבניית מודלים וכלים, אלא לבעיות של הבטחת אבטחה, שקיפות ואימות תוצאות. בפרט, הופיע זרם נפרד על התקפות על המודל (התקפות יריבות), ונחשבות אפשרויות הן להתקפות על אימונים והן להתקפות על אפליקציה.

מאמרים:

• מדעי נתונים אמתיים - מאמר פרוגרמטי על המתודולוגיה של אימות מודל. כולל סקירה כללית של כלים מודרניים לפירוש מודלים, בפרט, שימוש בתשומת לב וקבלת חשיבות תכונה על ידי "זיקוק" הרשת העצבית עם מודלים ליניאריים.
• זה נראה כך: למידה עמוקה לזיהוי תמונות שניתן לפרש צ'אופן צ'ן, אוסקר לי, דניאל טאו, אלינה בארנט, סינתיה רודין, ג'ונתן ק.סו
• אמת מידה לשיטות פרשנות ברשתות עצביות עמוקות שרה הוקר, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
• לקראת למידת חיזוק ניתנת לפירוש באמצעות סוכני תשומת לב מוגברים אלכסנדר מוט, דניאל צורן, מייק צ'רזנובסקי, דיין וירסטרה, דנילו חימנס רזנדה
• מדד חשיבות של תכונת MDI מוטעית עבור יערות אקראיים שיאו לי, יו וואנג, סומנטה באסו, קארל קומביר, בן יו
• חילוץ ידע ללא נתונים ניתנים לצפייה Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
• צעד לקראת כימות מחקר למידת מכונה הניתנת לשחזור עצמאית אדוארד ראף

ExBert.net מציג פרשנות מודל למשימות עיבוד טקסט

2. רב תחומיות

כדי להבטיח אימות מהימן ולפתח מנגנונים לאימות והרחבת ידע, אנו זקוקים למומחים בתחומים קשורים בעלי כישורים במקביל ב-ML ובתחום המקצוע (רפואה, בלשנות, נוירוביולוגיה, חינוך וכו'). במיוחד ראוי לציין את הנוכחות המשמעותית יותר של יצירות ונאומים במדעי המוח ובמדעי הקוגניציה - יש התקרבות של מומחים והשאלת רעיונות.

בנוסף להתקרבות זו, מתגבשת רב תחומיות בעיבוד משותף של מידע ממקורות שונים: טקסט ותמונות, טקסט ומשחקים, מאגרי גרפים + טקסט ותמונות.

מאמרים:

• מדעי המוח + ML — פירוש ושיפור עיבוד שפה טבעית (במכונות) עם עיבוד שפה טבעית (במוח)
• VisualQA - למידה על ידי הפשטה: מכונת המצב העצבית
• RL + NLP - קבלת החלטות היררכית על ידי הפקה וביצוע הוראות שפה טבעית

שני מודלים - אסטרטג ומנהל - המבוססים על RL ו-NLP אסטרטגיה מקוונת

3. הנמקה

חיזוק הבינה המלאכותית היא תנועה לעבר מערכות למידה עצמית, "מודעות", היגיון והיגיון. בפרט, מתפתחות מסקנות סיבתיות והיגיון בריא. חלק מהדוחות מוקדשים ל-meta-learning (על איך ללמוד ללמוד) ולשילוב של טכנולוגיות DL עם היגיון מסדר 1 ו-2 – המונח Artificial General Intelligence (AGI) הופך למונח נפוץ בנאומי הדוברים.

מאמרים:

• לימוד גרפים הטרוגניים עבור חשיבה חזותית Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
• גישור למידת מכונה ונימוק לוגי על ידי למידה חטיפה Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
• למידה מרומזת להגיון בלוגיקה מסדר ראשון וישק בל, ברנדן ג'ובה
• PHYRE: אמת מידה חדשה להיגיון פיזי אנטון בחטין, לורנס ואן דר מאטן, ג'סטין ג'ונסון, לורה גוסטפסון, רוס גירשיק
• הטבעה קוונטית של ידע להיגיון Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam

4.למידת חיזוק

רוב העבודה ממשיכה לפתח תחומים מסורתיים של RL - DOTA2, Starcraft, בשילוב ארכיטקטורות עם ראייה ממוחשבת, NLP, מסדי נתונים של גרפים.

יום נפרד של הכנס הוקדש לסדנת RL, בה הוצגה ארכיטקטורת מודל הביקורת של השחקן האופטימי, עדיפה על כל הקודמות, בפרט מבקר השחקן הרך.

מאמרים:

• חקר טוב יותר עם מבקר שחקן אופטימי; קמיל סיוסק, קוואן וונג, רוברט לופטין, קטיה הופמן
• ChainerRL: ספריית למידת חיזוק עמוק; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (רשתות מועדפות); Takahiro Ishikawa (אוניברסיטת טוקיו) [קישור pdf חיצוני].
• חלום לשלוט: התנהגויות למידה על ידי דמיון סמוי; Danijar Hafner (Google)*; טימותי ליליקראפ (DeepMind); ג'ימי בה (אוניברסיטת טורונטו); מוחמד נורוזי (מוח של גוגל)
• חומרים לסדנה

שחקני StarCraft נלחמים במודל Alphastar (DeepMind)

5.GAN

רשתות גנרטיביות עדיין נמצאות באור הזרקורים: עבודות רבות משתמשות ב-GAN של וניל להוכחות מתמטיות, וגם מיישמות אותן בדרכים חדשות ויוצאות דופן (מודלים מחוללים גרפים, עבודה עם סדרות, יישום לקשרי סיבה ותוצאה בנתונים וכו').

מאמרים:

• כריית דגימות GOLD עבור GANs מותנים Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
• הגדלה מתקדמת של GANs דן ג'אנג, אנה חורבה
• מודלים של נתונים טבלאיים באמצעות GAN מותנה ליי שו, מריה סקולארידו, אלפרדו קואסטה-אינפנטה, קאליאן ויראמאצ'אנני
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring and-evaluating-gans

מאז התקבלה עבודה נוספת 1400 להלן נדבר על הנאומים החשובים ביותר.

שיחות מוזמנות

"אינטליגנציה חברתית", Blaise Aguera y Arcas (גוגל)

קשר
שקופיות וסרטונים
ההרצאה מתמקדת במתודולוגיה הכללית של למידת מכונה ובסיכויים שמשנים את התעשייה כרגע - באיזה צומת דרכים אנו עומדים? כיצד פועלים המוח והאבולוציה, ומדוע אנו עושים שימוש כה מועט במה שאנו כבר יודעים על התפתחות מערכות טבעיות?

ההתפתחות התעשייתית של ML עולה בקנה אחד עם אבני הדרך של הפיתוח של גוגל, שמפרסמת את המחקר שלה על NeurIPS שנה אחר שנה:

• 1997 – השקת מתקני חיפוש, שרתים ראשונים, כוח מחשוב קטן
• 2010 - ג'ף דין משיק את פרויקט Google Brain, פריחת הרשתות העצבית בתחילת הדרך
• 2015 – הטמעה תעשייתית של רשתות עצביות, זיהוי פנים מהיר ישירות במכשיר מקומי, מעבדים ברמה נמוכה המותאמים למחשוב טנסור - TPU. גוגל משיקה את Coral ai - אנלוגי של raspberry pi, מיני מחשב להחדרת רשתות עצביות למתקנים ניסיוניים
• 2017 - גוגל מתחילה לפתח אימון מבוזר ולשלב את התוצאות של אימון רשתות עצביות ממכשירים שונים לדגם אחד - באנדרואיד

כיום, תעשייה שלמה מוקדשת לאבטחת נתונים, צבירה ושכפול של תוצרי למידה במכשירים מקומיים.

למידה מאוחדת – כיוון של ML שבו מודלים בודדים לומדים ללא תלות זה בזה ואז משולבים למודל אחד (ללא ריכוז נתוני המקור), מותאם לאירועים נדירים, חריגות, התאמה אישית וכו'. כל מכשירי האנדרואיד הם למעשה מחשב-על מחשוב יחיד עבור גוגל.

מודלים גנרטיביים המבוססים על למידה מאוחדת הם כיוון עתידי מבטיח לפי גוגל, שנמצאת "בשלבים מוקדמים של צמיחה אקספוננציאלית". GANs, לדברי המרצה, מסוגלים ללמוד לשחזר את ההתנהגות ההמונית של אוכלוסיות של אורגניזמים חיים ואלגוריתמי חשיבה.

באמצעות הדוגמה של שתי ארכיטקטורות GAN פשוטות, מוצג כי בהן החיפוש אחר נתיב אופטימיזציה משוטט במעגל, מה שאומר שהאופטימיזציה ככזו אינה מתרחשת. יחד עם זאת, המודלים הללו מצליחים מאוד בסימולציה של הניסויים שביולוגים מבצעים באוכלוסיות חיידקים, מה שמאלץ אותם ללמוד אסטרטגיות התנהגותיות חדשות בחיפוש אחר מזון. אנו יכולים להסיק שהחיים עובדים אחרת מפונקציית האופטימיזציה.

Walking GAN Optimization

כל מה שאנו עושים במסגרת של למידת מכונה כעת הן משימות צרות ומפורמלות ביותר, בעוד שהפורמליזם הזה אינו מכליל היטב ואינו תואם את הידע שלנו בנושאים בתחומים כמו נוירופיזיולוגיה וביולוגיה.

מה שבאמת שווה לשאול מתחום הנוירופיזיולוגיה בעתיד הקרוב הוא ארכיטקטורות נוירונים חדשות ותיקון קל של מנגנוני ההפצה לאחור של שגיאות.

המוח האנושי עצמו אינו לומד כמו רשת עצבית:

• אין לו תשומות ראשוניות אקראיות, כולל אלו שנקבעו דרך החושים ובילדות
• יש לו כיוונים מובנים של התפתחות אינסטינקטיבית (הרצון ללמוד שפה מתינוק, הליכה זקופה)

אימון מוח אינדיבידואלי הוא משימה ברמה נמוכה; אולי עלינו לשקול "מושבות" של אינדיבידואלים המשתנים במהירות המעבירים ידע זה לזה כדי לשחזר את מנגנוני האבולוציה הקבוצתית.

מה אנחנו יכולים לאמץ לתוך אלגוריתמי ML עכשיו:

• החל מודלים של שושלת תאים המבטיחים את הלמידה של האוכלוסייה, אך את החיים הקצרים של הפרט ("מוח אינדיבידואלי").
• למידה מועטה באמצעות מספר קטן של דוגמאות
• מבני נוירונים מורכבים יותר, תפקודי הפעלה מעט שונים
• העברת ה"גנום" לדורות הבאים - אלגוריתם התפשטות לאחור
• ברגע שנחבר נוירופיזיולוגיה ורשתות עצביות, נלמד לבנות מוח רב תפקודי ממרכיבים רבים.

מנקודת מבט זו, התרגול של פתרונות SOTA מזיק ויש לתקן אותו למען פיתוח משימות נפוצות (בנצ'מרק).

"מדעי הנתונים האמיתיים", בן יו (ברקלי)

סרטונים ושקופיות
הדו"ח מוקדש לבעיית פרשנות מודלים של למידת מכונה ולמתודולוגיה לבדיקה ואימות ישירים שלהם. כל מודל ML מאומן יכול להיתפס כמקור ידע שצריך להפיק ממנו.

בתחומים רבים, בעיקר ברפואה, השימוש במודל בלתי אפשרי ללא מיצוי ידע נסתר זה ופירוש תוצאות המודל - אחרת לא נהיה בטוחים שהתוצאות יהיו יציבות, לא אקראיות, אמינות, ולא יהרגו את סבלני. כיוון שלם של מתודולוגיית עבודה מתפתח בתוך פרדיגמת הלמידה העמוקה וחוצה את גבולותיה - מדע נתונים ורידיים. מה זה?

אנחנו רוצים להשיג איכות כזו של פרסומים מדעיים ושחזור של מודלים שהם:

1. צָפוּי
2. ניתן לחישוב
3. יַצִיב

שלושת העקרונות הללו מהווים את הבסיס למתודולוגיה החדשה. כיצד ניתן לבדוק מודלים של ML מול קריטריונים אלו? הדרך הקלה ביותר היא לבנות מודלים הניתנים לפירוש מיד (רגרסיות, עצי החלטה). עם זאת, אנחנו גם רוצים לקבל את היתרונות המיידיים של למידה עמוקה.

מספר דרכים קיימות לעבוד עם הבעיה:

1. לפרש את המודל;
2. להשתמש בשיטות המבוססות על תשומת לב;
3. להשתמש בהרכבים של אלגוריתמים בעת אימון, ולהבטיח שמודלים הניתנים לפירוש ליניאריים ילמדו לחזות את אותן תשובות כמו הרשת העצבית, תוך פרשנות של תכונות מהמודל הליניארי;
4. לשנות ולהגדיל את נתוני האימון. זה כולל הוספת רעש, הפרעות והגדלת נתונים;
5. כל שיטות המסייעות להבטיח שתוצאות המודל אינן אקראיות ואינן תלויות בהפרעות לא רצויות קלות (התקפות יריבות);
6. לפרש את המודל לאחר מעשה, לאחר אימון;
7. מחקר תכונה משקלים בדרכים שונות;
8. למד את ההסתברויות של כל ההשערות, התפלגות מעמדות.

התקפה יריבה עבור חזיר

שגיאות דוגמנות הן יקרות עבור כולם: דוגמה מצוינת היא עבודתם של ריינהרט ורוגוב".צמיחה בזמן של חובות"השפיע על המדיניות הכלכלית של מדינות רבות באירופה ואילץ אותן לנקוט במדיניות צנע, אך בדיקה מחודשת של הנתונים ועיבודם שנים לאחר מכן הראתה את התוצאה ההפוכה!

לכל טכנולוגיית ML יש מחזור חיים משלה מהטמעה ליישום. מטרת המתודולוגיה החדשה היא לבדוק שלושה עקרונות בסיסיים בכל שלב בחיי המודל.

תוצאות:

• מפתחים מספר פרויקטים שיעזרו למודל ה-ML להיות אמין יותר. זהו, למשל, deeptune (קישור ל: github.com/ChrisCummins/paper-end2end-dl);
• להמשך פיתוח המתודולוגיה, יש צורך לשפר משמעותית את איכות הפרסומים בתחום ה-ML;
• למידת מכונה זקוקה למנהיגים בעלי הכשרה רב-תחומית ומומחיות הן בתחומים הטכניים והן בתחומי מדעי הרוח.

"דוגמנות התנהגות אנושית עם למידת מכונה: הזדמנויות ואתגרים" נוריה מ אוליבר, אלברט עלי סלאח

הרצאה המוקדשת למודל התנהגות אנושית, יסודותיה הטכנולוגיים ואפשרויות היישום.

ניתן לחלק מודלים של התנהגות אנושית ל:

• התנהגות אינדיבידואלית
• התנהגות של קבוצה קטנה של אנשים
• התנהגות המונית

ניתן לעצב כל אחד מהסוגים הללו באמצעות ML, אך עם מידע ותכונות קלט שונים לחלוטין. לכל סוג יש גם בעיות אתיות משלו שכל פרויקט עובר:

• התנהגות אינדיבידואלית - גניבת זהות, זיוף עמוק;
• התנהגות של קבוצות אנשים - דה-אנונימיזציה, קבלת מידע על תנועות, שיחות טלפון וכו';

התנהגות אינדיבידואלית

קשור בעיקר לנושא Computer Vision - זיהוי רגשות ותגובות אנושיות. אולי רק בהקשר, בזמן, או עם קנה המידה היחסי של שונות הרגשות שלו. השקף מציג הכרה ברגשותיה של מונה ליזה תוך שימוש בהקשר מהספקטרום הרגשי של נשים ים תיכוניות. התוצאה: חיוך של שמחה, אבל עם בוז וסלידה. הסיבה היא ככל הנראה בדרך הטכנית של הגדרת רגש "נייטרלי".

התנהגות של קבוצה קטנה של אנשים

עד כה המודל הגרוע ביותר נובע מחוסר מידע. כדוגמה, הוצגו עבודות מ-2018 - 2019. על עשרות אנשים X עשרות סרטונים (השווה 100k++ מערכי נתונים של תמונות). כדי לדגמן בצורה הטובה ביותר משימה זו, יש צורך במידע רב-מודאלי, רצוי מחיישנים במד גובה גוף, מדחום, הקלטת מיקרופון וכו'.

התנהגות המונית

האזור המפותח ביותר, שכן הלקוח הוא האו"ם ומדינות רבות. מצלמות מעקב חיצוניות, נתונים ממגדלי טלפון - חיוב, SMS, שיחות, נתונים על תנועה בין גבולות המדינה - כל זה נותן תמונה אמינה מאוד של תנועת אנשים ואי יציבות חברתית. יישומים פוטנציאליים של הטכנולוגיה: ייעול פעולות החילוץ, סיוע ופינוי בזמן של האוכלוסייה בשעת חירום. המודלים שבהם נעשה שימוש עדיין מתפרשים בצורה גרועה בעיקר - אלה הם LSTMs ורשתות קונבולוציוניות שונות. הייתה הערה קצרה שהאו"ם פועל למען חוק חדש שיחייב עסקים אירופיים לשתף נתונים אנונימיים הנחוצים לכל מחקר.

"ממערכת 1 למערכת 2 למידה עמוקה", יושע בנג'יו

שקופיות
בהרצאתו של ג'ושוע בנג'יו, למידה עמוקה פוגשת מדעי המוח ברמת הצבת מטרות.
בנג'יו מזהה שני סוגים עיקריים של בעיות על פי המתודולוגיה של חתן פרס נובל דניאל כהנמן (ספר "תחשוב לאט, תחליט מהר»)
סוג 1 - מערכת 1, פעולות לא מודעות שאנו עושים "אוטומטית" (מוח עתיק): נהיגה במכונית במקומות מוכרים, הליכה, זיהוי פנים.
סוג 2 - מערכת 2, פעולות מודעות (קליפת המוח), הצבת מטרות, ניתוח, חשיבה, משימות מורכבות.

בינה מלאכותית הגיעה עד כה לגבהים מספקים רק במשימות מהסוג הראשון, בעוד שהמשימה שלנו היא להביא אותה לשנייה, ללמד אותה לבצע פעולות רב-תחומיות ולפעול בהיגיון ובכישורים קוגניטיביים ברמה גבוהה.

כדי להשיג מטרה זו מוצע:

1. במשימות NLP, השתמש בתשומת לב כמנגנון מפתח ליצירת מודלים של חשיבה
2. להשתמש ב-meta-learning ולמידת ייצוג כדי ליצור מודל טוב יותר של תכונות המשפיעות על התודעה והלוקליזציה שלהן - ועל בסיסן לעבור לפעול עם מושגים ברמה גבוהה יותר.

במקום סיכום, הנה הרצאה מוזמנת: בנג'יו הוא אחד מני מדענים רבים שמנסים להרחיב את תחום ה-ML מעבר לבעיות אופטימיזציה, SOTA וארכיטקטורות חדשות.
השאלה נותרה פתוחה עד כמה השילוב של בעיות התודעה, השפעת השפה על החשיבה, הנוירוביולוגיה והאלגוריתמים הוא מה שמחכה לנו בעתיד ויאפשר לנו לעבור למכונות ש"חושבות" כמו אנשים.

תודה לך!

מקור: www.habr.com