האם בועת למידת המכונה התפוצצה, או שזו תחילתו של שחר חדש?

שוחרר לאחרונה מאמר, שמראה מגמה טובה בלמידת מכונה בשנים האחרונות. בקיצור: מספר הסטארט-אפים של למידת מכונה צנח בשנתיים האחרונות.

נו. בואו נסתכל על "האם הבועה התפוצצה", "איך להמשיך לחיות" ונדבר על מאיפה מגיעה התפתלות הזו מלכתחילה.

ראשית, בואו נדבר על מה היה החיזוק של העקומה הזו. מאיפה היא באה? הם בטח יזכרו הכל ניצחון למידת מכונה בשנת 2012 בתחרות ImageNet. אחרי הכל, זה האירוע העולמי הראשון! אבל במציאות זה לא המצב. והצמיחה של העקומה מתחילה קצת יותר מוקדם. הייתי מפרק את זה לכמה נקודות.

1. בשנת 2008 הופיע המונח "ביג דאטה". התחילו מוצרים אמיתיים לְהוֹפִיעַ מאז 2010. ביג דאטה קשור ישירות ללמידת מכונה. ללא ביג דאטה, הפעולה היציבה של האלגוריתמים שהיו קיימים באותה תקופה בלתי אפשרית. ואלה לא רשתות עצביות. עד 2012, רשתות עצבים היו נחלתם של מיעוט שולי. אבל אז התחילו לעבוד אלגוריתמים שונים לגמרי, שהיו קיימים שנים, או אפילו עשרות שנים: SVM(1963,1993), יער אקראי (1995), AdaBoost (2003),... סטארטאפים של אותן שנים קשורות בעיקר לעיבוד אוטומטי של נתונים מובנים: קופות רושמות, משתמשים, פרסום ועוד.

   נגזרת של הגל הראשון הזה היא קבוצה של מסגרות כגון XGBoost, CatBoost, LightGBM וכו'.

2. בשנים 2011-2012 רשתות עצביות קונבולוציוניות זכה במספר תחרויות זיהוי תמונות. השימוש בפועל בהם התעכב מעט. הייתי אומר שסטארט-אפים ופתרונות בעלי משמעות רבה החלו להופיע ב-2014. לקח שנתיים לעכל שהנוירונים עדיין עובדים, ליצור מסגרות נוחות שניתן להתקין ולהשיק בזמן סביר, לפתח שיטות שייצבו ויזרזו את זמן ההתכנסות.

   רשתות קונבולוציוניות אפשרו לפתור בעיות ראייה ממוחשבת: סיווג תמונות ואובייקטים בתמונה, זיהוי אובייקטים, זיהוי אובייקטים ואנשים, שיפור תמונה וכו' וכו'.

3. 2015-2017. הפריחה של אלגוריתמים ופרויקטים המבוססים על רשתות חוזרות או אנלוגיות שלהן (LSTM, GRU, TransformerNet וכו'). אלגוריתמים מתפקדים היטב של דיבור לטקסט ומערכות תרגום מכונה הופיעו. הם מבוססים בחלקם על רשתות קונבולוציוניות כדי לחלץ תכונות בסיסיות. חלקית בגלל העובדה שלמדנו לאסוף מערכי נתונים גדולים וטובים באמת.

"האם הבועה התפוצצה? האם ההייפ התחמם יתר על המידה? האם הם מתו בתור בלוקצ'יין?"
אחרת! מחר סירי תפסיק לעבוד בטלפון שלך, ומחרתיים טסלה לא תדע את ההבדל בין סיבוב לקנגורו.

רשתות עצבים כבר עובדות. הם נמצאים בעשרות מכשירים. הם באמת מאפשרים לך להרוויח כסף, לשנות את השוק ואת העולם סביבך. ההייפ נראה קצת אחרת:

רק שרשתות עצביות הן כבר לא משהו חדש. כן, לאנשים רבים יש ציפיות גבוהות. אבל מספר רב של חברות למדו להשתמש בנוירונים וליצור מוצרים המבוססים עליהם. נוירונים מספקים פונקציונליות חדשה, מאפשרים לך לקצץ מקומות עבודה ולהפחית את מחיר השירותים:

• חברות ייצור משלבות אלגוריתמים לניתוח פגמים בקו הייצור.
• חוות בעלי חיים קונות מערכות לשליטה בפרות.
• קומבינות אוטומטיות.
• מוקדי טלפון אוטומטיים.
• מסננים ב-SnapChat. (טוב, לפחות משהו שימושי!)

אבל העיקר, ולא הכי ברור: "אין יותר רעיונות חדשים, או שהם לא יביאו הון מיידי." רשתות עצביות פתרו עשרות בעיות. והם יחליטו עוד יותר. כל הרעיונות הברורים שהיו קיימים הולידו סטארטאפים רבים. אבל כל מה שהיה על פני השטח כבר נאסף. במהלך השנתיים האחרונות, לא נתקלתי באף רעיון חדש לשימוש ברשתות עצביות. אף לא גישה חדשה אחת (טוב, בסדר, יש כמה בעיות עם GANs).

וכל הפעלה שלאחר מכן מורכבת יותר ויותר. זה כבר לא דורש שני בחורים שמאמנים נוירון באמצעות נתונים פתוחים. זה דורש מתכנתים, שרת, צוות סמנים, תמיכה מורכבת וכו'.

כתוצאה מכך, יש פחות סטארט-אפים. אבל יש יותר ייצור. צריך להוסיף זיהוי לוחיות רישוי? ישנם מאות מומחים עם ניסיון רלוונטי בשוק. אתה יכול להעסיק מישהו ותוך כמה חודשים העובד שלך ייצור את המערכת. או לקנות מוכן. אבל עושים סטארטאפ חדש?.. מטורף!

אתה צריך ליצור מערכת מעקב אחר מבקרים - למה לשלם עבור חבורה של רישיונות כאשר אתה יכול לעשות בעצמך בתוך 3-4 חודשים, לחדד את זה עבור העסק שלך.

כעת רשתות עצבים עוברות את אותו נתיב שעברו עשרות טכנולוגיות אחרות.

אתה זוכר איך המושג "מפתח אתרים" השתנה מאז 1995? השוק עדיין לא רווי במומחים. יש מעט מאוד אנשי מקצוע. אבל אני יכול להמר שבעוד 5-10 שנים לא יהיה הבדל גדול בין מתכנת ג'אווה למפתח רשתות עצביות. יהיו מספיק משני המומחים בשוק.

פשוט יהיה סוג של בעיות שניתן לפתור על ידי נוירונים. עלתה משימה - הזמינו מומחה.

"מה הלאה? איפה הבינה המלאכותית המובטחת?"

אבל כאן יש אי הבנה קטנה אך מעניינת :)

מחסנית הטכנולוגיה שקיימת היום, כנראה, לא תוביל אותנו לבינה מלאכותית. הרעיונות והחידוש שלהם מיצו את עצמם במידה רבה. בואו נדבר על מה שמחזיק את רמת הפיתוח הנוכחית.

הגבלות

נתחיל עם מכוניות לנהיגה עצמית. נראה ברור שאפשר לייצר מכוניות אוטונומיות לחלוטין עם הטכנולוגיה של היום. אבל בעוד כמה שנים זה יקרה לא ברור. טסלה מאמינה שזה יקרה בעוד כמה שנים -

יש הרבה אחרים מומחים, שמעריכים שזה 5-10 שנים.

סביר להניח שלדעתי בעוד 15 שנה תשתנה בעצמה תשתית הערים באופן שהופעת המכוניות האוטונומיות תהפוך לבלתי נמנעת ותהפוך להמשך שלה. אבל זה לא יכול להיחשב אינטליגנציה. טסלה מודרנית היא צינור מורכב מאוד לסינון נתונים, חיפוש והכשרה מחדש. אלו כללים-כללים-כללים, איסוף נתונים ומסננים עליהם (כאן כאן כתבתי קצת יותר על זה, או צפו מ זה סימנים).

בעיה ראשונה

וכאן אנו רואים בעיה בסיסית ראשונה. ביג דאטה. זה בדיוק מה שהוליד את הגל הנוכחי של רשתות עצביות ולמידת מכונה. כיום, כדי לעשות משהו מורכב ואוטומטי, צריך הרבה נתונים. לא רק הרבה, אלא מאוד מאוד. אנחנו צריכים אלגוריתמים אוטומטיים לאיסוף, סימון ושימוש בהם. אנחנו רוצים לגרום למכונית לראות את המשאיות מול השמש - ראשית עלינו לאסוף מספר מספיק מהן. אנחנו רוצים שהמכונית לא תשתגע עם אופניים מוברגים לתא המטען - עוד דוגמאות.

יתרה מכך, דוגמה אחת אינה מספיקה. מאות? אלפים?

בעיה שנייה

בעיה שנייה - הדמיה של מה שהרשת העצבית שלנו הבינה. זו משימה מאוד לא טריוויאלית. עד עכשיו, מעט אנשים מבינים כיצד לדמיין זאת. המאמרים האלה הם עדכניים מאוד, אלו הן רק כמה דוגמאות, גם אם רחוקות:
ראיה אובססיה למרקמים. זה מראה היטב על מה הנוירון נוטה להתקבע + מה הוא תופס כמידע מתחיל.

ראיה תשומת לב ב תרגומים. למעשה, לעתים קרובות ניתן להשתמש במשיכה בדיוק כדי להראות מה גרם לתגובת רשת כזו. ראיתי דברים כאלה הן עבור איתור באגים והן עבור פתרונות מוצר. יש הרבה מאמרים בנושא זה. אבל ככל שהנתונים מורכבים יותר, כך קשה יותר להבין כיצד להשיג הדמיה חזקה.

ובכן, כן, הסט הישן והטוב של "תראה מה יש בתוך הרשת פנימה מסננים" התמונות האלה היו פופולריות לפני 3-4 שנים, אבל כולם הבינו מהר שהתמונות היו יפות, אבל לא הייתה להן הרבה משמעות.

לא הזכרתי עוד עשרות גאדג'טים, שיטות, פריצות, מחקר על איך להציג את החלק הפנימי של הרשת. האם הכלים האלה עובדים? האם הם עוזרים לך להבין במהירות מה הבעיה ולנקות באגים ברשת?.. לקבל את האחוז האחרון? ובכן, זה בערך אותו הדבר:

אתה יכול לצפות בכל תחרות ב- Kaggle. ותיאור של איך אנשים מקבלים החלטות סופיות. ערמנו 100-500-800 יחידות של דגמים וזה עבד!

אני מגזים כמובן. אך גישות אלו אינן מספקות תשובות מהירות וישירות.

עם מספיק ניסיון, לאחר שחיטט באפשרויות שונות, אתה יכול לתת פסק דין מדוע המערכת שלך קיבלה החלטה כזו. אבל יהיה קשה לתקן את התנהגות המערכת. התקן קב, הזיז את הסף, הוסף מערך נתונים, קח רשת עורפית נוספת.

בעיה שלישית

בעיה בסיסית שלישית - רשתות מלמדות סטטיסטיקה, לא היגיון. סטטיסטית זה אדם:

מבחינה לוגית, זה לא מאוד דומה. רשתות עצביות לא לומדות שום דבר מורכב אלא אם כן הן נאלצות. הם תמיד מלמדים את הסימנים הכי פשוטים שאפשר. יש לך עיניים, אף, ראש? אז זה הפנים! או תן דוגמה שבה עיניים לא אומרות פנים. ושוב - מיליוני דוגמאות.

יש שפע של מקום בתחתית

הייתי אומר ששלושת הבעיות הגלובליות הללו הן שמגבילות כיום את הפיתוח של רשתות עצביות ולמידת מכונה. ובמקום שבו הבעיות הללו לא הגבילו אותו, זה כבר בשימוש פעיל.

זה הסוף? האם רשתות עצביות פועלות?

לא ידוע. אבל, כמובן, כולם מקווים שלא.

ישנן גישות וכיוונים רבים לפתרון הבעיות הבסיסיות שהדגשתי למעלה. אבל עד כה, אף אחת מהגישות הללו לא אפשרה לעשות משהו חדש ביסודו, לפתור משהו שעדיין לא נפתר. עד כה, כל הפרויקטים הבסיסיים נעשים על בסיס גישות יציבות (Tesla), או נותרו פרויקטי ניסוי של מכונים או תאגידים (Google Brain, OpenAI).

באופן גס, הכיוון העיקרי הוא ליצור ייצוג ברמה גבוהה של נתוני הקלט. במובן מסוים, "זיכרון". הדוגמה הפשוטה ביותר לזיכרון היא "הטמעות" שונות - ייצוגי תמונה. ובכן, למשל, כל מערכות זיהוי הפנים. הרשת לומדת להשיג מפנים ייצוג יציב כלשהו שאינו תלוי בסיבוב, תאורה או רזולוציה. בעיקרו של דבר, הרשת ממזערת את המדד "פרצופים שונים רחוקים" ו"פנים זהים קרובים".

לצורך הכשרה כזו יש צורך בעשרות ומאות אלפי דוגמאות. אבל התוצאה נושאת כמה מהיסודות של "למידה חד-פעמית". עכשיו אנחנו לא צריכים מאות פרצופים כדי לזכור אדם. רק פרצוף אחד וזה כל מה שאנחנו בוא נגלה!
יש רק בעיה אחת... הרשת יכולה ללמוד רק אובייקטים פשוטים למדי. כאשר מנסים להבחין לא פרצופים, אלא, למשל, "אנשים לפי בגדים" (משימה זיהוי מחדש) - האיכות יורדת בסדרי גודל רבים. והרשת כבר לא יכולה ללמוד שינויים ברורים למדי בזוויות.

וללמוד ממיליוני דוגמאות זה גם די כיף.

יש עבודה לצמצם משמעותית את הבחירות. לדוגמה, אפשר להיזכר מיד באחת העבודות הראשונות עליהן OneShot Learning מגוגל:

יש הרבה עבודות כאלה, למשל 1 או 2 או 3.

יש רק מינוס אחד - בדרך כלל אימון עובד היטב על כמה דוגמאות פשוטות, "MNIST". וכאשר עוברים למשימות מורכבות, אתה צריך מסד נתונים גדול, מודל של אובייקטים או סוג של קסם.
באופן כללי, עבודה על אימון One-Shot הוא נושא מאוד מעניין. אתה מוצא הרבה רעיונות. אבל לרוב, שתי הבעיות שציינתי (אימון מקדים על מערך נתונים ענק / חוסר יציבות על נתונים מורכבים) מפריעות מאוד ללמידה.

מצד שני, GANs - רשתות יריבות יוצרות - מתקרבות לנושא ההטמעה. בטח קראת חבורה של מאמרים על Habré בנושא זה. (1, 2,3)
תכונה של GAN היא היווצרות של מרחב מצב פנימי כלשהו (בעצם אותו Embedding), המאפשר לך לצייר תמונה. זה יכול להיות פרצופים, יכול להיות פעילות.

הבעיה עם GAN היא שככל שהאובייקט שנוצר מורכב יותר, כך קשה יותר לתאר אותו בלוגיקה של "גנרטור-מפלה". כתוצאה מכך, היישומים האמיתיים היחידים של GAN ששומעים עליהם הם DeepFake, אשר, שוב, עושה מניפולציות על ייצוגי פנים (שיש להם בסיס עצום).

ראיתי מעט מאוד שימושים שימושיים אחרים. בדרך כלל סוג של תחבולה הכוללת גימור ציורים של תמונות.

ושוב. לאף אחד אין מושג איך זה יאפשר לנו לעבור לעתיד מזהיר יותר. ייצוג היגיון/מרחב ברשת עצבית הוא טוב. אבל אנחנו צריכים מספר עצום של דוגמאות, אנחנו לא מבינים איך הנוירון מייצג את זה בפני עצמו, אנחנו לא מבינים איך לגרום לנוירון לזכור איזה רעיון מורכב באמת.

לימוד עם חיזוקים - זו גישה מכיוון אחר לגמרי. אתה בוודאי זוכר איך גוגל ניצחה את כולם ב-Go. הניצחונות האחרונים בסטארקראפט ובדוטה. אבל כאן הכל רחוק מלהיות כל כך ורוד ומבטיח. הוא מדבר הכי טוב על RL והמורכבות שלו המאמר הזה.

כדי לסכם בקצרה את מה שכתב הכותב:

• דגמים מחוץ לקופסה אינם מתאימים / עובדים גרוע ברוב המקרים
• קל יותר לפתור בעיות מעשיות בדרכים אחרות. Boston Dynamics אינה משתמשת ב-RL בשל המורכבות/אי-חיזוי/מורכבות החישוב שלו
• כדי ש-RL יעבוד, אתה צריך פונקציה מורכבת. לעתים קרובות קשה ליצור/לכתוב
• קשה להכשיר דוגמניות. אתה צריך להשקיע הרבה זמן כדי לשאוב ולצאת מהאופטימיות המקומית
• כתוצאה מכך, קשה לחזור על המודל, המודל אינו יציב עם השינויים הקלים ביותר
• לעתים קרובות מתאים יותר לכמה דפוסים אקראיים, אפילו מחולל מספרים אקראיים

נקודת המפתח היא ש-RL עדיין לא עובד בייצור. לגוגל יש כמה ניסויים ( 1, 2 ). אבל לא ראיתי מערכת מוצר אחת.

זכרון. החיסרון של כל מה שתואר לעיל הוא חוסר מבנה. אחת הגישות לנסות לסדר את כל זה היא לספק לרשת העצבית גישה לזיכרון נפרד. כדי שתוכל להקליט ולשכתב שם את תוצאות צעדיה. אז ניתן לקבוע את הרשת העצבית לפי מצב הזיכרון הנוכחי. זה דומה מאוד למעבדים ולמחשבים קלאסיים.

המפורסם והפופולרי ביותר מאמר - מ-DeepMind:

נראה שזה המפתח להבנת אינטליגנציה? אבל כנראה שלא. המערכת עדיין דורשת כמות עצומה של נתונים לאימון. וזה עובד בעיקר עם נתונים טבלאיים מובנים. יתרה מכך, כאשר פייסבוק החליט בעיה דומה, אז הם נקטו בנתיב "זיכרון בורג, פשוט הפוך את הנוירון למסובך יותר, ושיהיה לך עוד דוגמאות - והוא ילמד מעצמו."

התפרקות. דרך נוספת ליצור זיכרון משמעותי היא לקחת את אותן הטמעות, אך במהלך האימון, הכנס קריטריונים נוספים שיאפשרו לך להדגיש "משמעויות" בהן. לדוגמה, אנו רוצים לאמן רשת נוירונים להבחין בין התנהגות אנושית בחנות. אם נלך בדרך הרגילה, היינו צריכים ליצור תריסר רשתות. האחד מחפש אדם, השני קובע מה הוא עושה, השלישי הוא הגיל שלו, הרביעי הוא המגדר שלו. לוגיקה נפרדת מסתכלת על החלק בחנות שבו היא עושה/מוכשרת לעשות זאת. השלישי קובע את מסלולו וכו'.

לחלופין, אם הייתה כמות אינסופית של נתונים, אז ניתן יהיה לאמן רשת אחת לכל התוצאות האפשריות (ברור שלא ניתן לאסוף מערך כזה של נתונים).

גישת ההתפרקות אומרת לנו – בואו נאמן את הרשת כך שהיא בעצמה תוכל להבחין בין מושגים. כך שזה יהווה הטבעה על סמך הסרטון, שבו אזור אחד יקבע את הפעולה, אחד יקבע את המיקום על הרצפה בזמן, אחד יקבע את גובהו של האדם, ואחד יקבע את מינו של האדם. יחד עם זאת, בעת אימון, הייתי רוצה כמעט לא לדרבן את הרשת עם מושגי מפתח כאלה, אלא שהיא תדגיש ותקבץ אזורים. יש לא מעט מאמרים כאלה (חלקם 1, 2, 3) ובאופן כללי הם די תיאורטיים.

אבל הכיוון הזה, לפחות תיאורטית, צריך לכסות את הבעיות המפורטות בהתחלה.

פירוק תמונה לפי הפרמטרים "צבע קיר/צבע רצפה/צורת אובייקט/צבע אובייקט/וכו'."

פירוק פנים לפי הפרמטרים "גודל, גבות, כיוון, צבע עור וכו'".

אחר

ישנם תחומים רבים אחרים, לא כל כך גלובליים, שמאפשרים איכשהו לצמצם את מסד הנתונים, לעבוד עם נתונים הטרוגניים יותר וכו'.

תשומת הלב. זה כנראה לא הגיוני להפריד את זה כשיטה נפרדת. רק גישה שמשפרת אחרים. מאמרים רבים מוקדשים לו (1,2,3). המטרה של Attention היא לשפר את תגובת הרשת במיוחד לאובייקטים משמעותיים במהלך האימון. לעתים קרובות על ידי סוג של ייעוד יעד חיצוני, או רשת חיצונית קטנה.

הדמיית תלת מימד. אם אתה מייצר מנוע תלת מימד טוב, לעתים קרובות אתה יכול לכסות איתו 3% מנתוני האימון (אפילו ראיתי דוגמה שבה כמעט 90% מהנתונים כוסו על ידי מנוע טוב). יש הרבה רעיונות ופריצות כיצד לגרום לרשת מאומנת על מנוע תלת מימד לעבוד באמצעות נתונים אמיתיים (כוונן עדין, העברת סגנון וכו'). אבל לעתים קרובות קשה יותר ליצור מנוע טוב בכמה סדרי גודל מאשר איסוף נתונים. דוגמאות כאשר יוצרו מנועים:
אימון רובוט (google, בריינגדן)
הדרכה הַכָּרָה סחורה בחנות (אבל בשני הפרויקטים שעשינו, יכולנו בקלות בלעדיה).
אימון בטסלה (שוב, הסרטון למעלה).

ממצאים

כל המאמר הוא, במובן מסוים, מסקנות. כנראה המסר העיקרי שרציתי להעביר היה "החינמיות הסתיימו, נוירונים כבר לא מספקים פתרונות פשוטים." עכשיו אנחנו צריכים לעבוד קשה כדי לקבל החלטות מורכבות. או לעבוד קשה במחקר מדעי מורכב.

באופן כללי, הנושא נתון לוויכוח. אולי לקוראים יש עוד דוגמאות מעניינות?

מקור: www.habr.com