עבודה עם רשתות עצביות: רשימת בדיקה לאיתור באגים

הקוד של מוצרי תוכנת למידת מכונה הוא לעתים קרובות מורכב ודי מבלבל. איתור וחיסול באגים בו היא משימה עתירת משאבים. אפילו הכי פשוט רשתות עצביות להזנה דורשים גישה רצינית לארכיטקטורת רשת, אתחול משקלים ואופטימיזציה של הרשת. טעות קטנה עלולה להוביל לבעיות לא נעימות.

מאמר זה עוסק באלגוריתם לניפוי באגים ברשתות העצביות שלך.

Skillbox ממליצה: קורס מעשי מפתח Python מאפס.

אנו מזכירים: לכל קוראי Habr - הנחה של 10 רובל בעת הרשמה לכל קורס Skillbox באמצעות קוד ההטבה של Habr.

האלגוריתם מורכב מחמישה שלבים:

• התחלה קלה;
• אישור הפסדים;
• בדיקת תוצאות ביניים וקשרים;
• אבחון פרמטרים;
• שליטה בעבודה.

אם משהו נראה לך מעניין יותר מהשאר, אתה יכול מיד לדלג לסעיפים האלה.

התחלה קלה

רשת עצבית עם ארכיטקטורה מורכבת, רגוליזציה ומתזמן קצב למידה קשה יותר לניפוי באגים מאשר רשת רגילה. אנחנו קצת מסובכים כאן, מכיוון שהנקודה עצמה קשורה בעקיפין לניפוי באגים, אבל זו עדיין המלצה חשובה.

התחלה פשוטה היא ליצור מודל פשוט ולאמן אותו על סט (נקודה) אחת של נתונים.

ראשית אנו יוצרים מודל פשוט

כדי להתחיל במהירות, אנו יוצרים רשת קטנה עם שכבה נסתרת אחת ובודקים שהכל עובד כמו שצריך. לאחר מכן אנו מסבכים את המודל בהדרגה, בודקים כל היבט חדש של המבנה שלו (שכבה נוספת, פרמטר וכו'), ונמשיך הלאה.

אנו מאמנים את המודל על קבוצה (נקודה) אחת של נתונים

כבדיקת שפיות מהירה לפרויקט שלך, תוכל להשתמש בנקודת נתוני אימון אחת או שתיים כדי לאשר אם המערכת פועלת כהלכה. הרשת העצבית חייבת להראות 100% דיוק באימון ובבדיקה. אם זה לא המקרה, או שהדגם קטן מדי או שכבר יש לך באג.

גם אם הכל בסדר, הכינו את הדגם לתקופה אחת או יותר לפני שתמשיך הלאה.

הערכת הפסד

הערכת הפסד היא הדרך העיקרית לחדד את ביצועי המודל. עליך לוודא שההפסד מתאים לבעיה ושפונקציות ההפסד מדורגות בסקאלה הנכונה. אם אתה משתמש ביותר מסוג אובדן אחד, ודא שכולם באותו הסדר ובקנה מידה נכון.

חשוב להיות קשובים להפסדים ראשוניים. בדוק עד כמה התוצאה בפועל קרובה לתוצאה הצפויה אם המודל התחיל בניחוש אקראי. IN עבודתו של אנדריי קרפתי מציעה את הדברים הבאים:: "ודא שאתה מקבל את התוצאה שאתה מצפה כשאתה מתחיל עם מספר קטן של פרמטרים. עדיף לבדוק מיד את אובדן הנתונים (כאשר דרגת ההסדרה מוגדרת לאפס). לדוגמה, עבור CIFAR-10 עם מסווג Softmax, אנו מצפים שההפסד הראשוני יהיה 2.302 מכיוון שההסתברות המפוזרת הצפויה היא 0,1 עבור כל מחלקה (מכיוון שיש 10 מחלקות) וההפסד של Softmax הוא הסבירות השלילית של המחלקה הנכונה. as − ln (0.1) = 2.302."

עבור הדוגמה הבינארית, פשוט נעשה חישוב דומה עבור כל אחת מהמחלקות. הנה, למשל, הנתונים: 20% 0 ו-80% 1. ההפסד הראשוני הצפוי יהיה עד -0,2ln (0,5) -0,8ln (0,5) = 0,693147. אם התוצאה גדולה מ-1, זה עשוי להצביע על כך שהמשקלים של הרשת העצבית אינם מאוזנים כראוי או שהנתונים אינם מנורמלים.

בדיקת תוצאות ביניים וחיבורים

כדי לנפות באגים ברשת עצבית, יש צורך להבין את הדינמיקה של תהליכים בתוך הרשת ואת תפקידן של שכבות ביניים בודדות כשהן מחוברות. להלן השגיאות הנפוצות שאתה עלול להיתקל בהן:

• ביטויים שגויים עבור עדכוני דרגות;
• עדכוני משקל אינם מוחלים;
• שיפועים מתפוצצים.

אם ערכי השיפוע הם אפס, זה אומר שקצב הלמידה באופטימיזר איטי מדי, או שאתה נתקל בביטוי שגוי לעדכון השיפוע.

בנוסף, יש צורך לעקוב אחר ערכי פונקציות ההפעלה, משקלים ועדכונים של כל אחת מהשכבות. לדוגמה, גודל עדכוני הפרמטרים (משקלים והטיות) צריך להיות 1-e3.

יש תופעה שנקראת "Dying ReLU" או "בעיית שיפוע נעלם", כאשר נוירוני ReLU יציגו אפס לאחר לימוד ערך הטיה שלילי גדול עבור המשקולות שלו. נוירונים אלו לעולם אינם נורים שוב בשום נקודה בנתונים.

אתה יכול להשתמש בבדיקת שיפוע כדי לזהות שגיאות אלה על ידי קירוב השיפוע באמצעות גישה מספרית. אם זה קרוב לשיפועים המחושבים, אז ההפצה לאחור יושמה בצורה נכונה. כדי ליצור בדיקת מעבר, בדוק את המשאבים הנהדרים האלה מ-CS231 כאן и כאןוגם עם שיעור אנדרו נגה בנושא זה.

פייזן שייח' מציין שלוש שיטות עיקריות להצגה של רשת עצבית:

• שיטות מקדימות הן שיטות פשוטות המראות לנו את המבנה הכללי של המודל המאומן. אלה כוללים פלט של צורות או מסננים של השכבות הבודדות של הרשת העצבית והפרמטרים בתוך כל שכבה.
• מבוסס הפעלה. בהם, אנו מפענחים את הפעלות של נוירונים בודדים או קבוצות של נוירונים כדי להבין את תפקידיהם.
• מבוסס על שיפועים. שיטות אלו נוטות לתמרן שיפועים שנוצרים מהמעברים קדימה ואחורה של אימון מודלים (כולל מפות בולטות ומפות הפעלה של הכיתה).

ישנם מספר כלים שימושיים להמחשת ההפעלה והחיבורים של שכבות בודדות, למשל. ConX и לוח מחוונים.

אבחון פרמטרים

לרשתות עצביות יש הרבה פרמטרים המקיימים אינטראקציה זה עם זה, מה שמקשה על האופטימיזציה. למעשה, סעיף זה הוא נושא למחקר פעיל על ידי מומחים, ולכן יש להתייחס להצעות שלהלן רק כייעוץ, נקודות מוצא שמהן ניתן לבנות.

גודל החבילה (גודל אצווה) - אם אתה רוצה שגודל האצווה יהיה גדול מספיק כדי לקבל הערכות מדויקות של שיפוע שגיאה, אך קטן מספיק כדי שירידת שיפוע סטוכסטית (SGD) כדי להסדיר את הרשת שלך. גדלי אצווה קטנים יובילו להתכנסות מהירה עקב רעש במהלך תהליך האימון ובהמשך לקשיי אופטימיזציה. זה מתואר ביתר פירוט כאן.

קצב למידה - נמוך מדי יוביל להתכנסות איטית או לסיכון להיתקע במינימום מקומי. יחד עם זאת, שיעור למידה גבוה יגרום לסטייה באופטימיזציה מכיוון שאתה מסתכן בקפיצה דרך החלק העמוק אך הצר של פונקציית ההפסד. נסה להשתמש בתזמון מהירות כדי להפחית אותו בזמן אימון הרשת העצבית. מעודכן עם CS231n יש חלק גדול המוקדש לבעיה זו.

חיתוך שיפוע  - חיתוך שיפועים של פרמטרים במהלך התפשטות לאחור בערך המרבי או הנורמה השולית. שימושי לפתרון בעיות בכל שיפוע מתפוצץ שאתה עלול להיתקל בנקודה שלוש.

נורמליזציה של אצווה - משמש לנרמל את נתוני הקלט של כל שכבה, מה שמאפשר לנו לפתור את הבעיה של הסטת משתנים פנימיים. אם אתה משתמש ב-Dropout וב-Batch Norma ביחד, עיין במאמר זה.

ירידה בשיפוע סטוכסטי (SGD) - ישנם מספר סוגים של SGD המשתמשים במומנטום, קצבי למידה אדפטיבית ושיטת Nesterov. עם זאת, לאף אחד מהם אין יתרון ברור הן מבחינת יעילות הלמידה והן מבחינת הכללה (פרטים כאן).

רגוליזציה - חיוני לבניית מודל הניתן להכללה, מכיוון שהוא מוסיף עונש על מורכבות המודל או ערכי פרמטרים קיצוניים. זוהי דרך להפחית את שונות המודל מבלי להגדיל משמעותית את ההטיה שלו. יותר מידע מפורט - כאן.

כדי להעריך הכל בעצמך, עליך להשבית את הסדר ולבדוק את שיפוע אובדן הנתונים בעצמך.

לנשור היא שיטה נוספת לייעל את הרשת שלך כדי למנוע עומס. במהלך האימון, הנשירה מתבצעת רק על ידי שמירה על פעילות הנוירון עם הסתברות מסוימת p (היפרפרמטר) או הגדרתו לאפס במקרה ההפוך. כתוצאה מכך, על הרשת להשתמש בתת-קבוצה שונה של פרמטרים עבור כל קבוצת אימון, מה שמפחית שינויים בפרמטרים מסוימים שהופכים דומיננטיים.

חשוב: אם אתה משתמש גם בנשירה וגם בנורמליזציה של אצווה, היזהר לגבי סדר הפעולות הללו או אפילו שימוש בהן יחד. כל זה עדיין נדון באופן פעיל ומשלים. להלן שני דיונים חשובים בנושא זה ב-Stackoverflow и ארקסיב.

שליטה בעבודה

מדובר בתיעוד תהליכי עבודה וניסויים. אם אתה לא מתעד שום דבר, אתה עלול לשכוח, למשל, באיזה שיעור למידה או משקלי כיתות משתמשים. הודות לשליטה, אתה יכול בקלות להציג ולשחזר ניסויים קודמים. זה מאפשר לך להפחית את מספר הניסויים הכפולים.

עם זאת, תיעוד ידני יכול להפוך למשימה קשה במקרה של נפח עבודה גדול. כאן נכנסים כלים כמו Comet.ml כדי לעזור לך לרשום אוטומטית מערכי נתונים, שינויים בקוד, היסטוריית ניסויים ומודלים של ייצור, כולל מידע מפתח על המודל שלך (פרמטרים היפר, מדדי ביצועי מודל ומידע סביבתי).

רשת עצבית יכולה להיות מאוד רגישה לשינויים קטנים, וזה יוביל לירידה בביצועי המודל. מעקב ותיעוד העבודה שלך הם הצעד הראשון שאתה יכול לעשות כדי לתקן את הסביבה והמודלים שלך.

אני מקווה שהפוסט הזה יכול להוות נקודת התחלה בשבילך להתחיל איתור באגים ברשת העצבית שלך.

Skillbox ממליצה:

• קורס מעשי שנתיים "אני מפתח אתרים PRO".
• קורס מקוון "מפתח C# מ-0".
• קורס מעשי בן שנה "מפתח PHP מ-0 ל-PRO".

מקור: www.habr.com