סיווג ציורים בכתב יד. דווח ב-Yandex

לפני כמה חודשים, הקולגות שלנו מגוגל מוּתַשׁ על Kaggle תחרות ליצירת מסווג לתמונות שהתקבלו בסנסציוני את המשחק "שליפה מהירה!" הצוות, שכלל את מפתח Yandex Roman Vlasov, תפס את המקום הרביעי בתחרות. באימון למידת מכונה בינואר, רומן שיתף את הרעיונות של הצוות שלו, את היישום הסופי של המסווגן ותרגולים מעניינים של יריביו.

- שלום לכולם! שמי רומא ולאסוב, היום אספר לכם על Quick, Draw! אתגר זיהוי שרבוטים.



היו חמישה אנשים בצוות שלנו. הצטרפתי ממש לפני המועד האחרון למיזוג. לא היה לנו מזל, קצת זעזענו, אבל ניערו אותנו מעמדת הכסף, והם ניערו מעמדת הזהב. ולקחנו מקום רביעי מכובד.

(במהלך התחרות, הצוותים צפו בעצמם בדירוג, אשר נוצר על סמך התוצאות המוצגות בחלק אחד ממערך הנתונים המוצע. הדירוג הסופי, בתורו, נוצר על חלק אחר של מערך הנתונים. הדבר נעשה כך שהמשתתפים בתחרות לא מתאימים את האלגוריתמים שלהם לנתונים ספציפיים, לכן בגמר, במעבר בין רייטינג, המיקומים מטלטלים מעט (מהאנגלית shake up - to mix): בנתונים אחרים התוצאה עשויה להתברר. להיות שונה. הקבוצה של רומן הייתה ראשונה בשלושת הראשונים. במקרה זה, שלושת הראשונים היא כסף, אזור דירוג כספי, שכן רק שלושת המקומות הראשונים זכו בפרס כספי. לאחר הטלטלה, הקבוצה כבר הייתה ב מקום רביעי. באותו אופן, הקבוצה השנייה הפסידה את הניצחון, עמדת הזהב. - אד.)

התחרות הייתה משמעותית גם בכך שיבגני בבחנין קיבל רב-מאסטר, איבן סוסין קיבל מאסטר, רומן סולובייב נשאר רב-מאסטר, אלכס פארינוב קיבל מאסטר, הפכתי למומחה, ועכשיו אני כבר מאסטר.

מה זה Quick, Draw הזה? זהו שירות של גוגל. לגוגל הייתה המטרה להפוך את הבינה המלאכותית לפופולרית ועם השירות הזה רצתה להראות כיצד פועלות רשתות עצביות. אתה הולך לשם, לוחץ בואו לצייר, וקפץ דף חדש שבו אומרים לך: צייר זיגזג, יש לך 20 שניות לעשות את זה. אתה מנסה לצייר זיגזג תוך 20 שניות, כמו כאן, למשל. אם תצליח, ברשת אומרים שזה זיגזג ואתה ממשיך הלאה. יש רק שש תמונות כאלה.

אם הרשת של גוגל לא הצליחה לזהות את מה שציירת, הוצב צלב על המשימה. בהמשך אספר לך מה זה אומר בעתיד אם ציור מזוהה על ידי הרשת או לא.

שירות זה אסף מספר גדול למדי של משתמשים, וכל התמונות שציירו המשתמשים נרשמו.

הצלחנו לאסוף כמעט 50 מיליון תמונות. מכאן נוצרו תאריך הרכבת והמבחן לתחרות שלנו. אגב, כמות הנתונים במבחן ומספר השיעורים מודגשות מסיבה מודגשת. אני אספר עליהם קצת מאוחר יותר.

פורמט הנתונים היה כדלקמן. אלה לא רק תמונות RGB, אלא, באופן גס, יומן של כל מה שהמשתמש עשה. Word הוא היעד שלנו, קוד המדינה הוא המקום ממנו מגיע מחבר השרבוט, חותמת זמן היא זמן. התווית המוכרת רק מראה אם ​​הרשת זיהתה את התמונה מגוגל או לא. והציור עצמו הוא רצף, קירוב של עקומה שהמשתמש מצייר עם נקודות. ותזמונים. זה הזמן מתחילת ציור התמונה.

הנתונים הוצגו בשני פורמטים. זהו הפורמט הראשון, והשני מפושט. הם גזרו את התזמונים משם והתקרבו לקבוצת הנקודות הזו עם קבוצה קטנה יותר של נקודות. בשביל זה השתמשו אלגוריתם דאגלס-פקר. יש לך קבוצה גדולה של נקודות שפשוט מתקרבת לקו ישר, אבל למעשה אתה יכול להעריך את הקו הזה עם שתי נקודות בלבד. זה הרעיון של האלגוריתם.

הנתונים הופצו באופן הבא. הכל אחיד, אבל יש כמה חריגים. כשפתרנו את הבעיה, לא הסתכלנו עליה. העיקר שלא היו שיעורים ממש מעטים, לא היינו צריכים לעשות דגימות משוקללות ודגימת יתר של נתונים.

איך נראו התמונות? זוהי מחלקת "מטוס" ודוגמאות ממנה עם התוויות מזוהות ולא מזוהות. היחס שלהם היה איפשהו בסביבות 1 ל-9. כפי שאתה יכול לראות, הנתונים די רועשים. הייתי מנחש שזה מטוס. אם אתה מסתכל על לא מזוהה, ברוב המקרים זה רק רעש. מישהו אפילו ניסה לכתוב "מטוס", אבל כנראה בצרפתית.

רוב המשתתפים פשוט לקחו רשתות, ציירו נתונים מרצף הקווים הזה כתמונות RGB, וזרקו אותם לרשת. ציירתי בערך באותו אופן: לקחתי פלטת צבעים, ציירתי את הקו הראשון עם צבע אחד, שהיה בתחילת הפלטה הזו, הקו האחרון עם אחר, שהיה בסוף הפלטה, וביניהם. אינטרפולציה בכל מקום באמצעות פלטה זו. אגב, זה נתן תוצאה טובה יותר מאשר אם תצייר כמו בשקופית הראשונה - רק בשחור.

חברי צוות אחרים, כמו איבן סוסין, ניסו גישות שונות במקצת לציור. בערוץ אחד הוא פשוט צייר תמונה אפורה, בערוץ אחר הוא צייר כל קו עם שיפוע מתחילתו ועד סופו, מ-32 ל-255, ובערוץ השלישי הוא צייר שיפוע על כל המשיכות מ-32 ל-255.

דבר מעניין נוסף הוא שאלכס פארינוב העלה מידע לרשת באמצעות קוד מדינה.

המדד המשמש בתחרות הוא דיוק ממוצע ממוצע. מהי המהות של מדד זה לתחרות? אתה יכול לתת שלושה ניבויים, ואם אין חיזוי נכון בשלושת אלה, אז אתה מקבל 0. אם יש אחד נכון, אז הסדר שלו נלקח בחשבון. ותוצאת היעד תיספר כ-1 חלקי סדר החיזוי שלך. לדוגמה, עשית שלושה מנבאים, והנכון הוא הראשון, אז אתה מחלק 1 ב-1 ומקבל 1. אם המנבא נכון והסדר שלו הוא 2, אז מחלקים 1 ב-2, מקבלים 0,5. ובכן וכו'.

עם עיבוד מקדים של נתונים - איך לצייר תמונות וכן הלאה - החלטנו קצת. באילו ארכיטקטורות השתמשנו? ניסינו להשתמש בארכיטקטורות שמנות כמו PNASNet, SENet, וארכיטקטורות כבר קלאסיות כמו SE-Res-NeXt, הן יותר ויותר נכנסות לתחרויות חדשות. היו גם ResNet ו-DensNet.

איך לימדנו את זה? כל הדגמים שלקחנו הוכשרו מראש באימג'נט. אמנם יש הרבה נתונים, 50 מיליון תמונות, אבל עדיין, אם אתה לוקח רשת מאומנת מראש ב-imagenet, היא הראתה תוצאות טובות יותר מאשר אם פשוט אימנת אותה מאפס.

באילו טכניקות הוראה השתמשנו? זהו Cosing Annealing עם Warm Restarts, עליו אדבר מעט מאוחר יותר. זו טכניקה שאני משתמש בה כמעט בכל התחרויות האחרונות שלי, ואיתם מסתבר שמאמנת את הרשתות די טוב, כדי להשיג מינימום טוב.

הבא הפחת את קצב הלמידה במישור. אתה מתחיל לאמן את הרשת, קובע קצב למידה מסוים, ממשיך ללמד אותו, וההפסד שלך מתכנס בהדרגה לערך מסוים. אתה בודק את זה, למשל, במשך עשר עידנים ההפסד לא השתנה כלל. אתה מפחית את שיעור הלמידה שלך בערך וממשיך ללמוד. זה שוב יורד קצת, מתכנס במינימום מסוים, ושוב אתה מוריד את קצב הלמידה, וכן הלאה, עד שהרשת שלך מתכנסת לבסוף.

הבא היא טכניקה מעניינת: אל תדעך את קצב הלמידה, הגדל את גודל האצווה. יש מאמר באותו שם. כאשר אתה מאמן רשת, אתה לא צריך להפחית את קצב הלמידה, אתה יכול פשוט להגדיל את גודל האצווה.

בטכניקה זו, אגב, השתמש אלכס פארינוב. הוא התחיל עם אצווה שווה ל-408, וכשהרשת שלו הגיעה לרמה כלשהי, הוא פשוט הכפיל את גודל האצווה וכו'.

למעשה, אני לא זוכר לאיזה ערך הגיע גודל האצווה שלו, אבל מה שמעניין זה שהיו צוותים על Kaggle שהשתמשו באותה טכניקה, גודל האצווה שלהם היה בערך 10000. אגב, מסגרות מודרניות ללמידה עמוקה, כמו למשל. PyTorch, למשל, מאפשר לך לעשות זאת בקלות רבה. אתה מייצר את האצווה שלך ומגיש אותה לרשת לא כמו שהיא, בשלמותה, אלא מחלק אותה לנתחים כך שהיא תתאים לכרטיס המסך שלך, מחשב את השיפועים ולאחר שחישבת את השיפוע עבור כל האצווה, תעדכן המשקולות.

אגב, גדלי אצווה גדולים עדיין נכללו בתחרות הזו, מכיוון שהנתונים היו די רועשים, וגודל אצווה גדול עזר לך להעריך בצורה מדויקת יותר את השיפוע.

נעשה שימוש גם בתווית פסאודו, בשימוש בעיקר על ידי רומן סולובייב. הוא דגם כמחצית מהנתונים מהבדיקה באצוות, ואימן את הרשת על אצוות כאלה.

גודל התמונות היה חשוב, אבל העובדה היא שיש לך הרבה נתונים, אתה צריך להתאמן במשך זמן רב, ואם גודל התמונה שלך הוא די גדול, אז אתה תתאמן במשך זמן רב מאוד. אבל זה לא הוסיף הרבה לאיכות המסווג הסופי שלך, אז היה שווה להשתמש בסוג של פשרה. וניסינו רק תמונות שלא היו גדולות במיוחד.

איך כל זה נלמד? ראשית, צולמו תמונות בגודל קטן, נערכו עליהן כמה עידנים, זה לקח די הרבה זמן. אחר כך ניתנו תמונות בגודל גדול, הרשת הוכשרה, אחר כך עוד יותר, אפילו יותר, כדי לא לאמן אותה מאפס ולא לבזבז הרבה זמן.

לגבי מטובי אופטימיזציה. השתמשנו ב-SGD ובאדם. בצורה זו ניתן היה לקבל דגם בודד, שנתן מהירות של 0,941-0,946 ב-Leaderboard הציבורי, וזה די טוב.

אם תרכיבו את הדגמים בצורה כלשהי, תקבלו איפשהו בסביבות 0,951. אם תשתמש בטכניקה אחת נוספת, תקבל ציון סופי של 0,954 בלוח הציבורי, בדיוק כמו שקיבלנו. אבל עוד על כך בהמשך. בהמשך אספר לכם איך הרכבנו את הדגמים, ואיך הצלחנו להגיע למהירות סופית כזו.

בשלב הבא אני רוצה לדבר על Cosing Annealing עם הפעלה מחדש חמה או ירידה בשיפוע סטוכסטי עם הפעלה מחדש חמה. באופן גס, עקרונית, אתה יכול להשתמש בכל מייעל, אבל הנקודה היא כזו: אם אתה רק מאמן רשת אחת ובהדרגה היא מתכנסת למינימום כלשהו, ​​אז הכל בסדר, תקבל רשת אחת, היא עושה טעויות מסוימות, אבל אתה יכול לאמן את זה קצת אחרת. אתה תגדיר קצב למידה ראשוני כלשהו, ​​ותוריד אותו בהדרגה לפי הנוסחה הזו. אתה מוריד אותה, הרשת שלך מגיעה למינימום מסוים, ואז אתה שומר את המשקולות, ושוב קובע את קצב הלמידה שהיה בתחילת האימון, ובכך עולה לאנשהו מהמינימום הזה, ושוב מוריד את קצב הלמידה שלך.

לפיכך, אתה יכול לבקר בכמה מינימליות בבת אחת, שבהן ההפסד שלך יהיה, פלוס מינוס, זהה. אבל העובדה היא שרשתות עם משקלים אלה יתנו שגיאות שונות בתאריך שלך. על ידי ממוצע שלהם, תקבל סוג של קירוב, והמהירות שלך תהיה גבוהה יותר.

על האופן שבו הרכבנו את הדגמים שלנו. בתחילת המצגת אמרתי לשים לב לכמות הנתונים במבחן ולמספר השיעורים. אם תוסיפו 1 למספר היעדים במערך המבחנים ותחלקו במספר הכיתות, תקבלו את המספר 330, וזה נכתב בפורום - שהכיתות במבחן מאוזנות. זה יכול לשמש.

בהתבסס על זה, רומן סולובייב הגיע עם מדד, קראנו לו ציון פרוקסי, שמתאם די טוב עם לוח התוצאות. הנקודה היא: אתה עושה חיזוי, לוקח את ה-1 העליון של המנבאים שלך וסופר את מספר האובייקטים עבור כל מחלקה. לאחר מכן, הפחת 330 מכל ערך וחבר את הערכים המוחלטים המתקבלים.

התקבלו הערכים הבאים. זה עזר לנו לא ליצור לוח תוצאות בוחן, אלא לאמת מקומית ולבחור מקדמים עבור ההרכבים שלנו.

עם אנסמבל אפשר להגיע למהירות כזו. מה עוד יכולתי לעשות? נניח שהשתמשת במידע שהשיעורים במבחן שלך מאוזנים.

האיזון היה שונה. דוגמה לאחד מהם - איזון מהחבר'ה שלקחו את המקום הראשון.

מה עשינו? האיזון שלנו היה די פשוט, כך הציע יבגני בבחנין. תחילה מיינו את התחזיות שלנו לפי טופ 1 ובחרנו מהם מועמדים - כך שמספר הכיתות לא יעלה על 330. אבל עבור חלק מהכיתות אתה מסיים עם פחות מ-330 מנבאים. אוקיי, בואו נמיין גם לפי 2 המובילים ו-3 המובילים , וגם נבחר מועמדים.

במה היה האיזון שלנו שונה מהאיזון של המקום הראשון? הם השתמשו בגישה איטרטיבית, לקחו את המחלקה הפופולרית ביותר והקטינו את ההסתברויות עבור אותה מחלקה במספר קטן כלשהו עד שהיא כבר לא הייתה המחלקה הפופולרית ביותר. לקחנו את השיעור הבא הכי פופולרי. אז הם המשיכו להוריד אותם עד שמספר כל המעמדות נעשה שווה.

כולם השתמשו בגישה פלוס מינוס אחת כדי להכשיר רשתות, אבל לא כולם השתמשו באיזון. באמצעות איזון, אתה יכול להיכנס לזהב, ואם היה לך מזל, אז לכסף.

איך מעבדים מראש דייט? כולם עיבדו מראש את התאריך, פלוס או מינוס, באותו אופן - יצרו תכונות בעבודת יד, ניסו לקודד תזמונים עם צבעי קו שונים וכו'. על זה בדיוק דיבר אלכסיי נוזדרין-פלוטניצקי, שתפס את המקום ה-8.

הוא עשה את זה אחרת. הוא אמר שכל התכונות בעבודת יד שלך לא עובדות, אתה לא צריך לעשות את זה, הרשת שלך צריכה ללמוד את כל זה בעצמה. ובמקום זאת, הוא המציא מודולי למידה שעיבדו מראש את הנתונים שלך. הוא זרק לתוכם את הנתונים המקוריים ללא עיבוד מקדים - קואורדינטות ותזמונים של נקודות.

אחר כך הוא לקח את ההפרש על סמך הקואורדינטות, וערך ממוצע של הכל על סמך התזמונים. והוא בא עם מטריצה ​​די ארוכה. הוא החיל עליו פיתול 1D מספר פעמים כדי להשיג מטריצה ​​בגודל 64xn, כאשר n הוא המספר הכולל של נקודות, ו-64 נוצר על מנת להזין את המטריצה ​​שהתקבלה לשכבה של כל רשת קונבולוציונית, המקבלת את מספר הערוצים. - 64. הוא השיג מטריצה ​​של 64xn, ואז מתוך זה היה צורך ליצור טנזור בגודל כלשהו כך שמספר הערוצים יהיה שווה ל-64. הוא נרמל את כל הנקודות X, Y בטווח שבין 0 ל-32 כדי ליצור טנסור בגודל 32x32. אני לא יודע למה הוא רצה 32x32, זה פשוט קרה ככה. ובקואורדינטה הזו הוא הניח שבר של המטריצה ​​הזו בגודל 64xn. אז זה פשוט נגמר עם טנזור בגודל 32x32x64 שתוכלו להכניס יותר לרשת העצבית המהפכנית שלכם. זה כל מה שרציתי להגיד.

מקור: www.habr.com