רשתות עצביות. לאן כל זה הולך?

המאמר מורכב משני חלקים:

1. תיאור קצר של כמה ארכיטקטורות רשת לזיהוי אובייקטים בתמונות ופילוח תמונות עם הקישורים המובנים ביותר למשאבים עבורי. ניסיתי לבחור הסברים וידאו ורצוי ברוסית.
2. החלק השני הוא ניסיון להבין את כיוון ההתפתחות של ארכיטקטורות רשתות עצביות. וטכנולוגיות המבוססות עליהם.

איור 1 - הבנת ארכיטקטורות רשתות עצביות אינה קלה

הכל התחיל ביצירת שני יישומי הדגמה לסיווג וזיהוי אובייקטים בטלפון אנדרואיד:

• הדגמה אחורי, כאשר הנתונים מעובדים בשרת ומועברים לטלפון. סיווג תמונה של שלושה סוגים של דובים: חום, שחור וטדי.
• הדגמה קדמיתכאשר הנתונים מעובדים בטלפון עצמו. איתור חפצים (זיהוי חפצים) משלושה סוגים: אגוזי לוז, תאנים ותמרים.

יש הבדל בין המשימות של סיווג תמונה, זיהוי אובייקטים בתמונה ו פילוח תמונה. לכן, היה צורך לברר אילו ארכיטקטורות של רשתות עצביות מזהות אובייקטים בתמונות ואילו מהן יכולות לפלח. מצאתי את הדוגמאות הבאות של ארכיטקטורות עם הקישורים המובנים ביותר למשאבים עבורי:

• סדרה של ארכיטקטורות המבוססות על R-CNN (Rאזורים עם Cהתפתחות Neural Nתכונות רשת): R-CNN, Fast R-CNN, R-CNN מהיר יותר, מסיכה R-CNN. כדי לזהות אובייקט בתמונה, תיבות תוחמות מוקצות באמצעות מנגנון Region Proposal Network (RPN). בתחילה נעשה שימוש במנגנון החיפוש הסלקטיבי האיטי יותר במקום RPN. ואז האזורים המוגבלים שנבחרו מוזנים לקלט של רשת עצבית קונבנציונלית לסיווג. לארכיטקטורת R-CNN יש לולאות "עבור" מפורשות באזורים מוגבלים, בסך הכל עד 2000 ריצות דרך הרשת הפנימית של AlexNet. לולאות "עבור" מפורשות מאטות את מהירות עיבוד התמונה. מספר הלולאות המפורשות שעוברות ברשת העצבית הפנימית פוחת עם כל גרסה חדשה של הארכיטקטורה, ועשרות שינויים נוספים נעשים כדי להגביר את המהירות ולהחליף את משימת זיהוי האובייקטים בפילוח אובייקטים ב-Mask R-CNN.
• Yolo (You ONly Lאוק Once) היא הרשת העצבית הראשונה שזיהתה עצמים בזמן אמת במכשירים ניידים. תכונה ייחודית: הבחנה בין אובייקטים בריצה אחת (פשוט תסתכל פעם אחת). כלומר, בארכיטקטורת YOLO אין לולאות "for" מפורשות, וזו הסיבה שהרשת עובדת במהירות. למשל, האנלוגיה הזו: ב-NumPy, כאשר מבצעים פעולות עם מטריצות, אין גם לולאות "for" מפורשות, אשר ב-NumPy מיושמות ברמות נמוכות יותר של הארכיטקטורה דרך שפת התכנות C. YOLO משתמשת ברשת של חלונות מוגדרים מראש. כדי למנוע את הגדרת אותו אובייקט מספר פעמים, נעשה שימוש במקדם חפיפת החלון (IoU). Iהִצטַלְבוּת oVer Uיון). ארכיטקטורה זו פועלת על פני טווח רחב ויש לה גבוה חוסן: ניתן לאמן דוגמנית על תצלומים אך עדיין להופיע היטב על ציורים מצוירים ביד.
• SSD (Single SMultiBox חם Detector) – נעשה שימוש ב"פריצות" המוצלחות ביותר של ארכיטקטורת YOLO (לדוגמה, דיכוי לא מקסימלי) ומתווספים חדשים כדי לגרום לרשת העצבית לעבוד מהר יותר ומדויק יותר. תכונה ייחודית: הבחנה בין אובייקטים בריצה אחת באמצעות רשת נתונה של חלונות (תיבת ברירת מחדל) בפירמידת התמונה. פירמידת התמונה מקודדת בטנזורי קונבולציה באמצעות פעולות קונבולוציה ואיגום עוקבות (בפעולת ה-max-pooling, המימד המרחבי יורד). באופן זה, אובייקטים גדולים וקטנים נקבעים בהרצת רשת אחת.
• MobileSSD (סלולריNetV2+ SSD) הוא שילוב של שתי ארכיטקטורות רשתות עצביות. רשת ראשונה MobileNetV2 עובד במהירות ומגביר את דיוק הזיהוי. MobileNetV2 משמש במקום VGG-16, שבו נעשה שימוש במקור ב מאמר מקורי. רשת ה-SSD השנייה קובעת את מיקום האובייקטים בתמונה.
• SqueezeNet - רשת עצבית קטנה מאוד אך מדויקת. כשלעצמו, זה לא פותר את בעיית זיהוי האובייקטים. עם זאת, ניתן להשתמש בו בשילוב של ארכיטקטורות שונות. ומשמש במכשירים ניידים. התכונה הייחודית היא שהנתונים נדחסים תחילה לארבעה מסננים קונבולוציוניים של 1×1 ולאחר מכן מורחבים לארבעה מסננים קונבולוציוניים של 1×1 וארבעה 3×3 מסננים. איטרציה אחת כזו של הרחבת דחיסת נתונים נקראת "מודול אש".
• DeepLab (Semantic Image Segmentation with Deep Convolutional Nets) – פילוח אובייקטים בתמונה. מאפיין ייחודי של הארכיטקטורה הוא פיתול מורחב, המשמר רזולוציה מרחבית. לאחר מכן, שלב לאחר עיבוד התוצאות באמצעות מודל הסתברותי גרפי (שדה אקראי מותנה), המאפשר להסיר רעש קטן בפילוח ולשפר את איכות התמונה המפולחת. מאחורי השם האדיר "מודל הסתברותי גרפי" מסתתר מסנן גאוסי קונבנציונלי, אשר מוערך בחמש נקודות.
• ניסיתי להבין את המכשיר RefineDet (חד-שוט לחדדment Network Neural for Object דטסעיף), אבל לא הבנתי הרבה.
• הסתכלתי גם איך עובדת טכנולוגיית "תשומת הלב": סרטון 1, סרטון 2, סרטון 3. מאפיין ייחודי של ארכיטקטורת "תשומת הלב" הוא הבחירה האוטומטית של אזורים עם תשומת לב מוגברת בתמונה (RoI, Regions of Interest) באמצעות רשת עצבית הנקראת Attention Unit. אזורים של תשומת לב מוגברת דומים לתיבות תוחמות, אך בניגוד אליהם, הם אינם קבועים בתמונה וייתכן שיש להם גבולות מטושטשים. לאחר מכן, מאזורים של תשומת לב מוגברת, מבודדים סימנים (תכונות) אשר "מוזנים" לרשתות עצביות חוזרות עם ארכיטקטורות LSDM, GRU או Vanilla RNN. רשתות עצביות חוזרות מסוגלות לנתח את הקשר של תכונות ברצף. רשתות עצביות חוזרות שימשו בתחילה לתרגום טקסט לשפות אחרות, וכעת לתרגום תמונות לטקסט и טקסט לתמונה.

כאשר אנו חוקרים את הארכיטקטורות הללו הבנתי שאני לא מבין כלום. וזה לא שלרשת העצבים שלי יש בעיות עם מנגנון הקשב. היצירה של כל הארכיטקטורות הללו היא כמו סוג של האקתון ענק, שבו המחברים מתחרים בפריצות. פריצה היא פתרון מהיר לבעיית תוכנה קשה. כלומר, אין קשר לוגי גלוי ומובן בין כל הארכיטקטורות הללו. כל מה שמאחד אותם הוא קבוצה של הפריצות המוצלחות ביותר שהם שואלים זה מזה, פלוס אחד משותף לכולם פעולת פיתול בלולאה סגורה (הפצה לאחור, שגיאה חזרה). לא חשיבה מערכתית! לא ברור מה לשנות ואיך לייעל את ההישגים הקיימים.

כתוצאה מהיעדר חיבור לוגי בין פריצות, קשה מאוד לזכור אותן וליישם אותן בפועל. זה ידע מקוטע. במקרה הטוב נזכרים בכמה רגעים מעניינים ובלתי צפויים, אבל רוב המובן והבלתי מובן נעלם מהזיכרון תוך מספר ימים. זה יהיה טוב אם בעוד שבוע תזכור לפחות את שם הארכיטקטורה. אבל כמה שעות ואפילו ימי עבודה הושקעו בקריאת מאמרים ובצפייה בסרטוני ביקורת!

איור 2 - גן החיות של רשתות עצביות

רוב מחברי המאמרים המדעיים, לדעתי האישית, עושים הכל כדי שאפילו הידע המפוצל הזה לא יובן לקורא. אבל ביטויים שותפים בעשר משפטים עם נוסחאות שנלקחו "יש מאין" הם נושא למאמר נפרד (בעיה לפרסם או לגווע).

מסיבה זו, יש צורך בשיטתיות של מידע באמצעות רשתות עצביות ובכך להגביר את איכות ההבנה והשינון. לכן, הנושא העיקרי של ניתוח של טכנולוגיות בודדות וארכיטקטורות של רשתות עצביות מלאכותיות היה המשימה הבאה: לגלות לאן כל זה הולך, ולא המכשיר של רשת עצבית ספציפית בנפרד.

לאן כל זה הולך? תוצאה מרכזית:

• מספר סטארט-אפים של למידת מכונה בשנתיים האחרונות ירד בחדות. סיבה אפשרית: "רשתות עצביות הן כבר לא משהו חדש".
• כל אחד יכול ליצור רשת עצבית עובדת כדי לפתור בעיה פשוטה. לשם כך, קח מודל מוכן מ"גן החיות המודל" ואמן את השכבה האחרונה של הרשת העצבית (העברת למידה) על נתונים מוכנים מ חיפוש מערכי נתונים של גוגל או מ 25 אלף מערכי נתונים של Kaggle בחינם ענן Jupyter Notebook.
• יצרנים גדולים של רשתות עצביות החלו ליצור "דגמי גני חיות" (דגם גן חיות). באמצעותם תוכלו ליצור במהירות אפליקציה מסחרית: TF Hub עבור TensorFlow, MMDetection עבור PyTorch, גלאי עבור Caffe2, chainer-modelzoo עבור צ'יינר ו אחרים.
• רשתות עצביות שעובדות בהן בזמן אמת (בזמן אמת) במכשירים ניידים. בין 10 ל-50 פריימים לשנייה.
• השימוש ברשתות עצביות בטלפונים (TF Lite), בדפדפנים (TF.js) וב כלי בית (IoT, Internet of Tצירים). במיוחד בטלפונים שכבר תומכים ברשתות עצביות ברמת החומרה (מאיצים עצביים).
• "לכל מכשיר, פריט לבוש ואולי אפילו אוכל יהיה כתובת IP-v6 ולתקשר אחד עם השני" - סבסטיאן ת'רון.
• מספר הפרסומים על למידת מכונה החל לגדול לחרוג מחוק מור (הכפלה כל שנתיים) מאז 2015. ברור שאנחנו צריכים רשתות עצביות לניתוח מאמרים.
• הטכנולוגיות הבאות צוברות פופולריות:
  • PyTorch - הפופולריות צומחת במהירות ונראה שהיא עוקפת את TensorFlow.
  • בחירה אוטומטית של היפרפרמטרים AutoML - הפופולריות גדלה בצורה חלקה.
  • ירידה הדרגתית בדייקנות ועלייה במהירות החישוב: לוגיקה עמומה, אלגוריתמים חיזוק, חישובים לא מדויקים (בקירוב), קוונטיזציה (כאשר משקלי הרשת העצבית מומרים למספרים שלמים ומכומתים), מאיצים עצביים.
  • תרגום תמונות לטקסט и טקסט לתמונה.
  • יצירה אובייקטים תלת מימדיים מתוך וידאו, עכשיו בזמן אמת.
  • העיקר ב-DL הוא שיש הרבה נתונים, אבל איסוף ותיוג זה לא קל. לכן, אוטומציה של סימון מתפתחת (ביאור אוטומטי) עבור רשתות עצביות המשתמשות ברשתות עצביות.
• עם רשתות עצביות, מדעי המחשב הפך פתאום מדע ניסיוני וקם משבר שחזור.
• כספי IT והפופולריות של רשתות עצביות הופיעו בו-זמנית כאשר המחשוב הפך לערך שוק. הכלכלה משתנה מכלכלת זהב ומטבע ל זהב-מטבע-מחשוב. ראה את המאמר שלי בנושא אקונופיזיקה והסיבה להופעת כספי IT.

בהדרגה מופיע אחד חדש מתודולוגיית תכנות ML/DL (Machine Learning & Deep Learning), המבוססת על ייצוג התוכנית כמערכת של מודלים מאומנים של רשתות עצבים.

איור 3 - ML/DL כמתודולוגיית תכנות חדשה

עם זאת, הוא מעולם לא הופיע "תיאוריית הרשת העצבית", שבתוכו ניתן לחשוב ולעבוד בצורה שיטתית. מה שנקרא כיום "תיאוריה" הוא למעשה אלגוריתמים ניסיוניים היוריסטיים.

קישורים למשאבים שלי ואחרים:

• ניוזלטר מדע נתונים. בעיקר עיבוד תמונה. מי שרוצה לקבל אותו שישלח מייל (foobar167<gaf-gaf>gmail<dot>com). אני שולח קישורים למאמרים וסרטונים ככל שהחומר מצטבר.
• כללי רשימת קורסים ומאמריםאשר עברתי ואת אשר הייתי רוצה לעבור.
• קורסים וסרטונים למתחילים, שבו כדאי להתחיל ללמוד רשתות עצביות. פלוס חוברת "מבוא ללמידת מכונה ולרשתות עצביות מלאכותיות".
• כלים שימושיים, שבו כל אחד ימצא משהו מעניין עבור עצמו.
• מצאנו אותם שימושיים ביותר. ערוצי וידאו לניתוח מאמרים מדעיים מאת Data Science. מצאו, הירשמו אליהם והעבירו את הקישורים גם לעמיתים שלכם וגם לי. דוגמאות:
  • שני עבודות דקה
  • מעבדות הנרי AI
  • יאניק קילצ'ר
  • CodeEmporium
  • בלוג Chengwei Zhang aka Tony607 עם הוראות שלב אחר שלב וקוד פתוח.

תודה לך!

מקור: www.habr.com