מגמות בראייה ממוחשבת. עיקרי ICCV 2019

רשתות עצביות בראייה ממוחשבת מתפתחות באופן פעיל, בעיות רבות עדיין רחוקות מפתרון. כדי להיות בטרנד בתחום שלך, פשוט עקוב אחר משפיענים בטוויטר וקרא מאמרים רלוונטיים ב-arXiv.org. אבל הייתה לנו הזדמנות ללכת לכנס הבינלאומי לראייה ממוחשבת (ICCV) 2019. השנה הוא מתקיים בדרום קוריאה. כעת אנו רוצים לשתף את קוראי הבר במה שראינו ולמדנו.

היינו שם הרבה מיאנדקס: הגיעו מפתחי מכוניות בנהיגה עצמית, חוקרים וכאלה שעוסקים במשימות קורות חיים בשירותים. אבל עכשיו אנחנו רוצים להציג נקודת מבט סובייקטיבית מעט של הצוות שלנו - מעבדת Intelligence Machine (Yandex MILAB). החבר'ה האחרים כנראה הסתכלו על הכנס מהזווית שלהם.

מה עושה המעבדה?אנו עושים פרויקטים ניסיוניים הקשורים ליצירת תמונות ומוזיקה למטרות בידור. אנו מתעניינים במיוחד ברשתות עצביות המאפשרות לך לשנות תוכן מהמשתמש (עבור תמונות, משימה זו נקראת מניפולציה של תמונה). דוגמה התוצאה של העבודה שלנו מכנס YaC 2019.
יש הרבה כנסים מדעיים, אבל הבולטים שבהם, מה שנקרא כנסים A*, שבהם בדרך כלל מתפרסמים מאמרים על הטכנולוגיות הכי מעניינות וחשובות. אין רשימה מדויקת של ועידות A*, הנה רשימה משוערת ולא מלאה: NeurIPS (לשעבר NIPS), ICML, SIGIR, WWW, WSDM, KDD, ACL, CVPR, ICCV, ECCV. שלושת האחרונים מתמחים בנושא קורות חיים.

ICCV במבט חטוף: פוסטרים, הדרכות, סדנאות, דוכנים

לכנס הגיעו 1075 מאמרים, היו 7500 משתתפים. 103 אנשים הגיעו מרוסיה, היו מאמרים מעובדי Yandex, Skoltech, Samsung AI Center Moscow ו- Samara University. השנה, לא הרבה חוקרים מובילים ביקרו ב-ICCV, אלא, למשל, אלכסיי (אליושה) אפרוס, שתמיד מושך הרבה אנשים:

סטטיסטיקה









בכל הכנסים הללו מוצגים מאמרים בצורה של פוסטרים (יותר על הפורמט), והטובים שבהם מוצגים גם בצורת דוחות קצרים.

הנה כמה מהעבודות מרוסיה





עם מדריכים אתה יכול לצלול לתחום נושא מסוים; זה מזכיר הרצאה באוניברסיטה. הוא נקרא על ידי אדם אחד, בדרך כלל מבלי לדבר על יצירות ספציפיות. דוגמה להדרכה מגניבה (מייקל בראון, הבנת צבע וצינור עיבוד תמונה בתוך המצלמה לראייה ממוחשבת):

בסדנאות, להיפך, מדברים על מאמרים. בדרך כלל מדובר בעבודות בנושא צר כלשהו, ​​בסיפורים של ראשי מעבדות על כל העבודות האחרונות של סטודנטים, או במאמרים שלא התקבלו לכנס המרכזי.

חברות חסות מגיעות ל-ICCV עם דוכנים. השנה הגיעו גוגל, פייסבוק, אמזון ועוד חברות בינלאומיות רבות, כמו גם מספר רב של סטארטאפים - קוריאנים וסינים. היו סטארטאפים רבים במיוחד שהתמחו בתיוג נתונים. יש הופעות ביציעים, אפשר לקחת סחורה ולשאול שאלות. למטרות ציד, חברות נותנות חסות עורכות מסיבות. אתה יכול להיכנס אליהם אם תשכנע מגייסים שאתה מעוניין ושאתה יכול לעבור ראיונות. אם פרסמת מאמר (או יתר על כן, הצגת אותו), התחלת או מסיימת דוקטורט, זה יתרון, אבל לפעמים אתה יכול לנהל משא ומתן בדוכן על ידי שאילת שאלות מעניינות למהנדסי החברה.

מגמות

הכנס מאפשר לכם להציץ בכל תחום קורות החיים. לפי מספר הפוסטרים על נושא מסוים, אתה יכול להעריך עד כמה הנושא חם. כמה מסקנות מציעות את עצמן על סמך מילות המפתח:

אפס שוט, ירי אחד, מעט ירייה, בפיקוח עצמי ובפיקוח למחצה: גישות חדשות למשימות שנלמדו זמן רב

אנשים לומדים להשתמש בנתונים בצורה יעילה יותר. לדוגמה, ב FUNIT ניתן ליצור הבעות פנים של בעלי חיים שלא היו במערך האימונים (ביישום, על ידי מתן מספר תמונות התייחסות). הרעיונות של Deep Image Prior פותחו, וכעת ניתן לאמן רשתות GAN על תמונה אחת - נדבר על כך בהמשך בהדגשות. אתה יכול להשתמש בפיקוח עצמי לצורך אימון מקדים (פתרון בעיה שעבורה אתה יכול לסנתז נתונים מיושרים, כגון חיזוי זווית הסיבוב של תמונה) או ללמוד בו-זמנית מנתונים מסומנים ולא מסומנים. במובן זה, המאמר יכול להיחשב כנזר הבריאה S4L: למידה עצמית בפיקוח למחצה. והנה ההדרכה המקדימה באימג'נט לא תמיד עוזר.

3D ו-360°

בעיות שנפתרו בעיקר עבור תמונות (פילוח, איתור) דורשות מחקר נוסף עבור מודלים תלת מימדיים וסרטונים פנורמיים. ראינו מאמרים רבים על המרת RGB ו-RGB-D לתלת מימד. בעיות מסוימות, כמו הערכת תנוחות אנושיות, יכולות להיפתר באופן טבעי יותר על ידי מעבר למודלים תלת מימדיים. אבל אין עדיין קונצנזוס לגבי איך בדיוק לייצג מודלים תלת מימדיים - בצורה של רשת, ענן נקודות, ווקסלים או SDF. הנה אפשרות נוספת:

בפנורמה, פיתולים על הכדור מתפתחים באופן פעיל (ראה. פילוח סמנטי מודע להתמצאות על כדורי איקוסהדרון) וחפש אובייקטים מרכזיים במסגרת.

זיהוי תנוחות וחיזוי תנועה אנושית

כבר היו התקדמות בזיהוי תנוחות ב-2D - כעת הפוקוס עבר לעבודה עם מספר מצלמות ובתלת מימד. לדוגמה, אתה יכול גם לזהות שלד דרך קיר על ידי מעקב אחר שינויים באות ה-Wi-Fi בזמן שהוא עובר דרך גוף האדם.

נעשתה עבודה רבה בתחום זיהוי נקודת המפתח ביד. מערכי נתונים חדשים הופיעו, כולל אלה המבוססים על סרטונים של דיאלוגים בין שני אנשים - עכשיו אתה יכול לחזות תנועות ידיים מהשמע או הטקסט של שיחה! אותה התקדמות נעשתה במשימות מעקב עיניים (הערכת מבט).

אפשר גם לזהות מקבץ גדול של יצירות הקשורות לחיזוי תנועה אנושית (לדוגמה, חיזוי תנועה אנושית באמצעות ציור מרחבי-זמני או חיזוי מובנה מסייע במודלים תלת מימדיים של תנועה אנושית). המשימה חשובה ומבוססת על שיחות עם המחברים היא משמשת לרוב לניתוח התנהגות הולכי רגל בנהיגה אוטונומית.

מניפולציות עם אנשים בתמונות ובסרטונים, חדרי איפור וירטואליים

המגמה העיקרית היא לשנות תמונות פנים לפי פרמטרים הניתנים לפירוש. רעיונות: זיוף עמוק המבוסס על תמונה אחת, שינוי הבעה על סמך עיבוד הפנים (PuppetGAN), feedforward—שנה פרמטרים (לדוגמה, גיל). העברות הסגנונות עברו מכותרת הנושא ליישום העבודה. חדרי התאמה וירטואליים הם סיפור אחר; הם כמעט תמיד עובדים גרוע, הנה דוגמה הדגמות.

יצירה מסקיצות/גרפים

הפיתוח של הרעיון "תנו לרשת לייצר משהו על סמך ניסיון קודם" הפך לעוד אחד: "בואו נראה לרשת איזו אפשרות מעניינת אותנו".

SC-FEGAN מאפשר לך לבצע צביעה מודרכת: המשתמש יכול לסיים לצבוע חלק מהפנים באזור המחוק של התמונה ולקבל תמונה משוחזרת בהתאם להשלמה.

אחד מ-25 מאמרים של Adobe עבור ICCV משלב שני GANs: אחד משלים את הסקיצה עבור המשתמש, השני מייצר תמונה פוטו-ריאליסטית מהסקיצה (עמוד הפרויקט).

בעבר, גרפים לא היו נחוצים ביצירת תמונות, אבל עכשיו הם נעשו מיכל של ידע על הסצנה. המאמר זכה גם בפרס המאמר הטוב ביותר המבוסס על תוצאות ICCV ציון תכונות ויחסי אובייקט ביצירת סצנה אינטראקטיבית. באופן כללי, אתה יכול להשתמש בהם בדרכים שונות: ליצור גרפים מתמונות, או תמונות וטקסטים מגרפים.

זיהוי מחדש של אנשים ומכוניות, ספירת גודל הקהל (!)

מאמרים רבים מוקדשים למעקב אחר אנשים וזיהוי מחדש של אנשים ומכונות. אבל מה שהפתיע אותנו היה שלל כתבות על ספירת קהל, כולם מסין.

פוסטרים








אבל פייסבוק, להיפך, עושה את התמונה אנונימית. והוא עושה זאת בצורה מעניינת: הוא מאמן את הרשת העצבית ליצור פנים ללא פרטים ייחודיים - דומים, אבל לא כל כך דומים שאפשר לזהות אותו בצורה נכונה על ידי מערכות זיהוי פנים.

הגנה מפני התקפות יריבות

עם התפתחות יישומי ראייה ממוחשבת בעולם האמיתי (במכוניות בנהיגה עצמית, בזיהוי פנים), עולה יותר ויותר שאלת האמינות של מערכות כאלה. כדי להשתמש במלואו ב-CV, אתה צריך להיות בטוח שהמערכת עמידה בפני התקפות יריבות - זו הסיבה שהיו לא פחות מאמרים על הגנה מפניהן מאשר על ההתקפות עצמן. הייתה עבודה רבה על הסבר תחזיות רשת (מפת בולטות) ומדידת אמון בתוצאה.

משימות משולבות

ברוב המשימות עם יעד אחד, האפשרויות לשיפור האיכות מוצו כמעט; אחד הכיוונים החדשים להגדלת האיכות נוספת הוא ללמד רשתות עצביות לפתור מספר בעיות דומות בו-זמנית. דוגמאות:
- חיזוי פעולה + חיזוי זרימה אופטית,
- מצגת וידאו + מצגת שפה (VideoBERT),
- רזולוציית על + HDR.

יש גם מאמרים על פילוח, קביעת תנוחה וזיהוי מחדש של בעלי חיים!

עיקרי הדברים

כמעט כל המאמרים היו ידועים מראש, הטקסט היה זמין באתר arXiv.org. לכן, הצגת יצירות כמו Everybody Dance Now, FUNIT, Image2StyleGAN נראית מוזרה למדי - אלו הן יצירות שימושיות מאוד, אבל לא חדשות. נראה שהתהליך הקלאסי של פרסומים מדעיים מתקלקל כאן – המדע זז מהר מדי.

קשה מאוד לקבוע את היצירות הטובות ביותר - יש הרבה מהן, הנושאים שונים. התקבלו מספר מאמרים פרסים ואזכורים.

אנחנו רוצים להדגיש יצירות מעניינות מנקודת מבט של מניפולציה של תמונה, שכן זה הנושא שלנו. הם התגלו כטריים ומעניינים עבורנו (אנחנו לא מתיימרים להיות אובייקטיביים).

SinGAN (פרס הנייר הטוב ביותר) ו-InGAN

SinGAN: עמוד הפרויקט, arXiv, צופן.
InGAN: עמוד הפרויקט, arXiv, צופן.

פיתוח הרעיון של Deep Image Prior מדמיטרי אוליאנוב, אנדריאה ודאלדי וויקטור למפיצקי. במקום לאמן GAN על מערך נתונים, הרשתות לומדות מקטעים של אותה תמונה כדי לזכור את הסטטיסטיקה שבתוכה. הרשת המאומנת מאפשרת לך לערוך ולהנפיש תמונות (SinGAN) או ליצור תמונות חדשות בכל גודל מהמרקמים של התמונה המקורית, תוך שמירה על המבנה המקומי (InGAN).

SinGAN:

InGAN:

לראות מה GAN לא יכול ליצור

עמוד הפרויקט.

רשתות עצביות היוצרות תמונות לוקחות לעתים קרובות וקטור של רעש אקראי כקלט. ברשת מאומנת, וקטורי קלט רבים יוצרים מרחב, תנועות קטנות שלאורכו מובילות לשינויים קטנים בתמונה. באמצעות אופטימיזציה תוכלו לפתור את הבעיה ההפוכה: למצוא וקטור קלט מתאים לתמונה מהעולם האמיתי. המחבר מראה שכמעט אף פעם לא ניתן למצוא תמונה תואמת לחלוטין ברשת עצבית. חלק מהאובייקטים בתמונה אינם נוצרים (כנראה בשל השונות הגדולה של אובייקטים אלו).

המחבר משער ש-GAN אינו מכסה את כל מרחב התמונות, אלא רק תת-קבוצה כלשהי, ממולאת חורים, כמו גבינה. כשאנחנו מנסים למצוא בו תמונות מהעולם האמיתי, תמיד נכשל, כי GAN עדיין מייצר תמונות לא לגמרי אמיתיות. ניתן להתגבר על ההבדלים בין תמונות אמיתיות לתמונות שנוצרו רק על ידי שינוי המשקלים של הרשת, כלומר על ידי אימון מחדש לתמונה ספציפית.

כאשר הרשת מאומנת בנוסף לתמונה ספציפית, אתה יכול לנסות מניפולציות שונות עם תמונה זו. בדוגמה למטה, נוסף חלון לתמונה, והרשת יצרה בנוסף השתקפויות על יחידת המטבח. המשמעות היא שהרשת, גם לאחר הכשרה נוספת לצילום, לא איבדה את היכולת לראות את הקשר בין אובייקטים בסצנה.

ניתוח: לקראת הגדרות חזותיות של מאפייני תמונה קוגניטיביים

עמוד הפרויקט, arXiv.

באמצעות הגישה מעבודה זו, אתה יכול לדמיין ולנתח את מה שהרשת העצבית למדה. המחברים מציעים לאמן את GAN ליצור תמונות שעבורן הרשת תייצר תחזיות מוגדרות. המאמר השתמש במספר רשתות כדוגמאות, כולל MemNet, שחוזה זכירות תמונות. התברר שלצורך זכירות טובה יותר, האובייקט בתמונה צריך:

• להיות קרוב יותר למרכז
• יש צורה עגולה או מרובעת יותר ומבנה פשוט,
• להיות על רקע אחיד,
• מכילים עיניים אקספרסיביות (לפחות עבור תמונות כלבים),
• להיות בהיר יותר, רווי יותר, במקרים מסוימים, אדום יותר.

Liquid Wiping GAN: מסגרת מאוחדת לחיקוי תנועה אנושית, העברת מראה וסינתזה של צפייה חדשה

עמוד הפרויקט, arXiv, צופן.

צינור ליצירת תמונות של אנשים תמונה אחת בכל פעם. המחברים מציגים דוגמאות מוצלחות להעברת תנועה של אדם אחד לאחר, העברת בגדים בין אנשים ויצירת זוויות חדשות של אדם - הכל מתצלום אחד. בניגוד לעבודות קודמות, כאן אנו משתמשים לא בנקודות מפתח ב-2D (פוזה), אלא ברשת תלת מימדית של הגוף (פוזה + צורה) ליצירת תנאים. המחברים גם הבינו כיצד להעביר מידע מהתמונה המקורית לתמונה שנוצרה (Liquid Warping Block). התוצאות נראות נאות, אבל הרזולוציה של התמונה המתקבלת היא רק 3x256. לשם השוואה, vid256vid, שהופיעה לפני שנה, מסוגלת לייצר ברזולוציה של 2x2048, אך היא דורשת עד 1024 דקות של הקלטת וידאו כמערך נתונים.

FSGAN: נושא החלפת פנים אגנוסטיות ושחזור

עמוד הפרויקט, arXiv.

בהתחלה נראה שאין שום דבר יוצא דופן: זיוף עמוק עם איכות פחות או יותר רגילה. אבל ההישג העיקרי של העבודה הוא החלפת פרצופים מתמונה אחת. בניגוד לעבודות קודמות, נדרשה הכשרה על צילומים רבים של אדם ספציפי. הצינור התברר כמסורבל (שחזור ופילוח, אינטרפולציה של צפייה, צביעה, מיזוג) ועם הרבה פריצות טכניות, אבל התוצאה שווה את זה.

זיהוי הבלתי צפוי באמצעות סינתזה מחדש של תמונה

arXiv.

איך מזל"ט יכול להבין שפתאום הופיע מולו אובייקט שאינו נכנס לשום מחלקה פילוח סמנטי? ישנן מספר שיטות, אך המחברים מציעים אלגוריתם חדש ואינטואיטיבי שעובד טוב יותר מקודמיו. פילוח סמנטי צפוי מתמונת הכביש הקלט. הוא מוזן כקלט ל-GAN (pix2pixHD), שמנסה לשחזר את התמונה המקורית רק מהמפה הסמנטית. חריגות שאינן נופלות באף אחד מהקטעים יהיו שונים באופן משמעותי בפלט ובתמונה שנוצרת. שלושת התמונות (מקוריות, פילוח ומשוחזרות) מוזנות לרשת אחרת המנבאת חריגות. מערך הנתונים עבור זה נוצר ממערך הנתונים הידוע של Cityscapes, תוך שינוי אקראי של המחלקות בפילוח הסמנטי. מעניין שבמסגרת זו, כלב שעומד באמצע הכביש, אך מפולח נכון (כלומר שיש לו מחלקה), אינו חריג, מכיוון שהמערכת הצליחה לזהות אותו.

מסקנה

לפני הכנס חשוב לדעת מהם תחומי העניין המדעיים שלכם, באילו מצגות תרצו להשתתף ועם מי לדבר. ואז הכל יהיה הרבה יותר פרודוקטיבי.

ICCV הוא, בראש ובראשונה, נטוורקינג. אתה מבין שיש מכונים מובילים ומחלקות מדעיות מובילות, אתה מתחיל להבין את זה, להכיר אנשים. ואתה יכול לקרוא מאמרים ב-arXiv - ודרך אגב, זה מאוד מגניב שאתה לא צריך ללכת לשום מקום כדי לקבל ידע.

בנוסף, בכנס תוכלו לצלול לעומק נושאים שאינם קרובים אליכם ולראות מגמות. ובכן, כתוב רשימה של מאמרים לקריאה. אם אתה סטודנט, זו הזדמנות עבורך לפגוש מורה פוטנציאלי, אם אתה מהתעשייה, אז עם מעסיק חדש, ואם חברה, אז להראות את עצמך.

הירשם ל- @loss_function_porn! זה פרויקט אישי: אנחנו מובילים אותו יחד עם karfly. פרסמנו כאן את כל העבודות שאהבנו במהלך הכנס: @loss_function_live.

מקור: www.habr.com