Computer Vision Summer Сamp - בית ספר קיץ של אינטל על ראייה ממוחשבת

מ-3 ביולי עד 16 ביולי באוניברסיטה הממלכתית של ניז'ני נובגורוד. נ.א. לובצ'בסקי אירח את בית הספר הקיץ הבין-אוניברסיטאי של אינטל לראיית מחשב - מחנה קיץ של ראיית מחשב, בו השתתפו יותר מ-100 סטודנטים. בית הספר היה מיועד לסטודנטים טכניים מאוניברסיטאות ניז'ני נובגורוד שמתעניינים בראייה ממוחשבת, למידה עמוקה, רשתות עצביות, Intel OpenVINO, OpenCV.

במאמר זה נשתף כיצד התרחשה הבחירה לבית הספר, מה הם למדו, מה עשו התלמידים בחלק המעשי, וכן נדבר על כמה מהפרויקטים שהוצגו בהגנה.

תהליך בחירה ודרכי השתתפות

החלטנו לתת לילדים את הבחירה להגיש מועמדות לשתי צורות חינוך: משרה מלאה וחלקית. לקורסים במשרה חלקית וחלקית, הסטודנטים לא עברו מיון ונרשמו מיד. הם השתתפו רק בהרצאות, בימי חול, בבוקר. לילדים הייתה גם הזדמנות לבצע משימות מעשיות ולשלוח אותן אליהן GitHub לבדיקות על ידי מורים.

כדי לזכות לבחינה במשרה מלאה, החבר'ה היו צריכים להגיע למשרד אינטל לראיון עם הנציבות. ההבדל מהטופס במשרה חלקית וחלקית היה שבנוסף להרצאות, עברו משתתפי המחנה משימות מעשיות עם אוצרים - מורים ומהנדסים של UNN מאינטל. בשבוע השני הסתיימו מטלות מעשיות והחלו פרויקטים עליהם עבדו המשתתפים בקבוצות של 3 אנשים.

במהלך הראיון נשאלו התלמידים שאלות בנושאי מתמטיקה ותכנות, וכן ניתנה להם בעיה שיש לפתור במקום. ראוי לציין כי הוועדה כללה מהנדסי תוכנה, מהנדסי אלגוריתמים ומורים באוניברסיטה. נ.א. לובצ'בסקי, כך שהראיון התברר כרב פנים ויוצא דופן. מנקודת מבטו של המראיין, היה מעניין לברר את הידע הטכני הבסיסי של התלמידים ביחס לראייה ממוחשבת, ולכן נושאים כמו C++/STL, OOP, אלגוריתמים ומבני נתונים בסיסיים, אלגברה לינארית, ניתוח מתמטי, מתמטיקה בדידה ו נשאלו הרבה יותר. בין המשימות, העדיפות הייתה לברר את הנמקות התלמידים. הוועדה התעניינה גם היכן הם למדו, איזה ניסיון היה להם לפני בית הספר הזה (למשל, פעילות מדעית) וכיצד ניתן ליישם אותו ישירות לתחום הראייה הממוחשבת.

סה"כ השתתפו במיון במשרה מלאה 78 תלמידים ואילו היו 24 מקומות במשרה מלאה. התחרות הייתה 3 תלמידים למקום. ניתן לראות נתונים סטטיסטיים על משתתפים והבדלים חזותיים בין צורות השתתפות במשרה מלאה לחלקית בטבלה שלהלן:

מה החבר'ה עשו במשך שבועיים?

התלמידים הכירו בתיאוריה ובתרגול את המשימות העיקריות של ראייה ממוחשבת: סיווג תמונות, זיהוי אובייקטים ומעקב אחריהם. מרכיב ההרצאה לכל נושא כלל בדרך כלל סיור היסטורי לפיתוח שיטות קלאסיות לפתרון בעיות ראייה ממוחשבת ושיטות מודרניות לפתרון באמצעות למידת מכונה ורשתות עצביות. בעקבות התיאוריה בוצע תרגול, שבו התלמידים הורידו מודלים פופולריים של רשתות עצביות והשיקו אותם באמצעות מודול DNN של ספריית OpenCV, ויצרו אפליקציה מותאמת אישית.

מצגות של כל ההרצאות פורסמו במאגר ציבורי GitHub, כך שתלמידים תמיד יוכלו לפתוח ולצפות במידע הדרוש, כולל אחרי הלימודים. ניתן היה לתקשר עם מרצים, מורים לתרגול ומהנדסי אינטל הן בשידור חי והן באמצעות צ'אט בגיטר. גם העיתוי של שבוע הפרויקט התברר כמוצלח: הוא החל ביום רביעי, מה שאפשר לבלות את סוף השבוע בצורה מועילה ללא הרצאות, ולשפר את החלטות הצוות. המשתתפים האחראים ביותר בילו חצי מהשבת במשרד אינטל, על כך הם זכו לטיול לא מתוכנן באותו היום.

איך הייתה ההגנה על הפרויקטים?

כל צוות קיבל 10 דקות לדבר על מה שהם עשו במהלך הפרויקט ולמה הם הגיעו. לאחר הזמן הזה, החלו 5 דקות, שבמהלכן מהנדסי החברה שאלו את החבר'ה שאלות ונתנו טיפים קטנים שיעזרו להם לשפר את הפרויקט שלהם או למנוע טעויות קיימות בעתיד. כל אחד מהחבר'ה ניסה את עצמו כדובר, הפגין את הידע שלו בתחום הראייה הממוחשבת ואישר את תרומתו ליצירת הפרויקט, מה שעזר לנו לשקול ולהסיק מסקנה לגבי כל משתתף בבית הספר. ההגנה התקיימה במשך 3 שעות, אבל טיפלנו בחבר'ה והרגענו את המתח עם הפסקת קפה קצרה, שבה החבר'ה יכלו לנשום ולדון בנושאים עם מומחי אינטל מובילים.

בסופו של יום הענקנו מקומות ראשון, שניים שני ושלושה שלישיים. זה היה די קשה לבחור, כי לכל צוות, לכל פרויקט היה טעם משלו והוא נבדל על ידי מקוריות ההצגה שלו.

משתתפי מחנה CV במשרה מלאה, הגנת פרויקטים, משרד אינטל בניז'ני נובגורוד

הציג פרויקטים

כפפה חכמה

שימוש בגלאי וגשש באמצעות OpenCV לניווט ויזואלי בחלל. הצוות הוסיף בנוסף יכולת חישת עומק באמצעות שתי מצלמות. ממשק הניהול של Microsoft Speech API משמש.

קוֹלֵט

איתור מזון ובחירת מתכון למנה מוכנה כולל המרכיבים שנמצאו. החבר'ה לא פחדו מהמשימה ותוך שבוע הם סימנו בעצמם מספר מספיק של תמונות, אימנו את הגלאי באמצעות ה-API של TensorFlow Object Detection והוסיפו היגיון למציאת המתכון. פשוט ובטוב טעם!

עורך 2.0

משתתפי הפרויקט השתמשו במערך רשתות עצביות (חיפוש פנים, נורמליזציה של תמונת הפנים לפי נקודות מפתח, חישוב מתאר תמונת הפנים) לצורך זיהוי פנים כחלק ממשימת חיפוש שברים בסרטונים ארוכים שבהם אדם מסוים נמצא. מתנה. המערכת שפותחה יכולה לשמש כמערכת סיוע לעריכת וידאו, ולשחרר אדם מהצורך לצפות בסרטון בעצמו בחיפוש אחר השברים הדרושים. שימוש ברשתות עצביות מ ספריות מודל OpenVINO, הצוות הצליח להשיג מהירות גבוהה של האפליקציה: במחשב נייד עם מעבד Intel Core i5, מהירות עיבוד הווידאו הייתה 58 פריימים לשנייה.

גורם אנונימי

ציור משקפיים ומסכות על פניו של אדם. רשת MTCNN שימשה לזיהוי פנים ונקודות מפתח.

אנונימוס

עוד עבודה מעניינת בנושא הסתרת זהות. צוות זה הציג מספר אפשרויות לעיוות פנים: טשטוש ופיקסלים. בשבוע אחד, החבר'ה לא רק הבינו את המשימה, אלא גם סיפקו מצב לאנונימיזציה של אדם ספציפי (עם זיהוי פנים).

להתחמם

צוות פרויקט "חימום" פתר את הבעיה של יצירת עוזר ספורט לתרגיל הטיית ראש. וגם אם היישום הסופי של יישום זה עדיין שנוי במחלוקת, בוצע מחקר מקיף שהשווה אלגוריתמים שונים לזיהוי פנים: אשדות Haar, רשתות של TensorFlow, OpenCV ו-OpenVINO. התחממנו לא רק פיזית, אלא גם נפשית!

800 נמוך יותר

ניז'ני נובגורוד, העיר בה התקיים בית הספר, תמלא 2 שנים בעוד שנתיים, מה שאומר שיש מספיק זמן ליישם פרויקט מעניין. ביקשנו מהילדים לחשוב על המשימה של יצירת מדריך שעל בסיס תמונת חזית הבניינים יוכל לספק מידע על איזה סוג של אובייקט מוצג בתמונה ואילו עובדות ידועות לגביו. לדעתנו, משימה זו הייתה אחת הקשות, שכן היא מתייחסת לראייה ממוחשבת קלאסית, אך הצוות הראה תוצאה ראויה.

אבן נייר ומספריים

למרות מגבלות הזמן הקפדניות להשלמת עבודת התכנון, הצוות הזה גם לא פחד לערוך ניסוי כדי לאמן את הרשת העצבית שלו לסווג עמדות ידיים במשחק ידוע.

משוב מהמשתתפים

ביקשנו מתלמידים מקורסים שונים לשתף את התרשמותם מבית הספר הקיץ:

לאחרונה התמזל מזלי להשתתף במחנה הקיץ של Intel Computer Vision וזו הייתה חוויה נפלאה. רכשנו הרבה ידע ומיומנויות חדשות בתחום קורות חיים, התקנת תוכנה, איתור באגים, גם היינו שקועים בסביבת עבודה, התמודדנו עם בעיות אמיתיות, דנו בפתרונות אפשריים עם עמיתים ומורים בביה"ס. יש מיתוס שעבודתו של מתכנת מורכב אך ורק מתקשורת עם מחשב. אולם אין זה המצב כלל וכלל. העבודה היצירתית שלנו אינה ניתנת להפרדה מתקשורת עם אנשים. באמצעות תקשורת ניתן היה לרכוש ידע ייחודי. והכי אהבתי את הרכיב הזה בבית הספר. עם זאת, יש חיסרון אחד... לאחר סיום האימון רציתי להמשיך! בנוסף לידע תיאורטי ב-DL ומיומנויות מעשיות בקורות חיים, קיבלתי מושג לאילו תחומי מתמטיקה יש לתת תשומת לב מיוחדת ואילו טכנולוגיות יש ללמוד. המסירות, המקצועיות והאהבה לעבודתם של מהנדסים וחוקרי אינטל השפיעו על בחירת הכיוון שלי ב-IT. על כך אני רוצה להודות לכל מארגני בית הספר.

קריסטינה, שנה א', HSE

בזמן קצר כל כך הצליח בית הספר לספק מידע ותרגול מירבי בנושא הראייה הממוחשבת. ולמרות שהוא תוכנן לידע בסיסי, ההרצאות הכילו הרבה חומר טכני שאתה רוצה להבין ולהשקיע יותר זמן בלימוד. המנטורים והמרצים של בית הספר ענו בשקיקה על כל השאלות ותקשרו עם התלמידים. ובכן, תוך כדי השלמת פרויקט הגמר, נאלצתי לצלול לתוך הג'ונגל של פיתוח אפליקציה מוגמרת ולהיתקל בקשיים שלא תמיד מתעוררים בלימודים. הצוות שלנו בסופו של דבר הגיש בקשה לשחק את המשחק "נייר-סלע-מספריים" עם מחשב. אימנו מודל לזהות דמות במצלמת אינטרנט, כתבנו לוגיקה ויצרנו ממשק על בסיס ה-opencv framework. בית הספר סיפק חומר למחשבה ווקטור ללמידה והתפתחות בהמשך. אני מאוד מרוצה שלקחתי חלק.

סרגיי, שנה ג', UNN

בית הספר לא ממש עמד בציפיות שלי. ההרצאות ניתנו על ידי אנשים מנוסים למדי ממפתחי אינטל. התקשורת עם המרצים תמיד הייתה מעניינת ושימושית, המנטורים קשובים ותמיד מוכנים לעזור.ההרצאות נעימות להאזנה, הנושאים די רלוונטיים ואינפורמטיביים. אבל כבר ידעתי כמה דברים, ואלה שלא ידעתי לא נתמכו בתרגול בשום צורה, ולכן החומר הטוב באמת מעולם לא הובן ונלמד על ידי. כן, רוב המידע מסופק למטרות מידע, כדי שתוכלו לנסות אותו בבית, או סתם לקבל מושג על מה מדובר, אבל עדיין רציתי ליישם כמה אלגוריתמים קיימים בעצמי תחת פיקוח של מורים מנוסים שיכולים לתת עצות טובות או לעזור אם משהו קורה לא עובד. כתוצאה מכך, בפועל, נעשה שימוש בפתרונות מוכנים, והקוד, אפשר לומר, נכתב עבורנו מראש, רק היה צורך לשנות אותו מעט. הפרויקטים היו הפשוטים ביותר, ואם אתה מנסה לסבך את המשימה בצורה כלשהי, אז אין לך מספיק זמן ליישם אותה למצב פחות או יותר יציב, כפי שקרה אצלנו.
בכלל, כל בית הספר נראה כמו איזה משחק לא רציני במיוחד של מפתחים, וזו בדיוק אשמת החלק המעשי. אני חושב שצריך להגדיל את זמן הלימודים בבית הספר, לסבך את חומר התרגול כדי שתוכל וצריך לכתוב משהו בעצמך, משהו ממש מורכב והכרחי, ולא להשתמש במוכנים, כדי להפוך את התרגול לחלק יותר בהגדלה המורכבות, נושאים לפרויקטים של תחרויות צריכים להינתן בימים הראשונים, כדי שניתן יהיה להשתמש בחומר מהרצאות ותרגולים באופן מיידי בפרויקטים שלך ויהיה יותר זמן ליישום. אז זמן השהות בבית הספר ישמש חוויה טובה למומחים שאפתניים.

דמיטרי, תואר שני שנה א', NSTU

בית ספר קיץ מבית אינטל היה הזדמנות מצוינת לבלות את הקיץ הזה במה שאתה אוהב. עצם העובדה שההרצאות ניתנו על ידי עובדי אינטל הקשורות לתכנות בתחום הראייה הממוחשבת לא אפשרה לי להירגע, רציתי להפיק את המקסימום מכל התהליך, למרות שלפעמים היה קשה. כל יום עבר מהר מאוד, בלתי מורגש ופורה. ההזדמנות ליישם את הפרויקט שלי אפשרה לי לעבוד בצוות עם אוצרים נפלאים ומשתתפי בית ספר אחרים. ניתן לתאר בקצרה את השבועיים הללו כך: מעניינים וחופים.

אליזבטה, שנה ב', UNN

בסתיו (אוקטובר-נובמבר) מחכה לכם התכנית החינוכית דלתא, מידע עליו תוכלו לברר אצלנו קבוצות VKontakte. המשך לעקוב!

מקור: www.habr.com