Computer Vision Summer Сamp – مدرسه تابستانی اینتل در بینایی کامپیوتر

از 3 ژوئیه تا 16 ژوئیه در دانشگاه دولتی نیژنی نووگورود. N.I. لوباچفسکی میزبان مدرسه تابستانی بین دانشگاهی اینتل در مورد چشم انداز کامپیوتری - کمپ تابستانی Computer Vision بود که در آن بیش از 100 دانشجو شرکت کردند. هدف این مدرسه دانشجویان فنی از دانشگاه های نیژنی نووگورود بود که به بینایی کامپیوتر، یادگیری عمیق، شبکه های عصبی، Intel OpenVINO، OpenCV علاقه مند هستند.

در این مقاله نحوه انتخاب مدرسه، آنچه که آنها مطالعه کردند، دانش آموزان در بخش عملی چه کردند و همچنین در مورد برخی از پروژه های ارائه شده در دفاع صحبت خواهیم کرد.

فرآیند انتخاب و اشکال مشارکت

ما تصمیم گرفتیم که به بچه ها اجازه دهیم برای دو نوع آموزش درخواست دهند: تمام وقت و پاره وقت. برای دوره های پاره وقت و پاره وقت، دانشجویان تحت گزینش قرار نگرفتند و بلافاصله ثبت نام شدند. آنها فقط در جلسات سخنرانی، در روزهای هفته، صبح ها شرکت می کردند. بچه ها هم این فرصت را داشتند که کارهای عملی را انجام دهند و به آنها بفرستند GitHub برای تست توسط معلمان

برای واجد شرایط بودن برای آزمون تمام وقت، بچه ها باید برای مصاحبه با کمیسیون به دفتر اینتل می آمدند. تفاوت با فرم پاره وقت و پاره وقت این بود که شرکت کنندگان در اردو علاوه بر سخنرانی، کارهای عملی را با متصدیان - معلمان و مهندسان UNN از اینتل انجام می دادند. در هفته دوم تکالیف عملی به پایان رسید و پروژه ها شروع شد که شرکت کنندگان در گروه های 3 نفره روی آنها کار کردند.

در طول مصاحبه از دانش آموزان سوالاتی در مورد ریاضیات و برنامه نویسی پرسیده شد و همچنین به آنها یک مسئله داده شد که باید در محل حل می شد. شایان ذکر است که این کمیسیون متشکل از مهندسان نرم افزار، مهندسین الگوریتم و اساتید دانشگاه می باشد. N.I. لوباچفسکی، بنابراین مصاحبه چند وجهی و خارق العاده بود. از دیدگاه مصاحبه کننده، پی بردن به دانش فنی پایه دانش آموزان در رابطه با بینایی کامپیوتر جالب بود، بنابراین موضوعاتی مانند C++/STL، OOP، الگوریتم های پایه و ساختار داده، جبر خطی، تجزیه و تحلیل ریاضی، ریاضیات گسسته و خیلی بیشتر پرسیده شد در بین کارها، اولویت یافتن استدلال دانش آموزان بود. این کمیسیون همچنین علاقه مند بود که آنها در کجا تحصیل کرده اند، قبل از این مدرسه چه تجربه ای داشته اند (مثلاً فعالیت علمی) و چگونه می توان آن را مستقیماً در زمینه بینایی رایانه اعمال کرد.

در مجموع 78 دانش آموز در انتخاب تمام وقت شرکت کردند، در حالی که 24 مکان تمام وقت در هر مکان 3 دانش آموز بود. آمار شرکت کنندگان و تفاوت های بصری بین فرم های مشارکت تمام وقت و پاره وقت را می توان در جدول زیر مشاهده کرد:

بچه ها 2 هفته چیکار کردند؟

دانش آموزان به صورت تئوری و عملی با وظایف اصلی بینایی کامپیوتری: طبقه بندی تصویر، تشخیص اشیا و ردیابی آنها آشنا شدند. جزء سخنرانی برای هر موضوع معمولاً شامل یک گشت و گذار تاریخی در توسعه روش های کلاسیک برای حل مشکلات بینایی رایانه و روش های مدرن حل با استفاده از یادگیری ماشین و شبکه های عصبی است. این تئوری با تمرین دنبال شد، جایی که دانش‌آموزان مدل‌های شبکه عصبی محبوب را دانلود کرده و با استفاده از ماژول DNN کتابخانه OpenCV راه‌اندازی کردند و یک برنامه کاربردی سفارشی ایجاد کردند.

ارائه تمام سخنرانی ها در یک مخزن عمومی ارسال شد گیتهاب، تا دانش آموزان همیشه از جمله بعد از مدرسه اطلاعات لازم را باز کرده و مشاهده کنند. امکان برقراری ارتباط با مدرسان، معلمان تمرینی و مهندسان اینتل هم به صورت زنده و هم از طریق چت در Gitter وجود داشت. زمان بندی هفته پروژه نیز موفقیت آمیز بود: از روز چهارشنبه آغاز شد، که باعث شد تا آخر هفته بدون سخنرانی و بهبود تصمیمات تیم به طور مفیدی سپری شود. مسئولیت پذیرترین شرکت کنندگان نیمی از روز شنبه را در دفتر اینتل سپری کردند، که برای آن با یک گشت و گذار برنامه ریزی نشده در همان روز پاداش دریافت کردند.

دفاع از پروژه ها چگونه بود؟

به هر تیم 10 دقیقه فرصت داده شد تا در مورد کارهایی که در طول پروژه انجام داده اند و به چه چیزی رسیده اند صحبت کنند. پس از این زمان، 5 دقیقه شروع شد، که طی آن مهندسان شرکت از بچه ها سؤال کردند و نکات کوچکی را ارائه کردند که به آنها کمک می کرد پروژه خود را بهبود بخشند یا از اشتباهات موجود در آینده جلوگیری کنند. هر یک از بچه ها خود را به عنوان سخنران امتحان کردند و دانش خود را در زمینه بینایی رایانه نشان دادند و سهم خود را در ایجاد پروژه تأیید کردند که به ما کمک کرد تا در مورد هر یک از شرکت کنندگان در مدرسه نتیجه گیری کنیم. دفاع بیش از 3 ساعت انجام شد، اما ما مراقب بچه ها بودیم و تنش را با یک استراحت کوتاه قهوه کاهش دادیم، جایی که بچه ها می توانستند نفس بکشند و مسائل را با متخصصان برجسته اینتل در میان بگذارند.

در پایان یک مقام اول، دو مقام دوم و سه مقام سوم را اهدا کردیم. انتخاب بسیار دشوار بود، زیرا هر تیم، هر پروژه طعم خاص خود را داشت و با اصالت ارائه متمایز می شد.

شرکت کنندگان کمپ CV تمام وقت، دفاع از پروژه، دفتر اینتل در نیژنی نووگورود

پروژه های ارائه شده

دستکش هوشمند

استفاده از آشکارساز و ردیاب با استفاده از OpenCV برای ناوبری بصری در فضا. این تیم علاوه بر این قابلیت سنجش عمق را با استفاده از دو دوربین اضافه کرده است. Microsoft Speech API به عنوان رابط مدیریت استفاده می شود.

گیرنده

تشخیص غذا و انتخاب دستور غذا برای یک غذای آماده از جمله مواد یافت شده. بچه ها از این کار نمی ترسیدند و در عرض یک هفته تعداد کافی تصویر را به تنهایی علامت گذاری کردند، آشکارساز را با استفاده از TensorFlow Object Detection API آموزش دادند و منطق را برای یافتن دستور العمل اضافه کردند. ساده و خوش سلیقه!

ویرایشگر 2.0

شرکت‌کنندگان پروژه از مجموعه‌ای از شبکه‌های عصبی (جستجوی چهره، عادی‌سازی تصویر چهره با نقاط کلیدی، محاسبه توصیف‌گر تصویر چهره) برای تشخیص چهره به عنوان بخشی از وظیفه جستجوی قطعات در ویدیوهای طولانی استفاده کردند که در آن شخص خاصی حاضر. سیستم توسعه‌یافته می‌تواند به عنوان یک سیستم کمکی برای ویرایش ویدیو مورد استفاده قرار گیرد و فرد را از تماشای ویدیو در جستجوی قطعات لازم رها کند. با استفاده از شبکه های عصبی از کتابخانه های مدل OpenVINO، تیم موفق به دستیابی به سرعت بالای برنامه شد: در یک لپ تاپ با پردازنده Intel Core i5، سرعت پردازش ویدیو 58 فریم در ثانیه بود.

ناشناس

کشیدن عینک و ماسک روی صورت یک فرد. شبکه MTCNN برای شناسایی چهره ها و نقاط کلیدی استفاده شد.

ناشناس

کار جالب دیگری با موضوع کتمان هویت. این تیم چندین گزینه برای اعوجاج چهره معرفی کرد: تاری و پیکسل. در یک هفته، بچه ها نه تنها کار را کشف کردند، بلکه حالتی را برای ناشناس کردن یک شخص خاص (با تشخیص چهره) فراهم کردند.

گرم شدن

تیم پروژه "گرم کردن" مشکل ایجاد یک دستیار ورزشی برای تمرین شیب سر را حل کرد. و حتی اگر کاربرد نهایی این برنامه هنوز بحث‌برانگیز باشد، یک مطالعه جامع با مقایسه الگوریتم‌های تشخیص چهره مختلف انجام شد: آبشارهای Haar، شبکه‌های TensorFlow، OpenCV و OpenVINO. ما نه تنها از نظر بدنی، بلکه از نظر روحی هم گرم شدیم!

پایین 800

نیژنی نووگورود، شهری که مدرسه در آن برگزار شد، تا 2 سال دیگر 800 ساله می شود، یعنی زمان کافی برای اجرای یک پروژه جالب وجود دارد. از بچه‌ها خواستیم که درباره تکلیف ایجاد یک راهنما فکر کنند که بر اساس تصویر نمای ساختمان‌ها بتواند اطلاعاتی در مورد اینکه چه نوع شی در تصویر نشان داده شده است و چه حقایقی در مورد آن شناخته شده است، ارائه دهد. به نظر ما، این کار یکی از سخت ترین کارها بود، زیرا مربوط به دید کامپیوتری کلاسیک است، اما تیم نتیجه مناسبی را نشان داد.

سنگ کاغذ قیچی

علی‌رغم محدودیت‌های زمانی سخت برای تکمیل کار طراحی، این تیم از انجام آزمایشی برای آموزش شبکه عصبی خود برای طبقه‌بندی موقعیت دست در یک بازی شناخته‌شده نیز ترسی نداشت.

بازخورد از شرکت کنندگان

ما از دانش آموزان دوره های مختلف خواستیم تا برداشت های خود را از مدرسه تابستانی به اشتراک بگذارند:

من اخیراً خوش شانس بودم که در کمپ تابستانی کامپیوتر ویژن اینتل شرکت کردم و تجربه فوق العاده ای بود. ما دانش و مهارت های جدید زیادی در زمینه رزومه، نصب نرم افزار، اشکال زدایی به دست آوردیم، همچنین در یک محیط کاری غرق شدیم، با مشکلات واقعی مواجه شدیم، راه حل های احتمالی را با همکاران و معلمان مدرسه مورد بحث قرار دادیم تنها شامل برقراری ارتباط با یک کامپیوتر است. با این حال، اصلاً اینطور نیست. کار خلاقانه ما از ارتباط با مردم جدا نیست. از طریق ارتباط بود که می شد دانش منحصر به فردی به دست آورد. و این جزء مدرسه را بیشتر از همه دوست داشتم. با این حال یک ایراد دارد... بعد از اتمام تحصیل می خواستم ادامه دهم! علاوه بر دانش نظری در DL و مهارت های عملی در CV، ایده ای به دست آوردم که به کدام حوزه های ریاضیات باید توجه ویژه ای شود و کدام فناوری ها باید مورد مطالعه قرار گیرند. فداکاری، حرفه ای بودن و عشق به کار مهندسان و محققان اینتل بر انتخاب مسیر من در فناوری اطلاعات تأثیر گذاشت. به همین دلیل است که می خواهم از همه برگزار کنندگان مدرسه تشکر کنم.

کریستینا، سال اول، HSE

در این مدت کوتاه، مدرسه توانست حداکثر اطلاعات و تمرین را در زمینه بینایی کامپیوتر ارائه دهد. و اگرچه برای دانش پایه طراحی شده بود، سخنرانی ها حاوی مطالب فنی زیادی بود که می خواهید آنها را بفهمید و زمان بیشتری را صرف مطالعه کنید. مربیان و اساتید مدرسه با کمال میل به تمام سوالات پاسخ دادند و با دانش آموزان ارتباط برقرار کردند. خوب، در حین تکمیل پروژه نهایی، مجبور شدم در جنگل توسعه یک برنامه تکمیل شده غوطه ور شوم و با مشکلاتی روبرو شوم که همیشه هنگام مطالعه به وجود نمی آیند. تیم ما در نهایت برنامه ای برای اجرای بازی سنگ-کاغذ-قیچی با کامپیوتر ساخت. ما مدلی را آموزش دادیم تا یک شکل را در وب کم تشخیص دهد، منطق نوشتیم و یک رابط بر اساس چارچوب opencv ساختیم. مدرسه غذای فکری و وسیله ای برای یادگیری و توسعه بعدی فراهم کرد. خیلی خوشحالم که شرکت کردم.

سرگئی، سال سوم، UNN

مدرسه کاملاً انتظارات من را برآورده نکرد. این سخنرانی ها توسط افراد نسبتاً با تجربه از توسعه دهندگان اینتل ارائه شد. ارتباط با استادان همیشه جالب و مفید بوده است، مربیان پاسخگو هستند و همیشه آماده کمک هستند. اما من قبلاً برخی چیزها را می دانستم و مواردی را که نمی دانستم به هیچ وجه توسط تمرین پشتیبانی نمی شدند و بنابراین مطالب واقعاً خوب هرگز توسط من کاملاً درک و مطالعه نشد. بله، بیشتر اطلاعات برای مقاصد اطلاعاتی ارائه شده است، به طوری که می توانید آن را در خانه امتحان کنید، یا فقط ایده ای در مورد آن داشته باشید، اما من همچنان می خواستم برخی از الگوریتم های موجود را به تنهایی و تحت نظارت معلمان با تجربه که می توانند توصیه های خوبی ارائه دهند یا در صورت عدم موفقیت کمک کنند. در نتیجه در عمل از راه حل های آماده استفاده شد و شاید بتوان گفت کد از قبل برای ما نوشته شده بود. پروژه ها ساده ترین بودند، و اگر سعی کنید کار را به نوعی پیچیده کنید، زمان کافی برای اجرای آن در وضعیت کم و بیش پایدار ندارید، همانطور که در مورد ما اتفاق افتاد.
به طور کلی، کل مدرسه شبیه نوعی بازی نه چندان جدی توسعه دهندگان به نظر می رسد و این دقیقاً تقصیر بخش عملی است. من فکر می کنم باید زمان صرف شده در مدرسه را افزایش داد، مطالب تمرین را پیچیده کرد تا بتوانید و باید خودتان چیزی بنویسید، چیزی واقعاً پیچیده و ضروری، و از موارد آماده استفاده نکنید تا تمرین در افزایش هموارتر شود. پیچیدگی، موضوعات پروژه های مسابقه باید در روزهای اول ارائه شود تا مطالب حاصل از سخنرانی ها و تمرین ها بلافاصله در پروژه های شما استفاده شود و زمان بیشتری برای اجرا وجود داشته باشد. سپس زمان صرف شده در مدرسه به عنوان یک تجربه خوب برای متخصصان مشتاق خواهد بود.

دیمیتری، سال اول کارشناسی ارشد، NSTU

مدرسه تابستانی اینتل فرصتی عالی برای گذراندن این تابستان در انجام کاری بود که دوست دارید. این واقعیت که کارمندان اینتل در رابطه با برنامه نویسی در زمینه بینایی کامپیوتر سخنرانی می کردند، به من اجازه نمی داد که از کل فرآیند حداکثر استفاده را ببرم، اگرچه گاهی اوقات دشوار بود. هر روز خیلی سریع، نامحسوس و پربار گذشت. فرصت اجرای پروژه خودم به من این امکان را داد که در یک تیم با متصدیان عالی و سایر شرکت کنندگان مدرسه کار کنم. این دو هفته را می توان به اختصار اینگونه توصیف کرد: جالب و زودگذر.

الیزاوتا، سال دوم، UNN

در پاییز (اکتبر-نوامبر)، برنامه آموزشی دلتا در انتظار شما است، اطلاعاتی که می توانید در مورد آن از ما بیابید گروه های VKontakte. گوش به زنگ باشید!

منبع: www.habr.com