Dari 3 Juli hingga 16 Juli di Universitas Negeri Nizhny Novgorod. N.I. Lobachevsky menjadi tuan rumah Intel Interuniversity Summer School on Computer Vision - Perkemahan Musim Panas Computer Vision, yang diikuti lebih dari 100 siswa. Sekolah ini ditujukan untuk mahasiswa teknik dari universitas Nizhny Novgorod yang tertarik dengan visi komputer, pembelajaran mendalam, jaringan saraf, Intel OpenVINO, OpenCV.
Pada artikel kali ini kami akan berbagi bagaimana seleksi Sekolah berlangsung, apa yang mereka pelajari, apa yang dilakukan siswa pada bagian praktik, dan juga membicarakan beberapa proyek yang dipresentasikan pada pembelaan.
Proses seleksi dan bentuk partisipasi
Kami memutuskan untuk memberi anak-anak pilihan untuk melamar dua bentuk pendidikan: penuh waktu dan paruh waktu. Untuk mata kuliah paruh waktu dan paruh waktu, mahasiswa tidak melalui seleksi dan langsung didaftarkan. Mereka hanya menghadiri perkuliahan, pada hari kerja, pada pagi hari. Anak-anak juga mendapat kesempatan untuk menyelesaikan tugas-tugas praktek dan mengirimkannya untuk diuji oleh guru.
Agar memenuhi syarat untuk ujian penuh waktu, mereka harus datang ke kantor Intel untuk wawancara dengan komisi. Bedanya dengan bentuk paruh waktu dan paruh waktu, selain perkuliahan, peserta perkemahan juga menjalani tugas praktek dengan kurator – guru UNN dan engineer dari Intel. Pada minggu kedua, tugas praktek berakhir dan proyek dimulai, dimana peserta bekerja dalam kelompok yang terdiri dari 3 orang.
Selama wawancara, siswa ditanyai pertanyaan tentang matematika dan pemrograman, serta diberikan masalah yang harus diselesaikan saat itu juga. Perlu dicatat bahwa komisi tersebut terdiri dari insinyur perangkat lunak, insinyur algoritma, dan dosen universitas. N.I. Lobachevsky, jadi wawancara itu ternyata memiliki banyak segi dan luar biasa. Dari sudut pandang pewawancara, menarik untuk mengetahui pengetahuan teknis dasar siswa sehubungan dengan computer vision, sehingga topik-topik seperti C++/STL, OOP, algoritma dasar dan struktur data, aljabar linier, analisis matematika, matematika diskrit dan masih banyak lagi yang ditanyakan. Di antara tugas-tugas tersebut, yang diprioritaskan adalah mencari tahu alasan siswa. Komisi juga tertarik dengan tempat mereka belajar, pengalaman apa yang mereka miliki sebelum bersekolah (misalnya kegiatan ilmiah) dan bagaimana hal itu dapat diterapkan langsung ke bidang computer vision.
Seleksi penuh waktu diikuti oleh total 78 siswa, sedangkan tempat penuh waktu ada 24 siswa, kompetisinya adalah 3 siswa per tempat. Statistik peserta dan perbedaan visual antara bentuk partisipasi penuh waktu dan paruh waktu dapat dilihat pada tabel di bawah ini:
Apa yang mereka lakukan selama 2 minggu?
Siswa berkenalan secara teori dan praktik dengan tugas utama visi komputer: klasifikasi gambar, deteksi objek, dan pelacakannya. Komponen kuliah untuk setiap topik biasanya mencakup perjalanan sejarah ke dalam pengembangan metode klasik untuk memecahkan masalah visi komputer dan metode penyelesaian modern menggunakan pembelajaran mesin dan jaringan saraf. Teori ini diikuti dengan praktik, di mana siswa mengunduh model jaringan saraf populer dan meluncurkannya menggunakan modul DNN dari perpustakaan OpenCV, sehingga membuat aplikasi khusus.
Presentasi semua kuliah diposting di repositori publik , agar siswa selalu dapat membuka dan melihat informasi yang diperlukan, termasuk sepulang sekolah. Komunikasi dengan dosen, guru praktik, dan insinyur Intel dapat dilakukan baik secara langsung maupun melalui obrolan di Gitter. Waktu minggu proyek juga ternyata berhasil: dimulai pada hari Rabu, yang memungkinkan untuk menghabiskan akhir pekan dengan manfaat, bebas dari kuliah, dan meningkatkan keputusan tim. Peserta yang paling bertanggung jawab menghabiskan setengah hari Sabtunya di kantor Intel, dan mereka diberi hadiah tamasya tak terjadwal pada hari yang sama.
Bagaimana pembelaan terhadap proyek tersebut?
Setiap tim diberi waktu 10 menit untuk berbicara tentang apa yang mereka lakukan selama proyek dan apa yang mereka capai. Setelah waktu ini, 5 menit dimulai, di mana para insinyur perusahaan mengajukan pertanyaan kepada mereka dan memberikan sedikit tip yang akan membantu mereka meningkatkan proyek mereka atau mencegah kesalahan yang ada di masa depan. Masing-masing dari mereka mencoba sendiri sebagai pembicara, menunjukkan pengetahuan mereka di bidang visi komputer dan mengkonfirmasi kontribusi mereka terhadap pembuatan proyek, yang membantu kami mempertimbangkan dan menarik kesimpulan tentang setiap peserta di sekolah. Pembelaan berlangsung selama 3 jam, namun kami menangani para peserta dan meredakan ketegangan dengan rehat kopi singkat, di mana para peserta dapat mengambil napas dan mendiskusikan masalah dengan pakar Intel terkemuka.
Pada akhirnya, kami menghadiahkan satu tempat pertama, dua tempat kedua, dan tiga tempat ketiga. Cukup sulit untuk memilihnya, karena setiap tim, setiap proyek memiliki cita rasa tersendiri dan dibedakan dari orisinalitas penyajiannya.
Peserta CV Camp penuh waktu, pertahanan proyek, kantor Intel di Nizhny Novgorod
Proyek yang disajikan
Sarung tangan pintar
Menggunakan detektor dan pelacak menggunakan OpenCV untuk navigasi visual di luar angkasa. Tim juga menambahkan kemampuan penginderaan kedalaman menggunakan dua kamera. Microsoft Speech API digunakan sebagai antarmuka manajemen.
Reseptor
Deteksi makanan dan pemilihan resep hidangan jadi, termasuk bahan yang ditemukan. Mereka tidak takut dengan tugas tersebut dan dalam waktu seminggu mereka menandai sendiri jumlah gambar yang cukup, melatih detektor menggunakan TensorFlow Object Detection API, dan menambahkan logika untuk menemukan resepnya. Sederhana dan gurih!
Penyunting 2.0
Peserta proyek menggunakan seperangkat jaringan saraf (pencarian wajah, normalisasi gambar wajah berdasarkan poin-poin penting, perhitungan deskriptor gambar wajah) untuk pengenalan wajah sebagai bagian dari tugas mencari fragmen dalam video panjang di mana orang tertentu berada. hadiah. Sistem yang dikembangkan dapat digunakan sebagai sistem bantuan dalam mengedit video, sehingga membebaskan seseorang dari keharusan menonton sendiri video untuk mencari fragmen yang diperlukan. Menggunakan jaringan saraf dari , tim berhasil mencapai kecepatan aplikasi yang tinggi: pada laptop dengan prosesor Intel Core i5, kecepatan pemrosesan video adalah 58 frame per detik.
Anonimizer
Menggambar kacamata dan topeng di wajah seseorang. Jaringan MTCNN digunakan untuk mendeteksi wajah dan titik-titik penting.
Anonim
Karya menarik lainnya tentang topik penyembunyian identitas. Tim ini memperkenalkan beberapa opsi untuk mendistorsi wajah: buram dan pikselasi. Dalam satu minggu, mereka tidak hanya menyelesaikan tugasnya, tetapi juga menyediakan mode untuk menganonimkan orang tertentu (dengan pengenalan wajah).
Lakukan pemanasan
Tim proyek “Pemanasan” memecahkan masalah pembuatan asisten olahraga untuk latihan memiringkan kepala. Dan meskipun penerapan akhir dari aplikasi ini masih kontroversial, studi komprehensif telah dilakukan yang membandingkan berbagai algoritma deteksi wajah: Haar cascades, jaringan dari TensorFlow, OpenCV, dan OpenVINO. Kami melakukan pemanasan tidak hanya secara fisik, tetapi juga mental!
Turunkan 800
Nizhny Novgorod, kota tempat sekolah itu diadakan, akan berusia 2 tahun dalam 800 tahun, yang berarti ada cukup waktu untuk melaksanakan proyek yang menarik. Kami mengajak anak-anak memikirkan tugas membuat panduan yang berdasarkan gambar fasad bangunan dapat memberikan informasi tentang objek apa yang ditampilkan pada gambar dan fakta apa yang diketahui tentangnya. Menurut pendapat kami, tugas ini adalah salah satu yang paling sulit, karena berkaitan dengan visi komputer klasik, namun tim menunjukkan hasil yang layak.
Batu gunting kertas
Meskipun keterbatasan waktu untuk menyelesaikan pekerjaan desain, tim ini juga tidak takut untuk melakukan eksperimen untuk melatih jaringan saraf mereka sendiri untuk mengklasifikasikan posisi tangan dalam permainan terkenal.
Umpan balik dari peserta
Kami meminta siswa dari berbagai program studi untuk berbagi kesan mereka terhadap Sekolah Musim Panas:
Saya baru-baru ini cukup beruntung untuk menghadiri Perkemahan Musim Panas Intel Computer Vision dan itu adalah pengalaman yang luar biasa. Kami mendapat banyak pengetahuan dan keterampilan baru di bidang CV, instalasi perangkat lunak, debugging, kami juga tenggelam dalam lingkungan kerja, menghadapi masalah nyata, mendiskusikan kemungkinan solusi dengan rekan kerja dan guru sekolah.Ada mitos bahwa pekerjaan seorang programmer hanya terdiri dari komunikasi dengan komputer. Namun, hal ini tidak terjadi sama sekali. Karya kreatif kami tidak dapat dipisahkan dari komunikasi dengan orang-orang. Melalui komunikasi seseorang dapat memperoleh pengetahuan unik. Dan saya paling menyukai bagian sekolah ini. Namun, ada satu kekurangannya... setelah menyelesaikan studi saya ingin melanjutkan! Selain pengetahuan teoritis dalam DL dan keterampilan praktis dalam CV, saya memperoleh gambaran tentang bidang matematika mana yang harus mendapat perhatian khusus dan teknologi mana yang harus dipelajari. Dedikasi, profesionalisme, dan kecintaan para insinyur dan peneliti Intel terhadap karya mereka memengaruhi pilihan jurusan TI saya. Untuk itu saya mengucapkan terima kasih kepada seluruh pihak penyelenggara sekolah.
Kristina, tahun pertama, HSE
Dalam waktu yang singkat, pihak sekolah mampu memberikan informasi dan praktek yang maksimal pada topik computer vision. Dan meskipun dirancang untuk pengetahuan dasar, perkuliahan berisi banyak materi teknis yang ingin Anda pahami dan luangkan lebih banyak waktu untuk belajar. Para pembimbing dan dosen sekolah dengan penuh semangat menjawab semua pertanyaan dan berkomunikasi dengan siswa. Nah, saat menyelesaikan tugas akhir, saya harus terjun ke dalam belantara pengembangan aplikasi yang sudah jadi dan menemui kesulitan yang tidak selalu muncul saat belajar. Tim kami akhirnya membuat aplikasi untuk memainkan permainan “batu-gunting-kertas” dengan komputer. Kami melatih model untuk mengenali gambar di webcam, menulis logika, dan membuat antarmuka berdasarkan kerangka opencv. Sekolah menyediakan bahan pemikiran dan vektor untuk pembelajaran dan pengembangan selanjutnya. Saya sangat senang saya mengambil bagian.
Sergey, tahun ke-3, UNN
Sekolah tersebut tidak memenuhi harapan saya. Ceramahnya diberikan oleh orang-orang yang cukup berpengalaman dari pengembang Intel. Komunikasi dengan dosen selalu menarik dan bermanfaat, pembimbing tanggap dan selalu siap membantu, ceramahnya enak disimak, topiknya cukup relevan dan informatif. Tetapi saya sudah mengetahui beberapa hal, dan hal-hal yang tidak saya ketahui tidak didukung oleh latihan sama sekali, oleh karena itu materi yang benar-benar bagus tidak pernah saya pahami dan pelajari sepenuhnya. Ya, sebagian besar informasi disediakan untuk tujuan informasi, sehingga Anda dapat mencobanya di rumah, atau sekadar mengetahui tentang semua ini, tetapi saya masih ingin mengimplementasikan sendiri beberapa algoritme yang ada di bawah pengawasan guru berpengalaman yang dapat memberikan nasehat atau bantuan yang baik jika terjadi sesuatu yang tidak berhasil. Akibatnya, dalam praktiknya, solusi yang sudah jadi digunakan, dan kodenya, bisa dikatakan, sudah ditulis sebelumnya untuk kami; hanya perlu sedikit dimodifikasi. Proyek-proyek tersebut adalah yang paling sederhana, dan jika Anda mencoba memperumit tugas dengan cara tertentu, maka Anda tidak memiliki cukup waktu untuk mengimplementasikannya ke keadaan yang kurang lebih stabil, seperti yang terjadi pada kami.
Secara umum, seluruh sekolah tampak seperti permainan pengembang yang tidak terlalu serius, dan inilah kesalahan bagian praktisnya. Menurut saya perlu untuk menambah waktu yang dihabiskan di sekolah, memperumit materi latihan sehingga Anda dapat dan harus menulis sesuatu sendiri, sesuatu yang sangat rumit dan perlu, dan tidak menggunakan yang sudah jadi, agar latihan lebih lancar dalam peningkatan. kompleksitasnya, topik proyek kompetisi sebaiknya diberikan pada hari-hari pertama, sehingga materi perkuliahan dan praktik dapat segera digunakan dalam proyek Anda dan memiliki lebih banyak waktu untuk pelaksanaan. Maka waktu yang dihabiskan di sekolah akan menjadi pengalaman yang baik bagi calon spesialis.
Dmitry, gelar master tahun pertama, NSTU
Sekolah musim panas dari Intel adalah kesempatan bagus untuk menghabiskan musim panas ini dengan melakukan apa yang Anda sukai. Kenyataan bahwa ceramah yang diberikan oleh karyawan Intel terkait pemrograman di bidang computer vision tidak membuat saya rileks; saya ingin mendapatkan hasil maksimal dari keseluruhan proses, meskipun terkadang sulit. Setiap hari berlalu dengan sangat cepat, tanpa terasa dan bermanfaat. Kesempatan untuk mengimplementasikan proyek saya sendiri memungkinkan saya untuk bekerja dalam tim dengan kurator hebat dan peserta sekolah lainnya. Dua minggu ini dapat digambarkan secara singkat sebagai berikut: menarik dan singkat.
Elizaveta, tahun ke-2, UNN
Pada musim gugur (Oktober-November), program pendidikan Delta menanti Anda, informasinya dapat Anda temukan dari kami . Pantau terus!
Sumber: www.habr.com