Từ ngày 3 tháng 16 đến ngày 100 tháng XNUMX tại Đại học bang Nizhny Novgorod. N.I. Lobachevsky đã tổ chức Trường hè Đa dạng Đại học Intel về Thị giác Máy tính - Trại hè Thị giác Máy tính, trong đó có hơn XNUMX sinh viên tham gia. Trường hướng tới các sinh viên kỹ thuật từ các trường đại học Nizhny Novgorod, những người quan tâm đến thị giác máy tính, học sâu, mạng lưới thần kinh, Intel OpenVINO, OpenCV.
Trong bài viết này, chúng tôi sẽ chia sẻ về quá trình tuyển chọn vào Trường, những gì họ đã học, những gì sinh viên đã làm trong phần thực tế, đồng thời nói về một số dự án được trình bày tại buổi bảo vệ.
Quy trình tuyển chọn và hình thức tham gia
Chúng tôi quyết định cho các em lựa chọn đăng ký hai hình thức giáo dục: toàn thời gian và bán thời gian. Đối với các khóa học bán thời gian và bán thời gian, sinh viên không phải qua tuyển chọn và được ghi danh ngay. Họ chỉ tham dự các bài giảng vào các ngày trong tuần vào buổi sáng. Các em còn có cơ hội hoàn thành các nhiệm vụ thực tế và gửi đi để giáo viên kiểm tra.
Để đủ điều kiện tham gia kỳ thi toàn thời gian, các chàng trai phải đến văn phòng Intel để phỏng vấn ủy ban. Điểm khác biệt so với hình thức bán thời gian và bán thời gian là ngoài bài giảng, những người tham gia trại còn được trải qua các công việc thực tế với người phụ trách - giáo viên UNN và kỹ sư của Intel. Vào tuần thứ hai, các bài tập thực tế kết thúc và các dự án bắt đầu, trong đó những người tham gia làm việc theo nhóm 3 người.
Trong cuộc phỏng vấn, học sinh được hỏi những câu hỏi về toán học và lập trình, đồng thời được giao một bài toán phải giải ngay tại chỗ. Điều đáng chú ý là ủy ban bao gồm các kỹ sư phần mềm, kỹ sư thuật toán và giáo viên đại học. N.I. Lobachevsky, vì vậy cuộc phỏng vấn hóa ra rất nhiều mặt và phi thường. Theo quan điểm của người phỏng vấn, thật thú vị khi tìm hiểu kiến thức kỹ thuật cơ bản của sinh viên liên quan đến thị giác máy tính, vì vậy các chủ đề như C++/STL, OOP, các thuật toán và cấu trúc dữ liệu cơ bản, đại số tuyến tính, phân tích toán học, toán học rời rạc và nhiều hơn nữa đã được hỏi. Trong số các nhiệm vụ, ưu tiên hàng đầu là tìm hiểu lý luận của học sinh. Ủy ban cũng quan tâm đến nơi họ học, họ có kinh nghiệm gì trước ngôi trường này (ví dụ: hoạt động khoa học) và làm thế nào nó có thể được áp dụng trực tiếp vào lĩnh vực thị giác máy tính.
Tổng cộng có 78 sinh viên tham gia tuyển chọn toàn thời gian, trong đó có 24 suất học toàn thời gian, mỗi địa điểm thi 3 sinh viên. Bạn có thể xem số liệu thống kê về người tham gia và sự khác biệt trực quan giữa các hình thức tham gia toàn thời gian và bán thời gian trong bảng dưới đây:
Các chàng trai đã làm gì trong 2 tuần?
Học sinh được làm quen về lý thuyết và thực hành với các nhiệm vụ chính của thị giác máy tính: phân loại hình ảnh, phát hiện đối tượng và theo dõi chúng. Thành phần bài giảng cho mỗi chủ đề thường bao gồm một chuyến tham quan lịch sử về sự phát triển của các phương pháp cổ điển để giải quyết các vấn đề về thị giác máy tính và các phương pháp giải quyết hiện đại bằng cách sử dụng máy học và mạng lưới thần kinh. Tiếp theo lý thuyết là thực hành, trong đó sinh viên tải xuống các mô hình mạng thần kinh phổ biến và khởi chạy chúng bằng mô-đun DNN của thư viện OpenCV, tạo ra một ứng dụng tùy chỉnh.
Bài thuyết trình của tất cả các bài giảng đã được đăng trong một kho lưu trữ công cộng , để học sinh luôn có thể mở và xem các thông tin cần thiết, kể cả sau giờ học. Có thể giao tiếp với các giảng viên, giáo viên thực hành và kỹ sư Intel cả trực tiếp và qua trò chuyện trên Gitter. Thời gian của tuần dự án cũng tỏ ra thành công: nó bắt đầu vào thứ Tư, điều này giúp bạn có thể dành thời gian cuối tuần không phải giảng bài một cách hữu ích, cải thiện các quyết định của nhóm. Những người tham gia có trách nhiệm nhất đã dành nửa ngày thứ Bảy tại văn phòng Intel, nơi họ được thưởng một chuyến du ngoạn đột xuất trong cùng ngày.
Việc bảo vệ các dự án như thế nào?
Mỗi đội có 10 phút để nói về những gì họ đã làm trong dự án và những gì họ đạt được. Sau thời gian này, 5 phút bắt đầu, trong đó các kỹ sư của công ty đã đặt câu hỏi cho các anh chàng và đưa ra những mẹo nhỏ giúp họ cải thiện dự án hoặc ngăn ngừa những sai lầm hiện có trong tương lai. Mỗi người trong số họ đã thử sức mình với tư cách là một diễn giả, thể hiện kiến thức của mình trong lĩnh vực thị giác máy tính và khẳng định sự đóng góp của họ trong việc tạo ra dự án, điều này đã giúp chúng tôi xem xét và đưa ra kết luận về từng người tham gia trong trường. Cuộc bào chữa diễn ra trong hơn 3 giờ, nhưng chúng tôi đã quan tâm đến các anh chàng và giảm bớt căng thẳng bằng một buổi uống cà phê ngắn, nơi các anh chàng có thể hít thở và thảo luận các vấn đề với các chuyên gia hàng đầu của Intel.
Cuối ngày, chúng tôi đã trao một giải nhất, hai giải nhì và ba giải ba. Khá khó để lựa chọn, bởi vì mỗi đội, mỗi dự án đều có hương vị riêng và khác biệt bởi sự độc đáo trong cách trình bày.
Những người tham gia CV Camp toàn thời gian, bảo vệ dự án, văn phòng Intel ở Nizhny Novgorod
Dự án được trình bày
Găng tay thông minh
Sử dụng trình dò tìm và theo dõi bằng OpenCV để điều hướng trực quan trong không gian. Nhóm đã bổ sung thêm khả năng cảm biến độ sâu bằng hai camera. API Microsoft Speech được sử dụng làm giao diện quản lý.
thụ thể
Phát hiện thực phẩm và lựa chọn công thức cho món ăn làm sẵn, bao gồm cả các nguyên liệu tìm được. Các chàng trai không hề sợ hãi nhiệm vụ và trong vòng một tuần, họ đã tự mình đánh dấu đủ số lượng hình ảnh, huấn luyện máy dò bằng cách sử dụng API phát hiện đối tượng TensorFlow và thêm logic để tìm ra công thức. Đơn giản và trang nhã!
Trình chỉnh sửa 2.0
Những người tham gia dự án đã sử dụng một tập hợp mạng thần kinh (tìm kiếm khuôn mặt, chuẩn hóa hình ảnh khuôn mặt theo các điểm chính, tính toán bộ mô tả hình ảnh khuôn mặt) để nhận dạng khuôn mặt như một phần của nhiệm vụ tìm kiếm các đoạn trong video dài trong đó một người nào đó hiện tại. Hệ thống đã phát triển có thể được sử dụng như một hệ thống hỗ trợ chỉnh sửa video, giúp một người không phải tự mình xem video để tìm kiếm những đoạn cần thiết. Sử dụng mạng lưới thần kinh từ , nhóm đã đạt được tốc độ cao của ứng dụng: trên máy tính xách tay có bộ xử lý Intel Core i5, tốc độ xử lý video là 58 khung hình mỗi giây.
Anonymizer
Vẽ kính và mặt nạ trên khuôn mặt của một người. Mạng MTCNN được sử dụng để phát hiện khuôn mặt và điểm chính.
Vô danh
Một tác phẩm thú vị khác về chủ đề che giấu danh tính. Nhóm này đã giới thiệu một số tùy chọn để làm biến dạng khuôn mặt: làm mờ và tạo pixel. Trong một tuần, các anh chàng không chỉ tìm ra nhiệm vụ mà còn cung cấp chế độ ẩn danh một người cụ thể (bằng tính năng nhận dạng khuôn mặt).
Ấm lên
Nhóm dự án “Khởi động” đã giải quyết được vấn đề tạo ra một trợ lý thể thao cho bài tập nghiêng đầu. Và ngay cả khi ứng dụng cuối cùng của ứng dụng này vẫn còn gây tranh cãi, một nghiên cứu toàn diện đã được thực hiện so sánh các thuật toán nhận diện khuôn mặt khác nhau: tầng Haar, mạng từ TensorFlow, OpenCV và OpenVINO. Chúng tôi đã sưởi ấm không chỉ về thể chất mà còn cả tinh thần!
Hạ 800
Nizhny Novgorod, thành phố nơi trường diễn ra, sẽ tròn 2 tuổi sau 800 năm nữa, điều đó có nghĩa là có đủ thời gian để thực hiện một dự án thú vị. Chúng tôi yêu cầu bọn trẻ suy nghĩ về nhiệm vụ tạo ra một hướng dẫn dựa trên hình ảnh mặt tiền của các tòa nhà, có thể cung cấp thông tin về loại đối tượng nào được hiển thị trong hình ảnh và những sự thật đã biết về nó. Theo chúng tôi, nhiệm vụ này là một trong những nhiệm vụ khó khăn nhất vì nó liên quan đến thị giác máy tính cổ điển, nhưng nhóm đã cho thấy một kết quả khá tốt.
Oẳn tù tì
Bất chấp những hạn chế nghiêm ngặt về thời gian để hoàn thành công việc thiết kế, nhóm này cũng không ngại tiến hành một thử nghiệm để huấn luyện mạng lưới thần kinh của riêng mình nhằm phân loại các vị trí tay trong một trò chơi nổi tiếng.
Phản hồi từ người tham gia
Chúng tôi đã yêu cầu sinh viên từ các khóa học khác nhau chia sẻ ấn tượng của họ về Trường hè:
Gần đây tôi đã may mắn được tham dự Trại hè Thị giác Máy tính Intel và đó là một trải nghiệm tuyệt vời. Chúng tôi tiếp thu được nhiều kiến thức, kỹ năng mới trong lĩnh vực CV, cài đặt phần mềm, debug, chúng tôi còn được hòa mình vào môi trường làm việc, đối mặt với những vấn đề thực tế, thảo luận các giải pháp khả thi với đồng nghiệp và giáo viên trong trường. chỉ bao gồm việc giao tiếp với máy tính. Tuy nhiên, đây không phải là trường hợp nào cả. Công việc sáng tạo của chúng tôi không thể tách rời việc giao tiếp với mọi người. Chính thông qua giao tiếp mà người ta có thể có được những kiến thức độc đáo. Và tôi thích nhất phần này của trường. Tuy nhiên, có một nhược điểm... sau khi học xong tôi muốn tiếp tục! Ngoài kiến thức lý thuyết về DL và kỹ năng thực hành về CV, tôi đã biết được lĩnh vực nào của toán học cần được đặc biệt chú ý và công nghệ nào cần được nghiên cứu. Sự cống hiến, tính chuyên nghiệp và tình yêu dành cho công việc của các kỹ sư và nhà nghiên cứu Intel đã ảnh hưởng đến sự lựa chọn hướng đi trong lĩnh vực CNTT của tôi. Vì điều này mà tôi xin gửi lời cảm ơn đến tất cả ban tổ chức của trường.
Kristina, năm thứ nhất, HSE
Trong một thời gian ngắn như vậy, trường đã có thể cung cấp tối đa thông tin và thực hành về chủ đề thị giác máy tính. Và mặc dù được thiết kế dành cho những kiến thức cơ bản nhưng các bài giảng lại chứa rất nhiều tài liệu kỹ thuật mà bạn muốn hiểu và dành nhiều thời gian hơn để nghiên cứu. Đội ngũ cố vấn, giảng viên của trường nhiệt tình giải đáp mọi thắc mắc và trao đổi với sinh viên. Chà, trong khi hoàn thành dự án cuối cùng, tôi đã phải lao vào rừng phát triển một ứng dụng đã hoàn thiện và gặp phải những khó khăn không phải lúc nào cũng nảy sinh khi học. Cuối cùng, nhóm của chúng tôi đã tạo ra một ứng dụng để chơi trò chơi “oẳn tù tì” trên máy tính. Chúng tôi đã đào tạo một mô hình để nhận dạng một hình ảnh trên webcam, viết logic và tạo giao diện dựa trên khung opencv. Nhà trường cung cấp nguồn thức ăn cho tư duy và là phương tiện cho việc học tập và phát triển tiếp theo. Tôi rất vui vì tôi đã tham gia.
Sergey, năm thứ 3, UNN
Trường học không hoàn toàn đáp ứng được mong đợi của tôi. Các bài giảng được giảng bởi những người khá có kinh nghiệm từ các nhà phát triển Intel. Giao tiếp với giảng viên luôn thú vị và hữu ích, các cố vấn nhiệt tình và luôn sẵn sàng giúp đỡ, bài giảng rất dễ nghe, các chủ đề khá phù hợp và nhiều thông tin. Nhưng tôi đã biết một số điều, và những điều tôi không biết thì không được thực hành hỗ trợ dưới bất kỳ hình thức nào, và do đó, tài liệu thực sự hay chưa bao giờ được tôi hiểu và nghiên cứu đầy đủ. Có, hầu hết thông tin được cung cấp nhằm mục đích cung cấp thông tin để bạn có thể dùng thử tại nhà hoặc chỉ để biết nội dung của nó, nhưng tôi vẫn muốn tự mình triển khai một số thuật toán hiện có theo sự giám sát của các giáo viên giàu kinh nghiệm, những người có thể đưa ra lời khuyên hữu ích hoặc giúp đỡ nếu có điều gì đó xảy ra không hiệu quả. Kết quả là, trong thực tế, các giải pháp làm sẵn đã được sử dụng và mã, người ta có thể nói, đã được viết sẵn cho chúng tôi; nó chỉ cần sửa đổi một chút. Các dự án này là đơn giản nhất và nếu bạn cố gắng phức tạp hóa nhiệm vụ theo một cách nào đó, thì bạn sẽ không có đủ thời gian để triển khai nó ở trạng thái ít nhiều ổn định, như đã xảy ra với chúng tôi.
Nhìn chung, toàn bộ ngôi trường trông giống như một trò chơi không nghiêm túc lắm của các nhà phát triển và đây chính xác là lỗi của phần thực tế. Tôi nghĩ rằng cần phải tăng thời gian học ở trường, làm phức tạp tài liệu thực hành để các bạn có thể và nên tự viết một cái gì đó, một cái gì đó thực sự phức tạp và cần thiết, chứ không phải sử dụng những tài liệu làm sẵn để việc luyện tập ngày càng suôn sẻ hơn. phức tạp, chủ đề của các dự án thi đấu nên được đưa ra trong những ngày đầu tiên để tài liệu từ bài giảng và thực hành có thể được sử dụng ngay vào dự án của bạn và sẽ có nhiều thời gian hơn để thực hiện. Khi đó, thời gian ở trường sẽ là trải nghiệm tốt cho các chuyên gia đầy tham vọng.
Dmitry, thạc sĩ năm thứ nhất, NSTU
Khóa học hè từ Intel là cơ hội tuyệt vời để dành mùa hè này để làm những gì bạn yêu thích. Thực tế là các bài giảng do nhân viên Intel đưa ra liên quan đến lập trình trong lĩnh vực thị giác máy tính đã không cho phép tôi thư giãn; tôi muốn tận dụng tối đa toàn bộ quá trình, mặc dù điều đó đôi khi rất khó khăn. Mỗi ngày trôi qua rất nhanh chóng, không thể nhận thấy và có kết quả. Cơ hội thực hiện dự án của riêng mình cho phép tôi làm việc trong một nhóm với những người phụ trách tuyệt vời và những người tham gia khác trong trường. Hai tuần này có thể được mô tả ngắn gọn như sau: thú vị và thoáng qua.
Elizaveta, năm thứ 2, UNN
Vào mùa thu (tháng XNUMX-tháng XNUMX), chương trình giáo dục Delta đang chờ bạn, bạn có thể tìm hiểu thông tin từ chúng tôi . Giữ nguyên!
Nguồn: www.habr.com