Computer Vision Summer Сamp – コンピューター ビジョンに関するインテルのサマー スクール

3月16日から100月XNUMX日までニジニ・ノヴゴロド州立大学で。 N.I. ロバチェフスキーは、コンピューター ビジョンに関するインテル大学間サマースクール - コンピューター ビジョン サマーキャンプを主催し、XNUMX 人を超える学生が参加しました。 この学校は、コンピューター ビジョン、ディープ ラーニング、ニューラル ネットワーク、Intel OpenVINO、OpenCV に興味のあるニジニ ノヴゴロド大学の技術学生を対象としていました。

この記事では、学校の選考がどのように行われたか、学生たちが何を勉強し、学生たちが実践部分で何をしたかを共有し、また弁論で発表されたプロジェクトのいくつかについても話します。

選考プロセスと参加形態

私たちは、子供たちにフルタイムとパートタイムの XNUMX つの教育形態を申請する選択肢を与えることにしました。 定時制・定時制課程は選考を受けず、即入学となった。 平日は午前中の講義のみ出席した。 子どもたちは実践的な課題を達成し、それを学校に送る機会も得ました。 GitHubの 教師によるテスト用。

フルタイム試験の資格を得るには、委員会との面接のためにインテルのオフィスに来なければなりませんでした。 パートタイムおよびパートタイム形式との違いは、講義に加えて、キャンプ参加者が学芸員である UNN の教師とインテルのエンジニアとともに実践的なタスクを行うことでした。 3週目は実践的な課題が終わり、XNUMX人XNUMX組のグループで取り組むプロジェクトが始まりました。

面接では数学やプログラミングに関する質問が行われ、その場で解決しなければならない問題も与えられました。 委員会がソフトウェアエンジニア、アルゴリズムエンジニア、大学教師で構成されていることは注目に値します。 N.I. ロバチェフスキー、したがって、インタビューは多面的で並外れたものであることが判明しました。 面接官の観点から見ると、コンピュータ ビジョンに関する学生の基本的な技術知識を知るのは興味深いことでした。そのため、C++/STL、OOP、基本的なアルゴリズムとデータ構造、線形代数、数学的解析、離散数学、およびさらに多くのことが尋ねられました。 課題の中で、生徒の推論を探ることが優先されました。 委員会はまた、彼らがどこで勉強したか、この学校に通う前にどのような経験をしたか（たとえば、科学活動）、そしてそれがコンピュータビジョンの分野にどのように直接応用できるかにも興味を持っていました。

全日制の選抜枠は78名、24枠あたり3名で争われ、全日制選抜にはXNUMX名が参加した。 参加者の統計と、フルタイムとパートタイムの参加形態の視覚的な違いを以下の表に示します。

みんな2週間何してた？

学生は、画像分類、物体検出、およびそれらの追跡といったコンピュータ ビジョンの主なタスクについて理論と実践を学びました。 各トピックの講義コンポーネントには、通常、コンピューター ビジョンの問題を解決するための古典的な手法と、機械学習とニューラル ネットワークを使用した現代的な解決手法の開発に関する歴史的な探求が含まれていました。 理論に続いて実践が行われ、学生は一般的なニューラル ネットワーク モデルをダウンロードし、OpenCV ライブラリの DNN モジュールを使用して起動し、カスタム アプリケーションを作成しました。

すべての講義のプレゼンテーションが公開リポジトリに投稿されました githubの, 生徒が放課後も含め、いつでも必要な情報を開いて閲覧できるようにします。 講師、実習教師、インテルのエンジニアとライブおよび Gitter 上のチャット経由でコミュニケーションをとることができました。 プロジェクト週間のタイミングも功を奏しました。プロジェクト週間が水曜日に始まったため、週末を講義から解放されて有効に過ごすことができ、チームの意思決定が改善されました。 最も責任感のある参加者は土曜日の半分をインテルのオフィスで過ごし、その報酬として同日に予定外の小旅行が与えられました。

プロジェクトの防御はどうでしたか？

各チームに 10 分間の時間が与えられ、プロジェクト中に何を行ったか、そして何を達成したかについて話し合いました。 この時間が経過すると、5 分間が始まり、その間、同社のエンジニアは従業員に質問し、プロジェクトを改善したり、既存の間違いを将来防ぐのに役立つちょっとしたヒントを与えました。 全員が講演者としての役割を果たし、コンピューター ビジョンの分野での知識を実証し、プロジェクトの作成への貢献を確認しました。これは、学校の各参加者について検討し、結論を出すのに役立ちました。 弁護は 3 時間以上にわたって行われましたが、私たちは選手たちの世話をし、短いコーヒーブレイクで緊張を和らげました。そこで選手たちは一息つき、インテルの一流のスペシャリストと問題について話し合うことができました。

その日の終わりに、XNUMX 位が XNUMX 名、XNUMX 位が XNUMX 名、XNUMX 位が XNUMX 名に授与されました。 各チーム、各プロジェクトには独自の味があり、プレゼンテーションの独創性が際立っていたため、選択するのは非常に困難でした。

フルタイムの CV キャンプ参加者、プロジェクト防衛、ニジニ ノヴゴロドのインテル オフィス

発表されたプロジェクト

スマートグローブ

OpenCV を使用した検出器とトラッカーを使用して、空間内の視覚的なナビゲーションを実現します。 チームはさらに、XNUMX 台のカメラを使用して深度センシング機能を追加しました。 Microsoft Speech API が管理インターフェイスとして使用されます。

受容体

食品を検出し、見つかった材料を含む既製料理のレシピを選択します。 彼らはこの作業を恐れず、XNUMX 週間以内に自分たちで十分な数の画像をマークアップし、TensorFlow Object Detection API を使用して検出器をトレーニングし、レシピを見つけるためのロジックを追加しました。 シンプルで味わい深い！

エディター2.0

プロジェクトの参加者は、特定の人物が映っている長いビデオの断片を検索するタスクの一環として、顔認識に一連のニューラル ネットワーク (顔検索、キーポイントによる顔画像の正規化、顔画像記述子の計算) を使用しました。現在。 開発したシステムは、ビデオ編集の支援システムとして利用でき、人は自分でビデオを見て必要な部分を探す必要がなくなります。 ニューラル ネットワークを使用する OpenVINO モデル ライブラリ、チームはアプリケーションの高速化に成功しました。Intel Core i5 プロセッサを搭載したラップトップでは、ビデオ処理速度は 58 フレーム/秒でした。

アノニマイザー

人の顔にメガネやマスクを描きます。 MTCNN ネットワークは、顔とキーポイントの検出に使用されました。

匿名

アイデンティティの隠蔽をテーマにした、もう一つの興味深い作品。 このチームは、顔を歪めるためのいくつかのオプション (ぼかしとピクセル化) を導入しました。 XNUMX 週間で、彼らはタスクを理解しただけでなく、特定の人物を (顔認識で) 匿名化するモードも提供しました。

ウォームアップ

「ウォームアップ」プロジェクト チームは、首を傾ける運動のためのスポーツ アシスタントを作成するという問題を解決しました。 そして、このアプリケーションの最終的なアプリケーションはまだ議論の余地がありますが、Haar カスケード、TensorFlow のネットワーク、OpenCV、OpenVINO など、さまざまな顔検出アルゴリズムを比較する包括的な研究が実施されました。 身体だけでなく心も温まりました！

800前半

学校が開催されたニジニ・ノヴゴロド市はあと 2 年で建都 800 年を迎えるため、興味深いプロジェクトを実施するには十分な時間があります。 建物のファサードの画像に基づいて、画像にどのような物体が写っているのか、それについてどのような事実が知られているのかを説明するガイドを作成するという課題について子どもたちに考えてもらいました。 私たちの意見では、このタスクは古典的なコンピューター ビジョンに関連しているため、最も困難なタスクの XNUMX つでしたが、チームはまずまずの結果を示しました。

最初はグー、じゃんけん

設計作業を完了するには厳しい時間制限があったにもかかわらず、このチームは、有名なゲームの手の位置を分類するために独自のニューラル ネットワークをトレーニングする実験の実施も躊躇しませんでした。

参加者からのフィードバック

さまざまなコースの学生にサマースクールの感想を語ってもらいました。

最近、幸運にもインテル コンピューター ビジョン サマー キャンプに参加することができ、素晴らしい経験をすることができました。 私たちは履歴書、ソフトウェアのインストール、デバッグの分野で多くの新しい知識とスキルを獲得しましたが、また、職場環境にどっぷりと浸かり、実際の問題に直面し、同僚や学校の先生と考えられる解決策について話し合いました。コンピュータとの通信のみで構成されます。 しかし、そんなことは全くありません。 私たちのクリエイティブな仕事は、人々とのコミュニケーションから切り離せません。 コミュニケーションを通じて独自の知識を得ることができました。 そして、私は学校のこの部分が最も気に入りました。 ただし、欠点が XNUMX つあります。トレーニングを終えた後は、さらに続けたいと思いました。 DL の理論的知識と CV の実践的なスキルに加えて、数学のどの分野に特別な注意を払うべきか、どの技術を研究すべきかについてのアイデアが得られました。 インテルのエンジニアと研究者の仕事への献身、プロフェッショナリズム、愛情は、私の IT の方向性の選択に影響を与えました。 このため、学校の主催者の皆様に感謝したいと思います。

クリスティーナ、1 年目、HSE

このような短期間で、学校はコンピューター ビジョンに関する最大限の情報を提供し、実践することができました。 また、基礎知識を対象とした内容ではありますが、講義には専門的な内容も多く含まれており、より多くの時間をかけて理解して学習する必要があります。 学校のメンターや講師はすべての質問に熱心に答え、生徒とコミュニケーションを図りました。 さて、最終プロジェクトを完了する間、完成したアプリケーションの開発というジャングルに突入し、勉強中にはいつも起こらない困難に遭遇しなければなりませんでした。 私たちのチームは最終的に、コンピュータで「じゃんけん」ゲームをプレイするためのアプリケーションを作成しました。 Web カメラ上の人物を認識するようにモデルをトレーニングし、ロジックを記述し、opencv フレームワークに基づいてインターフェイスを作成しました。 学校は思考の糧と、その後の学習と発達のベクトルを提供しました。 参加してとてもよかったです。

セルゲイ、UNN 3 年

学校は私の期待にまったく応えられませんでした。 講義はインテル開発者のかなり経験豊富な人々によって行われました。 講師とのコミュニケーションは常に興味深く有益であり、メンターは反応が良く、いつでも助けてくれます。講義は聞くのが楽しく、トピックは非常に関連性があり、有益です。 しかし、私はすでに知っていることもありましたが、知らなかったものは実践によってまったく裏付けられていなかったため、本当に優れた教材を完全に理解して研究することはできませんでした。 はい、ほとんどの情報は情報提供を目的として提供されているため、自宅で試したり、単にそれが何であるかについてのアイデアを得ることができます。しかし、私は依然としていくつかの既存のアルゴリズムを自分で実装したいと考えていました。何か問題が起こった場合に適切なアドバイスを与えたり、助けたりできる経験豊富な教師の監督。 その結果、実際には既製のソリューションが使用され、コードは、いわば事前に作成されたものであり、わずかに変更するだけで済みました。 プロジェクトは最も単純なものでしたが、何らかの方法でタスクを複雑にしようとすると、私たちの場合のように、多かれ少なかれ安定した状態に実装するのに十分な時間がなくなります。
一般に、学校全体は、ある種のあまり真剣ではない開発者のゲームのように見えますが、これはまさに実践的な部分のせいです。 学校に費やす時間を増やし、練習教材を複雑にして、本当に複雑で必要なものを既製のものを使用せずに自分で書くことができるようにし、練習をよりスムーズにする必要があると思います。複雑な場合、コンテストのプロジェクトのトピックは最初の数日で提供されるべきです。そうすることで、講義や演習で得た内容をプロジェクトですぐに使用でき、実装により多くの時間を費やすことができます。 そうすれば、学校で過ごす時間は、専門家を目指す人にとって良い経験となるでしょう。

ドミトリー、NSTU 修士 1 年

インテルのサマースクールは、この夏を自分の好きなことに費やす素晴らしい機会でした。 コンピューター ビジョン分野のプログラミングに関連するインテルの社員による講義であるという事実自体が私に気を緩めることを許さず、時には難しいこともありますが、プロセス全体を最大限に活用したいと考えていました。 毎日がとても早く、気づかないうちに、そして実り豊かに過ぎていきました。 自分自身のプロジェクトを実行する機会により、素晴らしいキュレーターや他の学校参加者とチームで働くことができました。 この XNUMX 週間は次のように簡単に説明できます。「面白くて、あっという間」です。

エリザベタ、国連大学 2 年

秋 (XNUMX 月から XNUMX 月) には、デルタ航空の教育プログラムがあなたを待っています。詳細については、当社の Web サイトでご確認ください。 VKontakteグループ。 乞うご期待！

出所： habr.com