手書きの絵の分類。 Yandex でレポートする

数か月前、Google の同僚が 開催 Kaggle でセンセーショナルな画像で得られた画像の分類器を作成するコンペティション игре 「早く描け！」 Yandex 開発者の Roman Vlasov を含むチームは、コンテストで XNUMX 位になりました。 XNUMX 月の機械学習トレーニングで、ローマンはチームのアイデア、分類器の最終実装、および対戦相手の興味深い実践方法を共有しました。

- こんにちは、みんな！ 私の名前はローマ ヴラソフです。今日はクイック、ドローについてお話します! 落書き認識チャレンジ。



私たちのチームにはXNUMX人がいました。 マージ期限直前に参加しました。 我々は不運で、少し動揺しましたが、我々はマネーポジションから動揺し、彼らもゴールドポジションから動揺しました。 そして名誉あるXNUMX位を獲得しました。

(競技中、各チームは、提案されたデータセットの一部に示された結果に基づいて作成された評価で自分自身を観察しました。最終的な評価は、データセットの別の部分に基づいて作成されました。これは次のように行われます。コンテストの参加者はアルゴリズムを特定のデータに合わせて調整していないため、決勝戦では、レーティングを切り替えるときに順位が少し変動します (英語のシェイクアップからミックスする): 他のデータでは、結果が判明する可能性がありますローマンのチームは最初にトップ XNUMX に入りました。この場合、上位 XNUMX 位は賞金、つまり金銭的評価ゾーンです。賞金が与えられるのは最初の XNUMX 位のみであるためです。再構築後、チームはすでにその圏内に入っていました。 XNUMX位。同様に、相手チームも勝利、つまり金の座を失った。 - 編)

このコンクールはまた、エフゲニー・ババフニンがグランドマスターを獲得し、イワン・ソシンがマスターを獲得し、ローマン・ソロヴィエフが引き続きグランドマスターを獲得し、アレックス・パリノフがマスターを獲得し、私がエキスパートになり、そして今ではすでにマスターになったという点でも重要でした。

このクイックドローとは何ですか？ これはGoogleのサービスです。 Google には AI を普及させるという目標があり、このサービスによってニューラル ネットワークがどのように機能するかを示したかったのです。 そこに移動して [描画しましょう] をクリックすると、新しいページが表示され、「ジグザグを描画します。20 秒以内に描画してください」と指示されます。 たとえば、ここのように 20 秒でジグザグを描こうとしています。 成功すると、ネットワークはジグザグであると表示し、先に進みます。 このような写真はXNUMX枚しかありません。

Google のネットワークがあなたが描いたものを認識できなかった場合、そのタスクにはバツ印が付けられました。 図面がネットワークに認識されるかどうかが将来どのような意味を持つかについては、後ほど説明します。

このサービスはかなり多くのユーザーを集めており、ユーザーが描いた絵はすべてログに記録されていました。

私たちは約 50 万枚の画像を収集することができました。 これに基づいて、私たちの競技会のトレーニングとテスト日が形成されました。 ちなみに、テストのデータ量とクラスの数が太字で強調表示されているのには理由があります。 それらについては少し後ほどお話します。

データ形式は以下の通りでした。 これらは単なる RGB 画像ではなく、大まかに言えば、ユーザーが行ったすべてのログです。 Word はターゲット、国コードは Doodle の作者の出身地、タイムスタンプは時間です。 認識されたラベルは、ネットワークが Google からの画像を認識したかどうかを示すだけです。 そして、描画自体はシーケンスであり、ユーザーが点で描く曲線の近似です。 そしてタイミング。 絵を描き始めてからの時間です。

データは XNUMX つの形式で表示されました。 これが最初の形式で、XNUMX 番目は簡略化された形式です。 彼らはそこからタイミングを切り出し、この一連のポイントをより小さな一連のポイントで近似しました。 このために彼らは使用した ダグラス・ペッカーアルゴリズム。 単純に直線を近似する多数の点のセットがありますが、実際には、この直線を XNUMX つの点だけで近似できます。 これがアルゴリズムの考え方です。

データは以下のように配布されました。 すべて均一ですが、異常値もいくつかあります。 問題を解決したとき、私たちは問題を見ませんでした。 重要なことは、実際に少数のクラスが存在せず、加重サンプラーやデータのオーバーサンプリングを行う必要がなかったことです。

写真はどんな感じでしたか？ これは「飛行機」クラスと、認識されるラベルと認識されないラベルを含むその例です。 それらの比率は約 1 対 9 でした。ご覧のとおり、データにはかなりノイズが含まれています。 たぶん飛行機だと思います。 認識されない場合は、ほとんどの場合、単なるノイズです。 誰かが「飛行機」と書こうとしたこともありましたが、どうやらフランス語でした。

ほとんどの参加者は単純にグリッドを取得し、この一連の線からデータを RGB 画像として描画し、ネットワークに投入しました。 私もほぼ同じ方法で描きました。色のパレットを用意し、最初の線をこのパレットの先頭にある XNUMX つの色で描き、最後の線をパレットの最後にある別の色で描き、それらの間に描きました。このパレットを使用してあらゆる場所を補間しました。 ちなみに、この方法では、最初のスライドのように黒だけで描画するよりも良い結果が得られました。

イワン・ソーシンなどの他のチームメンバーは、描画に対して少し異なるアプローチを試みました。 32 つのチャンネルでは単純に灰色の絵を描き、別のチャンネルでは最初から最後まで 255 から 32 までのグラデーションで各ストロークを描き、255 番目のチャンネルでは XNUMX から XNUMX までのすべてのストロークにわたってグラデーションを描きました。

もう XNUMX つの興味深い点は、Alex Parinov が Countrycode を使用して情報をネットワークにアップロードしたことです。

競争で使用される指標は平均平均精度です。 競争におけるこの指標の本質は何でしょうか? 0 つの述語を指定できます。これら 1 つの中に正しい述語がない場合は 1 が返されます。正しい述語があれば、その順序が考慮されます。 そして、ターゲットの結果は、予想の順位で割った 1 としてカウントされます。 たとえば、1 つの予測子を作成し、正しいものが最初の予測子である場合、2 を 1 で割ると 2 が得られます。予測子が正しく、次数が 0,5 の場合は、XNUMX を XNUMX で割ると XNUMX が得られます。 まあ、など。

データの前処理で、絵の描き方なども少し決まりました。 どのようなアーキテクチャを使用しましたか? 私たちは、PNASNet、SENet などのファット アーキテクチャ、および SE-Res-NeXt などのすでに古典的なアーキテクチャを使用しようとしましたが、これらはますます新しい競争に参加しています。 ResNet や DenseNet もありました。

これをどのように教えたのでしょうか? 私たちが撮影したすべてのモデルは、imagenet で事前トレーニングされました。 50 万枚の画像という大量のデータがありますが、それでも、imagenet で事前トレーニングされたネットワークを使用すると、単に最初からトレーニングした場合よりも優れた結果が示されました。

どのような教育テクニックを使用しましたか? これは、ウォーム リスタートを使用したコーシング アニーリングです。これについては、少し後ほど説明します。 これは私が最近のほぼすべての競技会で使用しているテクニックであり、これを使用すると、グリッドを非常にうまくトレーニングして、最小限の値を達成できることがわかりました。

次はプラトーで学習率を下げます。 ネットワークのトレーニングを開始し、特定の学習率を設定して教え続けると、損失は徐々に特定の値に収束します。 たとえば、XNUMX エポックの間、損失がまったく変化していないことを確認します。 学習率を一定の値だけ下げて学習を続けます。 再び少し低下し、ある程度の最小値に収束し、再び学習率を下げるということを繰り返し、最終的にネットワークが収束します。

次は興味深いテクニックです。学習率を低下させずに、バッチ サイズを増やします。 同名の記事があります。 ネットワークをトレーニングする場合、学習率を下げる必要はなく、バッチ サイズを増やすだけで済みます。

ちなみに、このテクニックはアレックス・パリノフによって使用されました。 彼は 408 に等しいバッチから開始し、ネットワークがある程度のプラトーに達したときに、単純にバッチ サイズを XNUMX 倍にしました。

実際、彼のバッチ サイズがどのような値に達したかは覚えていませんが、興味深いのは、同じテクニックを使用したチームが Kaggle に存在し、そのバッチ サイズが約 10000 だったということです。たとえば、PyTorch を使用すると、これを非常に簡単に行うことができます。 バッチを生成して、そのまま全体ではなくネットワークに送信します。ビデオ カードに収まるようにバッチを分割し、勾配を計算し、バッチ全体の勾配を計算した後、更新します。重み。

ちなみに、データには非常にノイズが多く、バッチ サイズが大きいほど勾配をより正確に近似するのに役立つため、このコンテストには依然として大きなバッチ サイズが含まれていました。

擬似ラベルも使用され、主にロマン・ソロヴィエフによって使用されました。 彼はテストからのデータの約半分をバッチでサンプリングし、そのようなバッチでグリッドをトレーニングしました。

画像のサイズは重要でしたが、実際には、大量のデータがあり、長時間トレーニングする必要があり、画像サイズが非常に大きい場合は、非常に長い時間トレーニングすることになります。 ただし、これでは最終的な分類子の品質はあまり向上しませんでした。そのため、ある種のトレードオフを使用する価値がありました。 サイズがあまり大きくない写真のみを試してみました。

それはどのようにして学んだのでしょうか？ まず、小さなサイズの写真が撮影され、それらに対していくつかのエポックが実行されました。これにはかなりの時間がかかりました。 次に、大きなサイズの画像が与えられ、ネットワークがトレーニングされ、最初からトレーニングせずに多くの時間を無駄にしないように、さらにさらにトレーニングが行われました。

オプティマイザーについて。 SGD と Adam を使用しました。 このようにして、単一のモデルを取得することができ、公開リーダーボードで 0,941 ～ 0,946 という非常に良好な速度が得られました。

何らかの方法でモデルをアンサンブルすると、0,951 程度になります。 もう 0,954 つのテクニックを使用すると、公開ボード上で最終スコアは XNUMX になります。これは、私たちが得たものと同じです。 しかし、それについては後で詳しく説明します。 次に、モデルをどのように組み立てたのか、そしてどのようにしてこのような最終速度を達成することができたのかについて説明します。

次に、ウォーム リスタートを使用したコーシング アニーリングまたはウォーム リスタートを使用した確率的勾配降下法について説明したいと思います。 大まかに言えば、原理的にはどのようなオプティマイザーも使用できますが、重要なのは次のとおりです。XNUMX つのネットワークをトレーニングし、徐々に最小値に収束する場合は、すべて問題ありません。XNUMX つのネットワークが得られますが、特定の間違いは発生しますが、少し違った方法でトレーニングすることができます。 初期学習率を設定し、この式に従って徐々に学習率を下げていきます。 これを下げると、ネットワークがある程度の最小値になり、次に重みを保存し、トレーニングの開始時の学習率を再度設定します。これにより、この最小値からどこか上昇して、学習率が再び低下します。

したがって、損失がプラスまたはマイナスで同じになる複数の最小値を一度に訪れることができます。 しかし実際には、これらの重みを持つネットワークでは、日付に異なるエラーが発生します。 それらを平均すると、ある種の近似値が得られ、速度が向上します。

モデルの組み立て方法について。 プレゼンテーションの冒頭で、テストのデータ量とクラスの数に注意してくださいと言いました。 テスト セット内のターゲットの数に 1 を加えてクラスの数で割ると、330 という数値が得られます。これは、テスト内のクラスのバランスがとれているということがフォーラムに書かれていました。 これは使えるかもしれない。

これに基づいて、Roman Soloviev は、リーダーボードと非常によく相関するプロキシ スコアと呼ばれる指標を考案しました。 重要なのは、予測を実行し、予測子の上位 1 つを取得し、各クラスのオブジェクトの数を数えるということです。 次に、各値から 330 を減算し、得られた絶対値を合計します。

以下の値が得られました。 これにより、調査的なリーダーボードを作成するのではなく、ローカルで検証してアンサンブルの係数を選択することができました。

アンサンブルだとこんなにスピードが出るんですね。 他に何ができるでしょうか？ テスト内のクラスのバランスが取れているという情報を使用したとします。

バランスが違いました。 そのうちの XNUMX つの例 — XNUMX位になった選手たちとのバランス。

私たちが何をしたのですか？ 私たちのバランス調整は非常に簡単で、エフゲニー・ババクニンによって提案されました。 まず、上位 1 で予測を並べ替え、その中から候補を選択しました。その結果、クラスの数が 330 を超えないようになりました。ただし、一部のクラスでは、予測子の数が 330 未満になってしまいます。それでは、上位 2 と上位 3 によっても並べ替えてみましょう、候補者も選定していきます。

私たちのバランス調整は、最初の場所のバランス調整とどう違うのでしょうか? 彼らは、最も人気のあるクラスを選択し、そのクラスが最も人気でなくなるまで、そのクラスの確率をいくつかの小さな数だけ減少させるという反復的なアプローチを使用しました。 私たちは次に人気のあるクラスを受講しました。 そこで、すべてのクラスの数が同じになるまで、値を下げ続けました。

誰もがネットワークをトレーニングするためにプラスまたはマイナス XNUMX のアプローチを使用していましたが、誰もがバランシングを使用していたわけではありません。 バランシングを使用すると、ゴールドに移行でき、運が良ければお金に移行できます。

日付を前処理するにはどうすればよいですか? 誰もが同じ方法で日付をプラスまたはマイナスで前処理しました - 手作りの特徴を作成したり、異なるストロークの色でタイミングをエンコードしようとしたりしました。 8 位の Alexey Nozdrin-Plotnitsky はこれについて話しました。

彼はやり方が違いました。 彼は、あなたの手作りの機能はすべて機能しない、その必要はない、あなたのネットワークがこれらすべてを独自に学習する必要がある、と言いました。 そしてその代わりに、データを前処理する学習モジュールを考案しました。 彼は、ポイントの座標とタイミングなどの前処理を行わずに、元のデータをそれらに投入しました。

次に、座標に基づいて差をとり、タイミングに基づいてすべての平均をとりました。 そして彼はかなり長い行列を思いつきました。 彼はそれに 1D 畳み込みを数回適用して、サイズ 64xn の行列を取得しました。ここで、n は点の総数であり、結果の行列をチャネル数を受け入れる畳み込みネットワークの層に供給するために 64 が作成されます。 - 64. 彼は 64xn の行列を取得しました。次に、チャネル数が 64 になるように、そこからある程度のサイズのテンソルを作成する必要がありました。彼は、0 から 32 の範囲のすべての点 X、Y を正規化して、サイズ 32x32 のテンソル。 なぜ彼が 32x32 を望んだのかはわかりませんが、たまたまそうなっただけです。 そしてこの座標に、サイズ 64xn のこの行列の断片を配置しました。 つまり、畳み込みニューラル ネットワークにさらに追加できる 32x32x64 テンソルが完成しました。 私が言いたかったのはそれだけです。

出所： habr.com