Habré での機械学習コンテストのテーマを続けて、読者にさらに XNUMX つのプラットフォームを紹介したいと思います。 確かに kaggle ほど巨大ではありませんが、間違いなく注目に値します。

個人的には、いくつかの理由から kaggle はあまり好きではありません。

• 第一に、そこでの競技会は数か月続くことが多く、積極的に参加するには多大な努力が必要です。
• XNUMX 番目は、パブリック カーネル (パブリック ソリューション) です。 Kaggle の信奉者は、チベット僧侶のような冷静さで彼らに接するようにアドバイスしていますが、実際には、XNUMX ～ XNUMX か月かけて取り組んできたことが、突然全員の銀の大皿に並べられることになるのは非常に残念なことです。

幸いなことに、機械学習コンテストは他のプラットフォームでも開催されており、これらのコンテストのいくつかについて説明します。

イダオ	SNAハッカソン2019
公用語: 英語、 主催者: Yandex、ズベルバンク、HSE	公用語ロシア語、 主催者: Mail.ru グループ
オンラインラウンド: 15年11月2019日～XNUMX月XNUMX日。 オンサイト決勝: 4 年 6 月 2019 ～ XNUMX 日	オンライン - 7月15日からXNUMX月XNUMX日まで。 オフライン - 30 月 1 日から XNUMX 月 XNUMX 日まで。
大型ハドロン衝突型加速器内の粒子に関する特定のデータ セット (軌道、運動量、その他のかなり複雑な物理パラメーター) を使用して、それがミューオンであるかどうかを判断します。 このステートメントから、2 つのタスクが特定されました。 — 予測を送信するだけで済むものでは、 - もう XNUMX つは、予測用の完全なコードとモデルであり、実行には実行時間とメモリ使用量に関してかなり厳しい制限が課せられました。	SNA ハッカソン コンテストでは、2018 年 XNUMX 月から XNUMX 月にかけてユーザー ニュース フィード内のオープン グループからのコンテンツ表示のログが収集されました。 このテスト セットには、XNUMX 月の最後の XNUMX 週間半が含まれています。 ログの各エントリには、何が誰に表示されたか、またこのコンテンツに対するユーザーの反応 (評価、コメント、無視、フィードからの非表示など) に関する情報が含まれています。 SNA ハッカソンのタスクの本質は、ソーシャル ネットワーク Odnoklassniki の各ユーザーのフィードをランク​​付けし、「クラス」を受け取る投稿をできるだけ高くすることです。 オンライン段階では、タスクは 3 つの部分に分割されました。 1. さまざまな共同作業の特性に応じて投稿をランク付けする 2. 含まれる画像に基づいて投稿をランク付けする 3. 含まれるテキストに従って投稿をランク付けする
複雑なカスタムメトリクス、ROC-AUC など	ユーザー別の平均 ROC-AUC
第 XNUMX ステージの賞品 - N 位分の T シャツ、第 XNUMX ステージへの移行（競技中の宿泊費と食事代は支払われます） 第二段階 - ??? （私は諸事情により授賞式に出席できず、最終的に賞品の内容を知ることはできませんでした）。 彼らは優勝チームのメンバー全員にラップトップを与えると約束した	第 100 ステージの賞品 - 優秀な参加者 3 名には T シャツ、モスクワまでの交通費、競技中の宿泊費、食事代が支払われる第 1 ステージへの出場権が与えられます。 また、最初のステージの終わりに向けて、ステージ 2080 の XNUMX つのタスクで最も優れた賞品が発表されました。全員が RTX XNUMX TI ビデオ カードを獲得しました。 第 2 ステージはチームステージで、チームは 5 ～ XNUMX 人で構成され、賞品は次のとおりです。 1位 - 300ルーブル 2位 - 200ルーブル 3位 - 100ルーブル 審査員賞 - 100ルーブル
公式電報グループ、参加者は約 190 人、コミュニケーションは英語、質問は回答までに数日待たなければなりませんでした	電報による公式グループ、約 1500 人の参加者、参加者と主催者の間でタスクについて活発な議論が行われる
主催者は、シンプルなソリューションと高度なソリューションの 16 つの基本的なソリューションを提供しました。 シンプルでは 16 GB 未満の RAM が必要で、アドバンスト メモリでは XNUMX GB に収まりませんでした。 同時に、少し先を見据えると、参加者は先進的なソリューションを大幅に上回るパフォーマンスを発揮することはできませんでした。 これらのソリューションの立ち上げには何の困難もありませんでした。 高度な例には、ソリューションの改善をどこから始めるべきかについてのヒントが記載されたコメントがあることに注意してください。	各タスクに対して基本的な原始的な解決策が提供されましたが、参加者はそれらを簡単に解決できました。 コンテストの初期段階では、参加者はいくつかの問題に直面しました。まず、データが Apache Parquet 形式で提供されており、Python と Parquet パッケージのすべての組み合わせがエラーなしで動作するわけではありませんでした。 XNUMX 番目の困難はメール クラウドから写真をダウンロードすることでしたが、現時点では大量のデータを一度にダウンロードする簡単な方法はありません。 結果として、これらの問題により参加者は数日間遅れました。

イダオ。 第一段階

この課題は、ミュー粒子と非ミュー粒子をその特性に応じて分類することでした。 このタスクの重要な特徴は、トレーニング データに重み列が存在することであり、主催者自身がこの行の答えに対する信頼度として解釈しました。 問題は、かなりの数の行に負の重みが含まれていることです。

ヒントのある線について数分間考え (ヒントは重み列のこの機能に注意を引いただけです)、このグラフを作成した後、3 つのオプションをチェックすることにしました。

1) 負のウェイト(およびそれに応じたウェイト)を持つラインのターゲットを反転します。
2) 重みが 0 から始まるように最小値にシフトします。
3) 文字列の重みを使用しない

1 番目のオプションは最悪であることが判明しましたが、最初の XNUMX つは結果を改善し、最も良かったのはオプション XNUMX で、すぐに最初のタスクで現在の XNUMX 位、XNUMX 番目のタスクで XNUMX 位になりました。

次のステップは、欠損値がないかデータを確認することでした。 主催者はすでに精査済みのデータを提供してくれましたが、かなりの数の欠損値があり、それらは -9999 に置き換えられました。

MatchedHit_{X,Y,Z}[N] 列と MatchedHit_D{X,Y,Z}[N] 列で欠損値が見つかりましたが、それは N=2 または 3 の場合のみでした。理解しているように、一部の粒子は欠落していませんでした。 4 つの検出器をすべて通過し、3 番目または 4 番目のプレートで停止しました。 データには Lextra_{X,Y}[N] 列も含まれており、明らかに MatchedHit_{X,Y,Z}[N] と同じことを記述していますが、ある種の外挿を使用しています。 これらのわずかな推測は、Lextra_{X,Y}[N] が MatchedHit_{X,Y,Z}[N] の欠損値を置き換えることができることを示唆しました (X 座標と Y 座標のみ)。 MatchedHit_Z[N] は中央値で十分に埋められました。 これらの操作により、両方のタスクで中間の 1 位に到達することができました。

最初のステージで優勝しても何も与えられなかったことを考えると、そこで止めてもよかったかもしれませんが、私たちは続けて、美しい絵を描き、新しい機能を考え出しました。

たとえば、粒子と 5 つの検出プレートのそれぞれとの交点をプロットすると、各プレート上の点がアスペクト比 4 対 5 の 0,0 つの長方形にグループ化され、中心が XNUMX 対 XNUMX であることがわかります。点 (XNUMX)、および in 最初の長方形には点がありません。

プレートNo./長方形寸法	1	2	3	4	5
プレート1	500h625	1000h1250	2000h2500	4000h5000	8000h10000
プレート2	520h650	1040h1300	2080h2600	4160h5200	8320h10400
プレート3	560h700	1120h1400	2240h2800	4480h5600	8960h11200
プレート4	600h750	1200h1500	2400h3000	4800h6000	9600h12000

これらの寸法を決定した後、粒子ごとに 4 つの新しいカテゴリ特徴 (粒子が各プレートと交差する長方形の数) を追加しました。

また、粒子が中心から側面に散乱しているように見えることにも気づき、この散乱の「質」を何らかの方法で評価するというアイデアが生まれました。 理想的には、離陸点に応じて何らかの「理想的な」放物線を考え出し、そこからの偏差を推定することも可能でしょうが、私たちは「理想的な」直線に限定しました。 このような理想的な直線を各侵入点に対して構築したので、この直線から各粒子の軌道の標準偏差を計算することができました。 target = 1 の平均偏差は 152、target = 0 の平均偏差は 390 であったため、この機能は暫定的に良好であると評価しました。 そして実際、この機能はすぐに最も便利な機能のトップにランクインしました。

私たちは喜んで、追加の 4 つの特徴として、各粒子の 4 つの交点すべての理想的な直線からの偏差を追加しました (そして、それらもうまく機能しました)。

主催者から提供された、コンテストのテーマに関する科学論文へのリンクから、私たちはこの問題を最初に解決したわけではなく、おそらく何らかの特殊なソフトウェアがあるのではないかという考えが生まれました。 IsMuonSimple、IsMuon、IsMuonLoose メソッドが実装されているリポジトリを github で発見したので、それらを少し変更してサイトに転送しました。 方法自体は非常に単純で、たとえば、エネルギーが特定のしきい値未満の場合、それはミューオンではなく、そうでない場合はミューオンです。 このような単純な機能では、明らかに勾配ブースティングを使用する場合に増加をもたらすことができないため、しきい値に別の重要な「距離」を追加しました。 これらの機能も若干改善されています。 おそらく、既存の手法をより徹底的に分析することで、より強力な手法を見つけて標識に追加することができたでしょう。

コンテストの終わりに、XNUMX 番目の問題に対する「簡単な」解決策を少し調整しましたが、最終的には次の点でベースラインとは異なりました。

1. 負の重みを持つ行では、ターゲットが反転されました
2. MatchedHit_{X,Y,Z}[N] の欠損値を埋めました
3. 深さを 7 に削減
4. 学習率を 0.1 に低下 (以前は 0.19)

その結果、さらに多くの機能を試し (あまり成功しませんでしたが)、パラメーターを選択して catboost、lightgbm、xgboost をトレーニングし、さまざまな予測の組み合わせを試し、プライベートを開く前に XNUMX 番目のタスクで自信を持って勝利し、最初のタスクではリーダーたち。

プライベートを開いた後、最初のタスクでは10位、1番目のタスクでは3位でした。 リーダー全員が入り乱れ、リボードよりもプライベートの方がスピードが速かった。 データの階層化が不十分だったようで (または、たとえば、プライベートに負の重みを持つ行がなかった)、これは少しイライラしました。

SNA ハッカソン 2019 - テキスト。 第一段階

このタスクは、Odnoklassniki ソーシャル ネットワーク上のユーザー投稿を、そこに含まれるテキストに基づいてランク付けすることでした。テキストに加えて、投稿にはさらにいくつかの特徴 (言語、所有者、作成日時、閲覧日時) がありました。 ）。

テキストを操作するための古典的なアプローチとして、次の XNUMX つのオプションを取り上げます。

1. 類似した単語が類似したベクトルを持つように、各単語を n 次元のベクトル空間にマッピングします (詳細は、 私たちの記事)、次にテキストの平均単語を見つけるか、単語の相対位置を考慮するメカニズム (CNN、LSTM/GRU) を使用します。
2. 文全体をすぐに操作できるモデルを使用します。 たとえば、バート。 理論的には、このアプローチの方がうまく機能するはずです。

テキストは初めてなので、人に教えるのは違うので、自分で教えます。 これらは、コンテストの開始時に私が自分自身に与えるヒントです。

1. 何かを教える前に、データを見てください。 テキスト自体に加えて、データにはいくつかの列があり、そこから私がやったよりもはるかに多くのことを絞り出すことができました。 最も簡単な方法は、一部の列に対して平均ターゲット エンコーディングを行うことです。
2. すべてのデータから学ばないでください。 大量のデータ (約 17 万行) がありましたが、仮説を検証するためにすべてを使用する必要はまったくありませんでした。 トレーニングと前処理は非常に遅かったので、もっと興味深い仮説をテストする時間があったことは明らかです。
3. <物議を醸すアドバイス> キラーモデルを探す必要はありません。 私は Elmo と Bert を理解するのに長い時間を費やし、彼らが私をすぐに高いところに連れて行ってくれることを望みました。その結果、ロシア語用に事前トレーニングされた FastText 埋め込みを使用しました。 Elmo ではそれ以上の速度を実現できませんでしたし、Bert ではそれを理解する時間がまだありませんでした。
4. <物議を醸すアドバイス> キラー機能を 1 つ探す必要はありません。 データを見ると、テキストの約 XNUMX% に実際にはテキストが含まれていないことがわかりました。 しかし、いくつかのリソースへのリンクがあったので、サイトを開いてタイトルと説明を取り出す簡単なパーサーを作成しました。 それは良いアイデアのように思えましたが、その後、調子に乗ってすべてのテキストのすべてのリンクを解析することにし、再び多くの時間をロスしてしまいました。 これらはすべて、最終結果に大きな改善をもたらしませんでした (たとえば、ステミングを考え出しましたが)。
5. 古典的な機能が動作します。 たとえば、私たちは Google で「テキスト機能 kaggle」を検索し、すべてを読んで追加します。 TF-IDF は、テキストの長さ、単語、句読点の量などの統計的特徴と同様に改善をもたらしました。
6. DateTime 列がある場合は、それらをいくつかの個別の機能 (時間、曜日など) に解析する価値があります。 どの機能を強調すべきかは、グラフやいくつかの指標を使用して分析する必要があります。 ここでは、気まぐれにすべてを正しく実行し、必要な機能を強調表示しましたが、通常の分析でも問題はありませんでした（たとえば、決勝で行ったように）。

コンテストの結果、私は単語畳み込みで 7 つの keras モデルをトレーニングし、もう 76 つは LSTM と GRU に基づいてトレーニングしました。 どちらも、ロシア語用に事前トレーニングされた FastText 埋め込みを使用しました (他の埋め込みもいくつか試しましたが、これらが最も効果的でした)。 予想を平均した結果、参加者XNUMX名中最終XNUMX位でした。

第一段階終了後、公開されました ニコライ・アノヒンによる記事、彼は XNUMX 位になり (彼は競争から参加しました)、彼のソリューションはある段階までは私のものと同じでしたが、クエリ-キー-値の注意メカニズムによりさらに先に進みました。

セカンドステージOK＆IDAO

大会の第XNUMXステージはほぼ連続して行われたので、まとめて見ることにした。

まず、私と新しく買収したチームは、Mail.ru 社の印象的なオフィスに到着しました。そこで私たちの仕事は、テキスト、写真、コラボレーションという第 2 段階の 5 つのトラックのモデルを組み合わせることでした。 このために XNUMX 日強が割り当てられましたが、それは非常に短いことが判明しました。 実際、合併による利益は得られず、第 XNUMX 段階の結果を再現することしかできませんでした。 最終的にはXNUMX位になりましたが、テキストモデルは使えませんでした。 他の参加者の解決策を見た後、テキストをクラスタリングしてコラボレーション モデルに追加してみる価値があると思われました。 このステージの副作用として、新たな印象、クールな参加者や主催者との出会いやコミュニケーション、そして深刻な睡眠不足があり、これがIDAOの最終ステージの結果に影響を与えた可能性があります。

IDAO 2019 最終ステージの課題は、空港での Yandex タクシー運転手の注文待ち時間を予測することでした。 ステージ 2 では、3 つのタスク = 3 つの空港が特定されました。 空港ごとに、2 か月間のタクシー注文数に関する分単位のデータが提供されます。 そしてテストデータとして、過去1,5週間の翌月分と分単位の注文データが与えられました。 時間がほとんどなく (XNUMX 日)、タスクは非常に具体的で、チームからコンテストに参加したのは XNUMX 人だけでした。その結果、終わりに向けて悲しい結果となりました。 興味深いアイデアには、天気、交通渋滞、Yandex タクシーの注文統計などの外部データを使用する試みが含まれていました。 主催者はこれらの空港が何なのかを明らかにしなかったが、多くの参加者はシェレメーチエヴォ、ドモジェドヴォ、ヴヌーコヴォのことだと思っていた。 この仮定は大会後に反駁されましたが、たとえばモスクワの気象データからの特徴により、検証とリーダーボードの両方で結果が向上しました。

まとめ

1. MLの大会はクールで面白いですね！ ここでは、データ分析のスキルや、巧妙なモデルやテクニックを活用することができます。常識的なことは歓迎されます。
2. ML はすでに膨大な知識体系であり、指数関数的に増加しているようです。 私はさまざまな分野 (信号、写真、表、テキスト) に精通するという目標を自分に設定しましたが、勉強することがどれほどあるかはすでに認識していました。 たとえば、これらのコンテストの後、私はクラスタリング アルゴリズム、勾配ブースティング ライブラリを操作するための高度なテクニック (特に、GPU 上の CatBoost を操作する)、カプセル ネットワーク、クエリ キー値の注意メカニズムなどを研究することにしました。
3. kaggleだけではだめ！ 少なくとも T シャツを獲得するのが簡単なコンテストは他にもたくさんあり、他の賞品を獲得するチャンスも多くあります。
4. 通信する！ 機械学習とデータ分析の分野にはすでに大規模なコミュニティがあり、Telegram、Slack にはテーマ別グループがあり、Mail.ru、Yandex、その他の企業の真剣な人々が質問に答え、初心者やこの分野で道を歩み続ける人たちを支援します。知識の。
5. 前のポイントに触発されたすべての人に、訪問することをお勧めします データフェスト — 10月11日とXNUMX日にモスクワで開催される大規模な無料カンファレンス。

出所： habr.com