Skibidi、フロス、JavaScript を学習して社内ハッカソンで優勝した方法

VK には、VKontakte の社員のみが参加できる社内ハッカソンという素晴らしい伝統があります。 今年優勝したチームを代表してハッカソンについてお話します。このチームは疲労で倒れてしまいましたが、ストーリー カメラのダンス動作検出器を試すことに成功しました。

私の名前は ポール、私はトップの VKontakte 研究チームを率いており、ハッカソンに対して温かい態度を持っています。参加者 (Junction またはいくつかのディープハック) として、そして最近ではキュレーター (VK ハッカソンまたはジャンクションでの VKontakte のケース - ちなみに、これが初めてでした)私はそこにロシアの会社に参加しました）。 私たちは誰でも参加できる VK ハッカソンを開催して XNUMX 年目になります (最後にエルミタージュの総本部に登ったのはこの時です)。技術チームのかなりの部分が VK に入社する前に参加していました。

内部ハッカソンでは、チーム自体がプラットフォームをさまざまに試し、さまざまなアイデアをテストし、通常は楽しむことができます。 重要な違いは、ソリューションを VK にさらに統合できるため、興味深いプロトタイプを実現する機会が得られることです。

ハッカソンはシンガー ハウスで一日中開催されますが、週の真ん中になると本社は真夜中の運動に変わります。 朝、清掃員たちが驚いて周囲を見回す様子は面白い。午前 6 時にいつもは誰もいないオフィスが、突然、ゾンビのように動き回り、「あと XNUMX 時間だ!」と叫ぶ毛むくじゃらの人々でいっぱいになることがわかりました。 あるいは、午前 XNUMX 時にキッチンに入ると、エネルギードリンク、ピザ、パニックなど、授業中の大学の寮のような匂いが漂います。 もちろん、これは日常的に起こりますが、これほど大規模になることはまれです。

過去 2019 回の社内ハッカソンが夏に開催されました。 38 年、私たちは些細なことで時間を無駄にせず、冬季ハッカソンも開催することにしました。ハッカソンは XNUMX 回より XNUMX 回のほうがずっと良いです。これは、通常のリズムでは十分な時間がないアイデアを実験して実装する素晴らしい機会だからです。 ルールも変更されました。以前はチームのメンバーは最大 XNUMX 人でしたが、今年は XNUMX 人になりました。ただし、XNUMX 人はコードを書かず、別のことに特化しています。 デザイナー、プロダクトマネージャー、テスター、マーケティング担当者などをチームに招待することが可能でした。 今回のハッカソンには合計XNUMXチームが参加しました。

Dreamtim (正確には 38 のうちの XNUMX つ)

私たちは～と合意に達した 丹栄 そして私たちは一緒に確信しました エゴール и ティオマ チームに参加する。 予想通り、モデルは私たちが担当し、iOSはEgorが担当し、プロデュースとデザインはTyomaが担当しました。 モバイル開発 + デザイン + 少しの機械学習とバックエンドが 2k19 ハッカソンの成功の鍵です。

今年になっても、メディア（私たちが参加した）、コミュニケーション、インフラストラクチャー、コンテンツ、エンターテインメントという、以前には存在しなかったトラックへの分割が登場しました。 私たちには強力なライバルがいました。 例えば、私たちはVKのシニアデザイナーから常に刺激を受けていました。 イリヤ彼は私たちの部屋にやって来て、チームのアイデアのプロトタイプを見せてくれました。

アイデア

— 私は参加したほぼすべてのハッカソンで賞を受賞しましたが、この冬の社内ハッカソンでも同じことを期待していました。 (Danya 自分に自信があった）

私たち (特にダニーナ) の当初のアイデアは次のとおりでした。音楽生成のトピックを探求し、すべてをデバイス上に置きたいと考えていました。そうしないと、「バックエンドすぎる」ことになります。 ハッカソンはブレインストーミングから始まり、何が思いつくかを考えました。 音楽を生成することは興味深いですが、それをユーザーに依存させたいと考えています。 いくつかのボタン？ 画面に絵を描いて、それをもとに音楽を生成することもできますか? 同時に、音楽チームのメンバーから、必要なトラックを追加する方法を学びました。 しかし、それはまだ完全に正しいとは思えませんでした。 隣のチームはラップトップで元気よく何かに取り組んでおり、イライラを引き起こしていました。

— エアギターをギターを弾いているかのように認識し、それに応じてギターの音を演奏するとどうなるでしょうか？ (テマ)

ビンゴ！ このアイデアは戦闘的であり、私たちはすべてを素晴らしい方法で調整する力​​を持っています。 モーション認識には次のものがあります ポーズネット、そして彼女はとても大丈夫です（モバイルフレンドリーでもあります）。 ふりをしてみよう！

ソリューション

主なタスクは、デバイス上にグリッドを作成し (本物である必要があります)、動きを認識することを学習することです。 Egor は移植を開始し、Tyoma はどのような動きを組み込むと面白いだろうか (ただのギター - 退屈です) を考え始め、Danya と私はそれらを認識し始めました。 しかし、これにはデータが必要です。 プロとアマチュアの違いは何ですか？ PRO には GPU を備えたクラスターがあります。これは XNUMX つであり、XNUMX つあります。PRO は、必要なときに自分自身でデータを収集します。 ダーニャは、認識された人物の生の座標データがカメラから記録されるスタンドを組織し、そして踊りました！ その夜、私たちはデンタルフロスのダンスを学びました。 スキビディ и ドゥッツァ.

動きを記録するための台として、仕事用のラップトップを使用しました。最初に、別の理解できない JS エラーを見たダニの顔を記録しました (彼はそれまで JS で XNUMX 行も書いていませんでした)。

— わかりません。レベルのエラーがあります。Python で print が消えてしまったのです。 (Danya)

夜のダンス（文字通り）

夜間にカメラの前で何時間も動き続ける様子を撮影しました。 彼らはそれを自分たちで録音し、フロアに徘徊した開発者を捕まえてダンスを強制しました。 XNUMX つの異なる組み合わせが得られました。次に、それらを区別する方法を学ばなければなりませんでした。

「私はXNUMX時間ごとに来て、彼らが生きているかどうかを確認しました。」 パシャは「私たちには軸がある！」と叫びました。 -そしてダーニャは全力で屈みました。 それからみんなでパイプを踊りました。 ダニールが力を使い果たしたとき、パシャは窓を開けてこう言いました。「皆さん、リフレッシュする必要があります。」 (マディーナ)

フィギュアのデータは前処理されています。脚は投げ出され、頭は平均化され、胴体を基準とした極座標に変換されます。 catboost を使用して、モデルからのデータ ストリームの XNUMX 秒間の抜粋を使用してモーション検出器をトレーニングしました。 今夜まで私たちはライブラリを使っていませんでしたが、それは戦闘用であることが判明し、iOS に入れることができました。

彼らは複数のクラスに分類することを教えましたが、XNUMX つのクラスはできるだけ退屈で、ただカメラの前でぶらぶらしているだけでした。 最も困難だったのは、「岩」の動きを記録することでした。私たちは無私無欲に頭を振ったため、しばらくすると頭が回転し始めました。 そして、彼らは「ヤギ」を持った手を出しましたが、これは無意味でした。ポーズネットには手全体にXNUMXつの点しかなく、指は表示されません。

— 午前3時ごろ、パシャは寝袋にもぐり込み、本物のカンガルーのように飛び跳ねながら、XNUMX時間もっぱらその中で動き回りました。 (マディーナ)

午前 8 時頃、私たちは小さな危機に見舞われました。すべてが壊れて何も機能しませんでしたが、その後、突然すべてが自動的に動作し始めました。 両方のモデルをアプリケーションに組み込むことが最大の課題であることが判明しました。Egor は文字通り締め切りの XNUMX 分前に組み立てを完了しました。 彼に発言権を与えましょう:

— このアイデアを見つけた後、すべてが非常にうまくいき、生産的に進みました。 彼らはグリッドをトレーニングしてダンスし、私はブラウザの JavaScript で PoseNet をストーリー カメラに直接接続しました。 最初のテスト実行はうまく機能し、驚くほど高速でした。 したがって、朝になって、意味のないテクスチャを操作しているときに WebView の WebGL が予期せずクラッシュし、解決策を見つける方法がないことが判明したとき、私はほとんど絶望に陥りました。 しかし、諦めるには遅すぎました。私たちはそのアイデアに燃えていました。 したがって、私たちは最後の力と最後のレッドブル缶を使って、CoreML に基づく代替モデルを外出先の iOS クライアントにドラッグし、ポーズをネイティブに追跡し始めました。これは、ポーズをダンスとともにモデルに送信するためです。そして出力で何らかの結果を取得します。 要するに、この作業をもう一度繰り返したのです。 もう XNUMX つの課題は XNUMX 番目のモデルで、入力として XNUMX を超える引数を突然期待し始めました。 Xcode は、直接使用するのが非現実的なインターフェイスを生成しました。 幸いなことに、Objective-C に関する私の知識は私を失望させず、洗練された解決策が見つかりました。 (Egor)

ピッチング

金曜日の午後 14 時に、プロジェクトに関するビデオのアップロードの締め切りがあったが、いくつかのチームが間に合わず失格となった。 そして14時40分には、この製品に関連するトラックキュレーターへのピッチを行いました。 ビデオチームと音楽チームのメンバーがいたのですが、彼らはピッチのすべてを気に入っているようでした。 私たちはトラックで XNUMX 位になり (とても素晴らしいプロジェクトがあるので XNUMX 位になりたかったのです!)、最終的に決勝に進出しました (トラックから XNUMX チームが出場権を得ました)。

— 今年、私は初めて社内ハッカソンのキュレーターを務めました。 控えめに言っておきますが、作品を評価するのは非常に困難でした。 例外なくどのチームも信じられないほどのレベルでした。 機能は単に技術的に先進的である必要はなく、単に「製品に近い」だけでなく、単に「当社の製品に役立つ可能性がある」だけでもよいのではありません。 受賞プロジェクトは、これらの基準をすべて同時に満たさなければなりません。 どうやら彼らは成功したようです。 (アンドルー)

午後５時４０分に最後の投球を行いました。 この時点までに、今度はチーム全体を対象とした別のデモを準備する必要があり、審査員はテクニカル ディレクター、プロダクト ディレクター、マーケティング ディレクターと異なりました。

夕方XNUMX時にすべてが終わり、結果については何も知らずに家に帰って寝ました。

結果はついに

結果は月曜日にのみ発表されました。 まず、彼らはトラックの勝者を表彰し（私たちの場合ではありません - 思い出させてください、私たちはXNUMX位でした）、次に聴衆の投票のリーダー（私たちではありません）、そしてXNUMX番目（これも私たちではありません）、 XNUMX番目に（これも私たちではありません）、そして最後に私たちです。

私たちが競合しなければならなかったプロジェクトは次のとおりです。

2位 - 応答性の高い音声アシスタント。
3 位 - 内部エラーのタイムライン。
People's Choice Award は、今後のチャット ミーティングを思い出させるものです。

— これは私がこれまで参加した中で最高のハッカソンです。 ジャンクションよりもはるかに多くのドライブがありました。 (Danya)

— まったく異なる部門の同僚と働くのは本当に楽しかったです。これまで機械学習に触れたことはなく、ある種の魔法のように思えましたが、今はそうではありません。 (Egor)

— このような素晴らしいプロジェクトの素晴らしいチームの一員になれたことは、とてもクールでした。 私は XNUMX 日でデザイナー、ビデオグラファー、サウンド エンジニア、編集者、ミュージシャン、そしてコピーライターになることができました。 なんとか眠れたのも私だけでした。 (テマ)

ハッカソン後の生活

ハカソンで開発されたプロジェクトのほとんどは、焦点の変更、実装の複雑さ、実装における予期せぬ何かなど、さまざまな理由で販売に至りません。 社内ハッカソンも例外ではありません。

それにもかかわらず、日の目を見たプロジェクトをリストします。

• みんなのお気に入り ビンチ;
• ユーザー互換性チェック、14 年 2018 月 XNUMX 日に発売されました。
• красивые ポスター 短いエントリーの場合。
• そして、喜んでお話ししたい内部機能も多数ありますが、それはできません :)

出所： habr.com