物理学者からデータサイエンスへ（科学エンジンからオフィスプランクトンまで）。 第三部

この写真はアーサー・クジンによるものです (n01z3）、ブログ投稿の内容を非常に正確に要約しています。その結果、次の物語は、非常に有益で専門的なものとしてではなく、金曜日の物語のように認識されるはずです。また、本文中に英単語が豊富に含まれていることにも注目です。正しく翻訳する方法がわからないものもありますし、翻訳したくないものもあります。

最初の部分。
第二部

学術環境から産業環境への移行がどのように起こったかが、最初の 2 つのエピソードで明らかにされます。この会話では、次に何が起こったかについての会話になります。

2017年XNUMX月のことでした。当時、私はXNUMX年ちょっとの実務経験があり、サンフランシスコの会社で働いていました。 トゥルーアコード シニアのように。データサイエンティスト。

TrueAccord は債権回収のスタートアップです。簡単に言えば、回収業者です。コレクターは通常、頻繁に電話をかけます。私たちはたくさんのメールを送りましたが、電話はほとんどしませんでした。各電子メールは同社のウェブサイトに誘導され、そこで債務者は借金の割引を提案され、さらには分割払いも許可されました。このアプローチにより、収集が改善され、規模の拡大が可能になり、訴訟のリスクが軽減されました。

会社は普通でした。製品は透明です。経営陣は正気だよ。場所は良いです。

平均して、渓谷の人々は 1 か所で約 1 年半働きます。つまり、あなたが働いている会社はどれも小さな一歩にすぎません。このステップでは、資金を集め、新しい知識、スキル、人脈、履歴書に記入する欄を獲得します。この後、次のステップに移行します。

TrueAccord 自体では、私は電子メール ニュースレターにレコメンデーション システムを添付したり、電話での優先順位付けに携わったりしました。影響は理解でき、A/B テストを通じてドル単位で非常に正確に測定されました。私が着任する前は機械学習がなかったので、私の仕事への影響は悪くありませんでした。繰り返しになりますが、すでに大幅に最適化されているものよりも、何かを改善する方がはるかに簡単です。

これらのシステムで 150 か月間働いた後、私の基本給は 163 ドルから XNUMX ドルに引き上げられました。コミュニティの中で オープンデータサイエンス (ODS) 163ドルに関するミームがあります。ここから足を使って成長していきます。

これらすべては素晴らしかったが、どこにもつながらなかったか、あるいは、つながったがそこには至らなかった。

私は TrueAccord と会社、そしてそこで一緒に働いた人々の両方をとても尊敬しています。彼らからは多くのことを学びましたが、収納代行会社の推薦システムに長く携わりたくはありませんでした。このステップから、何らかの方向に進む必要がありました。前方と上方ではない場合は、少なくとも横方向に。

何が気に入らなかったのでしょうか？

1. 機械学習の観点から見ると、これらの問題は私を興奮させるものではありませんでした。私はファッショナブルで若々しいもの、つまりディープラーニングやコンピュータービジョン、科学や少なくとも錬金術に近いものを望んでいました。
2. 新興企業はもちろん、回収業者であっても、高度な資格を持った人材を雇用するのに問題を抱えています。スタートアップとしては、それほど多くの利益を得ることができません。しかし、回収業者としては地位が低下します。ざっくり言うと、デート中の女の子に「どこで働いてるの？」と聞かれたら？あなたの答え: 「Google 上で」は、「回収業者」よりも桁違いに聞こえます。私と違って、Google や Facebook で働く友人たちにとって、彼らの会社の名前は、講演者としてカンファレンスやミートアップに招待されたり、LinkedIn にもっと興味深い人が書いたりするような扉を開いていたという事実が少し気になりました。会ってお茶を飲みながらお話しましょうという申し出があった。私は直接知らない人とコミュニケーションをとるのが大好きです。ですから、サンフランシスコにお住まいの方は、ためらわずに書いてください。コーヒーを飲みに行きましょう。
3. 社内では私の他に 3 人のデータ サイエンティストが働いていました。私は機械学習に取り組んでおり、彼らは他のデータ サイエンスのタスクに取り組んでいました。これは、ここから明日にかけてどのスタートアップでも共通です。その結果、彼らは機械学習をあまり理解していませんでした。しかし、成長するためには、最終的には誰かとコミュニケーションを取り、記事や最新の動向について話し合ったり、アドバイスを求めたりする必要があります。

何が利用可能でしたか？

1. 教育: コンピューターサイエンスではなく物理学。
2. 私が知っていた唯一のプログラミング言語は Python でした。 C++ に切り替える必要があると感じていましたが、それでも踏み切ることができませんでした。
3. 業界での勤務は1年半。さらに、仕事ではディープラーニングもコンピュータービジョンも勉強しませんでした。
4. 履歴書にはディープ ラーニング / コンピューター ビジョンに関する記事は 1 つもありません。
5. Kaggle Master の実績がありました。

何がしたかったのですか？

1. 多くのネットワークをトレーニングする必要があり、コンピューター ビジョンに近いポジションです。
2. Google、Tesla、Facebook、Uber、LinkedInなどの大企業の方が良いでしょう。ピンチではありますが、スタートアップなら大丈夫です。
3. 私はチーム内で最大の機械学習の専門家である必要はありません。学習プロセスをスピードアップするために、上級の同志、指導者、あらゆる種類のコミュニケーションが非常に必要でした。
4. 業界経験のない卒業生の年間報酬総額が 300 万ドルから 500 万ドルであるというブログ記事を読んだ後、私も同じ範囲に参入したいと思いました。そんなに気になるわけではありませんが、これはよくある現象だと言われていますが、私にはそれが少ないので、これは信号です。

この課題は完全に解決可能に思えたが、それはどんな会社にでも飛び込めるという意味ではなく、飢えていればすべてがうまくいくという意味だった。つまり、何十、何百回の試みと、すべての失敗とすべての拒否による痛みを利用して、集中力を高め、記憶力を向上させ、36日をXNUMX時間に延長する必要があります。

私は履歴書を修正し、送信し、面接に行き始めました。私は人事部とのコミュニケーションの段階でそのほとんどを通り過ぎました。 C++ を必要とする人がたくさんいましたが、私はそれを知りませんでしたし、C++ が必要なポジションにはあまり興味がないだろうと強く感じていました。

同じ頃、Kaggle のコンテストの種類に段階的な移行があったことは注目に値します。 2017 年以前は表形式のデータが多く、画像データはほとんどありませんでしたが、2017 年以降はコンピューター ビジョンのタスクが多くなりました。

人生は次のような流れで流れました。

1. 日中は仕事をしましょう。
2. 技術的な画面やオンサイトの場合は、休憩を取ります。
3. 夜と週末 Kaggle + 記事 / 書籍 / ブログ投稿

2016 年の終わりは、私がコミュニティに参加したという事実によって特徴づけられました オープンデータサイエンス (ODS)、多くのことが簡素化されました。コミュニティには豊富な業界経験を持つ人がたくさんいるので、愚かな質問をたくさんして、賢明な答えをたくさん得ることができました。また、あらゆる分野の非常に強力な機械学習のスペシャリストがたくさんいます。そのおかげで、予想外にも、ODS を通じて、データ サイエンスに関する定期的な綿密なコミュニケーションで問題を解決することができました。これまで、ML に関して言えば、ODS は仕事で得られるものよりも何倍も多くのものを私に与えてくれました。

さて、いつものように、ODS には Kaggle や他のサイトのコンペティションに十分なスペシャリストがいます。チームで問題を解決する方が楽しくて生産的であるため、ジョーク、悪口、ミーム、その他のオタク的なエンターテイメントを利用して、問題を 1 つずつ解決し始めました。

2017年XNUMX月 - セレガ・ムシンスキーとのチームで - XNUMX位 Dstl 衛星画像の特徴検出。 Kaggle の金メダル + 20 人で $XNUMXこのタスクでは、UNet を介した衛星画像 + バイナリ セグメンテーションの処理が改善されました。 このトピックに関するハブレのブログ投稿。

同じ 3 月、私は NVidia の Self Driving チームの面接に行きました。私は物体検出に関する質問に非常に苦労しました。知識が足りませんでした。

幸運なことに、同時に、同じ DSTL からの航空画像に関する物体検出コンテストが始まりました。神ご自身が問題を解決し、アップグレードするように命じました。夕方と週末の1か月。知識を身につけて2位に終わりました。この大会にはルールに興味深いニュアンスがあり、そのため私はロシアの連邦チャンネルとそうでないチャンネルで放映されることになりました。乗りました ホーム Lenta.ru、そして多くの印刷物やオンライン出版物に掲載されています。 Mail Ru Group は私の費用と私財を投じて少し前向きな PR を受け、ロシアの基礎科学は 12000 ポンドで充実しました。いつものようにこのテーマで書きました Hubr に関するブログ投稿。詳細については、そこにアクセスしてください。

同時に、テスラの採用担当者から連絡があり、コンピューター ビジョンのポジションについて話したいと申し出てきました。私も同意しました。私は持ち帰り、2 つの技術画面、オンサイト面接を駆け抜け、テスラに AI ディレクターとして採用されたばかりのアンドレイ カルパシーと非常に楽しい会話をしました。次の段階は身元調査です。その後、イーロン・マスクは私の申請を個人的に承認する必要がありました。テスラには厳格な機密保持契約 (NDA) があります。
バックグラウンドチェックに合格しませんでした。採用担当者は、私がオンラインでよくチャットしており、機密保持契約に違反していると言いました。テスラの面接について私が発言した唯一の場所は ODS でした。そのため、現在の仮説では、誰かがスクリーンショットを撮ってテスラの人事部に手紙を書き、私は危害を加えられてレースから外されたのではないかと考えられています。それは残念でした。今はそれがうまくいかなくてよかったと思っています。私の現在の立場ははるかに優れていますが、アンドレイと一緒に仕事をするのは非常に興味深いでしょう。

その直後、Kaggleの衛星画像コンテストに飛び込みました。 Planet Labs - 宇宙からアマゾンを理解する。その問題は単純で非常に退屈で、誰も解決しようとしませんでしたが、誰もが無料の金メダルや賞金を欲しがりました。そこで、Kaggle Masters のチーム 7 名で、鉄を投げることに同意しました。私たちは 480 のネットワークを「fit_predict」モードでトレーニングし、それらから XNUMX 階建てのアンサンブルを作成しました。 XNUMX位で終わりました。 Arthur Kuzin によるソリューションを説明するブログ投稿。ちなみに、作者として広く知られるジェレミー・ハワード氏は、 Fast.AI 23を終えた。

コンテスト終了後、AdRoll で働いていた友人を通じて、AdRoll の敷地内でミートアップを企画しました。そこでは、Planet Labs の代表者が、コンテストの組織とデータマーキングがどのようなものであるかについて話しました。 Kaggle で働き、コンテストを監督するウェンディ・クワン氏は、それをどう見ていたかについて語った。私たちのソリューション、トリック、テクニック、技術的な詳細について説明しました。聴衆の 23 分の XNUMX がこの問題を解決したため、質問は要点を絞って行われ、全体的にはすべてが素晴らしかったです。ジェレミー・ハワードもいました。彼はモデルの積み方を知らなかったし、このアンサンブルの構築方法をまったく知らなかったため、XNUMX 位に終わったことが判明しました。

渓谷での機械学習に関する交流会は、モスクワでの交流会とは大きく異なります。原則として、谷での交流会は最下位です。しかし、私たちのものはうまくいきました。残念ながら、ボタンを押してすべてを記録するはずだった同志はボタンを押しませんでした:)

その後、同じPlanet Labsのディープラーニングエンジニアのポジションに招待され、すぐに現場に行きました。合格しませんでした。拒否の文言は、深層学習に関する知識が十分ではないというものです。

私は各コンテストをプロジェクトとしてデザインしました。 LinkedIn。 DSTL 問題については、次のように書きました。 プレプリント そしてarxivに投稿しました。記事ではありませんが、それでもパンです。また、他の人たちにも、コンテスト、記事、スキルなどを通じて LinkedIn のプロフィールを充実させることをお勧めします。 LinkedIn プロフィールに含まれるキーワードの数と、ユーザーがあなたにメッセージを送信する頻度の間には正の相関関係があります。

冬と春には非常に技術的でしたが、8月には知識と自信の両方が得られました。

7 月末、Lyft でデータ サイエンス マネージャーとして働いていた男性が LinkedIn で私に連絡をくれて、コーヒーを飲みながら人生や Lyft について、TrueAccord について話さないかと誘われました。話し合った。彼は、データ サイエンティストのポジションについてチームとの面接を申し出ました。私は、朝から晩までコンピュータビジョン/ディープラーニングをしている限り、このオプションは機能すると言いました。彼は自分の側に異議はなかったと断言した。

私が履歴書を送ると、彼はそれを Lyft の社内ポータルにアップロードしました。その後、採用担当者から電話があり、履歴書を開いて私について詳しく知るように言われました。最初の言葉から、彼にとってこれが形式的なものであることは明らかでした。なぜなら、彼の履歴書から「私は Lyft の人材ではない」ことが明らかだったからです。その後、私の履歴書はゴミ箱行きになったと思います。

インタビューを受けている間ずっと、私はODSでの失敗や転落について話し合い、彼らは私にフィードバックをくれ、あらゆる面でアドバイスをくれて助けてくれました。とはいえ、いつものように、そこには多くの友好的な荒らしもありました。

ODS メンバーの 24 人が、Lyft のエンジニアリング ディレクターである彼の友人に私をつないでくれると申し出てくれました。否や言うほどない。私は昼食のために Lyft に来ていますが、この友人のほかに、ディープ ラーニングの大ファンであるデータ サイエンスの責任者とプロダクト マネージャーもいます。お昼はDLでおしゃべりしました。そして、私は半年間 7 時間 XNUMX 日ネットワークをトレーニングし、立方メートルの文献を読み、多かれ少なかれ明確な結果が得られるタスクを Kaggle で実行してきたので、新しい記事とその両方の観点からディープ ラーニングについて何時間でも話すことができました。実践的なテクニック。

昼食後、彼らは私を見てこう言いました - あなたがハンサムであることはすぐにわかります、私たちと話したいですか？さらに、持ち帰り+技術画面をスキップできることは明らかであると付け加えました。そしてすぐに現場に招待されるとのこと。私も同意しました。

その後、その採用担当者から現場面接の日程調整の電話がかかってきましたが、彼は不満そうでした。彼は頭の上を飛び越えないようにと何かつぶやいた。

来た。現場インタビュー。さまざまな人たちとの5時間のコミュニケーション。深層学習や機械学習の原理に関する質問は 1 つもありませんでした。 Deep Learning / Computer Vision はないので、興味がありません。したがって、インタビュー結果は直交しました。

この採用担当者から電話があり、「おめでとうございます、2 回目のオンサイト面接に合格しました」と言われました。これはすべて驚くべきことです。 2番目のオンサイトとは何ですか？そんなことは聞いたことがありません。私は行った。数時間ありますが、今回はすべて従来の機械学習についてです。その方が良いです。しかし、それでも面白くありません。

採用担当者は、私が 3 回目のオンサイト面接に合格したことを祝福の電話で伝え、これが最後になると誓いました。見に行ったらDLもCVもありました。

何か月も前からオファーは無いと言われたことがありました。技術的なトレーニングではなく、ソフトなトレーニングをしていきます。ソフト面ではなく、そのポジションが廃止されるか、会社がまだ採用を行っていないが、単に市場と候補者のレベルをテストしているだけであるという事実です。

8月中旬。ビールはちゃんと飲みましたよ。暗い考え。 XNUMXか月が経過しましたが、まだ内定はありません。ビールを飲みながら創造性を発揮するのは良いことです、特に創造性が奇妙である場合には。あるアイデアが頭に浮かびます。私はそれを、当時 MIT の博士研究員だった Alexey Shvets と共有しました。

最寄りの DL/CV カンファレンスに参加し、その一環として開催されるコンテストを観戦し、何かをトレーニングして提出したらどうなるでしょうか?そこにいるすべての専門家はこれに基づいてキャリアを築き、何ヶ月も、あるいは何年もこれを行っているため、私たちにはチャンスがありません。でも怖くないよ。私たちは意味のある提出物を作成し、最下位まで進み、その後、プレプリントや自分たちがいかに他の人と違っているかについての記事を書き、自分たちの決定について話します。そして、その記事はすでに LinkedIn とあなたの履歴書に掲載されています。

つまり、関連性があると思われ、履歴書にはより正確なキーワードが含まれているため、技術部門に到達する可能性がわずかに増加するはずです。コードと提出物は私から、テキストは Alexey からのものです。もちろんゲームですが、なぜそうではないのでしょうか？

否や言うほどない。私たちがグーグルで検索した最寄りのカンファレンスは MICCAI で、実際にそこでコンテストが開催されていました。最初のものを打ちました。そうだった 消化管画像解析（GIANA）。このタスクには 3 つのサブタスクがあります。締め切りまであと8日となりました。朝酔いが覚めましたが、そのアイデアは諦めませんでした。私は Kaggle からパイプラインを取得し、衛星データから医療データに切り替えました。 「fit_predict」。 Alexey は各問題に対する解決策の XNUMX ページの説明を用意し、私たちはそれを送りました。準備ができて。理論的には、息を吐くことができます。しかし、同じワークショップに別のタスクがあることが判明しました（ロボット機器のセグメンテーション) 4 つのサブタスクがあり、彼女の期限が XNUMX 日繰り上げられたということです。つまり、そこで 'fit_predict' を実行して送信できます。それが私たちがやったことです。

Kaggle とは異なり、これらのコンテストには独自の学術的な特徴がありました。

1. リーダーボードはありません。提出物は電子メールで送信されます。
2. チームの代表者がワークショップの会議で解決策を提示しに来ない場合、あなたは除名されます。
3. リーダーボード上のあなたの順位はカンファレンス中にのみ判明します。一種の学術ドラマ。

MICCAI 2017カンファレンスがケベックシティで開催されました。正直に言うと、XNUMX月になると私は燃え尽き症候群になり始めていたので、XNUMX週間仕事を休んでカナダに行くというアイデアは面白そうに思えました。

カンファレンスに来ました。私はこのワークショップに来ました、誰も知りません、隅に座っています。誰もがお互いのことを知っており、コミュニケーションをとり、気の利いた医学的な言葉を投げかけます。第一回大会の振り返り。参加者は自らの決断について語り合います。そこはキラキラしていてカッコいいです。私の番。そしてなんだか恥ずかしくさえ感じます。彼らは問題を解決し、それに取り組み、科学を進歩させました。そして私たちは科学のためではなく、履歴書を強化するために、過去の開発から純粋に「適合予測」しています。

彼は出てきて、私も医学の専門家ではないと言い、時間を無駄にしたことを謝罪し、解決策を示した 1 枚のスライドを私に見せました。私はホールに降りていきました。

彼らは最初のサブタスクを発表します - 私たちは僅差で最初です。
第２弾、第３弾も発表です。
彼らは3番目を発表します - 再び最初に、そして再びリードを付けます。
一般は最初です。

公式プレスリリース。

聴衆の中には笑顔で私を尊敬の目で見ている人もいます。他の人たちは、明らかにこの分野の専門家と考えられており、この仕事で助成金を獲得し、長年この仕事を続けてきた人たちで、少し表情を歪めていました。

次は 2 番目のタスクです。このタスクには 3 つのサブタスクがあり、4 日前倒しされています。

ここで私も謝罪し、もう一度スライドを見せました。
同じ話です。 2 つのファースト、1 つのセカンド、共通のファースト。

おそらく回収会社が医療画像コンテストで優勝するのは史上初だと思います。

そして今、私はステージに立っていて、卒業証書のようなものを手渡され、私は衝撃を受けています。いったいどうしてそうなるの？これらの学者たちは納税者のお金を使って、医師の仕事の質、つまり理論上は私の平均余命を簡素化し、質を向上させるために働いているのに、ある団体が数晩のうちにこの学術スタッフ全員をイギリス国旗に引き裂いたのです。

これに加えて、他のチームでは、これらのタスクに何ヶ月も取り組んできた大学院生は、人事担当者にとって魅力的な履歴書を持っている、つまり技術部門に簡単にアクセスできるということです。そして私の目の前には、新たに受信したメールがあります。

A Googler recently referred you for the Research Scientist, Google Brain (United States) role. We carefully reviewed your background and experience and decided not to proceed with your application at this time.

通常、私はステージからすぐに聴衆に「私がどこで働いているか知っている人はいますか？」と尋ねます。コンテストの主催者の 1 人は、TrueAccord が何であるかを Google で調べました。残りはそうではありません。私はさらにこう続けます。「私は債権回収会社で働いていますが、仕事ではコンピューター ビジョンもディープ ラーニングも行っていません。そして、さまざまな意味で、これは Google Brain と Deepmind の人事部門が私の履歴書を選別し、私に技術的なトレーニングを披露する機会を与えないために起こります。 」

彼らは証明書を手渡し、休憩しました。学者のグループが私を脇に引き寄せました。これは Deepmind の Health グループであることが判明しました。彼らは非常に感銘を受け、チーム内のリサーチ エンジニアの欠員についてすぐに私に話したいと考えました。 (会話はしました。この会話は 6 か月間続き、持ち帰り、クイズには合格しましたが、技術画面で途中で打ち切られました。コミュニケーションの開始から技術画面までの 6 か月は長いです。長い待ち時間が味を生みます。ロンドンのディープマインドの研究エンジニア、TrueAccord を背景に強力なステップアップがありましたが、現在の立場を背景にするとステップダウンです。あれから XNUMX 年が経過した距離から見ると、それは良いことですそうではなかったということ。）

まとめ

同じ頃、Lyft からオファーを受け取り、承諾しました。
MICCAIとの2つのコンテストの結果に基づいて、以下が発表されました。

1. 深層学習を使用したロボット支援手術における器具の自動セグメンテーション
2. ディープ畳み込みニューラル ネットワークを使用した血管異形成の検出と位置特定
3. 2017 ロボット機器セグメンテーション チャレンジ

つまり、アイデアの突飛さにもかかわらず、コンペを通じて記事やプレプリントを段階的に追加することはうまく機能します。そしてその後の数年間で、私たちは状況をさらに悪化させました。

私はここ数年、Lyft で自動運転車のためのコンピューター ビジョン/ディープ ラーニングに取り組んでいます。つまり、欲しかったものを手に入れました。任務、地位の高い会社、強力な同僚、その他すべての恩恵。

この数か月間、私は Google、Facebook、Uber、LinkedIn の両方の大企業と、そしてさまざまな規模のスタートアップ企業とコミュニケーションをとってきました。

ここ数ヶ月ずっと痛かったです。宇宙は毎日、あまり楽しくないことをあなたに伝えます。定期的な拒絶、定期的な間違い、これらすべては持続的な絶望感によって味付けされます。成功するという保証はありませんが、自分は愚か者であるという感覚があります。大学卒業後すぐに就職活動をしたときのことを思い出します。

多くの人が渓谷で仕事を探していたと思いますが、彼らにとってはすべてがはるかに簡単でした。私の意見では、その秘訣はこれです。自分が理解し、豊富な経験があり、履歴書に同じことが記載されている分野で仕事を探しているのであれば、問題はありません。手に取って見つけました。空席がたくさんあります。

しかし、あなたにとって新しい分野で仕事を探している場合、つまり、知識も人脈もなく、履歴書に何か間違っていることが書かれている場合、この瞬間、すべてが非常に興味深いものになります。

現在、採用担当者は定期的に私に手紙を書いて、私が現在やっているのと同じことを別の会社でやろうと申し出てきます。まさに転職の時期です。しかし、自分がすでに得意なことをやるのは意味がありません。何のために？

しかし、私が望んでいるのは、やはり知識も履歴書のセリフもありません。これがどのように終わるのか見てみましょう。すべてがうまくいったら、次の部分を書きます。 🙂

出所： habr.com