Yandex 常駐プログラム、または経験豊富なバックエンダーが ML エンジニアになる方法

Yandex は、経験豊富なバックエンド開発者を対象とした機械学習の研修プログラムを開始します。 C++/Python で多くの記述を行っており、その知識を ML に適用したい場合は、実践的な研究の方法を教え、経験豊富なメンターを提供します。 主要な Yandex サービスに取り組み、線形モデルや勾配ブースティング、レコメンデーション システム、画像、テキスト、音声を分析するためのニューラル ネットワークなどの分野のスキルを習得します。 また、オフラインとオンラインのメトリクスを使用してモデルを適切に評価する方法も学習します。

プログラムの期間は 40 年間で、参加者はその間、Yandex のマシン インテリジェンスおよび研究部門で働き、講義やセミナーに参加します。 参加には報酬が支払われ、今年 1 月 XNUMX 日から週 XNUMX 時間のフルタイム勤務が求められます。 申し込みは受付中です そして1月XNUMX日まで続きます。 

そして今度は、どのような聴衆を待っているのか、作業プロセスはどのようなものになるのか、一般的にバックエンド スペシャリストが ML のキャリアにどのように切り替えることができるのかについて、さらに詳しく説明します。

フォーカス

Google や Facebook など、多くの企業が常駐プログラムを実施しています。 これらは主に、ML 研究への一歩を踏み出そうとしているジュニアおよび中級レベルの専門家を対象としています。 私たちのプログラムはさまざまな視聴者を対象としています。 すでに十分な経験を積んでおり、産業用機械学習の問題を解決する上で、科学者のスキルではなく実践的なスキルを獲得するには、自分のコンピテンシーを ML に移行する必要があると確信しているバックエンド開発者を招待します。 だからといって、若手研究者を支援しないというわけではありません。 私たちは彼らのために別のプログラムを企画しました - 賞品 Ilya Segalovich にちなんで名付けられ、Yandex で作業することもできます。

入居者はどこで働くことになりますか？

機械知能研究部門では、私たち自身がプロジェクトのアイデアを開発します。 インスピレーションの主なソースは、科学文献、論文、研究コミュニティの動向です。 同僚と私は読んだ内容を分析し、科学者が提案した方法をどのように改善または拡張できるかを検討しています。 同時に、私たち一人一人が自分の知識と興味の分野を考慮に入れ、重要だと考える分野に基づいてタスクを策定します。 プロジェクトのアイデアは通常、外部リサーチの結果と自分自身の能力の交差点で生まれます。

このシステムは、Yandex サービスの技術的問題が発生する前に大部分が解決されるため、優れています。 サービスが問題に直面すると、その担当者が私たちのところにやって来ますが、ほとんどの場合、私たちがすでに準備したテクノロジーを採用し、残るのは製品に正しく適用することだけです。 何か準備ができていない場合は、どこから「掘り始め」るべきか、どの記事で解決策を探すべきかを少なくともすぐに思い出します。 ご存知のとおり、科学的アプローチは巨人の肩の上に立つことです。

何をするか

Yandex では、特に当社の経営陣においては、ML に関連するすべての領域が開発されています。 私たちの目標は、さまざまな製品の品質を向上させることであり、これがすべての新しい製品をテストする動機となります。 さらに、新しいサービスも定期的に登場します。 したがって、講義プログラムには、産業開発における機械学習の主要な (十分に証明された) 分野がすべて含まれています。 コースの私の部分を編集するとき、私はデータ分析学校での指導経験、および他の SHAD 教師の資料や著作物を利用しました。 私の同僚も同じことをしたことを私は知っています。

最初の数か月間は、コース プログラムに従ったトレーニングが勤務時間の約 30% を占め、次に約 10% を占めます。 ただし、ML モデル自体の操作にかかる時間は、関連するすべてのプロセスの約 XNUMX 分の XNUMX であることを理解しておくことが重要です。 これには、バックエンドの準備、データの受信、データを前処理するためのパイプラインの作成、コードの最適化、特定のハードウェアへの適応などが含まれます。ML エンジニアは、言うなればフルスタック開発者です (機械学習のみに重点を置いています)。 、最初から最後まで問題を解決できる。 既製のモデルを使用する場合でも、おそらくさらに多くのアクションを実行する必要があります。たとえば、複数のマシン間で実行を並列化する、ハンドル、ライブラリ、またはサービス自体のコンポーネントの形式で実装を準備するなどです。

学生の選択
ML エンジニアになるには、まずバックエンド開発者として働いたほうが良いという印象を持っているとしたら、これは真実ではありません。 サービスの開発、学習、市場での需要が非常に高いという実際の経験がなくても、同じ ShAD に登録することは優れた選択肢です。 Yandex スペシャリストの多くは、このようにして現在の職に就くことになりました。 卒業後すぐに機械学習の分野での仕事を提供する準備ができている企業がある場合は、おそらくそのオファーを受け入れる必要があります。 経験豊富な指導者がいる良いチームに入り、多くを学ぶ準備をしてください。

通常、ML の実行を妨げるものは何ですか?

バックエンダーが ML エンジニアを目指す場合、常駐プログラムを考慮せずに XNUMX つの開発分野から選択できます。

まず、教育コースの一環として勉強します。 レッスン Coursera を使用すると、基本的なテクニックの理解に近づくことができますが、この専門分野に十分に没頭するには、さらに多くの時間を費やす必要があります。 たとえば、ShADを卒業する。 長年にわたって、ShAD は機械学習に関するさまざまな数のコースを持っていました - 平均すると約 XNUMX つです。 卒業生の意見も含め、どれも本当に重要で役に立つものです。 

次に、XNUMX つまたは別の ML アルゴリズムを実装する必要がある戦闘プロジェクトに参加できます。 しかし、IT 開発市場にはそのようなプロジェクトはほとんどなく、ほとんどのタスクでは機械学習が使用されていません。 ML 関連の機会を積極的に模索している銀行であっても、データ分析に取り組んでいる銀行はわずかです。 これらのチームのいずれかに参加できなかった場合、唯一の選択肢は、独自のプロジェクトを開始するか (ほとんどの場合、自分で期限を設定することになりますが、これは戦闘制作タスクとはほとんど関係ありません)、競争を開始することです。カグル。

実際、他のコミュニティメンバーとチームを組んで、コンテストに挑戦してください。 比較的簡単な - 特に、Coursera のトレーニングや前述のコースでスキルをバックアップしている場合。 各コンテストには締め切りがあります。これはあなたにとってのインセンティブとなり、IT 企業での同様のシステムへの準備となります。 これは良い方法ですが、実際のプロセスとは少し乖離しています。 Kaggle では、必ずしも完璧ではありませんが、事前処理されたデータが提供されます。 製品への貢献について考えようとしないでください。 そして最も重要なことは、実稼働に適したソリューションを必要としないことです。 アルゴリズムはおそらく機能し、精度も高いでしょうが、モデルとコードは、さまざまな部分をつなぎ合わせたフランケンシュタインのようなものになります。実稼働プロジェクトでは、構造全体の動作が非常に遅くなり、更新や拡張が困難になります (たとえば、言語と音声のアルゴリズムは、言語が発展するにつれて常に部分的に書き換えられます)。 企業は、リストされた作業があなた自身だけでなく (ソリューションの作成者であるあなたがこれを実行できることは明らかです) だけでなく、同僚の誰でも実行できるという事実に興味を持っています。 スポーツと産業プログラミングの違いについて議論します многоそして、Kaggle は正確に「アスリート」を教育します - たとえそれが非常にうまくやっていて、ある程度の経験を積むことを可能にします。

私は、教育プログラムによるトレーニングと、Kaggle などの「実戦での」トレーニングという XNUMX つの可能な開発ラインについて説明しました。 滞在プログラムは、これら XNUMX つの方法を組み合わせたものです。 ShADレベルの講義やセミナー、そして真に戦闘的なプロジェクトがあなたを待っています。

出所： habr.com