NVIDIA パベル・クレメンコフ氏: データ サイエンティストができることと、データ サイエンティストができるべきこととの間のギャップを縮めようとしています。

データ サイエンスとビジネス インテリジェンスの修士課程 Ozon Masters の XNUMX 回目の学生募集が始まりました。申し込みをやめてオンライン テストを受ける決断を容易にするために、私たちはプログラムの教師に勉強や仕事に何を期待するかを尋ねました。データ付き。

NVIDIA のチーフ データ サイエンティストと教師 ビッグデータとデータエンジニアリングに関するコース パベル・クレメンコフは、なぜ数学者がコードを書いてオゾンマスターズでXNUMX年間勉強する必要があるのか​​について語った。

— データサイエンスアルゴリズムを活用している企業は多いのでしょうか？

-実際にはかなり多いです。 本当にビッグデータを保有している大企業の多くは、そのデータを効果的に活用し始めているか、長年にわたって取り組んでいます。 市場の半分が Excel スプレッドシートに収まるデータ、または大規模なサーバーで計算できるデータを使用していることは明らかですが、データを扱える企業が少数であるとは言えません。

— データサイエンスが活用されているプロジェクトについて少し教えてください。

— たとえば、Rambler で働いている間、私たちは RTB (リアルタイム入札) の原理に基づいて動作する広告システムを作成していました。広告の購入を最適化する、またはたとえば確率を予測できる多くのモデルを構築する必要がありました。クリックやコンバージョンなど。 同時に、広告オークションでは、潜在的な広告購入者へのサイト リクエストのログ、広告インプレッションのログ、クリックのログなど、大量のデータが生成されます。これは XNUMX 日あたり数十テラバイトのデータに相当します。

さらに、これらのタスクでは、モデルをトレーニングするためにより多くのデータを与えるほど、モデルの品質が高くなるという興味深い現象が観察されました。 通常、一定量のデータを超えると、予測の品質は向上しなくなります。精度をさらに向上させるには、根本的に異なるモデルを使用し、データや特徴などを準備するための異なるアプローチを使用する必要があります。 ここではさらに多くのデータをアップロードし、品質が向上しました。

これは、アナリストが少なくとも実験を行うために、まず大規模なデータセットを扱う必要があり、快適な MacBook に収まる小さなサンプルでは対応できない典型的なケースです。 同時に、分散モデルも必要でした。そうしないとモデルをトレーニングできないからです。 コンピューター ビジョンが生産現場に導入されると、写真は大量のデータであり、大規模なモデルをトレーニングするには数百万枚の写真が必要になるため、このような例はより一般的になってきています。

すべての情報をどのように保存するか、どのように効果的に処理するか、分散学習アルゴリズムを使用するかという疑問がすぐに生じます。焦点は純粋な数学から工学へと移りつつあります。 本番環境でコードを書かない場合でも、エンジニアリング ツールを使用して実験を行うことができる必要があります。

— データ サイエンスの求人に対するアプローチは近年どのように変化しましたか?

— ビッグデータは誇大広告ではなくなり、現実のものになりました。 ハードドライブは非常に安価であるため、すべてのデータを収集できるため、将来的には仮説を検証するのに十分なデータが得られます。 その結果、ビッグデータを扱うためのツールに関する知識が非常に普及しており、その結果、データ エンジニアの求人がますます増えています。

私の理解では、データサイエンティストの仕事の結果は実験ではなく、製品化に至った製品です。 この観点から見ると、ビッグデータに関する誇大広告が登場する前は、プロセスはもっと単純でした。エンジニアは特定の問題を解決するために機械学習に従事しており、アルゴリズムを実稼働環境に導入することに問題はありませんでした。

— 求められるスペシャリストであり続けるためには何が必要ですか？

— 現在、数学や機械学習の理論を学び、データ分析コンテストに参加する多くの人々がデータ サイエンスにやって来ています。そこでは、既製のインフラストラクチャが提供されます。つまり、データがクリーンアップされ、メトリクスが定義され、ソリューションの再現性と高速性の要件。

その結果、ビジネスの現実に対する準備が不十分なまま仕事に臨むことになり、新人と経験豊富な開発者との間に溝が生じてしまいます。

既製のモジュールから独自のモデルを組み立てることができるツールの開発と、Microsoft、Google、その他多くの企業がすでにそのようなソリューションを提供しており、機械学習の自動化により、このギャップはさらに顕著になるでしょう。 将来的には、この職業には、新しいアルゴリズムを考案する本格的な研究者や、モデルを実装してプロセスを自動化する高度なエンジニアリングスキルを持つ従業員が求められるでしょう。 データ エンジニアリングの Ozon マスター コースは、エンジニアリング スキルと、ビッグ データ上で分散機械学習アルゴリズムを使用する能力を開発するように設計されています。 私たちは、データ サイエンティストができることと、実際にできるべきこととの間のギャップを縮めようとしています。

— 学位を取得した数学者がビジネスを学ぶ必要があるのはなぜですか?

— ロシアのデータサイエンスコミュニティは、スキルと経験はすぐにお金に変換されることを理解するようになりました。したがって、専門家が実務経験を積むとすぐに、そのコストは急速に増加し始め、最も熟練した人材は非常に高価になります。そしてこれはこれは開発市場の現時点では真実です。

データ サイエンティストの仕事の大部分は、データを調査し、そこにあるものを理解し、ビジネス プロセスの責任者と相談してこのデータを生成し、それを使用して初めてモデルを構築することです。 ビッグ データの取り扱いを開始するには、エンジニアリング スキルを持っていることが非常に重要です。これにより、データ サイエンスに多く存在する鋭角なコーナーを回避することがはるかに簡単になります。

典型的なストーリー: ビッグ データ上で実行される Hive フレームワークを使用して実行されるクエリを SQL で作成しました。 リクエストは XNUMX 分、最悪の場合でも XNUMX ～ XNUMX 時間で処理されます。このデータのダウンロードを受け取ったときに、何らかの要素や追加情報を考慮するのを忘れていたことに気づくことがよくあります。 リクエストを再送信して、何分も何時間も待つ必要があります。 あなたが効率の天才であれば、別の仕事に取り組むでしょうが、実践が示すように、私たちには効率の天才はほとんどおらず、人々はただ待っているだけです。 したがって、コースでは、最初は XNUMX 時間ではなく数分で機能するクエリを作成するために、作業効率に多くの時間を費やします。 このスキルにより生産性が向上し、スペシャリストとしての価値も高まります。

– オゾンマスターズは他のコースとどう違うのですか？

— Ozon Masters は Ozon の従業員によって教えられ、タスクは企業で解決された実際のビジネス ケースに基づいています。 実際、大学でデータサイエンスを学んだ人は、エンジニアリングスキルの欠如に加えて、別の問題を抱えています。それは、ビジネスのタスクはビジネス言語で定式化されており、その目標は非常に単純で、より多くのお金を稼ぐことです。 また、数学者は数学的指標を最適化する方法をよく知っていますが、ビジネス指標と相関する指標を見つけるのは困難です。 そして、ビジネス上の問題を解決していることを理解し、ビジネスと協力して数学的に最適化できる指標を策定する必要があります。 このスキルは実際の事例を通じて習得され、オゾンによって与えられます。
そして、事例を無視したとしても、この学校では実際の企業でビジネス上の問題を解決している多くの実践者が教えています。 その結果、教育そのもののアプローチは依然として実践指向となっています。 少なくとも私のコースでは、ツールの使用方法、どのようなアプローチが存在するかなどに焦点を移すように努めます。 生徒たちと一緒に、各タスクには独自のツールがあり、各ツールには適用範囲があることを理解します。

— データ分析トレーニングプログラムで最も有名なのは、やはりShADですが、それとの違いは何でしょうか？

— ShADとOzon Mastersが教育機能に加えて、人材育成という地域の問題を解決していることは明らかです。 SHAD のトップ卒業生は主に Yandex に採用されますが、問題は、Yandex はその特殊性から、規模が大きく、ビッグ データを扱うための優れたツールがほとんどなかった時代に作成されたため、データを扱うための独自のインフラストラクチャとツールを備えていることです。つまり、それらをマスターする必要があります。 Ozon マスターズには別のメッセージがあります - あなたがプログラムを首尾よくマスターし、Ozon またはその他の 99% の企業のいずれかがあなたを仕事に招待するなら、ビジネスに利益をもたらし始めるのがはるかに簡単になります; Ozon マスターズの一部として習得されるスキルセット作業を始めるだけで十分です。

— このコースはXNUMX年間続きます。 なぜこれにこれほど多くの時間を費やす必要があるのでしょうか?

- 良い質問。 内容的にも、教員のレベル的にも、宿題も含めて習得するのに多くの時間を要する総合的な修士課程であるため、時間がかかります。

私のコースの観点からは、学生が週に 2 ～ 3 時間を課題に費やすことが一般的です。 まず、タスクはトレーニング クラスターで実行され、共有クラスターは複数のユーザーが同時に使用することを意味します。 つまり、タスクの実行が開始されるまで待つ必要があり、一部のリソースが選択されて、より優先度の高いキューに転送される場合があります。 一方で、ビッグデータを扱う作業には多くの時間がかかります。

プログラム、ビッグ データの操作、エンジニアリング スキルについてさらに質問がある場合は、Ozon Masters が 25 月 12 日土曜日 00:XNUMX にオンライン オープン デーを開催します。 先生や生徒たちと会うのは、 Zoom と YouTube.

出所： habr.com