データ エンジニアとデータ サイエンティスト: 違いは何ですか?

データ サイエンティストとデータ エンジニアという職業は混同されることがよくあります。 各企業には、データの取り扱いに関する独自の詳細、分析のさまざまな目的、およびどの専門家が作業のどの部分を担当すべきかについてのさまざまな考え方があるため、それぞれ独自の要件があります。 

これらのスペシャリストの違いは何なのか、彼らがどのようなビジネス上の問題を解決するのか、どのようなスキルを持っているのか、そしてどのくらいの収入を得ているのかを見てみましょう。 資料が膨大になったので、XNUMX つの出版物に分割しました。

最初の記事では、学部長のエレナ・ゲラシモワ氏が「データサイエンスと分析「ネットロジーにおける」では、データ サイエンティストとデータ エンジニアの違いと、彼らが使用するツールについて説明します。

エンジニアと科学者の役割はどう違うのか

データ エンジニアは、一方ではデータベース、ストレージ、大量処理システムなどのデータ インフラストラクチャの開発、テスト、保守を行う専門家です。 一方、これは、アナリストやデータ サイエンティストが使用できるようにデータをクリーニングして「収集」する、つまりデータ処理パイプラインを作成する人です。

データ サイエンティストは、機械学習アルゴリズムとニューラル ネットワークを使用して予測 (およびその他の) モデルを作成およびトレーニングし、企業が隠れたパターンを発見し、展開を予測し、主要なビジネス プロセスを最適化できるように支援します。

データ サイエンティストとデータ エンジニアの主な違いは、通常、両者の目標が異なることです。 どちらも、データにアクセス可能で高品質であることを保証するために機能します。 しかし、データ サイエンティストは、データ エコシステム (たとえば、Hadoop ベース) で質問に対する答えを見つけて仮説をテストし、データ エンジニアは、データ サイエンティストが作成した機械学習アルゴリズムを同じサービス内の Spark クラスターに提供するためのパイプラインを作成します。生態系。 

データ エンジニアは、チームの一員として働くことでビジネスに価値をもたらします。 その任務は、開発者からレポートのビジネス利用者まで、さまざまな参加者間の重要なリンクとして機能し、マーケティングから製品、BI までアナリストの生産性を向上させることです。 

それに対して、データ サイエンティストは、企業の戦略に積極的に参加し、洞察を抽出し、意思決定を行い、自動化アルゴリズムを実装し、データをモデリングして価値を生成します。


データの操作には、GIGO (ガベージ イン - ガベージ アウト) 原則が適用されます。つまり、アナリストやデータ サイエンティストが準備が整っていない、不正確な可能性のあるデータを扱う場合、最も洗練された分析アルゴリズムを使用した場合でも、結果は不正確になります。 

データ エンジニアは、データの処理、クリーニング、変換のためのパイプラインを構築し、データ サイエンティストが高品質のデータを扱えるようにすることで、この問題を解決します。 

市場には、データの表示から出力、取締役会のダッシュボードに至るまで、あらゆる段階をカバーするデータを操作するためのツールが数多く存在します。 そして、それらを使用する決定はエンジニアによって行われることが重要です。それが流行だからではなく、プロセスの他の参加者の作業を実際に助けるからです。 

従来: 企業が BI と ETL の間の接続 (データのロードとレポートの更新) を行う必要がある場合、データ エンジニアが対処する必要がある典型的なレガシー基盤を次に示します (チームにアーキテクトもいるとよいでしょう)。

データ エンジニアの責任

• データ処理インフラの開発、構築、保守。
• エラーを処理し、信頼性の高いデータ処理パイプラインを作成します。
• さまざまな動的ソースからの非構造化データを、アナリストの作業に必要な形式に変換します。
• データの一貫性と品質を向上させるための推奨事項を提供します。
• データ サイエンティストとデータ アナリストが使用するデータ アーキテクチャを提供および維持します。
• 数十または数百のサーバーからなる分散クラスターで、データを一貫して効率的に処理して保存します。
• ツールの技術的なトレードオフを評価して、混乱に耐えられるシンプルかつ堅牢なアーキテクチャを作成します。
• データ フローおよび関連システムの制御とサポート (監視とアラートの設定)。

データ エンジニアの軌跡には、ML エンジニアという別の専門分野があります。 つまり、これらのエンジニアは、機械学習モデルを産業に導入して使用することを専門としています。 多くの場合、データ サイエンティストから受け取ったモデルは研究の一部であり、戦闘状態では機能しない可能性があります。

データサイエンティストの責任

• データから特徴を抽出して機械学習アルゴリズムを適用します。
• さまざまな機械学習ツールを使用して、データ内のパターンを予測および分類します。
• アルゴリズムを微調整および最適化することで、機械学習アルゴリズムのパフォーマンスと精度を向上させます。
• 企業の戦略に従って、テストが必要な「強力な」仮説を形成します。

データ エンジニアとデータ サイエンティストはどちらもデータ文化の発展に明確に貢献しており、それを通じて企業は追加の利益を生み出したり、コストを削減したりできます。

エンジニアや科学者はどのような言語やツールを使用していますか?

現在、データサイエンティストに対する期待は変化しています。 以前は、エンジニアは大規模な SQL クエリを収集し、手動で MapReduce を作成し、Informatica ETL、Pentaho ETL、Talend などのツールを使用してデータを処理していました。 

2020 年において、専門家は Python と最新の計算ツール (Airflow など) の知識、クラウド プラットフォームの操作原則 (セキュリティ原則を遵守しながら、クラウド プラットフォームを使用してハードウェアを節約する) を理解していなければなりません。

SAP、Oracle、MySQL、Redis は、大企業のデータ エンジニア向けの従来のツールです。 これらは優れていますが、ライセンスのコストが非常に高いため、それらの操作方法を学ぶのは産業プロジェクトでのみ意味があります。 同時に、Postgres という無料の代替手段があります。これは無料であり、トレーニングだけでなく適しています。 

歴史的には、Java や Scala に対するリクエストがよく見られましたが、テクノロジーやアプローチが発展するにつれて、これらの言語は背景に消えていきました。

ただし、ハードコアな BigData: Hadoop、Spark、およびその他の動物園は、もはやデータ エンジニアの前提条件ではなく、従来の ETL では解決できない問題を解決するための一種のツールです。 

この傾向は、作成された言語の知識がなくてもツールを使用できるサービス (Java の知識がなくても Hadoop など) や、ストリーミング データを処理するための既製のサービス (ビデオ上の音声認識や画像認識) の提供です。 ）。

SAS と SPSS の産業用ソリューションが人気ですが、Tableau、Rapidminer、Stata、Julia もデータ サイエンティストによってローカル タスクに広く使用されています。

パイプライン自体を構築できる機能がアナリストやデータ サイエンティストに登場したのは、ほんの数年前です。たとえば、比較的単純なスクリプトを使用して PostgreSQL ベースのストレージにデータを送信することはすでに可能です。 

通常、パイプラインと統合データ構造の使用は、依然としてデータ エンジニアの責任です。 しかし今日では、ツールが絶えず簡素化されているため、関連分野で幅広い能力を持つ T 字型のスペシャリストを求める傾向がこれまで以上に強くなっています。

データ エンジニアとデータ サイエンティストが連携する理由

エンジニアと緊密に連携することで、データ サイエンティストは研究面に集中して、本番環境に対応した機械学習アルゴリズムを作成できます。
また、エンジニアは、スケーラビリティ、データの再利用、および個々のプロジェクトのデータ入出力パイプラインがグローバル アーキテクチャに準拠していることを確認することに重点を置く必要があります。

この責任の分離により、さまざまな機械学習プロジェクトに取り組むチーム間での一貫性が確保されます。 

コラボレーションは、新製品を効率的に作成するのに役立ちます。 速度と品質は、全員向けのサービスの作成 (グローバル ストレージまたはダッシュボードの統合) と、それぞれの特定のニーズまたはプロジェクトの実装 (高度に専門化されたパイプライン、外部ソースの接続) の間のバランスによって達成されます。 

データ サイエンティストやアナリストと緊密に連携することで、エンジニアはより良いコードを作成するための分析および調査スキルを身に付けることができます。 ウェアハウスとデータレイクのユーザー間の知識共有が向上し、プロジェクトの機敏性が高まり、より持続可能な長期的な成果が得られます。

データを扱い、データに基づいてビジネス プロセスを構築する文化の発展を目指す企業では、データ サイエンティストとデータ エンジニアが相互に補完し、完全なデータ分析システムを構築します。 

次回の記事では、データエンジニアとデータサイエンティストがどのような教育を受けるべきか、どのようなスキルを身に付ける必要があるか、そして市場はどのように機能するかについて説明します。

Netology の編集者から

データ エンジニアまたはデータ サイエンティストの職業を検討している場合は、次のコース プログラムを学習することをお勧めします。

• 職業 "データエンジニア'。  
• 職業 "データサイエンティスト'。

出所： habr.com