データ エンジニアの職業で最も需要の高いスキル

による 2019年の統計, データエンジニアは現在、他の職業よりも急速に需要が高まっている職業です。 データ エンジニアは、データの処理、変換、保存に使用されるパイプラインとデータベースを作成および維持するという、組織内で重要な役割を果たします。 この職業の代表者にはまずどのようなスキルが必要ですか？ このリストはデータサイエンティストに求められるものと異なりますか? これらすべてについては、私の記事から学ぶことができます。

どのテクノロジー スキルが最も人気があるかを理解するために、2020 年 XNUMX 月現在のデータ エンジニアのポジションの求人を分析しました。 次に、その結​​果をデータ サイエンティストの求人に関する統計と比較したところ、いくつかの興味深い違いが明らかになりました。

前置きはこのくらいにして、求人情報で最も頻繁に言及されるテクノロジーのトップ XNUMX を以下に示します。

2020 年のデータ エンジニアのポジションで欠員中のテクノロジーについての言及

それを考えてみましょう。

データエンジニアの責任

今日、データ エンジニアの仕事は組織にとって非常に重要です。データ エンジニアは、情報を保存し、他の従業員が作業できる形式に変換する責任を負います。 データ エンジニアは、複数のソースからデータをストリーミングまたはバッチ処理するためのパイプラインを構築します。 その後、パイプラインは抽出、変換、読み込み操作 (つまり ETL プロセス) を実行し、データをさらなる使用に適したものにします。 この後、データはより詳細な処理のためにアナリストやデータ サイエンティストに送信されます。 最後に、データはダッシュボード、レポート、機械学習モデルでその旅を終えます。

私は、現時点でデータ エンジニアの仕事においてどのテクノロジーが最も需要があるかについて結論を導くための情報を探していました。

メソッド

XNUMXつの求人サイトから情報を集めました。 SimplyHired, 確かに и モンスター そして、米国居住者を対象とした求人文の中で、「データ エンジニア」に関連してどのようなキーワードが見つかったのかを調べました。 このタスクのために、私はXNUMXつのPythonライブラリを使用しました- つながり申請 и 美しいスープ。 キーワードの中には、データ サイエンティストの求人を分析するための以前のリストに含まれていたキーワードと、データ エンジニアの求人を読んで手動で選択したキーワードの両方を含めました。 LinkedIn は、最後にデータを収集しようとした後に禁止されたため、ソースのリストには含まれていませんでした。

キーワードごとに、各サイトのテキスト総数からヒットする割合を個別に計算し、XNUMX つのソースの平均を計算しました。

結果

以下は、XNUMX つの現場すべてで最高スコアを獲得した XNUMX の技術データ エンジニアリング用語です。

同じ数字を表形式で示します。

順番に行きましょう。

結果の概要

調査対象の求人の XNUMX 分の XNUMX 以上に SQL と Python の両方が含まれています。 最初に勉強するのはこれら XNUMX つのテクノロジーです。 Python は、データの操作、Web サイトの作成、スクリプトの作成に使用される非常に人気のあるプログラミング言語です。 SQL Structured Query Language の略です。 これには、言語グループによって実装された標準が含まれており、リレーショナル データベースからデータを取得するために使用されます。 それはずっと前に出現し、高い耐性があることが証明されています。

求人の約半数で Spark の名前が挙げられています。 Apache Spark は、「ストリーミング、SQL、機械学習、グラフ処理用のモジュールが組み込まれた統合ビッグデータ分析エンジン」です。 これは、大規模なデータベースを扱う人の間で特に人気があります。

AWS は求人情報の約 45% に掲載されています。 これは、Amazon によって製造されたクラウド コンピューティング プラットフォームです。 すべてのクラウド プラットフォームの中で最大の市場シェアを持っています。
次に Java と Hadoop が続き、兄弟の割合は 40% を少し超えています。 Java 広く話されている、実戦でテストされた言語です。 2019 年スタック オーバーフロー開発者アンケート プログラマの間で恐怖を引き起こす言語の中で2020位に選ばれました。 対照的に、Python は XNUMX 番目に愛されている言語でした。 Java 言語は Oracle によって運営されており、Java 言語について知っておくべきことはすべて、XNUMX 年 XNUMX 月の公式ページのスクリーンショットから理解できます。

まるでタイムマシンに乗っているような気分だ
Apache Hadoopの ビッグ データ用のサーバー クラスターで MapReduce プログラミング モデルを使用します。 現在、このモデルはますます廃止されています。

次に、Hive、Scala、Kafka、NoSQL が表示されます。これらのテクノロジーはそれぞれ、提出された求人情報の XNUMX 分の XNUMX で言及されています。 Apache Hive は、「SQL を使用して、分散ストアに存在する大規模なデータセットの読み取り、書き込み、管理を容易にする」データ ウェアハウス ソフトウェアです。 スカラ – ビッグデータを扱うときに積極的に使用されるプログラミング言語。 特に、Spark は Scala で作成されました。 すでに述べた、恐れられている言語のランキングでは、Scala は XNUMX 位にランクされています。 アパッチカフカ – ストリーミング メッセージを処理するための分散プラットフォーム。 データをストリーミングする手段として非常に人気があります。

NoSQLデータベース SQL と対比してください。 これらは、非リレーショナル、非構造化、水平スケーラブルであるという点で異なります。 NoSQL はある程度の人気を得ていますが、このアプローチの流行は、SQL に取って代わる主要なストレージ パラダイムになるとの予言に至るまで、すでに終わったようです。

データサイエンティストの求人条件との比較

ここでは、データ サイエンスの雇用者の間で最も一般的な XNUMX のテクノロジー用語を紹介します。 このリストは、データ エンジニアリングに関して上で説明したのと同じ方法で取得しました。

2020 年のデータ サイエンティストの求人におけるテクノロジーに関する言及

総数について言えば、以前に検討されていた採用と比較して、欠員数は 28% 増加しました (12 対 013)。 データ サイエンティストの求人がデータ エンジニアよりも一般的ではないテクノロジーを見てみましょう。

データエンジニアリングでより人気のある

以下のグラフは、平均差が 10% を超える、または -10% 未満であるキーワードを示しています。

データ エンジニアとデータ サイエンティストのキーワード頻度における最大の違い

AWS は最も顕著な増加を示しています。データ エンジニアリングでは、データ サイエンスよりも 25% 定期的に出現しています (それぞれ、求人総数の約 45% と 20%)。 違いは顕著です！

同じデータを少し異なるプレゼンテーションで示します。グラフでは、データ エンジニアとデータ サイエンティストの求人における同じキーワードの結果が並べて表示されています。

データ エンジニアとデータ サイエンティストのキーワード頻度における最大の違い

私が注目した次に大きな飛躍は Spark でした。データ エンジニアはビッグ データを扱うことがよくあります。 カフカ また、データサイエンティストの求人結果と比較すると、20% 増加し、ほぼ 15 倍になります。 データ転送は、データ エンジニアの重要な責務の XNUMX つです。 最後に、Java、NoSQL、Redshift、SQL、Hadoop のデータ エンジニアリングの分野での言及数は XNUMX% 増加しました。

データエンジニアリングではあまり人気がありません

次に、データ エンジニアの求人でどのテクノロジーが人気が低いかを見てみましょう。
データサイエンス分野と比較して最も急激な減少が見られたのは、 Rそこでは彼は欠員の約56％に現れましたが、ここではわずか17％でした。 印象的な。 R は科学者や統計学者が好むプログラミング言語であり、世界で XNUMX 番目に恐れられている言語です。

SAS また、データ エンジニアの求人で見つかる頻度は大幅に低く、その差は 14% です。 SAS は、統計とデータを操作するために設計された独自の言語です。 興味深い点: 結果から判断すると データサイエンティストの求人に関する私の調査、最近、他のどのテクノロジーよりも多くの地位を失いました。

データエンジニアリングとデータサイエンスの両方で需要がある

両方のセットの最初の XNUMX 位のうち XNUMX 位が同じであることに注意してください。 SQL、Python、Spark、AWS、Java、Hadoop、Hive、Scala が、データ エンジニアリング業界とデータ サイエンス業界の両方でトップ XNUMX に入っています。 以下のグラフでは、データ エンジニアの雇用主の間で最も人気のある XNUMX のテクノロジーが示されており、その隣にはデータ サイエンティストの欠員率が示されています。

提言

データ エンジニアリングに興味がある場合は、次のテクノロジを習得することをお勧めします。おおよその優先順位の順にリストしています。

SQLを学びましょう。 私が PostgreSQL に傾いているのは、PostgreSQL がオープンソースであり、コミュニティで非常に人気があり、成長段階にあるためです。 この言語の使用方法は、書籍『My Memorable SQL』から学ぶことができます。パイロット版が入手可能です。 ここで.

たとえ最もハードコアなレベルではなくても、Python をマスターしてください。 My Memorable Python は初心者向けに特別に設計されています。 で購入できます Amazon、電子コピーまたは物理コピーを選択するか、pdf または epub 形式でダウンロードします このサイトに掲載.

Python に慣れたら、データのクリーニングと処理に使用される Python ライブラリである pandas に進みます。 Python で記述できる能力を必要とする企業 (そしてその大部分がこれです) で働くことを目指している場合、デフォルトでパンダの知識があるものとみなされることは間違いありません。 現在、パンダを扱うための入門ガイドを完成させています。 購読するリリースの瞬間を逃さないために。

マスターAWS。 データ エンジニアになりたいのであれば、クラウド プラットフォームが欠かせません。その中でも AWS が最も人気があります。 コースはとても役に立ちました Linuxアカデミー勉強していたとき Google Cloud でのデータ エンジニアリング, AWSでも良い素材が揃っていると思います。

すでにこのリスト全体を完了していて、データ エンジニアとして雇用主の目からさらに成長したいと考えている場合は、ビッグ データを扱うために Apache Spark を追加することをお勧めします。 データ サイエンティストの欠員に関する私の調査では関心が低下していることが示されましたが、データ エンジニアの間では依然としてほぼ XNUMX 番目の欠員にその関心が現れています。

最後に

データ エンジニアにとって最も需要の高いテクノロジに関するこの概要がお役に立てば幸いです。 アナリストの仕事がどうなっているのか気になる場合は、こちらをお読みください。 私の他の記事。 幸せなエンジニアリングを！

出所： habr.com