データ エンジニアとは何者ですか?どうすればデータ エンジニアになることができますか?

またあったね！ 記事のタイトル自体がそれを物語っています。 コース開始に向けて データエンジニア データ エンジニアとは何者なのかを理解しておくことをお勧めします。 記事には役立つリンクがたくさんあります。 幸せな読書。

データ エンジニアリングの波を捉え、深淵に引きずり込まれないようにするための簡単なガイド。

最近では誰もがデータサイエンティストになりたいと考えているようです。 しかし、データエンジニアリングについてはどうでしょうか? 本質的に、これはデータ アナリストとデータ サイエンティストの一種のハイブリッドです。 データ エンジニアは通常、ワークフロー、処理パイプライン、ETL プロセスの管理を担当します。。 これらの機能の重要性により、これは現在、活発に勢いを増しているもう XNUMX つの人気のある専門用語です。

高い給与と膨大な需要は、この仕事が非常に魅力的である理由のほんの一部にすぎません。 ヒーローの仲間入りをしたいなら、学び始めるのに遅すぎるということはありません。 この記事では、最初の一歩を踏み出すために必要な情報をすべてまとめました。

それでは始めましょう！

データエンジニアリングとは何ですか?

正直に言うと、これより適切な説明はありません。

「科学者は新しい星を発見することはできますが、作り出すことはできません。 エンジニアに頼んでやってもらう必要があるだろう。」

–ゴードン・リンゼイ・グレッグ

したがって、データエンジニアの役割は非常に重要です。

名前が示すように、データ エンジニアリングはデータ、つまりデータの配信、保存、処理に関係します。 したがって、エンジニアの主なタスクは、信頼できるデータ インフラストラクチャを提供することです。 AI のニーズの階層を見ると、データ エンジニアリングが最初の 2 ～ 3 段階を占めます。 収集、移動と保管、データの準備.

データエンジニアって何をするの？

ビッグデータの出現により、責任の範囲は劇的に変化しました。 以前はこれらの専門家が Informatica ETL、Pentaho ETL、Talend などのツールを使用して大規模な SQL クエリを作成し、データを抽出していましたが、現在ではデータ エンジニアの要件が増加しています。

データ エンジニアのポジションに空きがあるほとんどの企業には、次の要件があります。

• SQL と Python に関する優れた知識。
• クラウド プラットフォーム、特にアマゾン ウェブ サービスの経験。
• Java/Scala の知識があることが望ましい。
• SQL および NoSQL データベース (データ モデリング、データ ウェアハウジング) について十分に理解していること。

これらは重要なものにすぎないことに注意してください。 このリストから、データ エンジニアはソフトウェア開発とバックエンドの分野の専門家であると推測できます。
たとえば、企業がさまざまなソースから大量のデータを生成し始めた場合、データ エンジニアとしてのタスクは、情報の収集、その処理、保管を整理することです。

この場合に使用されるツールのリストは異なる場合があります。すべてはデータの量、受信速度、異質性によって異なります。 ほとんどの企業はビッグ データをまったく扱わないため、集中リポジトリ、いわゆるデータ ウェアハウスとして、データをフィードする小さなスクリプト セットを備えた SQL データベース (PostgreSQL、MySQL など) を使用できます。倉庫。

Google、Amazon、Facebook、Dropbox などの巨大 IT 企業では、Python、Java、Scala の知識というより高い要件が求められます。

• ビッグ データの経験: Hadoop、Spark、Kafka。
• アルゴリズムとデータ構造に関する知識。
• 分散システムの基本を理解する。
• Tableau や ElasticSearch などのデータ視覚化ツールの経験があれば尚可。

つまり、ビッグデータ、つまり高負荷での処理へのシフトが明らかです。 これらの企業は、システムの耐障害性に対する要件を強化しています。

データ エンジニア vs. データサイエンティスト

さて、これは単純で面白い比較でしたが (個人的なものではありません)、実際にはもっと複雑です。

まず、データ サイエンティストとデータ エンジニアの役割とスキルの定義には多くのあいまいさがあることを知っておく必要があります。 つまり、データ エンジニアとして成功するにはどのようなスキルが必要なのか、混乱しやすいのです。 もちろん、両方の役割に重複する特定のスキルもあります。 しかし、正反対のスキルも数多くあります。

データ サイエンスは本格的なビジネスですが、私たちは実践者が独自の分析を行うことができる機能的データ サイエンスの世界に向かって進んでいます。 データ パイプラインと統合データ構造を有効にするには、データ サイエンティストではなくデータ エンジニアが必要です。

データエンジニアはデータサイエンティストよりも需要が高いのでしょうか?

- はい、キャロットケーキを作る前に、まずニンジンを集め、皮をむき、ストックする必要があります。

データ エンジニアはどのデータ サイエンティストよりもプログラミングについて理解していますが、統計に関してはその逆が当てはまります。

ただし、データ エンジニアには次のような利点があります。

彼/彼女がいないと、プロトタイプ モデル (データ サイエンティストから入手して何らかの結果を生成した Python ファイル内のひどい品質のコードで構成されていることがほとんど) の価値はゼロになる傾向があります。

データ エンジニアがいないと、このコードはプロジェクトになることはなく、ビジネス上の問題を効果的に解決することはできません。 データ エンジニアは、これらすべてを製品に変えようとしています。

データエンジニアが知っておくべき基本情報

したがって、この仕事があなたの中に光をもたらし、あなたが熱意を持っているのであれば、それを学ぶことができ、必要なスキルをすべて習得して、データ エンジニアリングの分野で真のロックスターになることができます。 そして、はい、プログラミングスキルやその他の技術的な知識がなくても、これを実行できます。 難しいですが、可能です！

最初のステップは何ですか?

何が何であるかについての一般的なアイデアを持っている必要があります。

まず、データ エンジニアリングとはコンピューター サイエンスを指します。 具体的には、効率的なアルゴリズムとデータ構造を理解する必要があります。 次に、データ エンジニアはデータを扱うため、データベースの原理とその基礎となる構造を理解する必要があります。

たとえば、従来の B ツリー SQL データベースは B ツリー データ構造に基づいており、最新の分散リポジトリでは LSM ツリーやハッシュ テーブルのその他の変更に基づいています。

*これらの手順は素晴らしい記事に基づいています アディリヤ・ハシュタモワ。 したがって、ロシア語がわかる場合は、この著者をサポートして読んでください 彼の投稿.

1. アルゴリズムとデータ構造

適切なデータ構造を使用すると、アルゴリズムのパフォーマンスを大幅に向上させることができます。 理想的には、私たち全員が学校でデータ構造とアルゴリズムについて学ぶべきですが、これが取り上げられることはほとんどありません。 いずれにせよ、付き合うのに遅すぎるということはありません。
データ構造とアルゴリズムを学ぶための私のお気に入りの無料コースは次のとおりです。

• 単純なものから複雑なものまで: データ構造 (Udemy)
• アルゴリズム、パート I (Coursera)
• アルゴリズム、パート II (Coursera)

さらに、トーマス コーマンのアルゴリズムに関する古典的な著作も忘れないでください。 アルゴリズムの概要。 記憶をリフレッシュしたいときに最適な参考書です。

• スキルを向上させるには、次を使用します。 リートコード.

カーネギー メロン大学の YouTube の素晴らしいビデオでデータベースの世界に飛び込むこともできます。

• データベース システムの概要.
• 高度なデータベース システム.

2. SQLを学ぶ

私たちの生活全体がデータです。 そして、このデータをデータベースから抽出するには、そのデータと同じ言語を「話す」必要があります。

SQL (Structured Query Language) は、データ ドメインにおける通信言語です。 誰が何と言おうと、SQL はこれまで生きてきましたし、これからも非常に長く生き続けるでしょう。

長い間開発に携わっている人なら、SQL が間もなく消滅するという噂が定期的に浮上していることにおそらく気づいているでしょう。 この言語は 70 年代初頭に開発され、アナリスト、開発者、そして単なる愛好家の間で今でも非常に人気があります。
SQL の知識がなければ、データを取得するために必然的にクエリを作成する必要があるため、データ エンジニアリングでは何もすることができません。 最新のビッグ データ ウェアハウスはすべて SQL をサポートしています。

• Amazonレッドシフト
• HPバーティカ
• オラクル
• SQLサーバー

...その他にもたくさんあります。

HDFS などの分散システムに格納されている大規模なデータ層を分析するために、Apache Hive、Impala などの SQL エンジンが発明されました。

SQLを学ぶにはどうすればよいですか? ただ実践でやってください。

これを行うには、次の優れたチュートリアルをチェックすることをお勧めします。ちなみに、このチュートリアルは無料です。 モード分析.

1. 中間SQL
2. SQL でのデータの結合

これらのコースが特別なのは、ブラウザーで直接 SQL クエリを作成して実行できる対話型環境があることです。 リソース 最新のSQL 余計なものにはならないだろう。 そして、この知識を次のことに応用できます。 リートコードのタスク データベースセクションにあります。

3. Python および Java/Scala でのプログラミング

なぜPythonプログラミング言語を学ぶべきなのかについては、すでに記事に書きました Python vs R. AI、ML、データサイエンスに最適なツールの選択。 Java と Scala に関しては、膨大な量のデータを保存および処理するツールのほとんどがこれらの言語で書かれています。 例えば：

• Apache Kafka (Scala)
• Hadoop、HDFS (Java)
• Apache Spark (Scala)
• Apache Cassandra (Java)
• HBase (Java)
• Apache ハイブ (Java)

これらのツールがどのように機能するかを理解するには、ツールが記述されている言語を知る必要があります。 Scala の関数型アプローチを使用すると、並列データ処理の問題を効果的に解決できます。 残念ながら、Python は速度と並列処理を誇ることができません。 一般に、複数の言語とプログラミング パラダイムの知識は、問題を解決するための幅広いアプローチに役立ちます。

Scala 言語について詳しく知るには、以下を読んでください。 Scala でのプログラミング 言語の作者から。 Twitter では優れた入門ガイドも公開しています - スカラスクール.

Pythonに関しては、私はそう思います 流暢なPython 最高の中級レベルの本。

4. ビッグデータを扱うためのツール

以下は、ビッグ データの世界で最も人気のあるツールのリストです。

• Apache Spark
• アパッチカフカ
• Apache Hadoop (HDFS、HBase、Hive)
• Apache Cassandra

大規模なデータ ブロックの構築に関する詳細については、この素晴らしいドキュメントを参照してください。 インタラクティブな環境。 最も人気のあるツールは Spark と Kafka です。 これらは間違いなく研究する価値があり、内部からどのように機能するかを理解することをお勧めします。 ジェイ・クレプス (『カフカ』の共著者) は 2013 年に記念碑的な作品を出版しました ログ: リアルタイム データ集約の抽象化についてすべてのソフトウェア開発者が知っておくべきことちなみに、このタルムードの主なアイデアは、Apache Kafka の作成に使用されました。

• Hadoop の概要は次のとおりです。 Hadoop をマスターするための完全ガイド (無料).
• 私にとっての Apache Spark の最も包括的なガイドは次のとおりです - Spark: 完全ガイド.

5. クラウドプラットフォーム

データ エンジニアのポジションへの応募者の基本要件のリストには、少なくとも XNUMX つのクラウド プラットフォームに関する知識が含まれています。 雇用主は Amazon Web Services を好み、Google のクラウド プラットフォームが XNUMX 位、Microsoft Azure がトップ XNUMX を締めくくりました。

Amazon EC2、AWS Lambda、Amazon S3、DynamoDB についての十分な知識が必要です。

6. 分散システム

ビッグ データを扱うということは、独立して動作するコンピューターのクラスターが存在し、クラスター間の通信がネットワーク経由で行われることを意味します。 クラスターが大きくなるほど、そのメンバー ノードで障害が発生する可能性が高くなります。 優れたデータ サイエンティストになるには、分散システムの問題と既存のソリューションを理解する必要があります。 この地域は古くて複雑です。

アンドリュー・タネンバウムは、この分野の先駆者とみなされています。 理論を恐れない人には彼の本をお勧めします 「分散システム」、初心者にとっては難しく思えるかもしれませんが、スキルを磨くのに非常に役立ちます。

私が考える データ集約型アプリケーションの設計 (Martin Kleppmann 著) 最高の入門書。 ところで、マーティンは素晴らしいものを持っています ブログ。 彼の研究は、ビッグデータを保存および処理するための最新のインフラストラクチャの構築に関する知識を体系化するのに役立ちます。
動画を見たい方にはYoutubeの講座もあります 分散型コンピュータシステム.

7. データパイプライン

データ パイプラインは、データ エンジニアにとって欠かすことのできないものです。

ほとんどの場合、データ エンジニアはいわゆるデータ パイプラインを構築します。つまり、データをある場所から別の場所に配信するプロセスを作成します。 これらは、外部サービスの API にアクセスしたり、SQL クエリを作成したり、データを増強して、集中ストア (データ ウェアハウス) または非構造化データ ストア (データ レイク) に保存したりするカスタム スクリプトである可能性があります。

要約すると、データ エンジニアのための基本的なチェックリストです。

要約すると、次のことをよく理解する必要があります。

• 情報システム;
• ソフトウェア開発 (アジャイル、DevOps、設計手法、SOA);
• 分散システムと並列プログラミング。
• データベースの基礎 - 計画、設計、運用、トラブルシューティング。
• 実験計画 - A/B テストを行ってコンセプトを証明し、信頼性、システム パフォーマンスを判断し、優れたソリューションを迅速に提供するための信頼できるパスを開発します。

これらはデータ エンジニアになるための要件のほんの一部です。そのため、データ システム、情報システム、継続的デリバリー/展開/統合、プログラミング言語、およびその他のコンピューター サイエンスのトピック (すべての分野ではありません) を学び、理解してください。

そして最後に、最後に非常に重要なことを言いたいと思います。

データ エンジニアリングになるための道は、思っているほど簡単ではありません。 彼は許しません、イライラします、そしてあなたはこれに対して準備ができていなければなりません。 この旅の中には、諦めそうになる瞬間もあるかもしれません。 しかし、これは実際の作業であり、学習のプロセスです。

最初からシュガーコーティングしないでください。 旅行の要点は、できるだけ多くのことを学び、新しい挑戦に備えることです。
この点をよく示している素晴らしい写真を見つけました。

そしてはい、燃え尽き症候群を避けて休むことを忘れないでください。 これも非常に重要です。 幸運を！

友達、この記事についてどう思いますか？ ご招待します 無料ウェビナー、今日の20.00時に開催されます。 ウェビナーでは、小規模企業または新興企業向けに効果的でスケーラブルなデータ処理システムを最小限のコストで構築する方法について説明します。 演習として、Google Cloud データ処理ツールについて学びます。 またね！

出所： habr.com