ビッグデータとスモールデータのテスター: トレンド、理論、私のストーリー

みなさん、こんにちは。私の名前はアレクサンダーです。データの品質をチェックするデータ品質エンジニアです。 この記事では、私がこれに至った経緯と、2020 年にこのテスト領域が波の頂点にあった理由について説明します。

グローバルトレンド

今日の世界は新たな技術革新を経験しており、その一面として、あらゆる種類の企業が蓄積されたデータを使用して、売上、利益、PR という独自のフライホイールを推進しています。 今日、多くの人々にとって、良質な（質の高い）データの存在と、それから収益を上げることができる熟練した頭脳（正しく処理、視覚化、機械学習モデルの構築など）が成功の鍵になっているようです。 15 ～ 20 年前の大企業が主にデータの蓄積と収益化に集中的に取り組んでいたとしたら、今日ではほとんどすべてのまともな人々がこれに携わっています。

この点に関して、数年前、世界中の求人検索専用ポータルがデータ サイエンティストの求人でいっぱいになり始めました。そのような専門家を雇えば、機械学習のスーパーモデルを構築できると誰もが確信していたからです。 、未来を予測し、企業の「量子飛躍」を実現します。 時間が経つにつれて、このような専門家の手に渡ったすべてのデータがモデルのトレーニングに適しているわけではないため、このアプローチがどこでも機能することはほとんどないことに人々は気づきました。

そして、データ サイエンティストからのリクエストが始まりました。「あれやこれやからもっとデータを購入しましょう...」、「十分なデータがありません...」、「もう少しデータが必要です、できれば高品質のデータが必要です...」 。 これらの要求に基づいて、何らかのデータ セットを所有する企業間で数多くのやり取りが構築され始めました。 当然のことながら、これには、データ ソースへの接続、ダウンロード、完全にロードされたかどうかの確認など、このプロセスの技術的な組織化が必要でした。そのようなプロセスの数は増加し始め、現在では別の種類のプロセスが非常に必要になっています。スペシャリスト - データ品質エンジニア - システム内のデータの流れ (データ パイプライン)、入出力におけるデータの品質を監視し、その十分性、整合性、その他の特性について結論を導き出す人。

データ品質エンジニアのトレンドは米国からやって来ました。米国では、資本主義の激動の時代の真っただ中で、データをめぐる戦いに負けるつもりは誰もありません。 以下に、米国で最も人気のある XNUMX つの求人サイトのスクリーンショットを示します。 www.monster.com и www.dice.com — データ品質とデータ サイエンティストというキーワードを使用して受け取った求人掲載数に関する 17 年 2020 月 XNUMX 日時点のデータが表示されます。

www.monster.com

データサイエンティスト – 21416 件の求人
データ品質 – 41104 件の求人

www.dice.com

データサイエンティスト – 404 件の求人
データ品質 – 2020 年の求人情報

明らかに、これらの職業は互いに競合するものではありません。 スクリーンショットを使用して、データ品質エンジニアへの要求という労働市場の現状を説明したかっただけです。現在、データサイエンティストよりもはるかに多くのエンジニアが必要とされています。

2019 年 XNUMX 月、EPAM は現代の IT 市場のニーズに応えて、データ品質を別の業務に分離しました。 データ品質エンジニアは、日々の業務の中で、データを管理し、新しい条件やシステムでの動作をチェックし、データの関連性、その十分性と関連性を監視します。 これらすべてを考慮すると、実際的な意味では、データ品質エンジニアは古典的な機能テストにほとんど時間を費やしません。 しかし これはプロジェクトによって大きく異なります (以下に例を示します)。

データ品質エンジニアの責任は、データベース テーブル内の「ヌル、カウント、合計」の定期的な手動/自動チェックだけに限定されず、顧客のビジネス ニーズを深く理解し、それに応じて利用可能なデータを次のデータに変換する能力を必要とします。役立つビジネス情報。

データ品質理論

このようなエンジニアの役割をより完全に想像するために、データ品質とは理論的に何なのかを理解してみましょう。

データ品質 — データ管理の段階の XNUMX つ (この世界全体については、皆さんがご自身で勉強できるよう残しておきます) であり、次の基準に従ってデータを分析する責任があります。

それぞれのポイント (理論的には「データ ディメンション」と呼ばれます) を解読する必要はないと思います。それらは図で非常によく説明されています。 ただし、テスト プロセス自体は、これらの機能をテスト ケースに厳密にコピーしてチェックすることを意味するものではありません。 データ品質では、他のタイプのテストと同様に、まず、ビジネス上の意思決定を行うプロジェクト参加者と合意されたデータ品質要件に基づいて構築する必要があります。

データ品質プロジェクトに応じて、エンジニアは、データ品質の表面的な評価を行う通常の自動テスターから、上記の基準に従ってデータの詳細なプロファイリングを実行する人まで、さまざまな役割を実行できます。

データ管理、データ品質、および関連プロセスの非常に詳細な説明は、という書籍に詳しく説明されています。 「DAMA-DMBOK: データ管理知識体系: 第 2 版」。 このトピックの入門書として、この本を強くお勧めします (記事の最後にこの本へのリンクがあります)。

私の話

IT 業界では、製品会社のジュニア テスターから EPAM のリード データ品質エンジニアまで昇進しました。 約 XNUMX 年間テスターとして働いた後、回帰、機能、ストレス、安定性、セキュリティ、UI など、あらゆる種類のテストを完全に実行したという強い確信を持ち、多数のテスト ツールを試しました。 Java、Scala、Python という XNUMX つのプログラミング言語で同時に作業しました。

振り返ってみると、なぜ私のスキルセットがこれほど多様だったかがわかります。私は大小を問わずデータドリブンのプロジェクトに携わっていました。 これが、私を成長のためのツールと機会がたくさんある世界に導いてくれたものです。

新しい知識やスキルを得るさまざまなツールや機会を理解するには、「データと AI」の世界で最も人気のあるツールを示した下の図を見てください。

この種の図は、ソフトウェア開発出身の有名なベンチャーキャピタリストの XNUMX 人、マット タークによって毎年編集されています。 ここ リンク 彼のブログと ベンチャーキャピタル会社、そこで彼はパートナーとして働いています。

私がプロジェクトの唯一のテスターだったとき、または少なくともプロジェクトの開始時に、特に急速にプロとして成長しました。 このような瞬間に、あなたはテストプロセス全体に責任を負わなければならず、後退する機会はなく、前進するだけです。 最初は怖かったですが、今ではこのようなテストのすべての利点が私にとって明らかです。

• コミュニケーションの代理人、つまりテスト マネージャーや他のテスターが存在しないため、これまでにない方法でチーム全体とコミュニケーションを始めることができます。
• プロジェクトへの没入感は信じられないほど深くなり、すべてのコンポーネントに関する一般的および詳細な情報が得られます。
• 開発者はあなたを「何をやっているのかわからないテスト担当者」としてではなく、自動テストと、システムの特定のコンポーネントに現れるバグの予測によってチームに信じられないほどの利益をもたらす同等の人間として見ています。製品。
• その結果、より効率的になり、資格も向上し、需要も高まります。

プロジェクトが成長するにつれて、100% の場合、私は新しいテスターの指導者となり、彼らに教え、私自身が学んだ知識を伝えました。 同時に、プロジェクトによっては、経営陣から常に最高レベルの自動テストのスペシャリストが提供されるとは限らず、彼らに自動化のトレーニングを行うか（興味のある人向け）、日常の活動で使用するツールを作成する必要がありました（ツール）データを生成してシステムにロードするためのツール、負荷テスト/安定性テストを「迅速に」実行するためのツールなど）。

具体的なプロジェクトの例

残念ながら、守秘義務があるため、私が携わったプロジェクトについて詳しく話すことはできませんが、あるプロジェクトにおけるデータ品質エンジニアの典型的なタスクの例を紹介します。

プロジェクトの本質は、それに基づいて機械学習モデルをトレーニングするためのデータを準備するためのプラットフォームを実装することです。 顧客は米国の大手製薬会社でした。 技術的にはクラスターだった Kubernetes、に上昇 AWS EC2 複数のマイクロサービスと、基礎となる EPAM のオープンソース プロジェクトを備えたインスタンス - 軍団、特定の顧客のニーズに適応した（現在、プロジェクトは オダフ）。 ETL プロセスは次を使用して編成されました。 ApacheAirflow からデータを移動しました セールスフォース の顧客システム AWS S3 バケツ。 次に、機械学習モデルの Docker イメージがプラットフォームにデプロイされ、新しいデータでトレーニングされ、REST API インターフェイスを使用して、ビジネスにとって興味深い予測が生成され、特定の問題が解決されました。

視覚的には、すべては次のように見えました。

このプロジェクトでは多くの機能テストが行​​われ、機能開発のスピードとリリース サイクル (XNUMX 週間のスプリント) のペースを維持する必要性を考慮すると、最も重要なコンポーネントのテストの自動化を直ちに考える必要がありました。システム。 Kubernetes ベースのプラットフォーム自体の大部分は、 ロボットフレームワーク + Python ですが、それらのサポートと拡張も必要でした。 さらに、顧客の利便性を考慮して、クラスターにデプロイされた機械学習モデルを管理するための GUI と、モデルのトレーニングのためにデータを転送する必要がある場所と場所を指定する機能が作成されました。 この広範な追加には自動機能テストの拡張が伴い、そのほとんどは REST API 呼び出しと少数のエンドツーエンド UI テストによって行われました。 このすべての動きの赤道付近で、製品バージョンの受け入れテストと次のリリースの受け入れに関する顧客とのコミュニケーションで素晴らしい仕事をした手動テスターが加わりました。 さらに、新しい専門家が到着したため、私たちの作業を文書化し、すぐに自動化するのが困難であったいくつかの非常に重要な手動チェックを追加することができました。

そして最後に、プラットフォームとその上の GUI アドオンの安定性を達成した後、Apache Airflow DAG を使用して ETL パイプラインの構築を開始しました。 自動データ品質チェックは、ETL プロセスの結果に基づいてデータをチェックする特別な Airflow DAG を作成することによって実行されました。 このプロジェクトの一環として、私たちは幸運なことに、お客様が私たちがテストした匿名化されたデータセットへのアクセスを提供してくれました。 データの型への準拠、壊れたデータの存在、前後のレコードの総数、集計のために ETL プロセスによって行われた変換の比較、列名の変更などをデータを XNUMX 行ずつチェックしました。 さらに、これらのチェックは、SalesForce に加えて、MySQL など、さまざまなデータ ソースに拡張されました。

最終的なデータ品質チェックはすでに S3 レベルで実行されており、データはそこに保存され、機械学習モデルのトレーニングにすぐに使用できるようになっていました。 S3 バケット上にある最終的な CSV ファイルからデータを取得して検証するために、コードは次を使用して記述されました。 boto3 クライアント.

また、データの一部を 3 つの SXNUMX バケットに保存し、一部を別の SXNUMX バケットに保存するという顧客からの要件もありました。 また、そのような並べ替えの信頼性をチェックするために追加のチェックを作成する必要もありました。

他のプロジェクトから得た一般的な経験

データ品質エンジニアの最も一般的なアクティビティのリストの例:

• 自動ツールを使用してテストデータ（有効・無効・大・小）を準備します。
• 準備したデータセットを元のソースにアップロードし、使用できる状態であることを確認します。
• 特定の設定セットを使用して、ソース ストレージから最終ストレージまたは中間ストレージまで一連のデータを処理する ETL プロセスを起動します (可能であれば、ETL タスクの構成可能なパラメーターを設定します)。
• ETL プロセスによって処理されたデータの品質とビジネス要件への準拠を検証します。

同時に、チェックの主な焦点は、システム内のデータ フローが原則として機能し、完了に達したという事実 (これは機能テストの一部です) にのみ焦点を当てるべきではなく、主に、システム内のデータ フローのチェックと検証に重点を置く必要があります。予想される要件への準拠、異常の特定など。

ツール

このようなデータ制御の手法の XNUMX つは、データ処理の各段階でのチェーン チェックの組織化、つまり文献ではいわゆる「データ チェーン」、つまりソースから最終使用時点までのデータの制御です。 これらのタイプのチェックは、ほとんどの場合、チェック用 SQL クエリを作成することによって実装されます。 このようなクエリは可能な限り軽量であるべきであり、個々のデータ品質 (テーブルのメタデータ、空白行、NULL、構文エラー - チェックに必要なその他の属性) をチェックする必要があることは明らかです。

既製の (変更不可、わずかに変更可能) データ セットを使用する回帰テストの場合、自動テスト コードは、データが品質に準拠しているかどうかをチェックするための既製のテンプレート (予期されるテーブル メタデータの説明、変更可能な行サンプル オブジェクト) を保存できます。テスト中にランダムに選択されるなど）。

また、テスト中には、Apache Airflow などのフレームワークを使用して ETL テスト プロセスを作成する必要があります。 Apache Spark あるいはブラックボックスのクラウド型ツールでも GCP データ準備, GCP データフロー 等々。 この状況により、テスト エンジニアは上記のツールの動作原理に没頭し、さらに効果的に機能テスト (プロジェクトの既存の ETL プロセスなど) を実行し、それらを使用してデータをチェックする必要があります。 特に、Apache Airflow には、一般的な分析データベースを操作するための既製のオペレーターが用意されています。 GCP BigQuery。 その使用の最も基本的な例はすでに概説されています ここでなので繰り返しません。

既成のソリューションを除けば、独自の技術やツールを実装することを禁じている人はいません。 これはプロジェクトにとって有益であるだけでなく、データ品質エンジニア自身にとっても有益であり、それによってデータ品質エンジニアの技術的視野とコーディング スキルが向上します。

実際のプロジェクトでどのように機能するか

「データ チェーン」、ETL、およびユビキタス チェックに関する最後の段落をわかりやすく示すのは、実際のプロジェクトの XNUMX つによる次のプロセスです。

ここでは、有効、無効、混合などのさまざまなデータ (当然、当社が準備したもの) がシステムの入力「ファネル」に入り、フィルタリングされて中間ストレージに到達し、再び一連の変換を受けます。これらは最終ストレージに配置され、そこから分析、データ マートの構築、ビジネス インサイトの検索が実行されます。 このようなシステムでは、ETL プロセスの動作を機能的にチェックすることなく、変換前後のデータの品質と分析への出力に重点を置きます。

上記を要約すると、私が働いていた場所に関係なく、私が関わったデータ プロジェクトには次のような特徴がありました。

• 自動化を通じてのみ、いくつかのケースをテストし、ビジネスに受け入れられるリリース サイクルを達成できます。
• このようなプロジェクトのテスターは、各参加者に大きな利益 (テストの迅速化、データ サイエンティストからの優れたデータ、初期段階での欠陥の特定) をもたらすため、チームの中で最も尊敬されるメンバーの XNUMX 人です。
• 独自のハードウェアで作業するかクラウドで作業するかは関係ありません。すべてのリソースは、Hortonworks、Cloudera、Mesos、Kubernetes などのクラスターに抽象化されます。
• プロジェクトはマイクロサービス アプローチに基づいて構築されており、分散コンピューティングと並列コンピューティングが主流です。

データ品質の分野でテストを行う場合、テスト専門家は専門的な焦点を製品のコードと使用するツールに移すことに注意してください。

データ品質テストの特徴

さらに、私自身としては、データ (ビッグ データ) プロジェクト (システム) およびその他の分野におけるテストの特徴として、以下の点を特定しました (これらは非常に一般的で完全に主観的なものであることを直ちに留保します)。

便利なリンク集

1. 理論： DAMA-DMBOK: データ管理知識体系: 第 2 版.
2. トレーニング・センター EPAM 
3. 初心者のデータ品質エンジニアに推奨される資料:
   1. Stepik の無料コース: データベースの概要. 
   2. LinkedIn ラーニングに関するコース: データ サイエンスの基礎: データ エンジニアリング.
   3. 記事：
      • ビジネスインテリジェンスとデータ品質; 
      • ETL テスト; 
      • データプロファイリングとは何ですか? プロセス、ベストプラクティス、ツール; 
      • テスト データの生成: とは、方法、例、ツール。 
      • 知っておくべき 5 つのテスト データ生成テクニック。 
   4. ビデオ：
      • データ品質の概念 | データ品質のチュートリアル | データ ウェアハウジングのチュートリアル;
      • SSIS を使用したデータプロファイリング;
      • Spark を使用したデータ プロファイリングとパイプライン処理。

まとめ

データ品質 これは非常に若い有望な方向性であり、その一部になることはスタートアップの一部になることを意味します。 Data Quality に入ると、多くの最新の需要の高いテクノロジを活用することになりますが、最も重要なことは、アイデアを生み出し、実装するための膨大な機会が開かれることです。 継続的改善のアプローチをプロジェクトだけでなく自分自身にも活用し、スペシャリストとして継続的に成長できるようになります。

出所： habr.com