Sberスケールを持っているとき。 Hive および GreenPlum での Ab Initio の使用

少し前、私たちはビッグ データを操作するための ETL ツールを選択するという問題に直面しました。 以前に使用していた Informatica BDM ソリューションは、機能が限られていたため、私たちには合いませんでした。 その使用は、spark-submit コマンドを起動するためのフレームワークに縮小されました。 原則として、私たちが毎日扱う大量のデータを処理できる類似製品は市場にはあまりありませんでした。 結局、Ab Initioを選択しました。 パイロット デモンストレーション中、この製品は非常に高いデータ処理速度を示しました。 ロシア語では Ab Initio に関する情報がほとんどないため、Habré での経験について話すことにしました。

Ab Initio には多くの古典的な変換と珍しい変換があり、そのコードは独自の PDL 言語を使用して拡張できます。 中小企業にとって、このような強力なツールは過剰である可能性が高く、その機能のほとんどは高価で未使用である可能性があります。 しかし、あなたのスケールがスベロフに近い場合は、Ab Initio に興味があるかもしれません。

これは、企業が世界的に知識を蓄積してエコシステムを開発するのに役立ち、開発者は ETL のスキルを向上させ、シェルの知識を向上させ、PDL 言語を習得する機会を提供し、読み込みプロセスを視覚的に把握し、開発を簡素化するのに役立ちます。機能部品が豊富に含まれているためです。

この投稿では、Ab Initio の機能について説明し、Hive および GreenPlum との動作の比較特性を示します。

• MDW フレームワークの説明と、GreenPlum 向けのカスタマイズに関する作業
• Hive と GreenPlum の Ab Initio パフォーマンスの比較
• GreenPlum を準リアルタイム モードで使用した Ab Initio の作業

この製品の機能は非常に幅広いため、学習には多くの時間がかかります。 ただし、適切な作業スキルと適切なパフォーマンス設定があれば、データ処理の結果は非常に優れています。 開発者が Ab Initio を使用すると、興味深い体験が得られます。 これは ETL 開発の新しい考え方であり、ビジュアル環境とスクリプトのような言語によるダウンロード開発のハイブリッドです。

企業はエコシステムを開発しており、このツールはこれまで以上に便利になっています。 Ab Initio を使用すると、現在のビジネスに関する知識を蓄積し、その知識を使用して古いビジネスや新しいビジネスを拡大することができます。 Ab Initio の代替には、ビジュアル開発環境 Informatica BDM や非ビジュアル開発環境 Apache Spark があります。

Ab Initioの説明

Ab Initio は、他の ETL ツールと同様、製品のコレクションです。

Ab Initio GDE (グラフィカル開発環境) は、開発者がデータ変換を構成し、矢印の形でデータ フローに接続するための環境です。 この場合、そのような一連の変換はグラフと呼ばれます。

機能コンポーネントの入力および出力接続はポートであり、変換内で計算されるフィールドが含まれます。 実行順に矢印の形でフローで結ばれた複数のグラフをプランと呼びます。

機能コンポーネントは数百個と膨大です。 その多くは高度に専門化されています。 Ab Initio の従来の変換機能は、他の ETL ツールよりも幅広い機能を備えています。 たとえば、Join には複数の出力があります。 データセットの接続結果に加えて、キーを接続できなかった入力データセットの出力レコードを取得できます。 また、変換操作の拒否、エラー、ログを取得することもできます。これらはテキスト ファイルと同じ列で読み取って、他の変換で処理できます。

あるいは、たとえば、データ レシーバーをテーブルの形式で実体化し、同じ列でそこからデータを読み取ることもできます。

オリジナルの変形もあります。 たとえば、スキャン変換には分析関数と同様の機能があります。 データの作成、Excel の読み取り、正規化、グループ内での並べ替え、プログラムの実行、SQL の実行、DB との結合など、わかりやすい名前の変換があります。グラフでは、パラメータの受け渡しやグラフへのパラメータの受け渡しなど、実行時パラメータを使用できます。オペレーティング システム。 グラフに渡される既製のパラメーターのセットを含むファイルは、パラメーター セット (pset) と呼ばれます。

予想通り、Ab Initio GDE には EME (Enterprise Meta Environment) と呼ばれる独自のリポジトリがあります。 開発者はローカル バージョンのコードを操作し、開発結果を中央リポジトリにチェックインする機会があります。

グラフの実行中または実行後に、変換を接続するフローをクリックして、これらの変換間で渡されるデータを確認することができます。

任意のストリームをクリックして、変換が機能した並列数、どの並列にロードされた行数とバイト数など、追跡の詳細を確認することもできます。

グラフの実行をフェーズに分割し、一部の変換を最初に (ゼロフェーズで) 実行する必要があり、次の変換を第 XNUMX フェーズで実行し、次の変換を第 XNUMX フェーズで実行する必要があることをマークすることができます。

変換ごとに、いわゆるレイアウト (変換が実行される場所) を選択できます。並列なし、または並列スレッドで、その数を指定できます。 同時に、変換の実行中に Ab Initio が作成する一時ファイルをサーバー ファイル システムと HDFS の両方に配置できます。

各変換では、デフォルトのテンプレートに基づいて、シェルに似た独自のスクリプトを PDL で作成できます。

PDL を使用すると、変換の機能を拡張でき、特に、実行時パラメーターに応じて任意のコード フラグメントを (実行時に) 動的に生成できます。

Ab Initio は、シェルを介した OS との統合もよく開発されています。 具体的には、Sberbank は Linux ksh を使用します。 シェルと変数を交換し、グラフのパラメーターとして使用できます。 シェルから Ab Initio グラフの実行を呼び出し、Ab Initio を管理できます。

Ab Initio GDE に加えて、他の多くの製品が配信されます。 オペレーティング システムと呼ばれる独自の Co>Operation System があります。 ダウンロード フローをスケジュールおよび監視できる [コントロール] > [センター] があります。 Ab Initio GDE よりもさらに原始的なレベルで開発を行うための製品があります。

MDW フレームワークの説明と、GreenPlum 向けのカスタマイズに関する作業

ベンダーは、自社の製品とともに、MDW (Metadata Driven Warehouse) 製品を提供しています。これは、データ ウェアハウスまたはデータ ボルトにデータを追加する一般的なタスクを支援するように設計されたグラフ コンフィギュレーターです。

これには、カスタム (プロジェクト固有) メタデータ パーサーと、すぐに使用できる既製のコード ジェネレーターが含まれています。

MDW は入力として、データ モデル、データベース (Oracle、Teradata、または Hive) への接続をセットアップするための構成ファイル、およびその他の設定を受け取ります。 たとえば、プロジェクト固有の部分では、モデルをデータベースにデプロイします。 製品のすぐに使用できる部分では、データをモデル テーブルにロードすることによって、グラフとその構成ファイルが生成されます。 この場合、グラフ (および pset) は、エンティティの更新に関する初期化および増分作業のいくつかのモードに対して作成されます。

Hive と RDBMS の場合、初期化と増分データ更新用に異なるグラフが生成されます。

Hive の場合、受信デルタ データは、更新前にテーブルにあったデータと Ab Initio Join を介して接続されます。 MDW のデータ ローダー (Hive と RDBMS の両方) は、デルタから新しいデータを挿入するだけでなく、主キーがデルタを受け取ったデータの関連期間を閉じます。 さらに、データの変更されていない部分を書き換える必要があります。 ただし、Hive には削除または更新操作がないため、これを行う必要があります。

RDBMS の場合、RDBMS には実際の更新機能があるため、増分データ更新のグラフがより最適に見えます。

受信したデルタはデータベース内の中間テーブルにロードされます。 この後、デルタは更新前にテーブルにあったデータに接続されます。 これは、生成された SQL クエリを使用して SQL を使用して実行されます。 次に、SQL コマンド delete+insert を使用して、デルタからの新しいデータがターゲット テーブルに挿入され、主キーがデルタを受け取ったデータの関連期間が閉じられます。
変更されていないデータを書き直す必要はありません。

そこで、Hive の場合、Hive には更新機能がないため、MDW がテーブル全体を書き換える必要があるという結論に達しました。 そして、更新時にデータを完全に書き換える以上に優れたものはありません。 逆に RDBMS の場合、製品の作成者はテーブルの接続と更新を SQL の使用に委ねる必要があると考えました。

Sberbank のプロジェクトのために、GreenPlum 用のデータベース ローダーの新しい再利用可能な実装を作成しました。 これは、MDW が Teradata 用に生成したバージョンに基づいて行われました。 これに最も近くて最適だったのは、Oracle ではなく Teradata でした。なぜなら... も MPP システムです。 Teradata と GreenPlum の作業方法と構文は類似していることが判明しました。

異なる RDBMS 間の MDW にとって重要な違いの例は次のとおりです。 GreenPlum では、Teradata とは異なり、テーブルを作成するときに句を記述する必要があります。

distributed by

Teradata は次のように書いています。

delete <table> all

、GreenPlumでは次のように書きます。

delete from <table>

Oracle では、最適化の目的で次のように記述します。

delete from t where rowid in (<соединение t с дельтой>)

、Teradata と GreenPlum は次のように書きます。

delete from t where exists (select * from delta where delta.pk=t.pk)

また、Ab Initio が GreenPlum と連携するには、Ab Initio クラスターのすべてのノードに GreenPlum クライアントをインストールする必要があることにも注意してください。 これは、クラスター内のすべてのノードから同時に GreenPlum に接続したためです。 そして、GreenPlum からの読み取りを並列にして、各並列 Ab Initio スレッドが GreenPlum からデータの独自の部分を読み取るためには、SQL クエリの「where」セクションに Ab Initio によって理解される構造を配置する必要がありました。

where ABLOCAL()

変換データベースから読み取ったパラメータを指定して、この構造の値を決定します。

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

、コンパイルすると次のようになります

mod(sk,10)=3

、つまりGreenPlum にパーティションごとに明示的なフィルターを要求する必要があります。 他のデータベース (Teradata、Oracle) の場合、Ab Initio はこの並列化を自動的に実行できます。

Hive と GreenPlum の Ab Initio パフォーマンスの比較

Sberbank は、MDW で生成されたグラフのパフォーマンスを Hive との関係および GreenPlum との関係で比較する実験を実施しました。 実験の一環として、Hive の場合は Ab Initio と同じクラスター上に 5 つのノードがあり、GreenPlum の場合は別のクラスター上に 4 つのノードがありました。 それらの。 Hive には、GreenPlum よりもハードウェア上の利点がありました。

Hive と GreenPlum でデータを更新するという同じタスクを実行する XNUMX つのグラフのペアを検討しました。 同時に、MDW コンフィギュレーターによって生成されたグラフが起動されました。

• ランダムに生成されたデータの Hive テーブルへの初期ロード + 増分ロード
• 同じ GreenPlum テーブルへのランダムに生成されたデータの初期ロード + 増分ロード

どちらの場合 (Hive と GreenPlum) も、同じ Ab Initio クラスター上の 10 個の並列スレッドへのアップロードを実行しました。 Ab Initio では、計算用の中間データを HDFS に保存しました (Ab Initio では、HDFS を使用した MFS レイアウトが使用されました)。 ランダムに生成されたデータの 200 行は、どちらの場合も XNUMX バイトを占めていました。

結果は次のようになりました。

ハイブ：

Hive での初期読み込み

挿入された行
6 000 000
60 000 000
600 000 000

初期化期間
数秒でダウンロード
41
203
1 601

Hive での増分読み込み

使用可能な行数
実験開始時のターゲットテーブル
6 000 000
60 000 000
600 000 000

適用されるデルタ ラインの数
実験中のターゲットテーブル
6 000 000
6 000 000
6 000 000

インクリメンタルの期間
数秒でダウンロード
88
299
2 541

グリーンプラム:

GreenPlum での初期ロード

挿入された行
6 000 000
60 000 000
600 000 000

初期化期間
数秒でダウンロード
72
360
3 631

GreenPlum での増分読み込み

使用可能な行数
実験開始時のターゲットテーブル
6 000 000
60 000 000
600 000 000

適用されるデルタ ラインの数
実験中のターゲットテーブル
6 000 000
6 000 000
6 000 000

インクリメンタルの期間
数秒でダウンロード
159
199
321

Hive と GreenPlum の両方の初期読み込み速度はデータ量に直線的に依存しており、ハードウェアが優れているという理由から、Hive の方が GreenPlum よりもわずかに速いことがわかります。

Hive の増分読み込みも、ターゲット テーブルで利用可能な以前に読み込まれたデータの量に線形的に依存し、ボリュームが増加するにつれて非常にゆっくりと進行します。 これは、ターゲットテーブルを完全に書き直す必要があるために発生します。 これは、小さな変更を巨大なテーブルに適用することは、Hive にとって適切なユースケースではないことを意味します。

GreenPlum の増分ロードは、ターゲット テーブルで使用可能な以前にロードされたデータの量にほとんど依存せず、非常に迅速に処理されます。 これは、SQL 結合と削除操作を可能にする GreenPlum アーキテクチャのおかげで起こりました。

そのため、GreenPlum は削除 + 挿入メソッドを使用してデルタを追加しますが、Hive には削除または更新操作がないため、増分更新中にデータ配列全体を完全に書き直す必要がありました。 太字で強調表示されたセルの比較は、リソースを大量に消費するダウンロードを使用するための最も一般的なオプションに対応しているため、最も明らかです。 このテストでは、GreenPlum が Hive を 8 倍上回っていることがわかります。

GreenPlum を準リアルタイム モードで使用した Ab Initio の作業

この実験では、ランダムに生成されたデータのチャンクを使用して GreenPlum テーブルをほぼリアルタイムで更新する Ab Initio の機能をテストします。 これから作業する GreenPlum テーブル dev42_1_db_usl.TESTING_SUBJ_org_finval について考えてみましょう。

XNUMX つの Ab Initio グラフを使用して作業します。

1) Graph Create_test_data.mp – 10 個の並列スレッドで 6 行のデータ ファイルを HDFS に作成します。 データはランダムであり、その構造はテーブルに挿入できるように編成されています。

2) グラフ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10 個の並列スレッドでテーブルへのデータ挿入を初期化することにより、MDW で生成されたグラフ (グラフ (1) によって生成されたテスト データが使用されます)

3) グラフ mdw_load.regulator.current.dev42_1_db_usl_testing_subj_org_finval.pset – グラフ (10) によって生成された新しく受信したデータ (デルタ) の一部を使用して、1 個の並列スレッドでテーブルを増分更新するために MDW によって生成されたグラフ

以下のスクリプトを NRT モードで実行してみましょう。

• 6 のテスト行を生成
• 初期ロードを実行し、空のテーブルに 6 のテスト行を挿入します。
• 増分ダウンロードを 5 回繰り返す
  • 6 のテスト行を生成
  • テーブルへの 6 個のテスト行の増分挿入を実行します (この場合、valid_to_ts 有効期限は古いデータに設定され、同じ主キーを持つより新しいデータが挿入されます)

このシナリオは、特定のビジネス システムの実際の運用モードをエミュレートします。新しいデータのかなりの部分がリアルタイムで表示され、すぐに GreenPlum に注がれます。

次に、スクリプトのログを見てみましょう。

2020-06-04 11:49:11 に Create_test_data.input.pset を開始します。
2020-06-04 11:49:37 に Create_test_data.input.pset を完了します
42-1-2020 06:04:11 に mdw_load.day_one.current.dev49_37_db_usl_testing_subj_org_finval.pset を開始します。
42-1-2020 06:04:11 に mdw_load.day_one.current.dev50_42_db_usl_testing_subj_org_finval.pset を終了します
2020-06-04 11:50:42 に Create_test_data.input.pset を開始します。
2020-06-04 11:51:06 に Create_test_data.input.pset を完了します
42-1-2020 06:04:11 に mdw_load.normal.current.dev51_06_db_usl_testing_subj_org_finval.pset を開始します。
42-1-2020 06:04:11 に mdw_load.normal.current.dev53_41_db_usl_testing_subj_org_finval.pset を終了します
2020-06-04 11:53:41 に Create_test_data.input.pset を開始します。
2020-06-04 11:54:04 に Create_test_data.input.pset を完了します
42-1-2020 06:04:11 に mdw_load.normal.current.dev54_04_db_usl_testing_subj_org_finval.pset を開始します。
42-1-2020 06:04:11 に mdw_load.normal.current.dev56_51_db_usl_testing_subj_org_finval.pset を終了します
2020-06-04 11:56:51 に Create_test_data.input.pset を開始します。
2020-06-04 11:57:14 に Create_test_data.input.pset を完了します
42-1-2020 06:04:11 に mdw_load.normal.current.dev57_14_db_usl_testing_subj_org_finval.pset を開始します。
42-1-2020 06:04:11 に mdw_load.normal.current.dev59_55_db_usl_testing_subj_org_finval.pset を終了します
2020-06-04 11:59:55 に Create_test_data.input.pset を開始します。
2020-06-04 12:00:23 に Create_test_data.input.pset を完了します
42-1-2020 06:04:12 に mdw_load.normal.current.dev00_23_db_usl_testing_subj_org_finval.pset を開始します。
42-1-2020 06:04:12 に mdw_load.normal.current.dev03_23_db_usl_testing_subj_org_finval.pset を終了します
2020-06-04 12:03:23 に Create_test_data.input.pset を開始します。
2020-06-04 12:03:49 に Create_test_data.input.pset を完了します
42-1-2020 06:04:12 に mdw_load.normal.current.dev03_49_db_usl_testing_subj_org_finval.pset を開始します。
42-1-2020 06:04:12 に mdw_load.normal.current.dev06_46_db_usl_testing_subj_org_finval.pset を終了します

この写真は次のようになります。

グラフ
開始時刻
終了時間
長さ

Create_test_data.input.pset
04.06.2020 11：49：11
04.06.2020 11：49：37
00:00:26

mdw_load.day_one.current。
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11：49：37
04.06.2020 11：50：42
00:01:05

Create_test_data.input.pset
04.06.2020 11：50：42
04.06.2020 11：51：06
00:00:24

mdw_load.normal.current。
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11：51：06
04.06.2020 11：53：41
00:02:35

Create_test_data.input.pset
04.06.2020 11：53：41
04.06.2020 11：54：04
00:00:23

mdw_load.normal.current。
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11：54：04
04.06.2020 11：56：51
00:02:47

Create_test_data.input.pset
04.06.2020 11：56：51
04.06.2020 11：57：14
00:00:23

mdw_load.normal.current。
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11：57：14
04.06.2020 11：59：55
00:02:41

Create_test_data.input.pset
04.06.2020 11：59：55
04.06.2020 12：00：23
00:00:28

mdw_load.normal.current。
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12：00：23
04.06.2020 12：03：23
00:03:00

Create_test_data.input.pset
04.06.2020 12：03：23
04.06.2020 12：03：49
00:00:26

mdw_load.normal.current。
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12：03：49
04.06.2020 12：06：46
00:02:57

6 増分行が 000 分で処理されることがわかります。これは非常に高速です。
ターゲットテーブルのデータは次のように分散されていることがわかりました。

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

挿入されたデータとグラフの開始時刻との対応を確認できます。
これは、Ab Initio で GreenPlum へのデータの増分読み込みを非常に高い頻度で実行でき、このデータが GreenPlum に高速で挿入されることを観察できることを意味します。 もちろん、Ab Initio は他の ETL ツールと同様、起動時に「起動」するのに時間がかかるため、XNUMX 秒に XNUMX 回起動することはできません。

まとめ

Ab Initio は現在、Sberbank で統合セマンティック データ レイヤー (ESS) を構築するために使用されています。 このプロジェクトには、さまざまな銀行事業体の状態の統一バージョンの構築が含まれます。 情報はさまざまなソースから取得され、そのレプリカが Hadoop 上に作成されます。 ビジネス ニーズに基づいてデータ モデルが準備され、データ変換が記述されます。 Ab Initio は情報を ESN にロードします。ダウンロードされたデータは、ビジネス自体にとって興味深いだけでなく、データ マートを構築するためのソースとしても機能します。 同時に、この製品の機能により、さまざまなシステム (Hive、Greenplum、Teradata、Oracle) を受信側として使用できるため、ビジネスに必要なさまざまな形式でデータを簡単に準備することができます。

Ab Initio の機能は幅広く、たとえば、付属の MDW フレームワークを使用すると、すぐに技術データとビジネス履歴データを構築できます。 開発者にとって、Ab Initio を使用すると、車輪の再発明ではなく、多くの既存の機能コンポーネント (基本的にデータを操作するときに必要なライブラリ) を使用できるようになります。

著者は、Sberbank SberProfi DWH/BigData のプロフェッショナル コミュニティの専門家です。 SberProfi DWH/BigData プロフェッショナル コミュニティは、Hadoop エコシステム、Teradata、Oracle DB、GreenPlum、BI ツール Qlik、SAP BO、Tableau などの分野でのコンピテンシーの開発を担当しています。

出所： habr.com