Progress OpenEdge バンキング システムと Oracle DBMS を連携させる方法

1999 年以来、当銀行はバックオフィスにサービスを提供するために、金融セクターを含む世界中で広く使用されている Progress OpenEdge プラットフォーム上の統合バンキング システム BISKVIT を使用しています。 この DBMS のパフォーマンスにより、1,5 つのデータベース (DB) で 22,2 秒あたり最大 XNUMX 万件以上のレコードを読み取ることができます。 当社の Progress OpenEdge は、約 XNUMX 万件の個人預金とアクティブ商品 (自動車ローンや住宅ローン) の約 XNUMX 万件の契約にサービスを提供しており、規制当局 (中央銀行) および SWIFT とのすべての決済も担当しています。

Progress OpenEdge を使用することで、それを Oracle DBMS と連携させる必要性に直面しました。 当初、Pro2 CDC (Progress DBMS から Oracle DBMS に直接オンラインでデータを送信できるようにする Progress 製品) をインストールして構成するまでは、このバンドルがインフラストラクチャのボトルネックでした。 この記事では、OpenEdge と Oracle の間で効果的に友達を作る方法を、落とし穴も含めて詳しく説明します。

経緯: ファイル共有経由で QCD にデータをアップロード

まず、インフラストラクチャに関するいくつかの事実について説明します。 データベースのアクティブ ユーザー数は約 15 人です。 レプリカとスタンバイを含むすべての本稼働データベースのボリュームは 600 TB で、最大のデータベースは 16,5 TB です。 同時に、データベースは常に補充されており、昨年だけで約 120 TB の生産的なデータが追加されました。 このシステムは、x150 プラットフォーム上の 86 台のフロント サーバーによって稼働します。 データベースは 21 台の IBM プラットフォーム サーバーでホストされています。

フロントエンド システム、さまざまなコア バンキング システム、バンキング サービスは、Sonic ESB バスを介して OpenEdge Progress (BISCUIT IBS) と統合されています。 QCD へのデータのアップロードは、ファイル交換を通じて行われます。 ある時点まで、このようなソリューションには、企業データ ウェアハウス (CDW) への情報アップロードのパフォーマンスが低いことと、他のシステムとのデータ調整 (調整) の実行に時間がかかるという XNUMX つの大きな問題が同時にありました。

そこで、これらのプロセスを高速化できるツールを探し始めました。 両方の問題に対する解決策は、新しい Progress OpenEdge 製品である Pro2 CDC (Change Data Capture) でした。 それでは、始めましょう。

OpenEdge と Pro2Oracle のインストールの進行状況

管理者の Windows コンピュータで Pro2 Oracle を実行するには、Progress OpenEdge Developer Kit Classroom Edition をインストールするだけで十分です。 ダウンロード 無料で。 デフォルトの OpenEdge インストール ディレクトリ:

DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK

ETL プロセスには、Progress OpenEdge ライセンス バージョン 11.7 以降、つまり OE DataServer for Oracle および 4GL Development System が必要です。 これらのライセンスは Pro2 に含まれています。 リモート Oracle データベースを使用して DataServer for Oracle を完全に操作するには、完全な Oracle クライアントがインストールされます。

Oracle サーバーでは、Oracle Database 12+ をインストールし、空のデータベースを作成し、ユーザー (ここではユーザーと呼びます) を追加する必要があります。 CDC).

Pro2Oracle をインストールするには、ダウンロード センターから最新のディストリビューションをダウンロードします。 進捗ソフトウェア。 アーカイブをディレクトリに解凍します C:プロ2 (Unix 上で Pro2 を構成するには、同じディストリビューションが使用され、同じ構成原則が適用されます)。

CDC レプリケーション データベースの作成

レプリケーションデータベース CDC (レプリカ) Pro2 は、レプリケーション マップ、レプリケートされたデータベースの名前、およびそのテーブルなどの構成情報を保存するために使用されます。 また、ソース データベースのテーブル行が変更されたという事実に関するメモで構成されるレプリケーション キューも含まれています。 レプリケーション キューのデータは、ソース データベースから Oracle にコピーする必要がある行を識別するために ETL プロセスによって使用されます。

別の cdc データベースを作成しています。

データベースの作成手順

1. データベース サーバー上に、cdc データベース用のディレクトリを作成します。たとえば、 /データベース/cdc/.
2. cdc データベースのダミーを作成します。 プロコピー $DLC/空の CDC
3. 大きなファイルのサポートを有効にします。 proutil cdc -C EnableLargeFiles
4. cdcデータベースを起動するスクリプトを用意します。 開始パラメータは、レプリケートされたデータベースの開始パラメータと同様である必要があります。
5. cdc データベースを起動します。
6. cdc データベースに接続し、ファイルから Pro2 スキーマをロードします。 cdc.df、Pro2に含まれています。
7. cdc データベースに次のユーザーを作成します。

pro2adm – Pro2 管理パネルからの接続用。
pro2etl – ETL プロセスを接続するため (ReplBatch)。
pro2cdc – CDC プロセス (CDCBatch) を接続するため。

OpenEdge 変更データ キャプチャのアクティブ化

次に、CDC メカニズム自体を有効にして、データが追加のテクノロジー領域に複製されるようにしましょう。 Progress OpenEdge ソース データベースごとに、ソース データが複製される個別のストレージ領域を追加し、コマンドを使用してメカニズム自体をアクティブにする必要があります。 プルーユ.

ビスケットデータベースの手順例

1. カタログからのコピー C:プロ2db файл cdcadd.st bisquit ソース データベース ディレクトリにコピーします。
2. で説明します cdcadd.st 領域の固定サイズのエクステント 「ReplCDCエリア」 и 「ReplCDCArea_IDX」。 新しいストレージ領域をオンラインで追加できます。 prostrct アドオンライン ビスケット cdcadd.st
3. OpenEdge CDC をアクティブ化します。
   proutil bisquit -C Enablecdc area "ReplCDCArea" Indexarea "ReplCDCArea_IDX"
4. 実行中のプロセスを識別するには、ソース データベースに次のユーザーを作成する必要があります。
   ａ． pro2adm – Pro2 管理パネルからの接続用。
   b. pro2etl – ETL プロセス (ReplBatch) を接続するため。
   c. pro2cdc – CDC プロセス (CDCBatch) を接続するため。

DataServer for Oracle のスキーマ ホルダーの作成

次に、Progress DBMS からのデータが Oracle DBMS にレプリケートされるサーバー上にスキーマ ホルダー データベースを作成する必要があります。 DataServer Schema Holder は、ユーザーやアプリケーション データのない空の Progress OpenEdge データベースで、ソース テーブルと外部 Oracle テーブル間の対応マップが含まれています。

Pro2 用の Progress OpenEdge DataServer for Oracle のスキーマ ホルダー データベースは、ETL プロセス サーバー上に配置する必要があり、ブランチごとに個別に作成されます。

スキーマホルダーの作成方法

1. Pro2 ディストリビューションをディレクトリに解凍します。 /プロ2
2. ディレクトリを作成して移動します /pro2/dbsh
3. コマンドを使用してスキーマホルダーデータベースを作成します。 $DLC/空のビスケットをコピー
4. 変換を実行する ビスケット 必要なエンコーディングに変換します。たとえば、Oracle データベースに UTF-8 エンコーディングがある場合は、UTF-8 に変換します。 proutil bisquitsh -C convchar Convert UTF-8
5. 空のデータベースを作成した後 ビスケット シングルユーザー モードで接続します。 プロビスケット
6. データディクショナリに行きましょう: [ツール] -> [データ ディクショナリ] -> [DataServer] -> [ORACLE ユーティリティ] -> [DataServer スキーマの作成]
7. スキーマホルダーの起動
8. Oracle DataServer ブローカーのセットアップ:
   ａ． 管理サーバーを起動します。
   proadsv -start
   b. Oracle DataServer ブローカーの開始
   oraman -name orabroker1 -start

管理パネルとレプリケーションスキームのセットアップ

Pro2 管理パネルを使用して、レプリケーション スキームのセットアップ、ETL プロセス (プロセッサ ライブラリ)、プライマリ同期プログラム (バルク コピー プロセッサ)、レプリケーション トリガー、OpenEdge CDC ポリシーの生成など、Pro2 パラメータを設定します。 ETL および CDC プロセスを監視および管理するための主要なツールもあります。 まず最初にパラメータファイルを設定します。

パラメータファイルの設定方法

1. カタログへ行く C:Pro2bpreplScripts
2. 編集するためにファイルを開きます replProc.pf
3. 接続パラメータを cdc レプリケーション データベースに追加します。
   # レプリケーションデータベース
   -db cdc -ld repl -H <メイン データベース ホスト名> -S <データベース ブローカー ポート cdc>
   -U pro2admin -P <パスワード>
4. に追加 replProc.pf ソース データベースおよびスキーマ ホルダーへの接続パラメータをパラメータ ファイルの形式で保存します。 パラメータ ファイルの名前は、接続されているソース データベースの名前と一致する必要があります。
   # レプリケートされたすべてのソースに接続します BISQUIT
   -pf bpreplscriptsbisquit.pf
5. に追加 replProc.pf スキーマホルダーに接続するためのパラメータ。
   #Target Pro DB スキーマ ホルダー
   -db ビスキット -ld ビスキット
   -H <ETL プロセスのホスト名>
   -S <biskuitsh ブローカー ポート>
   -db ビスキットSQL
   -ld ビスケットSQL
   -dt オラクル
   -S 5162 -H <Oracle ブローカーのホスト名>
   -DataService orabroker1
6. パラメータファイルを保存します replProc.pf
7. 次に、ディレクトリ内の接続されているソースデータベースごとにパラメータファイルを作成し、開いて編集する必要があります。 C:Pro2bpreplScripts: bisquit.pf。 各 pf ファイルには、対応するデータベースに接続するためのパラメータが含まれています。次に例を示します。
   -db bisquit -ld bisquit -H <ホスト名> -S <ブローカー ポート>
   -U pro2admin -P <パスワード>

Windows ショートカットを設定するには、次のディレクトリに移動する必要があります。 C:Pro2bpreplScripts 「Pro2 – 管理」ショートカットを編集します。 これを行うには、ショートカットのプロパティを開き、 で開始 Pro2 のインストール ディレクトリを示します。 「Pro2 – Editor」および「RunBulkLoader」ショートカットについても同様の操作を行う必要があります。

Pro2 管理セットアップ: 初期構成のロード

コンソールを起動しましょう。

「DBマップ」へ進みます。

Pro2 – 管理でデータベースをリンクするには、タブに移動します DBマップ。 ソースデータベースのマッピングを追加 - スキーマホルダー - Oracle.

タブに移動 マッピング. 上場 ソースデータベース デフォルトでは、最初に接続されたソース データベースが選択されます。 リストの右側に碑文があるはずです すべてのデータベースが接続されました — 選択したデータベースが接続されています。 左側の下には、bisquit の進捗テーブルのリストが表示されます。 右側には、Oracle データベースのテーブルのリストがあります。

Oracle での SQL スキーマとデータベースの作成

レプリケーション マップを作成するには、まず、 SQLスキーマ オラクルで。 Pro2 Administration では、メニュー項目を実行します。 ツール -> コードの生成 -> ターゲットスキーマ、ダイアログボックスで データベースを選択 XNUMX つ以上のソース データベースを選択し、右に移動します。

「OK」をクリックし、SQL スキーマを保存するディレクトリを選択します。

次にベースを作成していきます。 これは、たとえば次のようにして実行できます。 Oracle SQL 開発者。 これを行うには、Oracle データベースに接続し、テーブルを追加するためのスキーマをロードします。 Oracle テーブルの構成を変更した後、スキーマ ホルダー内の SQL スキーマを更新する必要があります。

ダウンロードが正常に完了したら、bisquitsh データベースを終了し、Pro2 管理パネルを開きます。 Oracle データベースのテーブルが右側の [マッピング] タブに表示されます。

テーブルマッピング

レプリケーション マップを作成するには、Pro2 管理パネルで [マッピング] タブに移動し、ソース データベースを選択します。 「テーブルのマップ」をクリックし、Oracle でレプリケートするテーブルの左側にある「変更の選択」を選択し、テーブルを右側に移動して選択を確認します。 選択したテーブルのマップが自動的に作成されます。 この操作を繰り返して、他のソース データベースのレプリケーション マップを作成します。

Pro2 レプリケーション プロセッサ ライブラリと一括コピー プロセッサ プログラムの生成

レプリケーション プロセッサ ライブラリは、Pro2 レプリケーション キューを処理し、変更を Oracle データベースにプッシュするカスタム レプリケーション プロセス (ETL) 用に設計されています。 レプリケーション プロセッサ ライブラリ プログラムは生成後に自動的にディレクトリに保存されます bprepl/repl_proc (PROC_DIRECTORY パラメーター)。 レプリケーション プロセッサ ライブラリを生成するには、次の場所に移動します。 [ツール] -> [コードの生成] -> [プロセッサ ライブラリ]。 生成が完了すると、プログラムがディレクトリに表示されます。 bprepl/repl_proc.

Bulk Load Processor プログラムは、Progress ABL (4GL) プログラミング言語に基づいて、ソース Progress データベースをターゲット Oracle データベースと同期するために使用されます。 それらを生成するには、メニュー項目に移動します [ツール] -> [コードの生成] -> [一括コピー プロセッサ]。 [データベースの選択] ダイアログ ボックスで、ソース データベースを選択し、ウィンドウの右側に移動して、 OK。 生成が完了すると、プログラムがディレクトリに表示されます。 bpreplrepl_mproc.

Pro2 でのレプリケーション プロセスのセットアップ

テーブルを別のレプリケーション スレッドによって提供されるセットに分割すると、Pro2 Oracle のパフォーマンスと効率が向上します。 デフォルトでは、新しいレプリケーション テーブルのレプリケーション マップで作成されたすべての接続は、スレッド番号 1 に関連付けられます。テーブルを異なるスレッドに分割することをお勧めします。

レプリケーション スレッドのステータスに関する情報は、Pro2 管理画面の [監視] タブの [レプリケーション ステータス] セクションに表示されます。 パラメータ値の詳細な説明は、Pro2 ドキュメント (ディレクトリ C:Pro2Docs) にあります。

CDC ポリシーを作成してアクティブ化する

ポリシーは、OpenEdge CDC エンジンがテーブルへの変更を監視するための一連のルールです。 執筆時点では、Pro2 はレベル 0 の CDC ポリシーのみをサポートしています。つまり、ファクトのみが監視されます。 変更を記録する.

CDC ポリシーを作成するには、管理パネルで [マッピング] タブに移動し、ソース データベースを選択して [ポリシーの追加/削除] ボタンをクリックします。 開いた「変更の選択」ウィンドウで、CDC ポリシーを作成または削除する必要があるテーブルを左側で選択し、右側に移動します。

有効にするには、[マッピング] タブを再度開き、ソース データベースを選択して、ボタンをクリックします。 (イン)アクティブ化ポリシー。 アクティブ化するポリシーを選択してテーブルの右側に移動し、「OK」をクリックします。 この後、それらは緑色でマークされます。 を使用することで (イン)アクティブ化ポリシー CDC ポリシーを非アクティブ化することもできます。 すべての取引はオンラインで行われます。

CDC ポリシーがアクティブ化されると、変更されたレコードに関するメモがストレージ領域に保存されます。 「ReplCDCエリア」 ソースデータベースによると。 これらのメモは特別なプロセスを通じて処理されます CDCBatch、それらに基づいて、データベース内の Pro2 レプリケーション キューにメモが作成されます。 CDC (レプリカ).

したがって、レプリケーション用のキューが XNUMX つあります。 最初のステージは CDCBatch です。データは、ソース データベースからまず中間 CDC データベースに送られます。 第 XNUMX 段階は、データが CDC データベースから Oracle に転送されるときです。 これは現在のアーキテクチャと製品自体の機能です。これまでのところ、開発者は直接レプリケーションを確立できていません。

プライマリ同期

CDC メカニズムを有効にし、Pro2 レプリケーション サーバーを設定した後、初期同期を開始する必要があります。 初期同期コマンド:

/pro2/bprepl/Script/replLoad.sh ビスキット テーブル名

初期同期が完了したら、レプリケーション プロセスを開始できます。

レプリケーションプロセスの開始

レプリケーションプロセスを開始するには、スクリプトを実行する必要があります replbatch.sh。 開始する前に、すべてのスレッド (replbatch1、replbatch2 など) に replbatch スクリプトがあることを確認してください。 すべてが整っている場合は、コマンド ラインを開きます (たとえば、 環境)、ディレクトリに移動します /bprepl/スクリプト そしてスクリプトを開始します。 管理パネルで、対応するプロセスが RUNNING ステータスを受け取ったことを確認します。

結果

導入後は、企業データ ウェアハウスへの情報のアップロードが大幅に高速化されました。 データは自動的にオンラインで Oracle に取り込まれます。 さまざまなシステムからデータを収集するために、長時間実行されるクエリを実行して時間を無駄にする必要はありません。 さらに、このソリューションではレプリケーション プロセスでデータを圧縮できるため、速度にもプラスの影響を及ぼします。 現在、BISKVIT システムと他のシステムとの毎日の調整には 15 ～ 20 時間ではなく 2 ～ 2,5 分かかるようになり、完全な調整には XNUMX 日ではなく数時間かかりました。

出所： habr.com