Како да се дружите помеѓу банкарскиот систем Progress OpenEdge и Oracle DBMS

Од 1999 година, за сервисирање на back office, нашата банка го користи интегрираниот банкарски систем BISKVIT на платформата Progress OpenEdge, која е широко користена низ целиот свет, вклучително и во финансискиот сектор. Перформансите на овој DBMS ви овозможуваат да читате до милион или повеќе записи во секунда во една база на податоци (DB). Нашиот Progress OpenEdge опслужува околу 1,5 милиони индивидуални депозити и околу 22,2 милиони договори за активни производи (заеми за автомобили и хипотеки), а исто така е одговорен за сите порамнувања со регулаторот (Централна банка) и SWIFT.

Користејќи го Progress OpenEdge, се соочивме со потребата да работи со Oracle DBMS. Првично, овој пакет беше тесно грло на нашата инфраструктура - додека не го инсталиравме и конфигуриравме Pro2 CDC - производ на Progress што ви овозможува да испраќате податоци од Progress DBMS до Oracle DBMS директно, онлајн. Во овој пост ќе ви кажеме детално, со сите стапици, како ефективно да се дружите помеѓу OpenEdge и Oracle.

Како се случи: поставување податоци на QCD преку споделување датотеки

Прво, некои факти за нашата инфраструктура. Бројот на активни корисници на базата е приближно 15 илјади. Обемот на сите продуктивни бази на податоци, вклучувајќи реплика и подготвеност, е 600 TB, најголемата база на податоци е 16,5 TB. Во исто време, базите на податоци постојано се надополнуваат: само во текот на минатата година се додадени околу 120 ТБ продуктивни податоци. Системот се напојува со 150 предни сервери на платформата x86. Базите на податоци се хостирани на 21 сервер на платформата на IBM.

Предни системи, различни основни банкарски системи и банкарски услуги се интегрирани со OpenEdge Progress (BISCUIT IBS) преку магистралата Sonic ESB. Поставувањето податоци на QCD се случува преку размена на датотеки. До одреден временски период, ова решение имаше два големи проблеми одеднаш - ниски перформанси на прикачување на информации во корпоративен склад за податоци (CDW) и долго време за извршување на усогласување на податоци (помирување) со други системи.

Затоа, почнавме да бараме алатка која може да ги забрза овие процеси. Решението за двата проблема беше новиот производ на Progress OpenEdge – Pro2 CDC (Change Data Capture). Значи, да започнеме.

Инсталирајте ги Progress OpenEdge и Pro2Oracle

За да го извршите Pro2 Oracle на Windows компјутерот на администраторот, доволно е да инсталирате Progress OpenEdge Developer Kit Classroom Edition, што може да биде преземете бесплатно. Стандардни директориуми за инсталација на OpenEdge:

DLC: C: ProgressOpenEdge
WRK: C:OpenEdgeWRK

ETL процесите бараат Progress OpenEdge лиценци верзија 11.7+ - имено OE DataServer за Oracle и 4GL Development System. Овие лиценци се вклучени со Pro2. За целосно функционирање на DataServer за Oracle со далечинска база на податоци на Oracle, инсталиран е Full Oracle Client.

На серверот Oracle треба да инсталирате Oracle Database 12+, да креирате празна база на податоци и да додадете корисник (ајде да го повикаме cdc).

За да инсталирате Pro2Oracle, преземете ја најновата дистрибуција од центарот за преземање Софтвер за напредок. Отпакувајте ја архивата во директориум C: Pro2 (За конфигурирање на Pro2 на Unix, се користи истата дистрибуција и се применуваат истите принципи на конфигурација).

Креирање на база на податоци за репликација на cdc

База на податоци за репликација cdc (реплика) Pro2 се користи за складирање на информации за конфигурација, вклучувајќи ја мапата за репликација, имињата на реплицираните бази на податоци и нивните табели. Исто така, содржи редица за репликација, која се состои од белешки за фактот дека редот на табелата во изворната база на податоци е променет. Податоците од редот за репликација се користат од ETL процесите за да се идентификуваат редовите што треба да се копираат во Oracle од изворната база на податоци.

Создаваме посебна база на податоци за CDC.

Постапка за креирање на база на податоци

1. На серверот за база на податоци создаваме директориум за базата на податоци на cdc - на пример, на серверот /база на податоци/cdc/.
2. Создадете кукла за базата на податоци на CDC: копирајте $DLC/празен CDC
3. Овозможете поддршка за големи датотеки: proutil cdc -C EnableLargeFiles
4. Подготвуваме скрипта за стартување на базата на податоци за CDC. Почетните параметри мора да бидат слични на почетните параметри на реплицираната база на податоци.
5. Ја започнуваме базата на податоци за CDC.
6. Поврзете се со базата на податоци на cdc и вчитајте ја шемата Pro2 од датотеката cdc.df, кој е вклучен со Pro2.
7. Ние ги креираме следниве корисници во базата на податоци за CDC:

pro2adm – за поврзување од административниот панел Pro2;
pro2etl – за поврзување на ETL процеси (ReplBatch);
pro2cdc – за поврзување CDC процеси (CDCBatch);

Активирање на OpenEdge Change Data Capture

Сега да го вклучиме самиот CDC механизам, со чија помош податоците ќе се реплицираат во дополнителна технолошка област. На секоја изворна база на податоци на Progress OpenEdge, треба да додадете посебни области за складирање во кои ќе се дуплираат изворните податоци и да го активирате самиот механизам користејќи ја командата проутил.

Пример процедура за базата на податоци за бисквити

1. Копирање од каталогот C: Pro2db датотеката cdcadd.st до директориумот на базата на податоци за извор на бисквит.
2. Ние опишуваме во cdcadd.st опсези со фиксна големина за региони "ReplCDCArea" и „ReplCDCArea_IDX“. Можете да додадете нови области за складирање онлајн: prostrct додаток онлајн бисквит cdcadd.st
3. Активирајте го OpenEdge CDC:
   proutil bisquit -C enabledcdc област „ReplCDCArea“ индексна област „ReplCDCArea_IDX“
4. Следниве корисници мора да се креираат во изворната база на податоци за да се идентификуваат процесите што се извршуваат:
   а. pro2adm – за поврзување од административниот панел Pro2.
   б. pro2etl – за поврзување на ETL процеси (ReplBatch).
   в. pro2cdc – за поврзување CDC процеси (CDCBatch).

Креирање на држач за шема за DataServer за Oracle

Следно, треба да создадеме база на податоци на Schema Holder на серверот каде што податоците од Progress DBMS ќе се реплицираат на Oracle DBMS. DataServer Schema Holder е празна база на податоци на Progress OpenEdge без податоци за корисници или апликации, која содржи карта на кореспонденција помеѓу изворните табели и надворешните табели на Oracle.

Базата на податоци на Schema Holder за Progress OpenEdge DataServer за Oracle за Pro2 мора да се наоѓа на процесниот сервер ETL; таа е креирана посебно за секоја гранка.

Како да креирате Држач за шема

1. Отпакувајте ја дистрибуцијата Pro2 во директориум /pro2
2. Креирајте и одете во директориумот /pro2/dbsh
3. Креирајте база на податоци за држач на шема користејќи ја командата копирајте $DLC/празен бисквитш
4. Вршење на конверзија бисквитш во потребното кодирање - на пример, во UTF-8 ако базите на податоци на Oracle имаат кодирање UTF-8: proutil bisquitsh -C convchar конвертира UTF-8
5. По креирањето на празна база на податоци бисквитш поврзете се со него во режим за еден корисник: про бисквитш
6. Ајде да одиме во речник на податоци: Алатки -> Речник на податоци -> DataServer -> ORACLE Utilities -> Create DataServer Schema
7. Стартувајте го Држачот за шема
8. Поставување на брокерот Oracle DataServer:
   а. Стартувајте го AdminServer.
   proadsv -почеток
   б. Почеток на брокерот Oracle DataServer
   oraman -име orabroker1 -почеток

Поставување на административен панел и шема за репликација

Користејќи го административниот панел Pro2, параметрите на Pro2 се конфигурираат, вклучително и поставување на шемата за репликација и генерирање на ETL процеси (Библиотека на процесори), примарни програми за синхронизација (процесор за масовно копирање), предизвикувачи на репликација и политики на OpenEdge CDC. Исто така, постојат примарни алатки за следење и управување со процесите на ETL и CDC. Прво на сите, ги поставивме датотеките со параметри.

Како да ги конфигурирате датотеките со параметри

1. Одете во каталогот C:Pro2bpreplСкрипти
2. Отворете ја датотеката за уредување replProc.pf
3. Додадете параметри за поврзување во базата на податоци за репликација на cdc:
   # База на податоци за репликација
   -db cdc -ld repl -H <име на домаќин на главната база на податоци> -S <порта за брокер на база на податоци cdc>
   -U pro2admin -P <лозинка>
4. Додај во replProc.pf параметри за поврзување со изворни бази на податоци и Држач на шема во форма на датотеки со параметри. Името на датотеката со параметри мора да одговара на името на изворната база на податоци што се поврзува.
   # Поврзете се со сите реплицирани извори BISQUIT
   -pf bpreplscriptsbisquit.pf
5. Додај во replProc.pf параметри за поврзување со Schema Holder.
   #Target Pro DB Шема Држач
   -дб бисквитш -лд бисквитш
   -H <ETL процес име на домаќин>
   -S <biskuitsh брокерска порта>
   -db bisquitsql
   -ld bisquitsql
   -dt ORACLE
   -S 5162 -H <Име на брокер на Oracle>
   -DataService orabroker1
6. Зачувајте ја датотеката со параметри replProc.pf
7. Следно, треба да креирате и отворите за уредување датотеки со параметри за секоја поврзана изворна база на податоци во директориумот C:Pro2bpreplСкрипти: bisquit.pf. Секоја pf-датотека содржи параметри за поврзување со соодветната база на податоци, на пример:
   -db bisquit -ld bisquit -H <име на домаќин> -S <брокерска порта>
   -U pro2admin -P <лозинка>

За да ги конфигурирате кратенките на Windows, треба да отидете во директориумот C:Pro2bpreplСкрипти и уредете ја кратенката „Pro2 – Administration“. За да го направите ова, отворете ги својствата на кратенката и во линијата Започнете во наведете го директориумот за инсталација Pro2. Слична операција мора да се направи за кратенките „Pro2 – Editor“ и „RunBulkLoader“.

Про2 административно подесување: Вчитување на почетната конфигурација

Ајде да ја стартуваме конзолата.

Одете во „ДБ карта“.

За да ги поврзете базите на податоци во Pro2 – Администрација, одете на јазичето Карта на ДБ. Додадете мапирање на изворни бази на податоци - Држач за шема - Oracle.

Одете на јазичето Мапирање. Наведени Изворна база на податоци Стандардно, се избира првата поврзана изворна база на податоци. Десно од списокот треба да има натпис Сите бази на податоци се поврзани — избраните бази на податоци се поврзани. Подолу лево треба да видите листа на табели за напредок од бисквит. На десната страна е листа на табели од базата на податоци на Oracle.

Креирање SQL шеми и бази на податоци во Oracle

За да креирате мапа за репликација, прво мора да генерирате SQL шема во Oracle. Во Администрацијата Pro2 ја извршуваме ставката од менито Алатки -> Генерирање код -> Целна шема, потоа во полето за дијалог Изберете база на податоци изберете една или повеќе изворни бази на податоци и преместете ги надесно.

Кликнете ОК и изберете го директориумот за да ги зачувате шемите SQL.

Следно ја создаваме основата. Ова може да се направи, на пример, преку Програмер на Oracle SQL. За да го направите ова, се поврзуваме со базата на податоци на Oracle и ја вчитуваме шемата за додавање табели. Откако ќе го промените составот на табелите на Oracle, треба да ги ажурирате шемите SQL во држачот за шема.

Откако преземањето е успешно завршено, излезете од базата на податоци на bisquitsh и отворете го административниот панел Pro2. Табелите од базата на податоци на Oracle треба да се појават на картичката Мапирање на десната страна.

Мапирање на табели

За да креирате карта за репликација, во административниот панел Pro2, одете во картичката Мапирање и изберете ја изворната база на податоци. Кликнете на Табели на карти, изберете Изберете промени лево од табелите што треба да се реплицираат во Oracle, преместете ги надесно и потврдете го изборот. Автоматски ќе се креира мапа за избраните табели. Ја повторуваме операцијата за креирање мапа за репликација за други бази на податоци на извори.

Генерирање на библиотека со процесор за репликација Pro2 и програми за процесор за масовно копирање

Библиотеката со процесори за репликација е дизајнирана за сопствени процеси на репликација (ETL) кои ја обработуваат редицата за репликација Pro2 и ги туркаат промените во базата на податоци на Oracle. Програмите на библиотеката на процесорот за репликација автоматски се зачувуваат во директориумот по генерација bprepl/repl_proc (параметар PROC_DIRECTORY). За да ја генерирате библиотеката на процесорот за репликација, одете на Алатки -> Генерирање код -> Библиотека на процесори. Откако ќе заврши генерирањето, програмите ќе се појават во директориумот bprepl/repl_proc.

Програмите за процесор за масовно оптоварување се користат за синхронизирање на изворните бази на податоци на Progress со целната база на податоци на Oracle базирана на програмскиот јазик Progress ABL (4GL). За да ги генерирате, одете во ставката од менито Алатки -> Генерирање код -> Процесор за масовно копирање. Во полето за дијалог Изберете база на податоци, изберете ги изворните бази на податоци, преместете ги на десната страна од прозорецот и кликнете OK. Откако ќе заврши генерирањето, програмите ќе се појават во директориумот bpreplrepl_mproc.

Поставување процеси на репликација во Pro2

Поделувањето на табелите во комплети сервирани од посебна нишка за репликација ги подобрува перформансите и ефикасноста на Pro2 Oracle. Стандардно, сите врски создадени во мапата за репликација за нови табели за репликација се поврзани со нишката број 1. Се препорачува да се одделат табелите во различни нишки.

Информациите за статусот на нишките за репликација се прикажуваат на екранот Администрација на Pro2 во картичката Монитор во делот Статус на репликација. Детален опис на вредностите на параметрите може да се најде во документацијата Pro2 (директориум C: Pro2Docs).

Креирајте и активирајте ЦДЦ политики

Политиките се збир на правила за OpenEdge CDC моторот за следење на промените на табелите. Во моментот на пишување, Pro2 поддржува само ЦДЦ политики со ниво 0, односно само фактите се следат евиденција на промени.

За да креирате политика за ЦДЦ, на административниот панел, одете во картичката Мапирање, изберете ја изворната база на податоци и кликнете на копчето Додај/Отстрани политики. Во прозорецот Избери промени што се отвора, изберете од левата страна и преместете ги надесно табелите за кои треба да креирате или избришете политика за ЦДЦ.

За да активирате, повторно отворете го табот Мапирање, изберете ја изворната база на податоци и кликнете на копчето (Во)Активирајте ги политиките. Изберете ги и преместете ги на десната страна од табелата политиките што треба да се активираат, кликнете OK. По ова тие се означени со зелено. Со користење на (Во)Активирајте ги политиките Можете исто така да ги деактивирате политиките за ЦДЦ. Сите трансакции се вршат онлајн.

Откако ќе се активира политиката за ЦДЦ, белешките за изменетите записи се зачувуваат во просторот за складирање "ReplCDCArea" според изворната база на податоци. Овие белешки ќе бидат обработени преку посебен процес CDCBatch, кои врз основа на нив ќе креираат белешки во редот за репликација Pro2 во базата на податоци cdc (реплика).

Така, имаме две редици за репликација. Првата фаза е CDCBatch: од изворната база на податоци, податоците прво одат во средната база на CDC. Втората фаза е кога податоците се пренесуваат од базата на податоци на ЦДЦ во Oracle. Ова е карактеристика на сегашната архитектура и самиот производ - досега програмерите не беа во можност да воспостават директна репликација.

Примарна синхронизација

Откако ќе го овозможиме механизмот CDC и ќе го поставиме серверот за репликација Pro2, треба да ја започнеме почетната синхронизација. Почетна команда за синхронизација:

/pro2/bprepl/Script/replLoad.sh бисквит табела-име

Откако ќе заврши почетната синхронизација, може да се стартуваат процесите на репликација.

Почеток на процесите на репликација

За да започнете со процесите на репликација, треба да извршите скрипта replbatch.ш. Пред да започнете, проверете дали има replbatch скрипти за сите нишки - replbatch1, replbatch2 итн. Ако сè е на место, отворете ја командната линија (на пример, проенв), одете во директориумот /bprepl/скрипти и започнете го сценариото. Во административниот панел, проверуваме дали соодветниот процес го добил статусот RUNNING.

Наоди

По имплементацијата, во голема мера го забрзавме поставувањето на информации во складиштето на корпоративните податоци. Податоците автоматски влегуваат во Oracle онлајн. Нема потреба да губите време во извршување на некои долготрајни прашања за собирање податоци од различни системи. Покрај тоа, во ова решение процесот на репликација може да ги компресира податоците, што исто така има позитивен ефект врз брзината. Сега секојдневното усогласување на системот БИСКВИТ со другите системи почна да трае 15-20 минути наместо 2-2,5 часа, а целосното усогласување траеше неколку часа наместо два дена.

Извор: www.habr.com