Как да се сприятеляваме с банковата система Progress OpenEdge и СУБД Oracle

От 1999 г. нашата банка използва за обслужване на бек офиса интегрираната банкова система BISKVIT, базирана на платформата Progress OpenEdge, която се използва широко в целия свят, включително във финансовия сектор. Производителността на тази СУБД ви позволява да четете до един милион или повече записа в секунда в една база данни (DB). Progress OpenEdge обслужва около 1,5 милиона индивидуални депозита и около 22,2 милиона договора за активни продукти (заеми за автомобили и ипотеки), а също така отговаря за всички сетълменти с регулатора (CB) и SWIFT.

Използвайки Progress OpenEdge, ние сме изправени пред факта, че трябва да се сприятелим с СУБД Oracle. Първоначално този пакет беше „тясното място“ на нашата инфраструктура – ​​докато не инсталирахме и конфигурирахме Pro2 CDC – продукт на Progress, който ви позволява да изпращате данни от СУБД на Прогрес към СУБД на Oracle директно, в онлайн режим. В тази публикация ще ви разкажем подробно, с всички клопки, как ефективно да направите OpenEdge и Oracle приятели.

Как беше: качване на данни в QCD чрез обмен на файлове

Първо, някои факти за нашата инфраструктура. Броят на активните потребители на базата данни е около 15 600. Обемът на всички продуктивни бази данни, включително реплика и режим на готовност, е 16,5 TB, най-голямата база данни е 120 TB. В същото време базите данни се попълват постоянно: само през последната година са добавени около 150 TB продуктивни данни. Системата се поддържа от предни сървъри 86 x21. Базите данни се хостват на XNUMX сървъра на IBM платформа.

Предните системи, различни ABS и банкови услуги са интегрирани с OpenEdge Progress (IBS BISKVIT) чрез Sonic ESB bus. Данните се качват в QCD чрез обмен на файлове. До определен момент такова решение имаше два големи проблема наведнъж - ниска производителност при качване на информация в корпоративно хранилище за данни (CWD) и дълго време за извършване на съгласуване на данни (съгласуване) с други системи.

Затова започнахме да търсим инструмент, който да ускори тези процеси. Решението и на двата проблема беше новият продукт на Progress OpenEdge - Pro2 CDC (Change Data Capture). И така, да започваме.

Инсталиране на Progress OpenEdge и Pro2Oracle

Progress Oracle OpenEdge Developer Kit Classroom Edition, което може да бъде изтеглите безплатно. Инсталационни директории по подразбиране на OpenEdge:

DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK

ETL процесите изискват лицензи Progress OpenEdge версия 11.7+ - а именно OE DataServer за Oracle и 4GL Development System. Тези лицензи са включени в Pro2. За пълноценна работа на DataServer за Oracle с отдалечена база данни Oracle е инсталиран Full Oracle Client.

На сървъра на Oracle трябва да инсталирате версията на Oracle Database 12+, да създадете празна база данни и да добавите потребител (да го наречем CDC).

За да инсталирате Pro2Oracle, изтеглете нова дистрибуция от центъра за изтегляне Прогрес на софтуера. Разопаковайте архива в директория C: Pro2 (за конфигуриране на Pro2 на Unix се използва същата дистрибуция и се прилагат същите принципи на конфигуриране).

Създаване на база данни за репликация на cdc

Репликационна база данни cdc (repl) използвани от Pro2 за съхраняване на конфигурационна информация, включително картата на репликация, имената на репликираните бази данни и техните таблици. Той също така съдържа опашка за репликация, състояща се от бележки за факта, че ред на таблица е променен в изходната база данни. Данните от опашката за репликация се използват от ETL процесите за идентифициране на редовете, които трябва да бъдат копирани в Oracle от изходната база данни.

Създаваме отделна база данни cdc.

Процедура за създаване на база

1. На сървъра на базата данни създаваме директория за cdc базата данни - например на сървъра /база данни/cdc/.
2. Създайте манекен за базата данни на cdc: procopy $DLC/празен cdc
3. Активиране на поддръжка за големи файлове: proutil cdc -C EnableLargeFiles
4. Подготвяме скрипта за стартиране на cdc базата данни. Началните параметри трябва да са подобни на началните параметри на репликираната база данни.
5. Стартираме базата данни на cdc.
6. Свържете се към cdc база данни и заредете Pro2 схема от файл cdc.df, който е включен в Pro2.
7. Създайте следните потребители в базата данни на cdc:

pro2adm - за свързване от административния панел на Pro2;
pro2etl - за свързване на ETL процеси (ReplBatch);
pro2cdc - за свързване на CDC процеси (CDCBatch);

Активиране на OpenEdge Change Data Capture

Сега нека включим самия CDC механизъм, с помощта на който данните ще бъдат репликирани в допълнителна технологична зона. Във всяка база данни източник Progress OpenEdge трябва да добавите отделни области за съхранение, в които ще се дублират изходните данни, и да активирате самия механизъм с помощта на командата проутил.

Примерна процедура за базата данни за бисквити

1. Копиране от директория C: Pro2db файл cdcadd.st към оригиналната директория на базата данни на bisquit.
2. Ние описваме в cdcadd.st екстенти с фиксиран размер за области "ReplCDCArea" и „ReplCDCArea_IDX“. Можете да добавите нови области за съхранение онлайн: prostrct addonline bisquit cdcadd.st
3. Активирайте OpenEdge CDC:
   proutil bisquit -C enablecdc област "ReplCDCArea" indexarea "ReplCDCArea_IDX"
4. Следните потребители трябва да бъдат създадени в изходната база данни, за да идентифицират изпълняваните процеси:
   а. pro2adm - за свързване от административния панел на Pro2.
   b. pro2etl - за свързване на ETL процеси (ReplBatch).
   ° С. pro2cdc - за свързване на CDC процеси (CDCBatch).

Създаване на притежател на схема за DataServer за Oracle

След това трябва да създадем база данни Schema Holder на сървъра, където данните от Progress DBMS към Oracle DBMS ще бъдат репликирани. DataServer Schema Holder е празна база данни Progress OpenEdge без данни за потребители или приложения, съдържаща съпоставяне между изходни таблици и външни таблици на oracle.

Притежателят на схемата за Progress OpenEdge DataServer за Oracle за Pro2 трябва да се намира на сървъра на процеса ETL и се създава отделно за всеки клон.

Как да създадете притежател на схема

1. Разопаковайте дистрибуцията Pro2 в директория /про2
2. Създаване и промяна на директория /pro2/dbsh
3. Създайте базата данни Schema Holder с помощта на командата копирайте $DLC/празен bisquitsh
4. Извършване на преобразуването бисквити в необходимото кодиране - например в UTF-8, ако базите данни на Oracle имат UTF-8 кодиране: proutil bisquitsh -C convchar преобразува UTF-8
5. След създаване на празна база данни бисквити свържете се с него в режим за един потребител: про бисквити
6. Отидете в речника на данните: Инструменти -> Речник на данни -> DataServer -> ORACLE Utilities -> Създаване на схема на DataServer
7. Стартирайте притежателя на схема
8. Настройте брокера на Oracle DataServer:
   а. Стартирайте AdminServer.
   proadsv -старт
   b. Стартиране на Oracle DataServer Broker
   oraman -име orabroker1 -старт

Настройка на административния панел и схема за репликация

Административният панел на Pro2 конфигурира настройките на Pro2, включително настройка на схема за репликация и генериране на програми за ETL процес (библиотека на процесора), първични програми за синхронизиране (процесор за масово копиране), тригери за репликация и политики на OpenEdge CDC. Има и основни инструменти за наблюдение и управление на ETL и CDC процеси. Първо, настройваме файловете с параметри.

Как да настроите файлове с параметри

1. Отидете на каталога C:Pro2bpreplScripts
2. Отваряне на файла за редактиране replProc.pf
3. Добавете параметри на връзката към базата данни за репликация на cdc:
   # База данни за репликация
   -db cdc -ld repl -H <главно db име на хост> -S <cdc db брокер порт>
   -U pro2admin -P <парола>
4. Нека добавим към replProc.pf настройките за свързване към бази данни източник и Schema Holder като файлове с настройки. Името на файла с параметри трябва да съвпада с името на свързваната база данни източник.
   # Свържете се с всички репликирани източници BISQUIT
   -pf bpreplscriptsbisquit.pf
5. Нека добавим към replProc.pf параметри на връзката към Schema Holder.
   Притежател на #Target Pro DB схема
   -db bisquitsh -ld bisquitsh
   -H <име на хост на ETL процеси>
   -S <biskuitsh брокер порт>
   -db bisquitsql
   -ld bisquitsql
   -dt ORACLE
   -S 5162 -H <име на хост на Oracle брокер>
   -DataService или брокер1
6. Запазване на файла с настройки replProc.pf
7. След това трябва да създадете и отворите за редактиране файлове с параметри за всяка база данни с модулен източник в директорията C:Pro2bpreplScripts: bisquit.pf. Всеки pf файл определя параметрите за свързване към съответната база данни, например:
   -db bisquit -ld bisquit -H <име на хост> -S <порт на брокер>
   -U pro2admin -P <парола>

За да конфигурирате Windows преки пътища, отидете в директорията C:Pro2bpreplScripts и редактирайте етикета "Pro2 - Администриране". За да направите това, отворете свойствата на прекия път и в реда Започва в посочете инсталационната директория на Pro2. Подобна операция трябва да се направи за преките пътища "Pro2 - Editor" и "RunBulkLoader".

Административна настройка на Pro2: Зареждане на първична конфигурация

Стартираме конзолата.

Отидете на "DB Map".

За да свържете бази данни в Pro2 - Администриране, отидете на раздела db карта. Добавяне на съпоставяне на изходна база данни - Притежател на схема - Oracle.

Отидете в раздела Mapping. В списъка Изходна база данни по подразбиране е избрана първата свързана база данни източник. Вдясно от списъка трябва да има надпис Всички бази данни са свързани — избраните бази са свързани. По-долу, вляво, трябва да видите списък с таблици за прогрес от bisquit. Вдясно има списък с таблици от базата данни на Oracle.

Създаване на SQL схеми и бази данни в Oracle

За да създадете карта за репликация, първо трябва да генерирате SQL схема в Oracle. В Pro2 Administration изпълнете елемента от менюто Инструменти -> Генериране на код -> Целева схема, след това в диалоговия прозорец Изберете База данни изберете една или повече изходни бази данни и ги преместете надясно.

Щракнете върху OK и изберете директория за запазване на SQL схемите.

След това създаваме основата. Това може да стане например чрез Oracle SQL разработчик. За целта се свързваме с базата данни на Oracle и зареждаме схемата за добавяне на таблици. След като промените състава на таблиците на Oracle, трябва да актуализирате SQL схемите в Schema Holder.

След като изтеглянето завърши успешно, излезте от базата данни на bisquitsh и отворете административния панел на Pro2. Таблиците от базата данни на Oracle трябва да се появят в раздела Картографиране вдясно.

Картографиране на таблици

За да създадете карта за репликация в административния панел на Pro2, отидете в раздела Картографиране, изберете изходната база данни. Щракваме върху Map Tables, избираме отляво Select Променя таблиците, които трябва да бъдат репликирани в Oracle, прехвърляме ги надясно и потвърждаваме избора. За избраните таблици автоматично ще бъде създадена карта. Повтаряме операцията, за да създадем карта на репликация за други изходни бази данни.

Генериране на библиотека за процесор за репликация Pro2 и програми за процесор за групово копиране

Библиотеката на процесора е за специални процеси на репликация (ETL), които обработват опашката за репликация Pro2 и изпращат промени в базата данни на Oracle. Програмите на библиотеката на процесора за репликация след генериране автоматично се записват в директорията bprepl/repl_proc (параметър PROC_DIRECTORY). За да генерирате библиотеката на процесора за репликация, отидете на Инструменти -> Генериране на код -> Библиотека на процесора. След като генерирането приключи, програмите ще се появят в каталога bprepl/repl_proc.

Програмите за групово зареждане се използват за синхронизиране на изходните бази данни на Progress с целевата база данни на Oracle, базирани на езика за програмиране Progress ABL (4GL). За да ги генерирате, отидете на елемента от менюто Инструменти -> Генериране на код -> Процесор за групово копиране. В диалоговия прозорец Избор на база данни изберете изходните бази данни, прехвърлете ги в дясната страна на прозореца и щракнете OK. След като генерирането приключи, програмите ще се появят в каталога bpreplrepl_mproc.

Настройка на процеси на репликация в Pro2

Разделянето на таблиците на набори, обслужвани от отделна нишка за репликация, подобрява производителността и ефективността на Pro2 Oracle. По подразбиране всички връзки, създадени в картата за репликация за нови таблици за репликация, са обвързани с поток номер 1. Препоръчително е таблиците да се разделят на различни потоци.

Информация за състоянието на потоците на репликация се показва на екрана за администриране на Pro2 в раздела Монитор в раздела Състояние на репликация. Подробно описание на стойностите на параметрите можете да намерите в документацията на Pro2 (директория C:Pro2Docs).

Създаване и активиране на политики на CDC

Политиките са набор от правила за системата OpenEdge CDC, които проследяват промените в таблиците. Към момента на писане Pro2 поддържа само политики на CDC с ниво 0, което означава, че се проследява само фактът записвайте промени.

За да създадете политика на CDC в административния панел, отидете в раздела Картографиране, изберете изходната база данни и щракнете върху бутона Добавяне/премахване на правила. В прозореца за избор на промени, който се отваря, изберете от лявата страна и прехвърлете към десните таблици, за които трябва да създадете или изтриете CDC политика.

За да активирате отново, отворете раздела Картографиране, изберете изходната база данни и щракнете върху бутона (Не)активиране на политики. Изберете и преминете към дясната страна на таблицата, чиито политики трябва да бъдат активирани, щракнете върху OK. След това те се маркират в зелено. Като се използва (Не)активиране на политики можете също да деактивирате правилата на CDC. Всички транзакции се извършват онлайн.

След като политиката на CDC е активирана, бележките за модифицираните записи се съхраняват в областта за съхранение "ReplCDCArea" според оригиналната база данни. Тези бележки ще бъдат обработени чрез специален процес CDCBatch, който въз основа на тях ще създава бележки в опашката за репликация на Pro2 в базата данни cdc (repl).

Така имаме две опашки за репликация. Първата опашка е CDCBatch: от изходната база данни данните първо влизат в междинната CDC база данни. Вторият етап е, когато данните се прехвърлят от базата данни на CDC към Oracle. Това е характеристика на текущата архитектура и самия продукт - докато разработчиците не успяха да установят директна репликация.

Основна синхронизация

След като активираме CDC механизма и конфигурираме сървъра за репликация Pro2, трябва да започнем първоначалната синхронизация. Команда за стартиране на първична синхронизация:

/pro2/bprepl/Script/replLoad.sh бисквит име на таблица

След като първоначалната синхронизация приключи, можете да стартирате процесите на репликация.

Старт на процесите на репликация

За да стартирате процеси на репликация, трябва да изпълните скрипта replbatch.sh. Преди да започнете, уверете се, че скриптовете replbatch са налични за всички нишки - replbatch1, replbatch2 и т.н. Ако всичко е на мястото си, отворете командния ред (напр. proenv), отидете в директорията /bprepl/скриптове и стартирайте скрипта. В административния панел проверяваме дали съответният процес е получил статус РАБОТА.

резултати

След внедряването значително ускорихме качването на информация в корпоративното хранилище на данни. Данните независимо стигат до Oracle онлайн. Няма нужда да губите време за изпълнение на някои дълготрайни заявки за събиране на данни от различни системи. Освен това в това решение процесът на репликация може да компресира данни, което също има положителен ефект върху скоростта. Сега ежедневното съгласуване на системата BISKVIT с други системи започна да отнема 15-20 минути вместо 2-2,5 часа, а пълното съгласуване отне няколко часа вместо два дни.

Източник: www.habr.com