Kā sadraudzēties starp Progress OpenEdge banku sistēmu un Oracle DBVS

Kopš 1999. gada back office apkalpošanai mūsu banka izmanto integrēto banku sistēmu BISKVIT platformā Progress OpenEdge, kas tiek plaši izmantota visā pasaulē, tostarp finanšu sektorā. Šīs DBVS veiktspēja ļauj vienā datu bāzē (DB) nolasīt līdz pat miljonam vai vairāk ierakstu sekundē. Mūsu Progress OpenEdge apkalpo aptuveni 1,5 miljonus individuālo noguldījumu un aptuveni 22,2 miljonus līgumu par aktīviem produktiem (auto aizdevumiem un hipotēkām), kā arī ir atbildīgs par visiem norēķiniem ar regulatoru (Centrālo banku) un SWIFT.

Izmantojot Progress OpenEdge, mēs saskārāmies ar nepieciešamību nodrošināt tā darbību ar Oracle DBVS. Sākotnēji šis savienojums bija mūsu infrastruktūras sašaurinājums — līdz mēs instalējām un konfigurējām Pro2 CDC — Progress produktu, kas ļauj nosūtīt datus no Progress DBVS uz Oracle DBVS tieši tiešsaistē. Šajā rakstā mēs jums detalizēti un ar visām nepilnībām pastāstīsim, kā efektīvi sadraudzēties starp OpenEdge un Oracle.

Kā tas notika: datu augšupielāde QCD, izmantojot failu koplietošanu

Pirmkārt, daži fakti par mūsu infrastruktūru. Datu bāzes aktīvo lietotāju skaits ir aptuveni 15 tūkstoši. Visu produktīvo datu bāzu apjoms, ieskaitot repliku un gaidīšanas režīmu, ir 600 TB, lielākā datubāze ir 16,5 TB. Tajā pašā laikā datu bāzes tiek pastāvīgi papildinātas: pēdējā gada laikā vien ir pievienoti aptuveni 120 TB produktīvu datu. Sistēmu darbina 150 priekšējie serveri x86 platformā. Datu bāzes tiek mitinātas 21 IBM platformas serverī.

Priekšgala sistēmas, dažādas banku pamatsistēmas un banku pakalpojumi ir integrēti ar OpenEdge Progress (BISCUIT IBS), izmantojot Sonic ESB kopni. Datu augšupielāde QCD notiek, izmantojot failu apmaiņu. Līdz noteiktam brīdim šim risinājumam bija uzreiz divas lielas problēmas - zema veiktspēja informācijas augšupielādē korporatīvajā datu noliktavā (CDW) un ilgs datu saskaņošanas (saskaņošanas) veikšanas laiks ar citām sistēmām.

Tāpēc mēs sākām meklēt rīku, kas varētu paātrināt šos procesus. Abu problēmu risinājums bija jaunais Progress OpenEdge produkts – Pro2 CDC (Change Data Capture). Tātad, sāksim.

Instalējiet Progress OpenEdge un Pro2Oracle

Lai palaistu Pro2 Oracle administratora Windows datorā, pietiek ar Progress OpenEdge Developer Kit Classroom Edition instalēšanu, ko var download par brīvu. Noklusējuma OpenEdge instalācijas direktoriji:

DLC: C: ProgressOpenEdge
WRK: C:OpenEdgeWRK

ETL procesiem ir nepieciešamas Progress OpenEdge licenču versija 11.7+, proti, OE DataServer for Oracle un 4GL Development System. Šīs licences ir iekļautas Pro2. Lai pilnībā darbotos DataServer for Oracle ar attālo Oracle datu bāzi, ir instalēts Full Oracle Client.

Oracle serverī ir jāinstalē Oracle Database 12+, jāizveido tukša datu bāze un jāpievieno lietotājs (sauksim viņu CDC).

Lai instalētu Pro2Oracle, lejupielādējiet jaunāko izplatīšanu no lejupielādes centra Progresa programmatūra. Izsaiņojiet arhīvu direktorijā C: Pro2 (Lai konfigurētu Pro2 operētājsistēmā Unix, tiek izmantots tas pats sadalījums un tiek piemēroti tie paši konfigurācijas principi).

CDc replikācijas datu bāzes izveide

Replikācijas datu bāze cdc (atkārtot) Pro2 tiek izmantots, lai saglabātu konfigurācijas informāciju, tostarp replikācijas karti, replicēto datu bāzu nosaukumus un to tabulas. Tajā ir arī replikācijas rinda, kas sastāv no piezīmēm par to, ka avota datubāzē ir mainīta tabulas rinda. Datus no replikācijas rindas izmanto ETL procesi, lai identificētu rindas, kas jākopē uz Oracle no avota datu bāzes.

Mēs veidojam atsevišķu cdc datubāzi.

Datu bāzes izveides procedūra

1. Datu bāzes serverī mēs izveidojam direktoriju cdc datubāzei - piemēram, serverī /database/cdc/.
2. Izveidojiet manekenu cdc datubāzei: kopēt $DLC/tukšu kompaktdisku
3. Iespējot atbalstu lieliem failiem: proutil cdc -C EnableLargeFiles
4. Sagatavojam skriptu cdc datu bāzes palaišanai. Sākuma parametriem jābūt līdzīgiem replicētās datu bāzes sākuma parametriem.
5. Mēs sākam cdc datubāzi.
6. Izveidojiet savienojumu ar cdc datu bāzi un ielādējiet Pro2 shēmu no faila cdc.df, kas ir iekļauts Pro2.
7. Mēs izveidojam šādus lietotājus cdc datu bāzē:

pro2adm – pieslēgšanai no Pro2 administratīvā paneļa;
pro2etl – ETL procesu savienošanai (ReplBatch);
pro2cdc – CDC procesu savienošanai (CDCBatch);

OpenEdge Change Data Capture aktivizēšana

Tagad ieslēdzam pašu CDC mehānismu, ar kura palīdzību dati tiks replicēti uz papildu tehnoloģiju apgabalu. Katrai Progress OpenEdge avota datu bāzei ir jāpievieno atsevišķas krātuves zonas, kurās tiks dublēti avota dati, un jāaktivizē pats mehānisms, izmantojot komandu proutil.

Procedūras piemērs biskvīta datubāzei

1. Kopēšana no kataloga C: Pro2db fails cdcadd.st uz bisquit avota datu bāzes direktoriju.
2. Mēs aprakstām iekšā cdcadd.st fiksēta lieluma apmēri reģioniem "ReplCDCArea" и "ReplCDCArea_IDX". Varat tiešsaistē pievienot jaunas krātuves vietas: prostrct addonline bisquit cdcadd.st
3. Aktivizējiet OpenEdge CDC:
   proutil bisquit -C enablecdc apgabals "ReplCDCArea" indeksa apgabals "ReplCDCArea_IDX"
4. Lai identificētu darbojošos procesus, avota datubāzē ir jāizveido šādi lietotāji:
   a. pro2adm – savienošanai no Pro2 administratīvā paneļa.
   b. pro2etl – ETL procesu savienošanai (ReplBatch).
   c. pro2cdc – CDC procesu savienošanai (CDCBatch).

Shēmas turētāja izveide datu serverim Oracle

Tālāk mums serverī ir jāizveido shēmas turētāja datu bāze, kurā dati no Progress DBVS tiks replicēti uz Oracle DBVS. DataServer shēmas turētājs ir tukša Progress OpenEdge datu bāze bez lietotājiem vai lietojumprogrammu datiem, kas satur korespondences karti starp avota tabulām un ārējām Oracle tabulām.

Progress OpenEdge DataServer for Oracle for Pro2 shēmas turētāja datu bāzei jāatrodas ETL procesa serverī; tā tiek izveidota katrai filiālei atsevišķi.

Kā izveidot shēmas turētāju

1. Izsaiņojiet Pro2 izplatīšanu direktorijā /pro2
2. Izveidojiet un dodieties uz direktoriju /pro2/dbsh
3. Izveidojiet shēmas turētāja datu bāzi, izmantojot komandu kopēt $DLC/tukšu biskvitu
4. Konversijas veikšana biskvits vajadzīgajā kodējumā - piemēram, UTF-8, ja Oracle datu bāzēm ir UTF-8 kodējums: proutil bisquitsh -C convchar konvertē UTF-8
5. Pēc tukšas datu bāzes izveidošanas biskvits izveidojiet savienojumu ar to viena lietotāja režīmā: pro biskvits
6. Dosimies uz datu vārdnīcu: Rīki -> Datu vārdnīca -> DataServer -> ORACLE Utilities -> Izveidot datu servera shēmu
7. Palaidiet shēmas turētāju
8. Oracle DataServer brokera iestatīšana:
   a. Startējiet AdminServer.
   proadsv -sākt
   b. Oracle DataServer brokera sākums
   oraman -nosaukums orabroker1 -sākums

Administratīvā paneļa un replikācijas shēmas iestatīšana

Izmantojot Pro2 administratīvo paneli, tiek konfigurēti Pro2 parametri, tostarp replikācijas shēmas iestatīšana un ETL procesu ģenerēšana (procesora bibliotēka), primārās sinhronizācijas programmas (Bulk-Copy Processor), replikācijas trigeri un OpenEdge CDC politikas. Ir arī galvenie rīki ETL un CDC procesu uzraudzībai un pārvaldībai. Pirmkārt, mēs iestatām parametru failus.

Kā konfigurēt parametru failus

1. Dodieties uz katalogu C:Pro2bpreplScripts
2. Atveriet failu rediģēšanai replProc.pf
3. Pievienojiet savienojuma parametrus cdc replikācijas datu bāzei:
   # Replikācijas datu bāze
   -db cdc -ld repl -H <galvenās datu bāzes resursdatora nosaukums> -S <datu bāzes brokera ports cdc>
   -U pro2admin -P <parole>
4. Pievienot replProc.pf savienojuma parametrus ar avota datu bāzēm un shēmas turētāju parametru failu veidā. Parametru faila nosaukumam ir jāatbilst savienojamās avota datu bāzes nosaukumam.
   # Izveidojiet savienojumu ar visiem replicētajiem avotiem BISQUIT
   -pf bpreplscriptsbisquit.pf
5. Pievienot replProc.pf parametri savienojuma izveidei ar Schema Holder.
   #Target Pro DB shēmas turētājs
   -db biskvitsh -ld biskvitsh
   -H <ETL procesa resursdatora nosaukums>
   -S <biskuitsh brokerports>
   -db bisquitsql
   -ld bisquitsql
   -dt ORACLE
   -S 5162 -H <Oracle broker resursdatora nosaukums>
   -DataService orabroker1
6. Saglabājiet parametru failu replProc.pf
7. Pēc tam jums ir jāizveido un jāatver rediģēšanai parametru faili katrai pievienotajai avota datubāzei direktorijā C:Pro2bpreplScripts: bisquit.pf. Katrs pf fails satur parametrus savienojuma izveidei ar attiecīgo datu bāzi, piemēram:
   -db bisquit -ld bisquit -H <resursdatora nosaukums> -S <brokera ports>
   -U pro2admin -P <parole>

Lai konfigurētu Windows īsceļus, jums jāiet uz direktoriju C:Pro2bpreplScripts un rediģējiet saīsni “Pro2 – Administration”. Lai to izdarītu, atveriet saīsnes rekvizītus un rindā Sāciet norādiet Pro2 instalācijas direktoriju. Līdzīga darbība jāveic saīsnēm “Pro2 – Editor” un “RunBulkLoader”.

Pro2 administrēšanas iestatīšana: tiek ielādēta sākotnējā konfigurācija

Palaidīsim konsoli.

Dodieties uz "DB karti".

Lai saistītu datu bāzes programmā Pro2 — Administrēšana, atveriet cilni DB karte. Pievienot avotu datu bāzu kartēšanu - Shēmas turētājs - Oracle.

Dodieties uz cilni Kartēšana. Sarakstā Avotu datu bāze Pēc noklusējuma ir atlasīta pirmā savienotā avota datu bāze. Pa labi no saraksta jābūt uzrakstam Visas datu bāzes ir savienotas — atlasītās datu bāzes ir savienotas. Zemāk kreisajā pusē vajadzētu redzēt sarakstu ar progresa tabulām no bisquit. Labajā pusē ir Oracle datu bāzes tabulu saraksts.

SQL shēmu un datu bāzu izveide programmā Oracle

Lai izveidotu replikācijas karti, vispirms ir jāģenerē SQL shēma Orākulā. Pro2 administrācijā mēs izpildām izvēlnes vienumu Rīki -> Ģenerēt kodu -> Mērķa shēma, pēc tam dialoglodziņā Atlasiet Database atlasiet vienu vai vairākas avotu datu bāzes un pārvietojiet tās pa labi.

Noklikšķiniet uz Labi un atlasiet direktoriju, lai saglabātu SQL shēmas.

Tālāk mēs izveidojam pamatni. To var izdarīt, piemēram, izmantojot Oracle SQL izstrādātājs. Lai to izdarītu, mēs izveidojam savienojumu ar Oracle datu bāzi un ielādējam shēmu tabulu pievienošanai. Pēc Oracle tabulu sastāva maiņas ir jāatjaunina SQL shēmas shēmu turētājā.

Kad lejupielāde ir veiksmīgi pabeigta, izejiet no bisquitsh datu bāzes un atveriet Pro2 administratīvo paneli. Tabulām no Oracle datu bāzes vajadzētu parādīties cilnē Kartēšana labajā pusē.

Tabulas kartēšana

Lai izveidotu replikācijas karti, Pro2 administratīvajā panelī atveriet cilni Kartēšana un atlasiet avota datu bāzi. Noklikšķiniet uz Map Tables, atlasiet Atlasīt izmaiņas pa kreisi no tabulām, kuras jāreplicē Oracle, pārvietojiet tās pa labi un apstipriniet atlasi. Atlasītajām tabulām automātiski tiks izveidota karte. Mēs atkārtojam darbību, lai izveidotu replikācijas karti citām avota datu bāzēm.

Pro2 replikācijas procesora bibliotēkas un lielapjoma kopēšanas procesora programmu ģenerēšana

Replicēšanas procesora bibliotēka ir paredzēta pielāgotiem replikācijas procesiem (ETL), kas apstrādā Pro2 replikācijas rindu un nospiež izmaiņas Oracle datu bāzē. Replikācijas procesora bibliotēkas programmas pēc paaudzes tiek automātiski saglabātas direktorijā bprepl/repl_proc (parametrs PROC_DIRECTORY). Lai ģenerētu replikācijas procesora bibliotēku, dodieties uz Rīki -> Ģenerēt kodu -> Procesora bibliotēka. Pēc ģenerēšanas pabeigšanas programmas parādīsies direktorijā bprepl/repl_proc.

Lielapjoma ielādes procesora programmas tiek izmantotas, lai sinhronizētu avota Progress datu bāzes ar mērķa Oracle datu bāzi, kuras pamatā ir Progress ABL (4GL) programmēšanas valoda. Lai tos ģenerētu, dodieties uz izvēlnes vienumu Rīki -> Ģenerēt kodu -> Lielapjoma kopēšanas procesors. Dialoglodziņā Atlasīt datu bāzi atlasiet avota datu bāzes, pārvietojiet tās uz loga labo pusi un noklikšķiniet uz OK. Pēc ģenerēšanas pabeigšanas programmas parādīsies direktorijā bpreplrepl_mproc.

Replikācijas procesu iestatīšana programmā Pro2

Tabulu sadalīšana komplektos, ko apkalpo atsevišķs replikācijas pavediens, uzlabo Pro2 Oracle veiktspēju un efektivitāti. Pēc noklusējuma visi savienojumi, kas izveidoti replikācijas kartē jaunām replikācijas tabulām, ir saistīti ar pavediena numuru 1. Ieteicams tabulas atdalīt dažādos pavedienos.

Informācija par replikācijas pavedienu statusu tiek parādīta Pro2 administrēšanas ekrānā, kas atrodas sadaļas Replicēšanas statuss cilnē Monitor. Detalizētu parametru vērtību aprakstu var atrast Pro2 dokumentācijā (direktorijā C:Pro2Docs).

Izveidojiet un aktivizējiet CDC politikas

Politikas ir noteikumu kopums OpenEdge CDC programmai, lai pārraudzītu izmaiņas tabulās. Rakstīšanas laikā Pro2 atbalsta tikai CDC politikas ar 0 līmeni, tas ir, tiek uzraudzīts tikai fakts ierakstīt izmaiņas.

Lai izveidotu CDC politiku, administratīvajā panelī atveriet cilni Kartēšana, atlasiet avota datu bāzi un noklikšķiniet uz pogas Pievienot/noņemt politikas. Atvērtajā logā Select Changes atlasiet kreisajā pusē un pārvietojiet pa labi tabulas, kurām jāizveido vai jāizdzēš CDC politika.

Lai aktivizētu, vēlreiz atveriet cilni Kartēšana, atlasiet avota datu bāzi un noklikšķiniet uz pogas (In)Aktivizēt politikas. Atlasiet un tabulas labajā pusē pārvietojiet politikas, kas jāaktivizē, noklikšķiniet uz Labi. Pēc tam tie ir atzīmēti zaļā krāsā. Izmantojot (In)Aktivizēt politikas Varat arī deaktivizēt CDC politikas. Visi darījumi tiek veikti tiešsaistē.

Pēc CDC politikas aktivizēšanas piezīmes par modificētajiem ierakstiem tiek saglabātas krātuves apgabalā "ReplCDCArea" saskaņā ar avotu datu bāzi. Šīs piezīmes tiks apstrādātas, izmantojot īpašu procesu CDCBatch, kas, pamatojoties uz tiem, izveidos piezīmes Pro2 replikācijas rindā datu bāzē cdc (atkārtot).

Tādējādi mums ir divas replikācijas rindas. Pirmais posms ir CDCBatch: no avota datu bāzes dati vispirms nonāk CDC starpposma datubāzē. Otrais posms ir datu pārsūtīšana no CDC datu bāzes uz Oracle. Tā ir pašreizējās arhitektūras un paša produkta iezīme – līdz šim izstrādātājiem nav izdevies izveidot tiešu replikāciju.

Primārā sinhronizācija

Pēc CDC mehānisma iespējošanas un Pro2 replikācijas servera iestatīšanas mums jāsāk sākotnējā sinhronizācija. Sākotnējā sinhronizācijas komanda:

/pro2/bprepl/Script/replLoad.sh biskvīta tabulas nosaukums

Pēc sākotnējās sinhronizācijas pabeigšanas var sākt replikācijas procesus.

Replikācijas procesu sākums

Lai sāktu replikācijas procesus, ir jāpalaiž skripts replbatch.sh. Pirms sākat, pārliecinieties, vai visiem pavedieniem ir replbatch skripti - replbatch1, replbatch2 utt. Ja viss ir vietā, atveriet komandrindu (piemēram, proenv), dodieties uz direktoriju /bprepl/scripts un sāciet skriptu. Administratīvajā panelī mēs pārbaudām, vai attiecīgais process ir saņēmis statusu STRĀDĀ.

rezultātus

Pēc ieviešanas mēs ievērojami paātrinājām informācijas augšupielādi korporatīvajā datu noliktavā. Dati automātiski nokļūst Oracle tiešsaistē. Nav jātērē laiks, izpildot dažus ilgstoši vaicājumus, lai apkopotu datus no dažādām sistēmām. Turklāt šajā risinājumā replikācijas process var saspiest datus, kas arī pozitīvi ietekmē ātrumu. Tagad BISKVIT sistēmas ikdienas saskaņošana ar citām sistēmām sāka aizņemt 15-20 minūtes, nevis 2-2,5 stundas, un pilnīga saskaņošana aizņēma vairākas stundas, nevis divas dienas.

Avots: www.habr.com