Sukad sa 1999, sa pagserbisyo sa back office, ang among bangko migamit sa integrated banking system nga BISKVIT sa Progress OpenEdge nga plataporma, nga kaylap nga gigamit sa tibuok kalibutan, lakip sa pinansyal nga sektor. Ang paghimo niini nga DBMS nagtugot kanimo sa pagbasa hangtod sa usa ka milyon o labaw pa nga mga rekord matag segundo sa usa ka database (DB). Ang among mga serbisyo sa OpenEdge sa Pag-uswag mga 1,5 milyon nga indibidwal nga mga deposito ug mga 22,2 milyon nga mga kontrata alang sa mga aktibo nga produkto (mga pautang sa awto ug mga utang), ug responsable usab sa tanan nga mga paghusay sa regulator (Central Bank) ug SWIFT.
Gamit ang Progress OpenEdge, nag-atubang kami sa panginahanglan sa paghimo niini sa Oracle DBMS. Sa sinugdan, kini nga bundle mao ang bottleneck sa among imprastraktura - hangtod nga among gi-install ug gi-configure ang Pro2 CDC - usa ka produkto sa Pag-uswag nga nagtugot kanimo nga ipadala ang data gikan sa Progress DBMS ngadto sa Oracle DBMS direkta, online. Sa kini nga post isulti namon kanimo sa detalye, uban ang tanan nga mga lit-ag, kung giunsa ang epektibo nga pakighigala tali sa OpenEdge ug Oracle.
Giunsa kini nahitabo: pag-upload sa datos sa QCD pinaagi sa pagpaambit sa mga file
Una, pipila ka mga kamatuoran bahin sa among imprastraktura. Ang gidaghanon sa mga aktibo nga tiggamit sa database mao ang gibana-bana nga 15 ka libo. Ang gidaghanon sa tanan nga produktibo nga mga database, lakip ang replika ug standby, mao ang 600 TB, ang pinakadako nga database mao ang 16,5 TB. Sa samang higayon, ang mga database kanunay nga gipuno: sa miaging tuig lamang, mga 120 TB sa produktibong datos ang nadugang. Ang sistema gipadagan sa 150 ka front server sa x86 nga plataporma. Ang mga database gi-host sa 21 IBM platform server.
Ang mga front-end nga sistema, nagkalain-laing core banking system ug banking services gihiusa sa OpenEdge Progress (BISCUIT IBS) pinaagi sa Sonic ESB bus. Ang pag-upload sa datos sa QCD mahitabo pinaagi sa pagbayloay sa mga file. Hangtud sa usa ka punto sa panahon, kini nga solusyon adunay duha ka dagkong mga problema sa usa ka higayon - ubos nga performance sa pag-upload sa impormasyon ngadto sa usa ka corporate data warehouse (CDW) ug usa ka taas nga panahon alang sa paghimo sa data reconciliation (reconciliation) sa ubang mga sistema.
Busa, nagsugod kami sa pagpangita alang sa usa ka himan nga makapadali niini nga mga proseso. Ang solusyon sa duha ka mga problema mao ang bag-ong produkto sa Progress OpenEdge - Pro2 CDC (Change Data Capture). Busa, magsugod kita.
I-install ang Progress OpenEdge ug Pro2Oracle
Sa pagpadagan sa Pro2 Oracle sa Windows computer sa tagdumala, igo na ang pag-instalar sa Progress OpenEdge Developer Kit Classroom Edition, nga mahimong kay libre. Default nga mga direktoryo sa pag-instalar sa OpenEdge:
DLC: C: ProgressOpenEdge
WRK: C:OpenEdgeWRK
Ang mga proseso sa ETL nagkinahanglan sa Progress OpenEdge nga mga lisensya nga bersyon 11.7+ - nga mao ang OE DataServer para sa Oracle ug 4GL Development System. Kini nga mga lisensya gilakip sa Pro2. Para sa bug-os nga operasyon sa DataServer para sa Oracle nga adunay hilit nga database sa Oracle, gi-install ang Full Oracle Client.
Sa Oracle server kinahanglan nimo nga i-install ang Oracle Database 12+, paghimo usa ka walay sulod nga database ug pagdugang usa ka user (tawagon nato siya cdc).
Aron ma-install ang Pro2Oracle, i-download ang pinakabag-o nga distribusyon gikan sa download center. Unpack ang archive sa usa ka direktoryo C:Pro2 (Aron ma-configure ang Pro2 sa Unix, parehas nga pag-apod-apod ang gigamit ug parehas nga mga prinsipyo sa pag-configure ang magamit).
Paghimo ug cdc replication database
Replikasyon database cdc (repl) Ang Pro2 gigamit sa pagtipig sa kasayuran sa pag-configure, lakip ang mapa sa pagkopya, mga ngalan sa gisubli nga mga database ug ang ilang mga lamesa. Naglangkob usab kini og replication queue, nga naglangkob sa mga nota bahin sa kamatuoran nga ang usa ka laray sa lamesa sa source database nausab. Ang datos gikan sa replication queue gigamit sa mga proseso sa ETL sa pag-ila sa mga laray nga kinahanglang kopyahon sa Oracle gikan sa source database.
Naghimo kami usa ka bulag nga database sa cdc.
Pamaagi sa paghimo og database
- Sa database server naghimo kami og direktoryo alang sa cdc database - pananglitan, sa server /database/cdc/.
- Paghimo og dummy para sa cdc database: procopy $DLC/walay sulod nga cdc
- I-enable ang suporta alang sa dagkong mga file: proutil cdc -C EnableLargeFiles
- Nag-andam kami og script alang sa pagsugod sa cdc database. Ang mga parameter sa pagsugod kinahanglan nga susama sa mga parameter sa pagsugod sa gisubli nga database.
- Atong sugdan ang cdc database.
- Sumpaysumpaya ang cdc database ug i-load ang Pro2 schema gikan sa file cdc.df, nga gilakip sa Pro2.
- Gihimo namo ang mosunod nga mga tiggamit sa cdc database:
pro2adm β para sa pagkonektar gikan sa Pro2 administrative panel;
pro2etl β alang sa pagkonektar sa mga proseso sa ETL (ReplBatch);
pro2cdc β para sa pagkonektar sa mga proseso sa CDC (CDCBatch);
Pag-aktibo sa OpenEdge Change Data Capture
Karon atong i-on ang mekanismo sa CDC mismo, uban sa tabang kung unsang mga datos ang makopya sa usa ka dugang nga lugar sa teknolohiya. Sa matag Progress OpenEdge source database, kinahanglan nimong idugang ang separado nga storage area diin ang source data madoble, ug i-activate ang mekanismo mismo gamit ang command proutil.
Pananglitan nga pamaagi alang sa database sa bisquit
- Pagkopya gikan sa katalogo C:Pro2db file cdcadd.st ngadto sa bisquit source database directory.
- Atong gihulagway sa cdcadd.st pirmi nga gidak-on nga gidak-on alang sa mga rehiyon "ReplCDCArea" ΠΈ "ReplCDCArea_IDX". Mahimo nimong idugang ang bag-ong mga lugar sa pagtipig online: prostrct addonline bisquit cdcadd.st
- I-aktibo ang OpenEdge CDC:
proutil bisquit -C enablecdc area "ReplCDCArea" indexarea "ReplCDCArea_IDX" - Ang mosunod nga mga tiggamit kinahanglang himoon sa tinubdan nga database aron mailhan ang nagdagan nga mga proseso:
a. pro2adm β para sa pagkonektar gikan sa Pro2 administrative panel.
b. pro2etl β alang sa pagkonektar sa mga proseso sa ETL (ReplBatch).
c. pro2cdc β para sa pagkonektar sa mga proseso sa CDC (CDCBatch).
Paghimo og Schema Holder para sa DataServer para sa Oracle
Sunod, kinahanglan namon nga maghimo usa ka database sa Schema Holder sa server diin ang datos gikan sa Progress DBMS i-replika sa Oracle DBMS. Ang DataServer Schema Holder usa ka walay sulod nga database sa Progress OpenEdge nga walay mga tiggamit o data sa aplikasyon, nga adunay usa ka mapa sa mga sulat tali sa mga tinubdan nga mga lamesa ug mga eksternal nga Oracle nga mga lamesa.
Ang database sa Schema Holder para sa Progress OpenEdge DataServer para sa Oracle para sa Pro2 kinahanglang mahimutang sa ETL process server; kini gilain nga gimugna alang sa matag branch.
Giunsa paghimo ang usa ka Schema Holder
- Unpack ang Pro2 distribution ngadto sa usa ka direktoryo /pro2
- Paghimo ug adto sa direktoryo /pro2/dbsh
- Paghimo og database sa Schema Holder gamit ang command kopyaha ang $DLC/walay sulod nga bisquitsh
- Pagbuhat sa pagkakabig bisquitsh ngadto sa gikinahanglan nga encoding - pananglitan, sa UTF-8 kung ang Oracle databases adunay UTF-8 encoding: proutil bisquitsh -C convchar convert UTF-8
- Human sa paghimo sa usa ka walay sulod nga database bisquitsh Sumpaysumpaya kini sa single-user mode: pro bisquitsh
- Adto ta sa Data Dictionary: Tools -> Data Dictionary -> DataServer -> ORACLE Utilities -> Paghimo sa DataServer Schema
- Ilunsad ang Schema Holder
- Pag-set up sa Oracle DataServer broker:
a. Pagsugod sa AdminServer.
proadsv -pagsugod
b. Pagsugod sa Oracle DataServer broker
oraman -ngalan orabroker1 -pagsugod
Pag-set up sa administrative panel ug replication scheme
Gamit ang Pro2 administrative panel, ang Pro2 nga mga parameter gi-configure, lakip ang pag-set up sa replication scheme ug pagmugna sa mga proseso sa ETL (Processor Library), primary synchronization programs (Bulk-Copy Processor), replication triggers ug OpenEdge CDC nga mga palisiya. Adunay usab mga panguna nga himan alang sa pagmonitor ug pagdumala sa mga proseso sa ETL ug CDC. Una sa tanan, gipahimutang namon ang mga file sa parameter.
Giunsa ang pag-configure sa mga file sa parameter
- Adto sa katalogo C:Pro2bpreplScripts
- Ablihi ang file para sa pag-edit replProc.pf
- Idugang ang mga parameter sa koneksyon sa cdc replication database:
# Replikasyon nga Database
-db cdc -ld repl -H <panguna nga database hostname> -S <database broker port cdc>
-U pro2admin -P <password> - Idugang sa replProc.pf mga parameter sa koneksyon sa gigikanan nga mga database ug Schema Holder sa porma sa mga file sa parameter. Ang ngalan sa mga parameter file kinahanglang mohaum sa ngalan sa tinubdan nga database nga konektado.
# Pagkonektar sa tanan nga gisubli nga mga gigikanan nga BISQUIT
-pf bpreplscriptsbisquit.pf - Idugang sa replProc.pf parametro para sa pagkonektar sa Schema Holder.
#Target Pro DB Schema Holder
-db bisquitsh -ld bisquitsh
-H <ETL process host name>
-S <biskuitsh broker port>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <Oracle broker hostname>
-DataService orabroker1 - I-save ang mga parameter nga file replProc.pf
- Sunod, kinahanglan nimo nga maghimo ug magbukas alang sa pag-edit sa mga file sa parameter alang sa matag konektado nga database sa gigikanan sa direktoryo C:Pro2bpreplScripts: bisquit.pf. Ang matag pf file adunay mga parameter alang sa pagkonektar sa katugbang nga database, pananglitan:
-db bisquit -ld bisquit -H <hostname> -S <broker port>
-U pro2admin -P <password>
Aron ma-configure ang mga shortcut sa Windows, kinahanglan nimo nga moadto sa direktoryo C:Pro2bpreplScripts ug i-edit ang shortcut nga "Pro2 - Administration". Aron mahimo kini, ablihi ang mga kabtangan sa shortcut ug sa linya Pagsugod sa ipakita ang direktoryo sa pag-install sa Pro2. Ang susamang operasyon kinahanglang himoon para sa βPro2 β Editorβ ug βRunBulkLoaderβ nga mga shortcut.
Setup sa Administrasyon sa Pro2: Nag-load sa Inisyal nga Configuration
Atong ilunsad ang console.
Adto sa "DB Map".
Aron ma-link ang mga database sa Pro2 - Administration, adto sa tab Mapa sa DB. Idugang ang mapping sa source databases - Naghupot sa Schema - Oracle.
Adto sa tab Pagpalapad. Gilista Tinubdan nga Database Sa kasagaran, ang unang konektado nga tinubdan database gipili. Sa tuo sa listahan kinahanglan adunay usa ka inskripsiyon Tanan nga mga Database nga Konektado β ang pinili nga mga database konektado. Ubos sa wala kinahanglan nimong makita ang usa ka lista sa mga lamesa sa Pag-uswag gikan sa bisquit. Sa tuo mao ang usa ka lista sa mga lamesa gikan sa database sa Oracle.
Paghimo sa SQL schemas ug database sa Oracle
Aron makahimo usa ka mapa sa pagkopya, kinahanglan una nimo nga makamugna SQL schema sa Oracle. Sa Pro2 Administration atong gipatuman ang menu item Tools -> Paghimo Code -> Target Schema, unya sa dialog box Pilia ang Database pagpili og usa o daghang tinubdan nga mga database ug ibalhin kini sa tuo.
I-klik ang OK ug pilia ang direktoryo aron i-save ang SQL schemas.
Sunod atong himoon ang base. Mahimo kini, pananglitan, pinaagi sa Ang Oracle SQL Developer. Aron mahimo kini, magkonektar kami sa database sa Oracle ug i-load ang schema alang sa pagdugang mga lamesa. Human mabag-o ang komposisyon sa mga lamesa sa Oracle, kinahanglan nimo nga i-update ang SQL schemas sa Schema Holder.
Human makompleto ang pag-download, paggawas sa bisquitsh database ug ablihi ang Pro2 administrative panel. Ang mga lamesa gikan sa database sa Oracle kinahanglan nga makita sa Mapping tab sa tuo.
Pagmapa sa lamesa
Aron makahimo og replication map, sa Pro2 administrative panel, adto sa Mapping tab ug pilia ang source database. Pag-klik sa Map Tables, pilia ang Select Changes sa wala sa mga lamesa nga kinahanglan nga kopyahon sa Oracle, ibalhin kini sa tuo ug kumpirmahi ang pagpili. Awtomatiko nga himoon ang mapa para sa pinili nga mga lamesa. Gisubli namo ang operasyon sa paghimo og replikasyon nga mapa alang sa ubang tinubdan nga mga database.
Paghimo og Pro2 Replication Processor Library ug Bulk-Copy Processor Programs
Ang Replication Processor Library gidisenyo alang sa custom replication nga mga proseso (ETLs) nga nagproseso sa Pro2 replication queue ug nagduso sa mga kausaban sa Oracle database. Ang mga programa sa librarya sa replication processor awtomatik nga gitipigan sa direktoryo human sa henerasyon bprepl/repl_proc (PROC_DIRECTORY parameter). Aron makamugna ang replication processor library, adto sa Tools -> Paghimo Code -> Processor Library. Human makompleto ang henerasyon, ang mga programa makita sa direktoryo bprepl/repl_proc.
Ang Bulk Load Processor nga mga programa gigamit sa pag-synchronize sa source Progress databases sa target Oracle database base sa Progress ABL (4GL) programming language. Aron makamugna sila, adto sa menu item Tools -> Paghimo Code -> Bulk-Copy Processor. Sa Select Database dialog box, pilia ang source databases, ibalhin kini sa tuo nga bahin sa bintana ug i-klik OK. Human makompleto ang henerasyon, ang mga programa makita sa direktoryo bpreplrepl_mproc.
Pag-set up sa mga proseso sa pagkopya sa Pro2
Ang pagbahin sa mga lamesa ngadto sa mga set nga gisilbihan sa usa ka separado nga replikasyon nga hilo makapauswag sa pasundayag ug kaepektibo sa Pro2 Oracle. Sa kasagaran, ang tanang koneksyon nga gihimo sa replication map para sa bag-ong replication tables nalangkit sa thread number 1. Girekomendar nga ibulag ang mga table ngadto sa lain-laing mga thread.
Ang kasayuran bahin sa kahimtang sa mga hilo sa pagkopya gipakita sa screen sa Pro2 Administration sa tab nga Monitor sa seksyon sa Status sa Replikasyon. Ang usa ka detalyado nga paghulagway sa mga kantidad sa parameter makita sa dokumentasyon sa Pro2 (direktoryo C:Pro2Docs).
Paghimo ug pagpaaktibo sa mga polisiya sa CDC
Ang mga palisiya usa ka hugpong sa mga lagda alang sa OpenEdge CDC nga makina aron mamonitor ang mga pagbag-o sa mga lamesa. Sa panahon sa pagsulat, ang Pro2 nagsuporta lamang sa mga polisiya sa CDC nga adunay lebel nga 0, nga mao, ang kamatuoran lamang ang gibantayan mga pagbag-o sa rekord.
Aron makahimo og polisiya sa CDC, sa administrative panel, adto sa Mapping tab, pilia ang source database ug i-klik ang Add/Remove Policies button. Sa Select Changes window nga magbukas, pilia sa wala nga bahin ug ibalhin sa tuo ang mga lamesa diin kinahanglan nimo nga maghimo o magtangtang usa ka polisiya sa CDC.
Aron ma-activate, ablihi pag-usab ang Mapping tab, pilia ang source database ug i-klik ang buton (Sa)Pag-aktibo sa mga Patakaran. Pilia ug ibalhin sa tuo nga bahin sa lamesa ang mga palisiya nga kinahanglan nga ma-aktibo, i-klik ang OK. Human niini sila gimarkahan sa berde. Pinaagi sa paggamit (Sa)Pag-aktibo sa mga Patakaran Mahimo usab nimo nga i-deactivate ang mga polisiya sa CDC. Ang tanan nga mga transaksyon gihimo online.
Human ma-aktibo ang polisiya sa CDC, ang mga nota bahin sa giusab nga mga rekord gitipigan sa lugar nga tipiganan "ReplCDCArea" sumala sa tinubdan database. Kini nga mga nota iproseso pinaagi sa usa ka espesyal nga proseso CDCBatch, nga gibase sa kanila maghimo og mga nota sa Pro2 replication queue sa database cdc (repl).
Busa, kami adunay duha ka pila para sa pagkopya. Ang una nga yugto mao ang CDCBatch: gikan sa gigikanan nga database, ang datos una nga moadto sa intermediate database sa CDC. Ang ikaduha nga yugto mao kung ang datos gibalhin gikan sa database sa CDC ngadto sa Oracle. Kini usa ka bahin sa karon nga arkitektura ug ang produkto mismo - hangtod karon ang mga nag-develop wala pa makahimo og direkta nga pagkopya.
Panguna nga pag-synchronize
Human ma-enable ang mekanismo sa CDC ug i-set up ang Pro2 replication server, kinahanglan natong sugdan ang inisyal nga pag-synchronize. Inisyal nga pag-synchronize nga sugo:
/pro2/bprepl/Script/replLoad.sh bisquit table-name
Human makompleto ang inisyal nga pag-synchronize, ang mga proseso sa pagkopya mahimong masugdan.
Pagsugod sa mga proseso sa pagkopya
Aron masugdan ang mga proseso sa pagkopya kinahanglan nimo nga magpadagan og script replbatch.sh. Sa dili pa magsugod, siguroha nga adunay replbatch scripts para sa tanang thread - replbatch1, replbatch2, etc. Kung naa na ang tanan, ablihi ang command line (pananglitan, proenv), adto sa direktoryo /bprepl/scripts ug sugdi ang script. Sa administratibong panel, among gisusi nga ang katugbang nga proseso nakadawat sa RUNNING status.
Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ
Pagkahuman sa pagpatuman, gipadali namon pag-ayo ang pag-upload sa kasayuran sa bodega sa datos sa korporasyon. Awtomatikong masulod ang datos sa Oracle online. Dili kinahanglan nga mag-usik ug oras sa pagpadagan sa pipila ka dugay nang mga pangutana aron makolekta ang datos gikan sa lainlaing mga sistema. Dugang pa, sa kini nga solusyon ang proseso sa pagkopya mahimong mag-compress sa datos, nga adunay positibo usab nga epekto sa katulin. Karon ang adlaw-adlaw nga pagpasig-uli sa sistema sa BISKVIT sa ubang mga sistema nagsugod sa pagkuha sa 15-20 minuto imbis 2-2,5 ka oras, ug ang usa ka kompleto nga pagpasig-uli mikuha daghang oras imbes nga duha ka adlaw.
Source: www.habr.com