Ahoana ny fomba fanaovana namana eo amin'ny rafitra banky Progress OpenEdge sy ny Oracle DBMS

Nanomboka tamin'ny 1999, mba hanompoana ny birao aoriana, ny bankintsika dia nampiasa ny rafitra banky mitambatra BISKVIT amin'ny sehatra Progress OpenEdge, izay ampiasaina betsaka eran'izao tontolo izao, ao anatin'izany ny sehatra ara-bola. Ny fahombiazan'ity DBMS ity dia ahafahanao mamaky rakitsoratra hatramin'ny iray tapitrisa na mihoatra isan-tsegondra ao anaty tahiry iray (DB). Ny serivisy OpenEdge Progress dia petra-bola 1,5 tapitrisa eo ho eo ary fifanarahana 22,2 tapitrisa eo ho eo ho an'ny vokatra mavitrika (fampindramam-bola sy fampindramam-bola), ary tompon'andraikitra amin'ny fametrahana rehetra miaraka amin'ny mpandrindra (Bank Foibe) sy SWIFT.

Amin'ny fampiasana ny Progress OpenEdge, dia niatrika ny filàna ny fametrahana azy io miaraka amin'ny Oracle DBMS izahay. Tany am-boalohany, io fehezam-boninkazo io dia ny tavoahangin'ny fotodrafitrasanay - mandra-pametrahanay sy nanamboaranay Pro2 CDC - vokatra Progress izay ahafahanao mandefa angona avy amin'ny Progress DBMS mankany amin'ny Oracle DBMS mivantana, amin'ny Internet. Amin'ity lahatsoratra ity dia holazainay aminao amin'ny antsipiriany, miaraka amin'ireo fandrika rehetra, ny fomba hahazoana namana tsara eo amin'ny OpenEdge sy Oracle.

Ahoana no nisehoan'izany: fampiakarana angona ao amin'ny QCD amin'ny alalan'ny fizarana rakitra

Voalohany, zava-misy sasantsasany momba ny fotodrafitrasa misy antsika. Manodidina ny 15 arivo eo ny isan'ny mpampiasa mavitrika amin'ny angon-drakitra. Ny habetsaky ny angon-drakitra mamokatra rehetra, anisan'izany ny kopia sy ny standby, dia 600 TB, ny tahiry lehibe indrindra dia 16,5 TB. Mandritra izany fotoana izany, ny angon-drakitra dia fenoina hatrany: tamin'ny taon-dasa fotsiny, manodidina ny 120 TB ny angon-drakitra mamokatra nampiana. Ny rafitra dia ampiasain'ny mpizara mialoha 150 eo amin'ny sehatra x86. Ny angon-drakitra dia nampiantranoina amin'ny mpizara sehatra 21 IBM.

Ny rafitra front-end, ny rafitra banky fototra isan-karazany ary ny serivisy banky dia ampidirina amin'ny OpenEdge Progress (BISCUIT IBS) amin'ny alàlan'ny bus Sonic ESB. Ny fandefasana angon-drakitra mankany amin'ny QCD dia mitranga amin'ny alàlan'ny fifanakalozana rakitra. Mandra-pahatongan'ny fotoana iray, ity vahaolana ity dia nanana olana roa lehibe indray mandeha - ny fahombiazan'ny fampiakarana vaovao ho any amin'ny trano fanatobiana data orinasa (CDW) ary ny fotoana lava hanaovana ny fampihavanana angon-drakitra (fampihavanana) amin'ny rafitra hafa.

Noho izany dia nanomboka nitady fitaovana afaka manafaingana ireo dingana ireo izahay. Ny vahaolana amin'ireo olana roa ireo dia ny vokatra Progress OpenEdge vaovao - Pro2 CDC (Change Data Capture). Andeha àry isika hanomboka.

Apetraho ny Progress OpenEdge sy Pro2Oracle

Mba hampandehanana ny Pro2 Oracle amin'ny solosaina Windows an'ny mpitantana, dia ampy ny mametraka ny Progress OpenEdge Developer Kit Classroom Edition, izay azo alaina. скачать tsy andoavam-bola. Lahatahiry fametrahana OpenEdge default:

DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK

Ny fizotran'ny ETL dia mitaky fahazoan-dàlana Progress OpenEdge version 11.7+ - izany hoe OE DataServer ho an'ny Oracle sy 4GL Development System. Ireo fahazoan-dàlana ireo dia tafiditra amin'ny Pro2. Ho an'ny fampandehanana feno ny DataServer ho an'ny Oracle miaraka amin'ny angon-drakitra Oracle lavitra dia apetraka ny Full Oracle Client.

Ao amin'ny server Oracle dia mila mametraka Oracle Database 12+ ianao, mamorona angon-drakitra tsy misy na inona na inona ary ampio mpampiasa iray ( andao hiantso azy CDC).

Raha hametraka Pro2Oracle, alaivo ny fizarana farany avy amin'ny foibe fampidinana Rindrambaiko fandrosoana. Esory ny rakitra ao anaty lahatahiry C:Pro2 (Mba hampifanaraka ny Pro2 amin'ny Unix dia mitovy ny fizarana ampiasaina ary mitovy ny fitsipiky ny fanamafisana).

Mamorona tahiry cdc replication

Replication database cdc (repl) Ny Pro2 dia ampiasaina hitahiry fampahalalana momba ny fanamafisana, ao anatin'izany ny sarintany replication, ny anaran'ny angon-drakitra averina ary ny latabatra. Ahitana filaharana replication ihany koa izy io, ahitana fanamarihana momba ny hoe niova ny laharan-tabilao ao amin'ny tahiry loharano. Ny angona avy amin'ny filaharana replication dia ampiasain'ny fizotran'ny ETL hamantarana andalana mila adika amin'ny Oracle avy amin'ny angon-drakitra loharano.

Mamorona tahiry cdc misaraka izahay.

Fomba famoronana angon-drakitra

1. Ao amin'ny server database dia mamorona lahatahiry ho an'ny cdc database isika - ohatra, amin'ny server /database/cdc/.
2. Mamorona dummy ho an'ny tahiry cdc: procopy $DLC/cdc foana
3. Alefaso ny fanohanana ny rakitra lehibe: proutil cdc -C EnableLargeFiles
4. Manomana script hanombohana ny cdc database izahay. Ny mari-pamantarana fanombohana dia tsy maintsy mitovy amin'ny mari-pamantarana fanombohana ny angon-drakitra averina.
5. Manomboka ny cdc database izahay.
6. Mifandraisa amin'ny angon-drakitra cdc ary ampidiro ny schema Pro2 avy amin'ny rakitra cdc.df, izay tafiditra amin'ny Pro2.
7. Mamorona ireto mpampiasa manaraka ireto ao amin'ny tahiry cdc izahay:

pro2adm - ho an'ny fifandraisana amin'ny tontonana administratif Pro2;
pro2etl - fampifandraisana ny fizotran'ny ETL (ReplBatch);
pro2cdc - fampifandraisana ny fizotran'ny CDC (CDCBatch);

Fampandehanana ny OpenEdge Change Data Capture

Andeha hodinihintsika izao ny mekanika CDC, miaraka amin'ny fanampian'ny angon-drakitra haverina amin'ny faritra teknolojia fanampiny. Ho an'ny angon-drakitra loharanon'ny Progress OpenEdge tsirairay, dia mila manampy faritra fitehirizana misaraka izay hanoratana ny angon-drakitra loharano, ary manetsika ny mekanika amin'ny alàlan'ny baiko. proutil.

Ohatra fomba fiasa ho an'ny database bisquit

1. Mandika avy amin'ny katalaogy C:Pro2db rakitra cdcadd.st mankany amin'ny lahatahiry database loharano bisquit.
2. Famaritana ao amin'ny cdcadd.st habe voafaritra ho an'ny faritra "ReplCDCArea" и "ReplCDCArea_IDX". Afaka manampy faritra fitahirizana vaovao amin'ny Internet ianao: prostrct addonline bisquit cdcadd.st
3. Ampidiro ny OpenEdge CDC:
   proutil bisquit -C enablecdc faritra "ReplCDCArea" indexarea "ReplCDCArea_IDX"
4. Ireto mpampiasa manaraka ireto dia tsy maintsy noforonina ao amin'ny angon-drakitra loharano mba hamantarana ireo dingana mandeha:
   a. pro2adm - ho an'ny fifandraisana amin'ny tontonana administratif Pro2.
   b. pro2etl - fampifandraisana ny fizotran'ny ETL (ReplBatch).
   c. pro2cdc - fampifandraisana ny fizotran'ny CDC (CDCBatch).

Mamorona mpihazona Schema ho an'ny DataServer ho an'ny Oracle

Manaraka, mila mamorona angon-drakitra Schema Holder amin'ny mpizara izay hamerenana ny angona avy amin'ny Progress DBMS amin'ny Oracle DBMS. DataServer Schema Holder dia angona Progress OpenEdge poakaty tsy misy mpampiasa na angona fampiharana, misy sarintanin'ny fifandraisan'ny latabatra loharano sy ny latabatra Oracle ivelany.

Ny angon-drakitra Schema Holder ho an'ny Progress OpenEdge DataServer ho an'ny Oracle ho an'ny Pro2 dia tsy maintsy hita ao amin'ny server processeur ETL; noforonina mitokana ho an'ny sampana tsirairay.

Ahoana ny fomba hamoronana Schema Holder

1. Esory ao anaty lahatahiry iray ny fizarana Pro2 /pro2
2. Mamorona ary mandehana any amin'ny lahatahiry /pro2/dbsh
3. Mamorona tahiry Schema Holder mampiasa ny baiko kopia $DLC/bisquitsh poakaty
4. Manatanteraka ny fiovam-po bisquitsh ao amin'ny kaody ilaina - ohatra, ao amin'ny UTF-8 raha manana famandrihana UTF-8 ny tahiry Oracle: proutil bisquitsh -C convchar convert UTF-8
5. Rehefa avy namorona angon-drakitra foana bisquitsh mampifandray azy amin'ny fomba mpampiasa tokana: pro bisquitsh
6. Andao ho any amin'ny rakibolana data: Tools -> Data Dictionary -> DataServer -> ORACLE Utilities -> Mamorona DataServer Schema
7. Alefaso ny Schema Holder
8. Mametraka ny Oracle DataServer broker:
   a. Manomboka AdminServer.
   proadsv -manomboka
   b. Manomboka ny Oracle DataServer broker
   oraman -name orabroker1 -manomboka

Fametrahana ny tontolon'ny fitantanan-draharaha sy ny drafitry ny replication

Amin'ny fampiasana ny tontonana administratif Pro2, ny masontsivana Pro2 dia amboarina, ao anatin'izany ny fametrahana ny rafitra replication sy ny famokarana ny ETL (Processor Library), ny programa fampifanarahana voalohany (Bulk-Copy Processor), ny replication trigger ary ny politika OpenEdge CDC. Misy ihany koa ny fitaovana voalohany amin'ny fanaraha-maso sy ny fitantanana ny fizotran'ny ETL sy CDC. Voalohany indrindra, mametraka ny rakitra parameter izahay.

Ahoana ny fametrahana rakitra parameter

1. Mandehana any amin'ny katalaogy C:Pro2bpreplScripts
2. Sokafy ny rakitra ho an'ny fanovana replProc.pf
3. Ampio ny mari-pamantarana fifandraisana amin'ny angon-drakitra replication cdc:
   # Replication Database
   -db cdc -ld repl -H <main database hostname> -S <database broker port cdc>
   -U pro2admin -P <password>
4. hatovana ny replProc.pf masontsivana fifandraisana amin'ny angon-drakitra loharano sy ny Schema Holder amin'ny endrika rakitra parameter. Ny anaran'ny rakitra paramètre dia tsy maintsy mifanandrify amin'ny anaran'ny angon-drakitra loharano mifandray.
   # Ampifandraiso amin'ny loharano BISQUIT rehetra
   -pf bpreplscriptsbisquit.pf
5. hatovana ny replProc.pf masontsivana mifandray amin'ny Schema Holder.
   #Target Pro DB Schema Holder
   -db bisquitsh -ld bisquitsh
   -H <ETL process host name>
   -S <biskuitsh broker port>
   -db bisquitsql
   -ld bisquitsql
   -dt ORACLE
   -S 5162 -H <Oracle broker hostname>
   -DataService orabroker1
6. Tehirizo ny rakitra paramètre replProc.pf
7. Manaraka, mila mamorona sy manokatra ho an'ny fanovana rakitra parameter ho an'ny angon-drakitra loharano mifandray tsirairay ao amin'ny lahatahiry C:Pro2bpreplScripts: bisquit.pf. Ny rakitra pf tsirairay dia misy masontsivana fifandraisana amin'ny angon-drakitra mifandraika amin'izany, ohatra:
   -db bisquit -ld bisquit -H <hostname> -S <broker port>
   -U pro2admin -P <password>

Mba hanitsiana ny fikandrana Windows dia mila mandeha any amin'ny lahatahiry ianao C:Pro2bpreplScripts ary ovay ny hitsin-dàlana "Pro2 - Administration". Mba hanaovana izany, sokafy ny toetran'ny hitsin-dàlana sy amin'ny tsipika Manomboka amin'ny manondro ny lahatahiry fametrahana Pro2. Tsy maintsy atao ny hetsika mitovy amin'izany ho an'ny hitsin-dàlana "Pro2 - Editor" sy "RunBulkLoader".

Pro2 Administration Setup: Loading Initial Configuration

Andao hanomboka ny console.

Mandehana any amin'ny "DB Map".

Raha te hampifandray angon-drakitra ao amin'ny Pro2 - Administration, mandehana amin'ny tabilao DB Map. Ampio ny sarintany amin'ny angon-drakitra loharano - Schema Holder - Oracle.

Mandehana any amin'ny tabilao Mapping. Ao amin'ny lisitra Source Database Amin'ny alàlan'ny default, voafantina ny angon-drakitra loharano voalohany mifandray. Eo ankavanan'ny lisitra dia tokony hisy soratra Ny angon-drakitra rehetra mifandray - mifandray ireo angona voafantina. Eo ambany ankavia dia tokony hahita lisitry ny tabilao Fandrosoana avy amin'ny bisquit ianao. Eo ankavanana dia misy lisitry ny tabilao avy amin'ny tahiry Oracle.

Mamorona schemas SQL sy angon-drakitra ao amin'ny Oracle

Mba hamoronana sarintany replication dia tsy maintsy mamorona aloha ianao SQL schema amin'ny Oracle. Ao amin'ny Administration Pro2 dia manatanteraka ny singa menu izahay Tools -> Mamorona Code -> Schema Target, avy eo ao amin'ny boaty fifampiresahana Safidio ny Database mifidiana tahiry loharano iray na maromaro ary afindrao miankavanana.

Tsindrio OK ary safidio ny lahatahiry hitahiry ny schemas SQL.

Manaraka dia mamorona ny fototra. Izany dia azo atao, ohatra, amin'ny alalan'ny Oracle SQL Developer. Mba hanaovana izany, mifandray amin'ny angon-drakitra Oracle izahay ary mametaka ny tetika hanampiana latabatra. Rehefa avy nanova ny firafitry ny latabatra Oracle ianao dia mila manavao ny schema SQL ao amin'ny Schema Holder.

Rehefa vita soa aman-tsara ny fampidinana dia mialà amin'ny angon-drakitra bisquitsh ary sokafy ny tontonana fitantanana Pro2. Ny tabilao avy amin'ny tahiry Oracle dia tokony hiseho eo amin'ny tabilao Mapping eo ankavanana.

Fametahana tabilao

Mba hamoronana sarintany replication, ao amin'ny tontonana administratif Pro2, mandehana any amin'ny tabilao Mapping ary safidio ny angon-drakitra loharano. Tsindrio eo amin'ny Map Tables, mifidiana Select Changes eo ankavia amin'ireo tabilao tokony haverina ao Oracle, afindrao miankavanana ary hamafiso ny fifantenana. Hisy sarintany noforonina ho azy ho an'ireo tabilao voafantina. Averinay ny hetsika hamoronana sari-tany replication ho an'ny angon-drakitra loharano hafa.

Mamorona Pro2 Replication Processor Library sy Bulk-Copy Processor Programs

Ny Tranombokin'ny Replication Processor dia natao ho an'ny fizotry ny replication mahazatra (ETLs) izay mandrindra ny filaharana replication Pro2 ary manosika ny fanovana amin'ny tahiry Oracle. Ny programa famakiam-bokin'ny replication processeur dia voatahiry ho azy ao amin'ny lahatahiry aorian'ny taranaka bprepl/repl_proc (parameter PROC_DIRECTORY). Mba hamoronana ny famakiam-boky processeur replication, mandehana any Fitaovana -> Mamorona Code -> Tranombokin'ny processeur. Rehefa vita ny taranaka dia hiseho ao amin'ny lahatahiry ireo programa bprepl/repl_proc.

Ny programa Bulk Load Processor dia ampiasaina mba hampifanaraka ny angona Progress loharano miaraka amin'ny angon-drakitra Oracle kendrena mifototra amin'ny fiteny fandaharana Progress ABL (4GL). Mba hamoronana azy ireo dia mandehana any amin'ny sakafo sakafo Fitaovana -> Mamorona kaody -> Mpanamboatra kopia betsaka. Ao amin'ny boaty fifanakalozan-dresaka Select Database, safidio ny angon-drakitra loharano, afindrano eo amin'ny ilany havanana amin'ny varavarankely ary tsindrio OK. Rehefa vita ny taranaka dia hiseho ao amin'ny lahatahiry ireo programa bpreplrepl_mproc.

Fametrahana ny fizotran'ny replication ao amin'ny Pro2

Manatsara ny fampandehanana sy ny fahombiazan'ny Pro2 Oracle ny fizarazarana latabatra ho andiana karakarain'ny kofehy replication misaraka. Amin'ny alàlan'ny default, ny fifandraisana rehetra noforonina ao amin'ny sari-tany replication ho an'ny tabilao replication vaovao dia mifandray amin'ny laharana laharana 1. Amporisihina ny hanasaraka latabatra ho kofehy samihafa.

Ny fampahalalana momba ny satan'ny kofehy replication dia aseho amin'ny efijery Pro2 Administration ao amin'ny tabilao Monitor ao amin'ny fizarana Status Replication. Ny famaritana amin'ny antsipiriany momba ny soatoavin'ny paramètre dia hita ao amin'ny antontan-taratasy Pro2 (directory C:Pro2Docs).

Mamorona sy manetsika ny politikan'ny CDC

Ny politika dia andiana fitsipika ho an'ny motera OpenEdge CDC hanaraha-maso ny fiovan'ny latabatra. Tamin'ny fotoana nanoratana, ny Pro2 dia tsy manohana ny politikan'ny CDC amin'ny ambaratonga 0, izany hoe ny zava-misy ihany no araha-maso firaketana fanovana.

Mba hamoronana politika CDC, eo amin'ny tontonana administratif, mandehana any amin'ny tabilao Mapping, safidio ny angon-drakitra loharano ary tsindrio ny bokotra Add/Remove Policies. Ao amin'ny fikandrana Select Changes izay misokatra, safidio eo amin'ny ilany havia ary afindrao miankavanana ireo tabilao izay ilainao hamoronana na hamafa ny politika CDC.

Mba hampavitrika, sokafy indray ny tabilao Mapping, safidio ny tahiry loharano ary tsindrio ny bokotra (Ao)Ampio ny politika. Safidio ary afindrao eo amin'ny ilany havanana amin'ny latabatra ny politika tokony hoheverina, tsindrio OK. Aorian'izany dia asiana marika maitso izy ireo. Amin'ny fampiasana (Ao)Ampio ny politika Azonao atao koa ny manafoana ny politikan'ny CDC. Ny fifanakalozana rehetra dia atao amin'ny Internet.

Aorian'ny fampandehanana ny politikan'ny CDC, dia voatahiry ao amin'ny toerana fitehirizana ny fanamarihana momba ny firaketana novaina "ReplCDCArea" araka ny angon-drakitra loharano. Ireo naoty ireo dia hokarakaraina amin'ny alàlan'ny dingana manokana CDCBatch, izay mifototra amin'izy ireo dia hamorona naoty ao amin'ny filaharana replication Pro2 ao amin'ny tahiry cdc (repl).

Noho izany, manana filaharana roa izahay ho an'ny replication. Ny dingana voalohany dia CDCBatch: avy amin'ny angon-drakitra loharano, ny angon-drakitra voalohany dia mankany amin'ny angon-drakitra CDC intermediate. Ny dingana faharoa dia ny famindrana angon-drakitra avy amin'ny angon-drakitra CDC mankany Oracle. Ity dia singa iray amin'ny maritrano ankehitriny sy ny vokatra mihitsy - hatramin'izao dia tsy afaka nanangana replication mivantana ny mpamorona.

Fandrindrana voalohany

Aorian'ny famelana ny mekanika CDC sy ny fametrahana ny mpizara replication Pro2 dia mila manomboka ny fampifanarahana voalohany isika. baiko fampifanarahana voalohany:

/pro2/bprepl/Script/replLoad.sh bisquit table-name

Rehefa vita ny fampifanarahana voalohany, dia azo atomboka ny fizotran'ny replication.

Fanombohan'ny fizotry ny replication

Mba hanombohana ny fizotran'ny replication dia mila manao script ianao replbatch.sh. Alohan'ny hanombohanao dia ataovy azo antoka fa misy script replbatch ho an'ny kofehy rehetra - replbatch1, replbatch2, sns. Raha mipetraka ny zava-drehetra, sokafy ny baiko baiko (ohatra, proenv), mandehana any amin'ny lahatahiry /bprepl/scripts ary manomboka ny script. Ao amin'ny tontonana administratif, manamarina izahay fa nahazo ny sata RUNNING ny dingana mifandraika amin'izany.

vokatra

Taorian'ny fampiharana dia nanafaingana be ny fampiakarana vaovao ho any amin'ny trano fanatobiana angona orinasa. Miditra ho azy ao amin'ny Oracle an-tserasera ny angon-drakitra. Tsy ilaina ny mandany fotoana amin'ny fametrahana fanontaniana efa ela mba hanangonana angona avy amin'ny rafitra samihafa. Ankoatra izany, amin'ity vahaolana ity dia afaka manindry ny angon-drakitra ny fizotran'ny replication, izay misy fiantraikany tsara amin'ny hafainganam-pandeha ihany koa. Ankehitriny ny fampihavanana isan'andro ny rafitra BISKVIT amin'ny rafitra hafa dia nanomboka naharitra 15-20 minitra fa tsy 2-2,5 ora, ary ny fampihavanana tanteraka dia naharitra ora maromaro fa tsy roa andro.

Source: www.habr.com