Meriv çawa di navbera pergala bankingê ya Progress OpenEdge û Oracle DBMS de hevaltiyê dike

Ji sala 1999-an vir ve, ji bo karûbarê nivîsgeha paşîn, banka me pergala bankingê ya yekbûyî BISKVIT li ser platforma Progress OpenEdge, ku li seranserê cîhanê, di sektora darayî de, bi berfirehî tê bikar anîn, bikar tîne. Performansa vê DBMS-ê dihêle hûn di yek databasê de (DB) heya mîlyonek an bêtir tomar di çirkeyê de bixwînin. Pêşkeftina meya OpenEdge li ser 1,5 mîlyon depoyên kesane û nêzîkê 22,2 mîlyon peymanan ji bo hilberên çalak (deyn û îpotek) xizmetê dike, û di heman demê de berpirsiyarê hemî rûniştinan bi sazkar (Banka Navendî) û SWIFT re ye.

Bi karanîna Pêşveçûn OpenEdge, em bi hewcedariya ku ew bi Oracle DBMS re bixebitin re rû bi rû man. Di destpêkê de, ev pakêt bû stûna binesaziya me - heya ku me Pro2 CDC saz kir û mîheng kir - hilberek Pêşverû ku dihêle hûn daneyên ji Pêşveçûn DBMS rasterast, serhêl bişînin Oracle DBMS. Di vê postê de em ê bi hûrgulî ji we re vebêjin, digel hemî xeletiyan, ka meriv çawa bi bandor di navbera OpenEdge û Oracle de hevaltiyê dike.

Çawa çêbû: bi parvekirina pelê ve daneyan li QCD barkirin

Pêşîn, hin rastiyên li ser binesaziya me. Hejmara bikarhênerên çalak ên databasê bi qasî 15 hezar e. Hêjmara hemî databasên hilberîner, tevî replica û standby, 600 TB e, databasa herî mezin 16,5 TB ye. Di heman demê de, databas bi domdarî têne dagirtin: tenê di sala borî de, bi qasî 120 TB daneyên hilberîner hatine zêdekirin. Pergal ji hêla 150 serverên pêşîn ên li ser platforma x86 ve tê hêz kirin. Database li ser 21 serverên platforma IBM-ê têne mêvandar kirin.

Pergalên pêşîn, pergalên cûda yên bingehîn ên bankingê û karûbarên bankingê bi OpenEdge Progress (BISCUIT IBS) bi otobusa Sonic ESB ve têne yek kirin. Barkirina daneyan li QCD bi pevguhertina pelan pêk tê. Heya demek diyarkirî, vê çareseriyê bi yekcarî du pirsgirêkên mezin hebûn - performansa kêm a barkirina agahiyê li wargehek daneya pargîdanî (CDW) û demek dirêj ji bo pêkanîna lihevhatina daneyê (lihevkirin) bi pergalên din re.

Ji ber vê yekê, me dest pê kir ku li amûrek ku dikare van pêvajoyan bilezîne bigerin. Çareseriya her du pirsgirêkan hilbera nû ya Pêşveçûn OpenEdge bû - Pro2 CDC (Girtina Daneyê biguherîne). Ji ber vê yekê, em dest pê bikin.

Pêşveçûn OpenEdge û Pro2Oracle saz bikin

Ji bo xebitandina Pro2 Oracle li ser komputera Windows-ê ya rêvebir, bes e ku hûn Progress OpenEdge Developer Kit Edition Classroom saz bikin, ku dikare were saz kirin. скачать belaş. Pelên sazkirinê yên vekirî yên OpenEdge:

DLC: C: ProgressOpenEdge
WRK: C:OpenEdgeWRK

Pêvajoyên ETL lîsansên Pêşveçûn OpenEdge guhertoya 11.7+ hewce dike - ango OE DataServer ji bo Pergala Pêşveçûna Oracle û 4GL. Ev lîsans bi Pro2-ê re têne nav kirin. Ji bo xebata bêkêmasî ya DataServer ji bo Oracle bi databasek dûr a Oracle, Full Oracle Client tê saz kirin.

Li ser servera Oracle hûn hewce ne ku Oracle Database 12+ saz bikin, databasek vala biafirînin û bikarhênerek lê zêde bikin (ka em jê re bang bikin cdc).

Ji bo sazkirina Pro2Oracle, belavkirina herî dawî ji navenda dakêşanê dakêşin Pêşveçûn Software. Arşîvê li pelrêçekê vekin C: Pro2 (Ji bo mîhengkirina Pro2 li ser Unix-ê, heman belavok tê bikar anîn û heman prensîbên veavakirinê derbas dibin).

Afirandina databasek dubarekirina cdc

Database Replication cdc (repl) Pro2 ji bo hilanîna agahdariya vesazkirinê, tevî nexşeya dubarekirinê, navên databasên dubare û tabloyên wan tê bikar anîn. Ew di heman demê de rêzek dubarekirinê jî vedihewîne, ku ji nîşeyan pêk tê li ser rastiya ku rêzek tabloyê di databasa çavkaniyê de guheriye. Daneyên ji rêza dubarekirinê ji hêla pêvajoyên ETL ve têne bikar anîn da ku rêzikên ku hewce ne ku ji databasa çavkaniyê li Oracle werin kopî kirin nas bikin.

Em databasek cdc ya cihê diafirînin.

Pêvajoya çêkirina databasê

1. Li ser servera databasê em pelrêçek ji bo databasa cdc diafirînin - mînakî, li ser serverê /base/cdc/.
2. Ji bo databasa cdc-ê dummy biafirînin: $DLC/cdc-ya vala bişopînin
3. Piştgiriya pelên mezin çalak bike: proutil cdc -C EnableLargeFiles
4. Em ji bo destpêkirina databasa cdc skrîptekê amade dikin. Pêdivî ye ku pîvanên destpêkê mîna pîvanên destpêkê yên databasa dubarekirî bin.
5. Em databasa cdc dest pê dikin.
6. Bi databasa cdc ve girêdin û şemaya Pro2 ji pelê bar bikin cdc.df, ku bi Pro2 ve tê de heye.
7. Em bikarhênerên jêrîn di databasa cdc de diafirînin:

pro2adm - ji bo girêdana ji panelê îdarî Pro2;
pro2etl - ji bo girêdana pêvajoyên ETL (ReplBatch);
pro2cdc - ji bo girêdana pêvajoyên CDC (CDCBatch);

Çalakkirina OpenEdge Change Data Capture

Naha werin em bi xwe mekanîzmaya CDC-ê vegerînin, ku bi alîkariya wê dê dane li deverek teknolojiyê ya zêde were dubare kirin. Ji her databasa çavkaniya Pêşveçûn OpenEdge re, hûn hewce ne ku deverên hilanînê yên cihêreng ên ku dê daneyên çavkaniyê tê de bêne dubare kirin lê zêde bikin, û mekanîzmaya xwe bi karanîna fermanê çalak bikin. proutil.

Pêvajoya nimûne ji bo databasa bisquit

1. Kopîkirin ji katalogê C: Pro2db pelê cdcadd.st ji pelrêça databasa çavkaniya bisquit re.
2. Em di nav de diyar dikin cdcadd.st mezinahiya sabît ji bo herêman "ReplCDCArea" и "ReplCDCArea_IDX". Hûn dikarin deverên hilanînê yên nû li serhêl zêde bikin: prostrct addonline bisquit cdcadd.st
3. OpenEdge CDC çalak bikin:
   proutil bisquit -C enablecdc qada "ReplCDCArea" indexarea "ReplCDCArea_IDX"
4. Divê bikarhênerên jêrîn di databasa çavkaniyê de bêne afirandin da ku pêvajoyên xebitandinê nas bikin:
   yek. pro2adm - ji bo girêdana ji panelê îdarî Pro2.
   b. pro2etl - ji bo girêdana pêvajoyên ETL (ReplBatch).
   c. pro2cdc - ji bo girêdana pêvajoyên CDC (CDCBatch).

Ji bo Oracle-ê ji bo DataServer-ê xwedanek Schema-yê çêbikin

Dûv re, pêdivî ye ku em databasek Schema Holder li ser serverê biafirînin ku daneyên ji Pêşveçûn DBMS dê li Oracle DBMS-ê bêne dubare kirin. DataServer Schema Holder databasek vala Progress OpenEdge e bêyî bikarhêner an daneyên serîlêdanê, ku nexşeyek hevrêziya di navbera tabloyên çavkanî û tabloyên Oracle yên derveyî de vedihewîne.

Databasa Schema Holder ji bo Pêşveçûn OpenEdge DataServer ji bo Oracle ji bo Pro2 divê li ser servera pêvajoya ETL-ê ji bo her şaxek veqetandî were çêkirin.

Meriv çawa xwedanek Schema biafirîne

1. Dabeşkirina Pro2 li pelrêçekê vekin /pro2
2. Biafirînin û biçin pelrêça /pro2/dbsh
3. Bi karanîna fermanê databasek Schema Holder biafirînin kopî $ DLC / bisquitsh vala
4. Veguherînê pêk tîne bisquitsh di kodkirina pêdivî de - mînakî, di UTF-8 de heke databasên Oracle xwedî kodkirina UTF-8 be: proutil bisquitsh -C convchar veguherîne UTF-8
5. Piştî afirandina databasek vala bisquitsh di moda yek-bikarhêner de pê ve girêdin: pro bisquitsh
6. Ka em herin Ferhenga Daneyan: Amûr -> Ferhenga Daneyan -> Servera Daneyê -> Karûbarên ORACLE -> Şemaya DataServerê biafirînin
7. Destpêkirina Schema Holder
8. Sazkirina brokera Oracle DataServer:
   yek. AdminServer dest pê bikin.
   proadsv -destpêk
   b. Destpêka brokera Oracle DataServer
   oraman -navê orabroker1 -destpêk

Sazkirina panela îdarî û pilana dubarekirinê

Bi karanîna panelê îdarî Pro2, parametreyên Pro2 têne mîheng kirin, di nav de sazkirina pilana dubarekirinê û hilberîna pêvajoyên ETL (Pirtûkxaneya Pêvajoyê), bernameyên hevdemkirinê yên seretayî (Pêvajoya Bulk-Copy), pêlên dubarekirinê û polîtîkayên OpenEdge CDC. Ji bo şopandin û birêvebirina pêvajoyên ETL û CDC jî amûrên bingehîn hene. Berî her tiştî, me pelên parametreyê saz kirin.

Meriv çawa pelên parametreyê mîheng dike

1. Biçe katalogê C: Pro2bpreplScripts
2. Pelê ji bo guherandinê vekin replProc.pf
3. Parametreyên pêwendiyê li databasa dubarekirina cdc zêde bikin:
   # Database Replication
   -db cdc -ld repl -H <navê mêvandarê databasa sereke> -S <porta brokera databasa cdc>
   -U pro2admin -P <şîfre>
4. lê zêde bike replProc.pf Parametreyên girêdanê bi databasên çavkaniyê û Schema Holder di forma pelên parametreyê de. Navê pelê parameteran divê bi navê databasa çavkaniyê ya ku tê girêdan re têkildar be.
   # Bi hemî çavkaniyên dubarekirî BISQUIT ve girêdin
   -pf bpreplscriptsbisquit.pf
5. lê zêde bike replProc.pf parametreyên ji bo girêdana bi Schema Holder.
   #Target Pro DB Schema Holder
   -db bisquitsh -ld bisquitsh
   -H <navê mêvandarê pêvajoya ETL>
   -S <biskuitsh broker port>
   -db bisquitsql
   -ld bisquitsql
   -dt ORACLE
   -S 5162 -H <navê mêvandarê brokerê Oracle>
   -DataService orabroker1
6. Pelê parameteran hilînin replProc.pf
7. Dûv re, hûn hewce ne ku ji bo her databasa çavkaniya girêdayî ya di pelrêçê de pelên parametreyê biafirînin û vekin C:Pro2bpreplScripts: bisquit.pf. Her pelê pf ji bo girêdana bi databasa têkildar re parametreyan vedihewîne, mînakî:
   -db bisquit -ld bisquit -H <navê mêvandar> -S <porta broker>
   -U pro2admin -P <şîfre>

Ji bo mîhengkirina kurtebirên Windows-ê, hûn hewce ne ku biçin pelrêça C: Pro2bpreplScripts û kurteya "Pro2 - Rêveberî" biguherînin. Ji bo vê yekê, taybetmendiyên kurtenivîsê û di rêzê de vekin Dest pê bikin pelrêça sazkirinê ya Pro2 nîşan bide. Pêdivî ye ku ji bo kurtebirên "Pro2 - Edîtor" û "RunBulkLoader" operasyonek wusa were kirin.

Sazkirina Rêvebiriya Pro2: Veavakirina Destpêkê Barkirin

Werin em konsolê bidin destpêkirin.

Biçe "Nexşeya DB".

Ji bo girêdana databasên li Pro2 - Rêvebir, biçin tabê Nexşeya DB. Nexşeya databasên çavkaniyê zêde bikin - Schema Holder - Oracle.

Biçe tabê Mapping. Listed Database Çavkanî Ji hêla xwerû ve, yekem databasa çavkaniya girêdanê tê hilbijartin. Li aliyê rastê lîsteyê divê nivîsek hebe Hemû Databases Girêdayî - databasên hilbijartî girêdayî ne. Li jêr li milê çepê divê hûn navnîşek tabloyên Pêşveçûnê ji bisquit bibînin. Li milê rastê navnîşek tabloyên ji databasa Oracle heye.

Afirandina şema û databasên SQL li Oracle

Ji bo afirandina nexşeyek dubarekirinê, divê hûn pêşî çêbikin schema SQL li Oracle. Di Rêveberiya Pro2 de em menuya menuyê pêk tînin Amûr -> Çêkirina Kodê -> Şemaya Armanc, paşê di qutiya diyalogê de Databas hilbijêrin yek an çend databasên çavkaniyê hilbijêrin û wan ber bi rastê ve bikşînin.

OK bikirtînin û pelrêça hilbijêrin ku şemayên SQL hilînin.

Piştre em bingehê ava dikin. Ev dikare were kirin, ji bo nimûne, bi rêya Pêşvebirê Oracle SQL. Ji bo vê yekê, bi databasa Oracle ve girêdin û ji bo lê zêdekirina tabloyan şema bar bikin. Piştî guheztina pêkhateya tabloyên Oracle, hûn hewce ne ku şemayên SQL-ê yên di Xwediyê Schema de nûve bikin.

Piştî ku dakêşandin bi serfirazî qediya, ji databasa bisquitsh derkevin û panelê îdarî Pro2 vekin. Divê tabloyên ji databasa Oracle li ser tabloya Nexşeyê ya rastê xuya bibin.

Nexşeya sifrê

Ji bo afirandina nexşeyek dubarekirinê, di panela îdarî ya Pro2 de, biçin tabloya Nexşeyê û databasa çavkaniyê hilbijêrin. Li ser Tabloyên Nexşeyê bikirtînin, li milê çepê tabloyên ku divê di Oracle-ê de bêne dubare kirin Guherînên Hilbijêre hilbijêrin, wan berbi rastê vegerînin û hilbijartinê piştrast bikin. Ji bo tabloyên hilbijartî dê nexşeyek bixweber were afirandin. Em operasyonê dubare dikin da ku nexşeyek dubarekirinê ji bo databasên çavkaniyên din biafirînin.

Hilberîna Pirtûkxaneya Pêvajoya Replikasyona Pro2 û Bernameyên Pêvajoya Kopî-Balk

Pirtûkxaneya Pêvajoya Replikasyonê ji bo pêvajoyên dubarekirina xwerû (ETL) hatî çêkirin ku rêzika dubarekirina Pro2 dimeşîne û guheztinan di databasa Oracle de dihêle. Bernameyên pirtûkxaneya pêvajoya dubarekirinê piştî nifşê bixweber li pelrêçê têne tomar kirin bprepl/repl_proc (Parametre PROC_DIRECTORY). Ji bo afirandina pirtûkxaneya pêvajoya dubarekirinê, biçin Amûr -> Kodê biafirînin -> Pirtûkxaneya Pêvajoyê. Piştî ku nifş qediya, bername dê di pelrêçê de xuya bibin bprepl/repl_proc.

Bernameyên Pêvajoya Barkirina Mezin ji bo hevdemkirina databasên Pêşkeftina çavkaniyê bi databasa Oracle-a mebest re li ser bingeha zimanê bernamesaziyê Progress ABL (4GL) têne bikar anîn. Ji bo afirandina wan, biçin menuya menuyê Amûr -> Kodê biafirînin -> Pêvajoya Kopîkirina Mezin. Di qutiya diyalogê ya Database Hilbijêre de, databasên çavkaniyê hilbijêrin, wan berbi aliyê rastê yê pencereyê vegerînin û bikirtînin OK. Piştî ku nifş qediya, bername dê di pelrêçê de xuya bibin bpreplrepl_mproc.

Sazkirina pêvajoyên dubarekirinê li Pro2

Dabeşkirina tabloyan li ser koman ku ji hêla vebijarkek veqetandî ve têne xizmet kirin performans û karbidestiya Pro2 Oracle çêtir dike. Ji hêla xwerû ve, hemî girêdanên ku di nexşeya replikasyonê de ji bo tabloyên nûveberdanê yên nû hatine çêkirin, bi jimareya 1-ê ve têne girêdan. Tê pêşniyar kirin ku tabloyan di nav mijarên cûda de veqetînin.

Agahdariya li ser rewşa mijarên dubarekirinê li ser ekrana Rêvebiriya Pro2 ya di tabloya Monitorê de di beşa Rewşa Replication de tê xuyang kirin. Danasînek hûrgulî ya nirxên parametreyê dikare di belgeya Pro2 de were dîtin (Pelrêka C: Pro2Docs).

Polîtîkayên CDC-ê biafirînin û çalak bikin

Polîtîka ji bo motora OpenEdge CDC komek rêzik in ku guheztinên tabloyan bişopîne. Di dema nivîsandinê de, Pro2 tenê polîtîkayên CDC bi asta 0 piştgirî dike, ango, tenê rastî tê şopandin. guhertinên tomar bikin.

Ji bo afirandina polîtîkayek CDC, li ser panelê îdarî, biçin tabloya Nexşeyê, databasa çavkaniyê hilbijêrin û li ser bişkoka Polîtîkayên Zêde / Rake bikirtînin. Di pencereya Hilbijartina Guhertinên ku vedibe de, li milê çepê hilbijêrin û tabloyên ku hûn hewce ne ku hûn ji bo wan polîtîkayek CDC biafirînin an jêbirin berbi rastê ve biçin.

Ji bo çalakkirinê, dîsa tabloya Nexşeyê vekin, databasa çavkaniyê hilbijêrin û li ser bişkojkê bikirtînin (Di) Polîtîkayan Çalak bikin. Polîtîkayên ku divê werin aktîfkirin hilbijêrin û biçin milê rastê tabloyê, OK bikirtînin. Piştî vê yekê ew bi kesk têne nîşankirin. Bi karanîna (Di) Polîtîkayan Çalak bikin Hûn dikarin polîtîkayên CDC jî neçalak bikin. Hemî danûstandinên serhêl têne kirin.

Piştî ku polîtîkaya CDC-ê tê çalak kirin, notên di derbarê tomarên guhertî de li qada hilanînê têne hilanîn "ReplCDCArea" li gor databasa çavkaniyê. Dê ev not bi pêvajoyek taybetî ve bêne çêkirin CDCBatch, ku li ser bingeha wan dê di databasê de di rêza dubarekirina Pro2 de notan biafirîne cdc (repl).

Ji ber vê yekê, me ji bo dubarekirinê du rêz hene. Qonaxa yekem CDCBatch e: ji databasa çavkaniyê, dane pêşî diçe databasa CDC ya navîn. Qonaxa duyemîn dema ku dane ji databasa CDC ji Oracle re tê veguheztin. Ev taybetmendiyek mîmariya heyî û hilber bixwe ye - heya nuha pêşdebiran nekariye ku rasterast dubare bikin.

Hevdemkirina seretayî

Piştî çalakkirina mekanîzmaya CDC û sazkirina servera dubarekirina Pro2, pêdivî ye ku em hevrêziya destpêkê dest pê bikin. Fermana hevdemkirinê ya destpêkê:

/pro2/bprepl/Script/replLoad.sh tablo-navê bisquit

Piştî ku hevdemkirina destpêkê qediya, pêvajoyên dubarekirinê dikarin dest pê bikin.

Destpêka pêvajoyên dubarekirinê

Ji bo destpêkirina pêvajoyên dubarekirinê hûn hewce ne ku skrîptek bimeşînin replbatch.sh. Berî ku dest pê bikin, pê ewle bin ku ji bo hemî mijaran nivîsarên replbatch hene - replbatch1, replbatch2, hwd. Ger her tişt di cîh de ye, rêzika fermanê veke (mînak, proenv), biçin pelrêça /bprepl/scripts û dest bi senaryoyê bikin. Di panela îdarî de, em kontrol dikin ku pêvajoya têkildar statûya REWŞANDIN wergirtiye.

Encam

Piştî pêkanînê, me barkirina agahiyê li depoya daneya pargîdanî pir bilez kir. Daneyên bixweber dikevin Oracle serhêl. Ne hewce ye ku wextê wenda bike ku hin pirsên dirêj-dirêj bimeşînin da ku daneyên ji pergalên cihêreng berhev bikin. Wekî din, di vê çareseriyê de pêvajoya dubarekirinê dikare daneyan berhev bike, ku ev jî bandorek erênî li ser lezê dike. Niha lihevhatina rojane ya pergala BISKVIT bi pergalên din re li şûna 15-20 demjimêran 2-2,5 hûrdem dest pê kir, û lihevhatina bi tevahî li şûna du rojan çend demjimêran girt.

Source: www.habr.com