Bho 1999, gus seirbheis a thoirt don oifis cùil, tha am banca againn air an siostam bancaidh amalaichte BISKVIT a chleachdadh air an àrd-ùrlar Progress OpenEdge, a tha air a chleachdadh gu farsaing air feadh an t-saoghail, a’ gabhail a-steach san roinn ionmhais. Leigidh coileanadh an DBMS seo leat suas ri millean clàr no barrachd gach diog a leughadh ann an aon stòr-dàta (DB). Bidh an Progress OpenEdge againn a’ toirt seirbheis mu 1,5 millean tasgadh fa leth agus timcheall air 22,2 millean cùmhnant airson toraidhean gnìomhach (iasadan càr agus morgaidsean), agus tha e cuideachd an urra ri gach rèiteachadh leis an riaghlaiche (Banc Meadhanach) agus SWIFT.
A’ cleachdadh Progress OpenEdge, bha sinn mu choinneimh an fheum air toirt air obrachadh leis an Oracle DBMS. An toiseach, b’ e am pasgan seo cnap-starra ar bun-structair - gus an do chuir sinn a-steach agus a rèiteachadh Pro2 CDC - toradh Adhartas a leigeas leat dàta bhon Progress DBMS a chuir chun Oracle DBMS gu dìreach, air-loidhne. Anns an dreuchd seo innsidh sinn dhut gu mionaideach, leis na duilgheadasan uile, mar a nì thu caraidean gu h-èifeachdach eadar OpenEdge agus Oracle.
Mar a thachair e: a’ luchdachadh suas dàta gu QCD tro roinneadh fhaidhlichean
An toiseach, beagan fhìrinnean mun bhun-structar againn. Tha an àireamh de luchd-cleachdaidh gnìomhach an stòr-dàta timcheall air 15 mìle. Is e an àireamh de stòran-dàta toraidh, a’ toirt a-steach mac-samhail agus cùl-taic, 600 TB, is e an stòr-dàta as motha 16,5 TB. Aig an aon àm, tha na stòran-dàta an-còmhnaidh gan ath-lìonadh: thairis air a ’bhliadhna a dh’ fhalbh a-mhàin, chaidh timcheall air 120 TB de dhàta cinneasach a chuir ris. Tha an siostam air a stiùireadh le 150 frithealaiche aghaidh air an àrd-ùrlar x86. Tha na stòran-dàta air an cumail air 21 frithealaiche àrd-ùrlar IBM.
Tha siostaman aghaidh, grunn phrìomh shiostaman bancaidh agus seirbheisean bancaidh air an amalachadh le OpenEdge Progress (BISCUIT IBS) tro bhus Sonic ESB. Bidh luchdachadh suas dàta gu QCD a’ tachairt tro iomlaid fhaidhlichean. Gu ruige àm sònraichte, bha dà dhuilgheadas mòr aig an fhuasgladh seo aig an aon àm - coileanadh ìosal ann a bhith a ’luchdachadh suas fiosrachadh gu taigh-bathair dàta corporra (CDW) agus ùine mhòr airson a bhith a’ dèanamh rèiteachadh dàta (rèite) le siostaman eile.
Mar sin, thòisich sinn a 'coimhead airson inneal a dh' fhaodadh na pròiseasan sin a luathachadh. B’ e am fuasgladh air an dà dhuilgheadas an toradh ùr Progress OpenEdge - Pro2 CDC (Change Data Capture). Mar sin, tòisichidh sinn.
Stàlaich Progress OpenEdge agus Pro2Oracle
Gus Pro2 Oracle a ruith air coimpiutair Windows an rianaire, tha e gu leòr airson Progress OpenEdge Developer Kit Classroom Edition a stàladh, a dh'fhaodas a bhith an-asgaidh. Clàran stàlaidh bunaiteach OpenEdge:
DLC: C:ProgressOpenEdge
OBAIR: C:OpenEdgeWRK
Feumaidh pròiseasan ETL ceadan Progress OpenEdge dreach 11.7+ - is e sin OE DataServer airson Oracle agus Siostam Leasachaidh 4GL. Tha na ceadan sin air an toirt a-steach don Pro2. Airson làn-obrachadh de DataServer airson Oracle le stòr-dàta Oracle iomallach, tha Full Oracle Client air a chuir a-steach.
Air frithealaiche Oracle feumaidh tu Stòr-dàta Oracle 12+ a stàladh, stòr-dàta falamh a chruthachadh agus cleachdaiche a chuir ris (canaidh sinn e cdc).
Gus Pro2Oracle a stàladh, luchdaich sìos an sgaoileadh as ùire bhon ionad luchdaich sìos. Unpack an tasglann gu eòlaire C: Pro2 (Gus Pro2 a rèiteachadh air Unix, thathas a’ cleachdadh an aon sgaoileadh agus tha na h-aon phrionnsapalan rèiteachaidh an sàs).
A’ cruthachadh stòr-dàta mac-samhail cdc
Stòr-dàta mac-samhail cdc (ath-aithris) Tha Pro2 air a chleachdadh gus fiosrachadh rèiteachaidh a stòradh, a’ toirt a-steach am mapa ath-riochdachadh, ainmean stòran-dàta ath-leasaichte agus na clàran aca. Tha ciudha mac-samhail ann cuideachd, anns a bheil notaichean mun fhìrinn gu bheil sreath bùird anns an stòr-dàta tùsail air atharrachadh. Bidh pròiseasan ETL a’ cleachdadh dàta bhon chiudha mac-samhail gus sreathan a chomharrachadh a dh’ fheumar lethbhreac a dhèanamh gu Oracle bhon stòr-dàta tùsail.
Tha sinn a’ cruthachadh stòr-dàta cdc air leth.
Dòigh-obrach airson stòr-dàta a chruthachadh
- Air frithealaiche an stòr-dàta bidh sinn a’ cruthachadh eòlaire airson an stòr-dàta cdc - mar eisimpleir, air an fhrithealaiche /stòr-dàta/cdc/.
- Cruthaich dummy airson an stòr-dàta cdc: procop $ DLC / cdc falamh
- Dèan comas air taic airson faidhlichean mòra: proutil cdc -C Dèan comas airLargeFiles
- Bidh sinn ag ullachadh sgriobt airson an stòr-dàta cdc a thòiseachadh. Feumaidh na paramadairean tòiseachaidh a bhith coltach ri paramadairean tòiseachaidh an stòr-dàta ath-riochdachadh.
- Tòisichidh sinn an stòr-dàta cdc.
- Ceangail ris an stòr-dàta cdc agus luchdaich an sgeama Pro2 bhon fhaidhle cdc.df, a tha air a ghabhail a-steach leis an Pro2.
- Bidh sinn a’ cruthachadh na cleachdaichean a leanas san stòr-dàta cdc:
pro2adm - airson ceangal bho phannal rianachd Pro2;
pro2etl - airson pròiseasan ETL a cheangal (ReplBatch);
pro2cdc - airson pròiseasan CDC a cheangal (CDCBatch);
A’ cur an gnìomh glacadh dàta atharrachaidh OpenEdge
A-nis tionndaidhidh sinn air an uidheamachd CDC fhèin, le cuideachadh bhon dàta a thèid ath-aithris gu raon teicneòlais a bharrachd. Airson gach stòr-dàta tùs Progress OpenEdge, feumaidh tu raointean stòraidh fa leth a chur ris far an tèid an dàta tùsail a dhùblachadh, agus an uidheamachd fhèin a chuir an gnìomh a’ cleachdadh an àithne proutil.
Eisimpleir de dhòigh-obrach airson an stòr-dàta bisquit
- A’ dèanamh lethbhreac bhon chatalog C: Pro2db faidhle cdcadd.st gu eòlaire stòr-dàta stòr-dàta bisquit.
- Tha sinn a 'mìneachadh ann an cdcadd.st meudan meud stèidhichte airson sgìrean "ReplCDCArea" и "ReplCDCArea_IDX". Faodaidh tu raointean stòraidh ùra a chur ris air-loidhne: prostrct addonline bisquit cdcadd.st
- Cuir an gnìomh OpenEdge CDC:
proutil bisquit -C comas sgìrecdc "ReplCDCArea" raon clàr-amais "ReplCDCArea_IDX" - Feumar na cleachdaichean a leanas a chruthachadh anns an stòr-dàta tùsail gus pròiseasan ruith a chomharrachadh:
a. pro2adm - airson ceangal bhon phannal rianachd Pro2.
b. pro2etl - airson pròiseasan ETL a cheangal (ReplBatch).
c. pro2cdc - airson pròiseasan CDC a cheangal (CDCBatch).
A’ cruthachadh neach-gleidhidh sgeama airson DataServer airson Oracle
An ath rud, feumaidh sinn stòr-dàta Schema Holder a chruthachadh air an fhrithealaiche far am bi dàta bhon Progress DBMS air ath-aithris gu Oracle DBMS. Tha DataServer Schema Holder na stòr-dàta falamh Progress OpenEdge às aonais luchd-cleachdaidh no dàta tagraidh, anns a bheil mapa de chonaltradh eadar clàran stòr agus clàran Oracle taobh a-muigh.
Feumaidh an stòr-dàta Schema Holder airson Progress OpenEdge DataServer airson Oracle airson Pro2 a bhith suidhichte air frithealaiche pròiseas ETL; tha e air a chruthachadh air leth airson gach meur.
Mar a chruthaicheas tu neach-gleidhidh sgeama
- Unpack an sgaoileadh Pro2 ann an eòlaire /pro2
- Cruthaich agus rach chun an eòlaire /pro2/dbsh
- Cruthaich stòr-dàta Schema Holder a’ cleachdadh an àithne dèan lethbhreac de $ DLC / biosquitsh falamh
- A 'coileanadh an tionndadh biosgaid a-steach don chòdachadh riatanach - mar eisimpleir, ann an UTF-8 ma tha còdachadh UTF-8 aig stòran-dàta Oracle: proutil bisquitsh -C convchar tionndadh UTF-8
- Às deidh dhut stòr-dàta falamh a chruthachadh biosgaid ceangail ris ann am modh aon-chleachdaiche: airson bisquitsh
- Rachamaid gu Data Dictionary: Innealan -> Faclair Dàta -> DataServer -> Goireasan ORACLE -> Cruthaich sgeama DataServer
- Cuir air bhog Sgeama Holder
- A’ stèidheachadh broker Oracle DataServer:
a. Tòisich AdminServer.
proadsv - tòiseachadh
b. Tòisich brocer Oracle DataServer
oraman -name orabroker1 -start
Stèidhich am pannal rianachd agus sgeama ath-riochdachadh
A’ cleachdadh pannal rianachd Pro2, tha paramadairean Pro2 air an rèiteachadh, a’ gabhail a-steach stèidheachadh an sgeama ath-riochdachadh agus gineadh pròiseasan ETL (Leabharlann Pròiseasaran), prògraman sioncronaidh bun-sgoile (Bulk-Copy Processor), brosnachaidhean ath-riochdachadh agus poileasaidhean OpenEdge CDC. Tha prìomh innealan ann cuideachd airson sgrùdadh agus riaghladh pròiseasan ETL agus CDC. An toiseach, stèidhich sinn na faidhlichean paramadair.
Mar a chuireas tu faidhlichean paramadair air dòigh
- Rach don chatalog C: Pro2bpreplScripts
- Fosgail am faidhle airson deasachadh replProc.pf
- Cuir paramadairean ceangail ris an stòr-dàta mac-samhail cdc:
# Stòr-dàta mac-samhail
-db cdc -ld repl -H <prìomh ainm aoigheachd an stòr-dàta> -S <port broker stòr-dàta cdc>
-U pro2admin -P <facal-faire> - Cuir ri replProc.pf paramadairean ceangail ri stòran-dàta stòr agus Neach-gleidhidh sgeama ann an cruth faidhlichean paramadair. Feumaidh ainm an fhaidhle paramadair a bhith co-ionnan ri ainm an stòr-dàta tùsail a tha ceangailte.
# Ceangail ris a h-uile stòr ath-aithris BISQUIT
-pf bpreplscriptsbisquit.pf - Cuir ri replProc.pf crìochan airson ceangal ri Schema Holder.
Neach-gleidhidh sgeama #Target Pro DB
-db biosquitsh -ld biosquitsh
-H <ETL pròiseas òstair ainm>
-S <biskuitsh broker port>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <Ainm aoigheachd broker Oracle>
- Seirbheis dàta orabroker1 - Sàbhail am faidhle paramadair replProc.pf
- An ath rud, feumaidh tu cruthachadh agus fosgladh airson deasachadh faidhlichean paramadair airson gach stòr-dàta stòr-dàta ceangailte san eòlaire C: Pro2bpreplScripts: bisquit.pf. Anns gach faidhle pf tha crìochan ceangail ris an stòr-dàta co-fhreagarrach, mar eisimpleir:
-db bisquit -ld bisquit -H <hostname> -S <port broker>
-U pro2admin -P <facal-faire>
Gus ath-ghoiridean Windows a rèiteachadh, feumaidh tu a dhol don eòlaire C: Pro2bpreplScripts agus deasaich an ath-ghoirid “Pro2 - Administration”. Gus seo a dhèanamh, fosgail feartan an ath-ghoirid agus san loidhne Tòisich a-steach comharraich an eòlaire stàlaidh Pro2. Feumar gnìomhachd coltach ris a dhèanamh airson na h-ath-ghoiridean “Pro2 - Editor” agus “RunBulkLoader”.
Suidheachadh Rianachd Pro2: A’ luchdachadh rèiteachadh tùsail
Leig leinn an consol a chuir air bhog.
Rach gu “DB Map”.
Gus stòran-dàta a cheangal ann am Pro2 - Rianachd, rachaibh chun taba Mapa DB. Cuir mapadh de stòran-dàta stòr-dàta ris - Neach-gleidhidh sgeama - Oracle.
Rach gu tab mapadh. Air a liostadh Stòr-dàta Stòr Gu gnàthach, thèid a’ chiad stòr-dàta co-cheangailte a thaghadh. Air taobh deas an liosta bu chòir sgrìobhadh a bhith ann A h-uile stòr-dàta ceangailte - tha na stòran-dàta taghte ceangailte. Gu h-ìosal air an taobh chlì bu chòir dhut liosta de chlàran adhartais fhaicinn bho bhisquit. Air an làimh dheis tha liosta de chlàran bho stòr-dàta Oracle.
A’ cruthachadh sgeamaichean SQL agus stòran-dàta ann an Oracle
Gus mapa mac-samhail a chruthachadh, feumaidh tu an toiseach a ghineadh Sgeama SQL ann an Oracle. Ann an Rianachd Pro2 bidh sinn a’ cur an gnìomh an nì clàr Innealan -> Cruthaich Còd -> Sgeama Targaid, an uairsin sa bhogsa deasbaid Tagh Stòr-dàta tagh aon no barrachd stòran-dàta agus gluais iad chun na làimh dheis.
Cliog air OK agus tagh an eòlaire gus na sgeamaichean SQL a shàbhaladh.
An uairsin bidh sinn a 'cruthachadh a' bhunait. Faodar seo a dhèanamh, mar eisimpleir, tro Leasaiche Oracle SQL. Gus seo a dhèanamh, bidh sinn a 'ceangal ri stòr-dàta Oracle agus a' luchdachadh an sgeama airson clàran a chur ris. Às deidh dhut co-dhèanamh bùird Oracle atharrachadh, feumaidh tu na sgeamaichean SQL ùrachadh anns an Schema Holder.
Às deidh an luchdachadh sìos a chrìochnachadh gu soirbheachail, fàg an stòr-dàta bisquitsh agus fosgail pannal rianachd Pro2. Bu chòir clàran bho stòr-dàta Oracle nochdadh air an taba Mapping air an làimh dheis.
Clàr mapadh
Gus mapa ath-riochdachadh a chruthachadh, ann am pannal rianachd Pro2, rachaibh chun tab Mapping agus tagh an stòr-dàta stòr. Cliog air Clàran Mapa, tagh Tagh Atharraichean air taobh clì nan clàran a bu chòir ath-riochdachadh ann an Oracle, gluais iad air an taobh cheart agus dearbhaich an taghadh. Thèid mapa a chruthachadh gu fèin-ghluasadach airson na clàran taghte. Bidh sinn ag ath-aithris an obrachaidh gus mapa ath-riochdachadh airson stòran-dàta eile a chruthachadh.
A’ gineadh Leabharlann Pròiseasaran Ath-riochdachadh Pro2 agus Prògraman Pròiseasaran Leth-bhreac
Tha Leabharlann Pròiseasaran Ath-riochdachadh air a dhealbhadh airson pròiseasan ath-riochdachadh àbhaisteach (ETLn) a bhios a’ làimhseachadh ciudha mac-samhail Pro2 agus a’ putadh atharrachaidhean gu stòr-dàta Oracle. Bidh prògraman leabharlainn pròiseasar ath-riochdachadh air an sàbhaladh gu fèin-ghluasadach don eòlaire às deidh ginealach bprepl/repl_proc (PROC_DIRECTORY paramadair). Gus leabharlann pròiseasar mac-samhail a ghineadh, rachaibh gu Innealan -> Cruthaich Còd -> Leabharlann Pròiseasaran. Às deidh ginealach a bhith deiseil, nochdaidh na prògraman san eòlaire bprepl/repl_proc.
Bithear a’ cleachdadh prògraman Bulk Load Processor gus stòran-dàta Adhartas stòr a shioncronadh leis an stòr-dàta targaid Oracle stèidhichte air cànan prògramadh Progress ABL (4GL). Gus an gineadh, rachaibh gu rud a’ chlàr Innealan -> Cruthaich còd -> Pròiseasar lethbhreac mòr. Anns a Tagh Stòr-dàta bogsa deasbaid, tagh na stòran-dàta stòr, gluais iad gu taobh deas na h-uinneige agus cliog OK. Às deidh ginealach a bhith deiseil, nochdaidh na prògraman san eòlaire bpreplrepl_mproc.
A’ stèidheachadh phròiseasan mac-samhail ann am Pro2
Le bhith a’ sgoltadh chlàran ann an seataichean le snàithle mac-samhail fa-leth a’ leasachadh coileanadh agus èifeachdas Pro2 Oracle. Gu gnàthach, tha a h-uile ceangal a chaidh a chruthachadh sa mhapa mac-samhail airson clàran mac-samhail ùra co-cheangailte ri àireamh snàithlean 1. Thathas a’ moladh bùird a sgaradh gu snàithleanan eadar-dhealaichte.
Tha fiosrachadh mu inbhe snàithnean mac-samhail air a thaisbeanadh air scrion Rianachd Pro2 anns an taba Monitor anns an roinn Inbhe Ath-riochdachadh. Gheibhear tuairisgeul mionaideach air luachan paramadair ann an sgrìobhainnean Pro2 (eòlaire C: Pro2Docs).
Cruthaich agus cuir an gnìomh poileasaidhean CDC
Tha poileasaidhean nan seata de riaghailtean airson an einnsean CDC OpenEdge gus sùil a chumail air atharrachaidhean air bùird. Aig àm sgrìobhaidh, chan eil Pro2 a’ toirt taic ach do phoileasaidhean CDC le ìre 0, is e sin, is e dìreach fìrinn air a sgrùdadh atharrachaidhean clàr.
Gus poileasaidh CDC a chruthachadh, air a 'phannal rianachd, rachaibh chun tab Mapadh, tagh an stòr-dàta tùsail agus cliog air a' phutan Cuir ris / Thoir air falbh Poileasaidhean. Anns an uinneag Select Changes a tha a’ fosgladh, tagh air an taobh chlì agus gluais chun taobh cheart na clàran air am feum thu poileasaidh CDC a chruthachadh no a dhubhadh às.
Gus a ghnìomhachadh, fosgail an taba Mapping a-rithist, tagh an stòr-dàta tùsail agus cliog air a’ phutan (Anns) Cuir an gnìomh Poileasaidhean. Tagh agus gluais gu taobh deas a 'bhùird na poileasaidhean a dh'fheumas a bhith air an cur an gnìomh, cliog air OK. Às deidh seo tha iad air an comharrachadh ann an uaine. Le bhith a 'cleachdadh (Anns) Cuir an gnìomh Poileasaidhean Faodaidh tu cuideachd poileasaidhean CDC a chuir dheth. Tha a h-uile gnothach air a dhèanamh air-loidhne.
Às deidh poileasaidh an CDC a chuir an gnìomh, thèid notaichean mu chlàran atharraichte a shàbhaladh don àite stòraidh "ReplCDCArea" a rèir an stòr-dàta tùsail. Thèid na notaichean sin a phròiseasadh tro phròiseas sònraichte CDCBbatch, a chruthaicheas nòtaichean stèidhichte orra ann an ciudha mac-samhail Pro2 san stòr-dàta cdc (ath-aithris).
Mar sin, tha dà ciudha againn airson ath-riochdachadh. Is e CDCBatch a’ chiad ìre: bhon stòr-dàta tùsail, bidh an dàta an toiseach a’ dol chun stòr-dàta CDC eadar-mheadhanach. Is e an dàrna ìre nuair a thèid dàta a ghluasad bhon stòr-dàta CDC gu Oracle. Tha seo na fheart den ailtireachd gnàthach agus an toradh fhèin - gu ruige seo cha robh an luchd-leasachaidh air a bhith comasach air ath-riochdachadh dìreach a stèidheachadh.
Synchronization bun-sgoile
Às deidh dhuinn an uidheamachd CDC a chomasachadh agus am frithealaiche mac-samhail Pro2 a stèidheachadh, feumaidh sinn an sioncronadh tùsail a thòiseachadh. Òrdugh sioncronaidh tùsail:
/pro2/bprepl/Script/replLoad.sh ainm-clàr biosquit
Às deidh a’ chiad sioncronadh a bhith air a chrìochnachadh, faodar pròiseasan mac-samhail a thòiseachadh.
Tòiseachadh air pròiseasan mac-samhail
Gus pròiseasan mac-samhail a thòiseachadh feumaidh tu sgriobt a ruith replbatch.sh. Mus tòisich thu, dèan cinnteach gu bheil sgriobtaichean replbatch ann airson a h-uile snàithlean - replbatch1, replbatch2, msaa. Ma tha a h-uile càil na àite, fosgail an loidhne-àithne (mar eisimpleir, proenv), rachaibh chun an eòlaire /bprepl/scripts agus tòisich air an sgriobtar. Anns a 'phannal rianachd, bidh sinn a' dèanamh cinnteach gu bheil am pròiseas co-fhreagarrach air an inbhe RUNNING fhaighinn.
Toraidhean
Às deidh a bhuileachadh, luathaich sinn gu mòr luchdachadh suas fiosrachaidh chun taigh-bathair dàta corporra. Bidh an dàta gu fèin-ghluasadach a’ faighinn a-steach gu Oracle air-loidhne. Chan eil feum air ùine a chaitheamh a’ ruith cuid de cheistean fad-ùine gus dàta a chruinneachadh bho dhiofar shiostaman. A bharrachd air an sin, anns an fhuasgladh seo faodaidh am pròiseas ath-riochdachadh dàta a dhlùthadh, a tha cuideachd a’ toirt buaidh mhath air astar. A-nis thòisich rèiteachadh làitheil siostam BISKVIT le siostaman eile a 'toirt 15-20 mionaidean an àite 2-2,5 uairean, agus thug rèiteachadh iomlan grunn uairean a thìde an àite dà latha.
Source: www.habr.com