Ó 1999, chun an cúloifig a sheirbhísiú, tá an córas baincéireachta comhtháite BISKVIT á úsáid ag ár mbanc ar an ardán Progress OpenEdge, a úsáidtear go forleathan ar fud an domhain, lena n-áirítear san earnáil airgeadais. Ligeann feidhmíocht an DBMS seo duit suas le milliún taifead nó níos mó in aghaidh an tsoicind a léamh i mbunachar sonraí amháin (DB). Déanann ár Progress OpenEdge thart ar 1,5 milliún taisce aonair agus thart ar 22,2 milliún conradh le haghaidh táirgí gníomhacha (iasachtaí gluaisteán agus morgáistí), agus tá sé freagrach freisin as gach socrú leis an rialtóir (Banc Ceannais) agus SWIFT.
Ag baint úsáide as Progress OpenEdge, bhí orainn aghaidh a thabhairt ar an ngá a thabhairt dó oibriú leis an Oracle DBMS. Ar dtús, ba é an beart seo an bac ar ár mbonneagar - go dtí go ndearnamar Pro2 CDC a shuiteáil agus a chumrú - táirge Progress a ligeann duit sonraí a sheoladh ón Progress DBMS chuig an Oracle DBMS go díreach, ar líne. Sa phost seo inseoimid duit go mion, leis na gaistí go léir, conas cairde a dhéanamh go héifeachtach idir OpenEdge agus Oracle.
Conas a tharla sé: sonraí a uaslódáil chuig QCD trí chomhroinnt comhad
Ar dtús, roinnt fíricí faoinár mbonneagar. Tá thart ar 15 míle ar líon úsáideoirí gníomhacha an bhunachair sonraí. Is é 600 TB líon na mbunachar sonraí táirgiúla go léir, lena n-áirítear macasamhail agus cúltaca, agus is é 16,5 TB an bunachar sonraí is mó. Ag an am céanna, tá na bunachair shonraí á n-athlíonadh i gcónaí: le bliain anuas amháin, cuireadh thart ar 120 TB de shonraí táirgiúla leis. Tá an córas á thiomáint ag 150 freastalaí tosaigh ar an ardán x86. Déantar na bunachair shonraí a óstáil ar 21 freastalaí ardáin IBM.
Comhtháthaítear córais ceann tosaigh, croíchórais bhaincéireachta éagsúla agus seirbhísí baincéireachta le OpenEdge Progress (BISCUIT IBS) trí bhus Sonic ESB. Déantar sonraí a uaslódáil chuig QCD trí mhalartú comhaid. Go dtí pointe áirithe ama, bhí dhá fhadhb mhóra ag an réiteach seo ag an am céanna - ísealfheidhmíocht maidir le faisnéis a uaslódáil isteach i stóras sonraí corparáideach (CDW) agus tamall fada chun réiteach sonraí (réiteach) a dhéanamh le córais eile.
Mar sin, thosaigh muid ag lorg uirlis a d'fhéadfadh dlús a chur leis na próisis seo. Ba é an réiteach ar an dá fhadhb an táirge nua Progress OpenEdge - Pro2 CDC (Change Data Capture). Mar sin, déanaimis tosú.
Suiteáil Progress OpenEdge agus Pro2Oracle
Chun Pro2 Oracle a rith ar ríomhaire Windows an riarthóra, is leor é Progress OpenEdge Developer Classroom Edition a shuiteáil, ar féidir é a saor in aisce. Eolairí suiteála OpenEdge réamhshocraithe:
DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK
Éilíonn próisis ETL ceadúnais Progress OpenEdge leagan 11.7+ - is é sin OE DataServer do Oracle agus Córas Forbartha 4GL. Tá na ceadúnais seo san áireamh leis an Pro2. Chun DataServer do Oracle a oibriú go hiomlán le bunachar sonraí iargúlta Oracle, tá Cliant Oracle Iomlán suiteáilte.
Ar an bhfreastalaí Oracle ní mór duit Bunachar Sonraí Oracle 12+ a shuiteáil, bunachar folamh a chruthú agus úsáideoir a chur leis (cuirfimid glaoch air CDC).
Chun Pro2Oracle a shuiteáil, íoslódáil an dáileadh is déanaí ón ionad íoslódála. Díphacáil an chartlann isteach in eolaire C: Pro2 (Chun Pro2 a chumrú ar Unix, úsáidtear an dáileadh céanna agus tá na prionsabail chumraíochta céanna i bhfeidhm).
Bunachar sonraí macasamhlú cdc a chruthú
Bunachar sonraí macasamhlú cdc (repl) Úsáidtear Pro2 chun faisnéis cumraíochta a stóráil, lena n-áirítear an léarscáil macasamhlaithe, ainmneacha na mbunachair shonraí macasamhlaithe agus a gcuid táblaí. Tá scuaine macasamhlaithe ann freisin, ina bhfuil nótaí faoin bhfíric go bhfuil athrú tagtha ar shraith táblaí sa bhunachar sonraí foinseach. Úsáideann próisis ETL sonraí ón scuaine macasamhlaithe chun sraitheanna a shainaithint ar gá iad a chóipeáil chuig Oracle ón mbunachar sonraí.
Táimid ag cruthú bunachar sonraí cdc ar leith.
Nós imeachta chun bunachar sonraí a chruthú
- Ar fhreastalaí an bhunachair sonraí cruthaímid eolaire don bhunachar sonraí cdc - mar shampla, ar an bhfreastalaí /bunachar sonraí/cdc/.
- Cruthaigh caochadán don bhunachar sonraí cdc: seoltaí $DLC/cdc folamh
- Cumasaigh tacaíocht do chomhaid mhóra: proutil cdc -C EnableLargeFiles
- Ullmhaímid script chun an bunachar sonraí cdc a thosú. Caithfidh na paraiméadair tosaithe a bheith cosúil le paraiméadair tosaigh an bhunachair shonraí athdhéanta.
- Cuirimid tús leis an mbunachar sonraí cdc.
- Ceangail leis an mbunachar sonraí cdc agus luchtaigh an léaráid Pro2 ón gcomhad cdc.df, atá san áireamh leis an Pro2.
- Cruthaímid na húsáideoirí seo a leanas sa bhunachar sonraí cdc:
pro2adm – chun nascadh le painéal riaracháin Pro2;
pro2etl – chun próisis ETL a nascadh (ReplBatch);
pro2cdc – chun próisis CDC a nascadh (CDCBatch);
Gabháil Sonraí Athraithe OpenEdge a ghníomhachtú
Anois cuirimis an mheicníocht CDC féin ar siúl, le cabhair óna ndéanfar sonraí a mhacasamhlú chuig réimse teicneolaíochta breise. Le gach bunachar foinseach Progress OpenEdge, ní mór duit limistéir stórála ar leith a chur isteach ina ndéanfar na sonraí foinseacha a mhacasamhlú, agus an mheicníocht féin a ghníomhachtú leis an ordú proutil.
Sampla nós imeachta don bhunachar sonraí biosquito
- Cóipeáil ón gcatalóg C: Pro2db файл cdcadd.st chuig eolaire bhunachar sonraí foinse bisquit.
- Déanaimid cur síos i cdcadd.st méideanna méid seasta do réigiúin "ReplCDCArea" и "ReplCDCArea_IDX". Is féidir leat limistéir stórála nua a chur leis ar líne: prostrct addonline bisquit cdcadd.st
- Gníomhachtaigh OpenEdge CDC:
proutil bisquit -C enablecdc limistéar "ReplCDCArea" innéacs "ReplCDCArea_IDX" - Ní mór na húsáideoirí seo a leanas a chruthú sa bhunachar sonraí foinseach chun próisis reatha a aithint:
a. pro2adm – chun nascadh le painéal riaracháin Pro2.
b. pro2etl – chun próisis ETL a nascadh (ReplBatch).
c. pro2cdc – chun próisis CDC a nascadh (CDCBatch).
Sealbhóir Scéimre a Chruthú do DataServer do Oracle
Ansin, ní mór dúinn bunachar sonraí Sealbhóir Scéimre a chruthú ar an bhfreastalaí ina ndéanfar sonraí ón Progress DBMS a mhacasamhlú chuig an Oracle DBMS. Is bunachar sonraí folamh OpenEdge Dul Chun Cinn é Sealbhóir Scéimre DataServer gan úsáideoirí nó sonraí feidhmchláir, ina bhfuil léarscáil comhfhreagrais idir táblaí foinse agus táblaí seachtracha Oracle.
Ní mór an bunachar sonraí Sealbhóir Scéimre le haghaidh Progress OpenEdge DataServer le haghaidh Oracle le haghaidh Pro2 a bheith suite ar an bhfreastalaí próisis ETL; cruthaítear ar leithligh é do gach brainse.
Conas Sealbhóir Scéimre a chruthú
- Díphacáil an dáileadh Pro2 isteach in eolaire /pro2
- Cruthaigh agus téigh chuig an eolaire /pro2/dbsh
- Cruthaigh bunachar sonraí Sealbhóir Scéimre ag baint úsáide as an ordú cóip $DLC/biosquitish folamh
- Ag déanamh an chomhshó biocáire isteach san ionchódú riachtanach - mar shampla, in UTF-8 má tá ionchódú UTF-8 ag bunachair shonraí Oracle: proutil bisquitsh -C convchar thiontú UTF-8
- Tar éis bunachar sonraí folamh a chruthú biocáire ceangail leis i mód aon-úsáideoir: le haghaidh bisquitish
- Rachaimid go Data Dictionary: Uirlisí -> Foclóir Sonraí -> DataServer -> Fóntais ORACLE -> Cruthaigh Scéimre DataServer
- Seoladh Sealbhóir Scéimre
- An bróicéir Oracle DataServer a shocrú:
a. Tosaigh Freastalaí Riaracháin.
proadsv -tús
b. Tús an bróicéir Oracle DataServer
oraman -name orabroker1 -tús
An painéal riaracháin agus an scéim macasamhlaithe a chur ar bun
Ag baint úsáide as an bpainéal riaracháin Pro2, déantar paraiméadair Pro2 a chumrú, lena n-áirítear an scéim macasamhlaithe a bhunú agus próisis ETL (Leabharlann an Phróiseálaí) a ghiniúint, cláir shioncrónaithe phríomha (Próiseálaí Bulc-Cóip), truicear macasamhlaithe agus beartais CDC OpenEdge. Tá príomhuirlisí ann freisin chun monatóireacht agus bainistiú a dhéanamh ar phróisis ETL agus CDC. Ar an gcéad dul síos, leagamar na comhaid paraiméadar ar bun.
Conas comhaid paraiméadar a chumrú
- Téigh go dtí an catalóg C: Pro2bpreplScripts
- Oscail an comhad le haghaidh eagarthóireacht replProc.pf
- Cuir paraiméadair naisc leis an mbunachar sonraí macasamhlú cdc:
# Bunachar Sonraí Macasamhlaithe
-db cdc -ld repl -H <príomh óstainm bunachar sonraí> -S <port bróicéir bunachar sonraí cdc>
-U pro2admin -P <focal faire> - Cur le replProc.pf paraiméadair nasc le bunachair shonraí foinse agus Sealbhóir Scéimre i bhfoirm comhaid paraiméadar. Caithfidh ainm an chomhaid pharaiméadair a bheith ag teacht le hainm an bhunachar sonraí foinse atá á nascadh.
# Ceangail le gach foinse macasamhail BISQUIT
-pf bpreplscriptsbisquit.pf - Cur le replProc.pf paraiméadair chun nascadh le Sealbhóir Scéimre.
Sealbhóir Scéimre #Target Pro DB
-db bisquitsh -ld bisquitsh
-H <ETL ainm óstaigh próisis>
-S <port bróicéir biskuitsh>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <Óstainm bróicéir Oracle>
-Orabróicéir Seirbhíse Sonraí1 - Sábháil an comhad paraiméadair replProc.pf
- Ansin, ní mór duit comhaid paraiméadar a chruthú agus a oscailt le haghaidh eagarthóireachta do gach bunachar sonraí foinse nasctha san eolaire C:Pro2bpreplScripts: bisquit.pf. Tá paraiméadair cheangail leis an mbunachar sonraí comhfhreagrach i ngach comhad pf, mar shampla:
-db bisquit -ld bisquit -H <óstainm> -S <port bróicéir>
-U pro2admin -P <focal faire>
Chun aicearraí Windows a chumrú, ní mór duit dul chuig an eolaire C: Pro2bpreplScripts agus an aicearra “Pro2 – Riarachán” a chur in eagar. Chun seo a dhéanamh, oscail airíonna an aicearra agus sa líne Tosaigh isteach cuir in iúl an t-eolaire suiteála Pro2. Ní mór oibríocht chomhchosúil a dhéanamh do na haicearraí “Pro2 – Editor” agus “RunBulkLoader”.
Socrú Riaracháin Pro2: Cumraíocht Tosaigh á Luchtú
Seolfaimid an consól.
Téigh go dtí “DB Map”.
Chun bunachair shonraí a nascadh i Pro2 - Riarachán, téigh go dtí an táb Léarscáil DB. Cuir mapáil bhunachair shonraí foinse leis - Sealbhóir Scéimre - Oracle.
Téigh go cluaisín Mapáil... Sa liosta Bunachar Foinse De réir réamhshocraithe, roghnaítear an chéad bhunachar sonraí foinse nasctha. Ar thaobh na láimhe deise den liosta ba chóir go mbeadh inscríbhinn Gach Bunachar Sonraí Ceangailte — tá na bunachair shonraí roghnaithe nasctha. Anseo thíos ar thaobh na láimhe clé ba cheart duit liosta táblaí Dul Chun Cinn a fheiceáil ó bhisquit. Ar dheis tá liosta táblaí ó bhunachar sonraí Oracle.
Scéimeanna agus bunachair shonraí SQL a chruthú in Oracle
Chun léarscáil macasamhlú a chruthú, ní mór duit a ghiniúint ar dtús Scéimre SQL in Oracle. Sa Riarachán Pro2 déanaimid an mhír roghchláir Uirlisí -> Gin Cód -> Scéimre Sprioc, ansin sa bhosca dialóige Roghnaigh Bunachar Sonraí roghnaigh bunachar sonraí foinse amháin nó níos mó agus bog iad ar dheis.
Cliceáil OK agus roghnaigh an t-eolaire chun na scéimeanna SQL a shábháil.
Ansin cruthaímid an bonn. Is féidir é seo a dhéanamh, mar shampla, trí Forbróir Oracle SQL. Chun seo a dhéanamh, déanaimid ceangal le bunachar sonraí Oracle agus luchtú an scéimre chun táblaí a chur leis. Tar éis duit comhdhéanamh táblaí Oracle a athrú, ní mór duit na scéimeanna SQL a nuashonrú sa Sealbhóir Scéimre.
Nuair a bheidh an íoslódáil críochnaithe go rathúil, scoir as an mbunachar sonraí biosquitais agus oscail painéal riaracháin Pro2. Ba chóir go mbeadh táblaí ó bhunachar sonraí Oracle le feiceáil ar an gcluaisín Mapála ar dheis.
Mapáil tábla
Chun léarscáil macasamhlú a chruthú, sa phainéal riaracháin Pro2, téigh go dtí an cluaisín Mapála agus roghnaigh an bunachar sonraí foinse. Cliceáil ar Táblaí Léarscáil, roghnaigh Roghnaigh Athruithe ar thaobh na láimhe clé de na táblaí ba chóir a mhacasamhlú in Oracle, bog iad ar dheis agus deimhnigh an roghnúchán. Cruthófar léarscáil go huathoibríoch do na táblaí roghnaithe. Déanaimid an oibríocht arís chun mapa macasamhlú a chruthú do bhunachair shonraí foinse eile.
Leabharlann Próiseálaí Macasamhlú Pro2 agus Cláir Próiseálaithe Bulc-Cóip a ghiniúint
Tá Leabharlann na bPróiseálaithe Macasamhlaithe deartha le haghaidh próisis mhacasamhlaithe saincheaptha (ETLanna) a phróiseálann scuaine macasamhlaithe Pro2 agus a bhrúnn athruithe ar bhunachar sonraí Oracle. Déantar cláir leabharlainne próiseálaí macasamhlaithe a shábháil go huathoibríoch chuig an eolaire tar éis giniúna bprepl/repl_proc (paraiméadar PROC_DIRECTORY). Chun leabharlann an phróiseálaí macasamhlaithe a ghiniúint, téigh go dtí Uirlisí -> Gin Cód -> Leabharlann Próiseálaí. Tar éis don ghiniúint a bheith críochnaithe, beidh na cláir le feiceáil san eolaire bprepl/repl_proc.
Úsáidtear cláir um Phróiseálaithe Bulcualaigh chun bunachair shonraí Dul Chun Cinn a shioncronú le spriocbhunachar sonraí Oracle bunaithe ar theanga ríomhchláraithe Progress ABL (4GL). Chun iad a ghiniúint, téigh go dtí an mhír roghchláir Uirlisí -> Gin Cód -> Bulc-Cóip Próiseálaí. Sa bhosca dialóg Roghnaigh Bunachar Sonraí, roghnaigh na bunachair shonraí foinse, bog iad go dtí an taobh deas den fhuinneog agus cliceáil OK. Tar éis don ghiniúint a bheith críochnaithe, beidh na cláir le feiceáil san eolaire bpreplrepl_mproc.
Próisis macasamhlaithe a shocrú in Pro2
Má scoiltear táblaí ina thacair le snáithe macasamhlaithe ar leith, feabhsaíonn sé feidhmíocht agus éifeachtúlacht Pro2 Oracle. De réir réamhshocraithe, tá baint ag gach nasc a cruthaíodh sa léarscáil macasamhlaithe le haghaidh táblaí macasamhlaithe nua le snáithe uimhir 1. Moltar táblaí a scaradh i snáitheanna éagsúla.
Taispeántar faisnéis faoi stádas snáitheanna macasamhlaithe ar an scáileán Pro2 Administration sa chluaisín Monatóireacht sa rannóg Stádas Macasamhlú. Is féidir cur síos mionsonraithe ar luachanna paraiméadar a fháil i gcáipéisíocht Pro2 (eolaire C:Pro2Docs).
Cruthaigh agus gníomhachtaigh beartais CDC
Is sraith rialacha iad na beartais don inneall CDC OpenEdge chun monatóireacht a dhéanamh ar athruithe ar tháblaí. Agus é seo á scríobh, ní thacaíonn Pro2 ach le beartais CDC le leibhéal 0, is é sin, ní dhéantar monatóireacht ar fhíric amháin athruithe a thaifeadadh.
Chun polasaí CDC a chruthú, ar an bpainéal riaracháin, téigh go dtí an táb Mapála, roghnaigh an bunachar sonraí foinse agus cliceáil ar an gcnaipe Cuir leis/Bain Polasaithe. Sa fhuinneog Roghnaigh Athruithe a osclaíonn, roghnaigh ar an taobh clé agus bogadh ar dheis na táblaí ar gá duit a chruthú nó a scriosadh polasaí CDC.
Chun é a ghníomhachtú, oscail an táb Mapála arís, roghnaigh an bunachar sonraí foinse agus cliceáil ar an gcnaipe (I)Gníomhachtú Beartais. Roghnaigh agus bog go dtí an taobh deas den tábla na polasaithe nach mór a chur i ngníomh, cliceáil OK. Tar éis seo tá siad marcáilte i glas. Trí úsáid a bhaint as (I)Gníomhachtú Beartais Is féidir leat polasaithe CDC a dhíghníomhachtú freisin. Déantar gach idirbheart ar líne.
Tar éis an polasaí CDC a chur i ngníomh, déantar nótaí faoi thaifid mhodhnaithe a shábháil sa limistéar stórála "ReplCDCArea" de réir an bhunachar sonraí foinse. Déanfar na nótaí seo a phróiseáil trí phróiseas speisialta CDCBBatch, a chruthóidh nótaí sa scuaine macasamhlú Pro2 sa bhunachar sonraí bunaithe orthu cdc (repl).
Mar sin, tá dhá scuaine againn le haghaidh macasamhlú. Is é an chéad chéim CDCBatch: ón mbunachar sonraí, téann na sonraí chuig an mbunachar sonraí CDC idirmheánach ar dtús. Is é an dara céim nuair a aistrítear sonraí ó bhunachar sonraí an CDC go Oracle. Is gné é seo den ailtireacht reatha agus an táirge féin - go dtí seo níor éirigh leis na forbróirí macasamhlú díreach a bhunú.
Sioncrónú bunscoile
Tar éis an meicníocht CDC a chumasú agus an freastalaí macasamhlú Pro2 a chur ar bun, ní mór dúinn an sioncrónú tosaigh a thosú. Ordú sioncronaithe tosaigh:
/pro2/bprepl/Script/replLoad.sh ainm tábla bisquit
Tar éis an sioncrónaithe tosaigh a bheith críochnaithe, is féidir próisis mhacasamhlú a thosú.
Tús na bpróiseas macasamhlaithe
Chun próisis mhacasamhlú a thosú ní mór duit script a rith replbatch.sh. Sula dtosaíonn tú, déan cinnte go bhfuil scripteanna replbatch do gach snáithe - replbatch1, replbatch2, etc. Má tá gach rud i bhfeidhm, oscail an líne ordaithe (mar shampla, proenv), téigh go dtí an eolaire /bprepl/scripts agus tús a chur leis an script. Sa phainéal riaracháin, déanaimid seiceáil go bhfuil an stádas RUNNING faighte ag an bpróiseas comhfhreagrach.
Torthaí
Tar éis cur i bhfeidhm, chuireamar dlús mór le huaslódáil faisnéise chuig an stóras sonraí corparáideach. Faigheann na sonraí go huathoibríoch isteach i Oracle ar líne. Ní gá am a chur amú ag rith roinnt fiosrúchán fadtréimhseach chun sonraí a bhailiú ó chórais éagsúla. Ina theannta sin, sa réiteach seo is féidir leis an bpróiseas macasamhlú sonraí a chomhbhrú, a bhfuil tionchar dearfach aige freisin ar luas. Anois thosaigh réiteach laethúil ar an gcóras BISKVIT le córais eile a ghlacadh 15-20 nóiméad in ionad 2-2,5 uair an chloig, agus ghlac réiteach iomlán roinnt uaireanta an chloig in ionad dhá lá.
Foinse: will.com