Lati ọdun 1999, lati ṣe iṣẹ ọfiisi ẹhin, banki wa ti lo eto ile-ifowopamọ iṣọpọ BISKVIT lori pẹpẹ Ilọsiwaju OpenEdge, eyiti o lo jakejado agbaye, pẹlu ni eka iṣowo. Iṣe ti DBMS yii ngbanilaaye lati ka awọn igbasilẹ to miliọnu kan tabi diẹ sii ni iṣẹju-aaya ninu ibi ipamọ data kan (DB). Awọn iṣẹ OpenEdge Ilọsiwaju wa nipa 1,5 milionu awọn idogo olukuluku ati nipa awọn adehun miliọnu 22,2 fun awọn ọja ti nṣiṣe lọwọ (awọn awin ọkọ ayọkẹlẹ ati awọn mogeji), ati pe o tun ni iduro fun gbogbo awọn ibugbe pẹlu olutọsọna (Central Bank) ati SWIFT.
Lilo Ilọsiwaju OpenEdge, a koju iwulo lati jẹ ki o ṣiṣẹ pẹlu Oracle DBMS. Ni ibẹrẹ, idii yii jẹ igo ti awọn amayederun wa - titi ti a fi fi sii ati tunto Pro2 CDC - ọja Ilọsiwaju ti o fun ọ laaye lati firanṣẹ data lati DBMS Ilọsiwaju si Oracle DBMS taara, ori ayelujara. Ninu ifiweranṣẹ yii a yoo sọ fun ọ ni alaye, pẹlu gbogbo awọn ọfin, bii o ṣe le ṣe awọn ọrẹ ni imunadoko laarin OpenEdge ati Oracle.
Bii o ṣe ṣẹlẹ: ikojọpọ data si QCD nipasẹ pinpin faili
Ni akọkọ, diẹ ninu awọn otitọ nipa awọn amayederun wa. Nọmba awọn olumulo ti nṣiṣe lọwọ ti database jẹ to 15 ẹgbẹrun. Iwọn ti gbogbo awọn apoti isura infomesonu ti iṣelọpọ, pẹlu ajọra ati imurasilẹ, jẹ TB 600, aaye data ti o tobi julọ jẹ 16,5 TB. Ni akoko kanna, awọn apoti isura infomesonu ti wa ni kikun nigbagbogbo: ni ọdun to kọja nikan, nipa 120 TB ti data iṣelọpọ ti ni afikun. Eto naa ni agbara nipasẹ awọn olupin iwaju 150 lori pẹpẹ x86. Awọn apoti isura infomesonu ti gbalejo lori awọn olupin Syeed 21 IBM.
Awọn ọna ṣiṣe opin-iwaju, ọpọlọpọ awọn ọna ṣiṣe ile-ifowopamọ pataki ati awọn iṣẹ ile-ifowopamọ ni a ṣepọ pẹlu OpenEdge Progress (BISCUIT IBS) nipasẹ ọkọ akero Sonic ESB. Ikojọpọ data si QCD waye nipasẹ paṣipaarọ faili. Titi di aaye kan ni akoko, ojutu yii ni awọn iṣoro nla meji ni ẹẹkan - iṣẹ kekere ti ikojọpọ alaye sinu ile-ipamọ data ajọṣepọ (CDW) ati akoko pipẹ fun ṣiṣe ilaja data (ilaja) pẹlu awọn eto miiran.
Nitorinaa, a bẹrẹ lati wa ọpa kan ti o le mu awọn ilana wọnyi yarayara. Ojutu si awọn iṣoro mejeeji ni ọja Ilọsiwaju OpenEdge tuntun - Pro2 CDC (Yipada Gbigba data). Nitorinaa, jẹ ki a bẹrẹ.
Fi Ilọsiwaju OpenEdge ati Pro2Oracle sori ẹrọ
Lati ṣiṣẹ Pro2 Oracle lori kọnputa Windows ti oludari, o to lati fi Ilọsiwaju OpenEdge Developer Kit Classroom Edition sori ẹrọ, eyiti o le jẹ lofe. Awọn ilana fifi sori ẹrọ OpenEdge aiyipada:
DLC: C: ProgressOpenEdge
WRK: C: OpenEdgeWRK
Awọn ilana ETL nilo Ilọsiwaju OpenEdge awọn iwe-aṣẹ ẹya 11.7+ - eyun OE DataServer fun Oracle ati Eto Idagbasoke 4GL. Awọn iwe-aṣẹ wọnyi wa pẹlu Pro2. Fun iṣẹ kikun ti DataServer fun Oracle pẹlu aaye data Oracle latọna jijin, Ti fi Onibara Oracle ni kikun sori ẹrọ.
Lori olupin Oracle o nilo lati fi Oracle Database 12+ sori ẹrọ, ṣẹda aaye data ofo ki o ṣafikun olumulo kan (jẹ ki a pe e cdc).
Lati fi Pro2Oracle sori ẹrọ, ṣe igbasilẹ pinpin tuntun lati ile-iṣẹ igbasilẹ naa. Yọọ ile ifi nkan pamosi sinu iwe ilana kan C: Pro2 (Lati tunto Pro2 lori Unix, pinpin kanna ni a lo ati awọn ilana iṣeto kanna lo).
Ṣiṣẹda ibi ipamọ data ẹda cdc kan
Ibi ipamọ data atunkọ cdc (atunṣe) Pro2 ni a lo lati tọju alaye iṣeto ni, pẹlu maapu ẹda, awọn orukọ ti awọn apoti isura infomesonu ti a ṣe ati awọn tabili wọn. O tun ni isinyi atunṣe, ti o ni awọn akọsilẹ nipa otitọ pe ila tabili kan ninu aaye data orisun ti yipada. Awọn data lati isinyi atunda jẹ lilo nipasẹ awọn ilana ETL lati ṣe idanimọ awọn ori ila ti o nilo lati daakọ si Oracle lati ibi ipamọ data orisun.
A n ṣẹda data data cdc lọtọ.
Ilana fun ṣiṣẹda a database
- Lori olupin ibi ipamọ data a ṣẹda itọsọna kan fun aaye data cdc - fun apẹẹrẹ, lori olupin naa /database/cdc/.
- Ṣẹda idinwon fun cdc database: idaako $ DLC/ cdc ofo
- Mu atilẹyin ṣiṣẹ fun awọn faili nla: proutil cdc -C EnableLargeFiles
- A mura iwe afọwọkọ kan fun ibẹrẹ data data cdc. Awọn paramita ibẹrẹ gbọdọ jẹ iru si awọn aye ibẹrẹ ti ibi ipamọ data ti a ṣe.
- A bẹrẹ data data cdc.
- Sopọ si aaye data cdc ki o si gbe ero Pro2 lati faili naa cdc.df, eyiti o wa pẹlu Pro2.
- A ṣẹda awọn olumulo wọnyi ni aaye data cdc:
pro2adm - fun sisopọ lati ọdọ igbimọ iṣakoso Pro2;
pro2etl - fun sisopọ awọn ilana ETL (ReplBatch);
pro2cdc - fun sisopọ awọn ilana CDC (CDCBatch);
Muu ṣiṣẹ OpenEdge Change Data Yaworan
Bayi jẹ ki a tan ẹrọ CDC funrararẹ, pẹlu iranlọwọ eyiti data yoo ṣe atunṣe si agbegbe imọ-ẹrọ afikun. Si ibi ipamọ orisun OpenEdge Ilọsiwaju kọọkan, o nilo lati ṣafikun awọn agbegbe ibi-itọju lọtọ si eyiti data orisun yoo jẹ pidánpidán, ki o mu ẹrọ naa ṣiṣẹ funrararẹ nipa lilo aṣẹ naa. proutil.
Ilana apẹẹrẹ fun ibi ipamọ data bisquit
- Didaakọ lati katalogi C: Pro2db faili cdcadd.st si bisquit orisun database liana.
- A ṣe apejuwe ninu cdcadd.st awọn iwọn iwọn ti o wa titi fun awọn agbegbe "Agbegbe ReplCDCAgbegbe" и "ReplCDCAgbegbe_IDX". O le ṣafikun awọn agbegbe ibi ipamọ tuntun lori ayelujara: prostrct addonline bisquit cdcadd.st
- Mu OpenEdge CDC ṣiṣẹ:
proutil bisquit -C sisecdc agbegbe "ReplCDCArea" atọka "ReplCDCArea_IDX" - Awọn olumulo wọnyi gbọdọ ṣẹda ni ibi ipamọ data orisun lati ṣe idanimọ awọn ilana ṣiṣe:
a. pro2adm - fun sisopọ lati ọdọ igbimọ iṣakoso Pro2.
b. pro2etl - fun sisopọ awọn ilana ETL (ReplBatch).
c. pro2cdc – fun sisopọ awọn ilana CDC (CDCBatch).
Ṣiṣẹda Dimu Ero kan fun DataServer fun Oracle
Nigbamii ti, a nilo lati ṣẹda aaye data dimu Schema lori olupin nibiti data lati DBMS Ilọsiwaju yoo ṣe atunṣe si Oracle DBMS. Dimu Sikema DataServer jẹ aaye data OpenEdge Ilọsiwaju ṣofo laisi awọn olumulo tabi data ohun elo, ti o ni maapu ti ifọrọranṣẹ laarin awọn tabili orisun ati awọn tabili Oracle ita.
Aaye data dimu Schema fun Ilọsiwaju OpenEdge DataServer fun Oracle fun Pro2 gbọdọ wa lori olupin ilana ETL;
Bii o ṣe le ṣẹda Dimu Ero kan
- Ṣii pinpin Pro2 sinu itọsọna kan /pro2
- Ṣẹda ki o si lọ si liana /pro2/dbsh
- Ṣẹda aaye data dimu Schema nipa lilo aṣẹ naa daakọ $ DLC / ṣofo bisquitsh
- Ṣiṣe iyipada bisquitsh sinu fifi koodu ti a beere - fun apẹẹrẹ, ni UTF-8 ti awọn apoti isura infomesonu Oracle ni koodu UTF-8: proutil bisquitsh -C convchar iyipada UTF-8
- Lẹhin ṣiṣẹda ohun ṣofo database bisquitsh sopọ mọ rẹ ni ipo olumulo nikan: pro bisquitsh
- Jẹ ki a lọ si Data Dictionary: Awọn irinṣẹ -> Iwe-itumọ data -> Olupin data -> Awọn ohun elo ORACLE -> Ṣẹda Eto DataServer
- Lọlẹ Schema dimu
- Ṣiṣeto alagbata Oracle DataServer:
a. Bẹrẹ AdminServer.
proadsv -bẹrẹ
b. Bẹrẹ ti alagbata Oracle DataServer
oraman -orukọ orabroker1 -bẹrẹ
Ṣiṣeto igbimọ iṣakoso ati eto ẹda
Lilo igbimọ iṣakoso Pro2, awọn igbelewọn Pro2 ti wa ni tunto, pẹlu siseto eto isọdọtun ati ti ipilẹṣẹ awọn ilana ETL (Ikawe Oluṣeto), awọn eto amuṣiṣẹpọ akọkọ (Oluṣakoso Daakọ), awọn okunfa atunwi ati awọn eto imulo OpenEdge CDC. Awọn irinṣẹ akọkọ tun wa fun ibojuwo ati iṣakoso ETL ati awọn ilana CDC. Ni akọkọ, a ṣeto awọn faili paramita.
Bii o ṣe le tunto awọn faili paramita
- Lọ si katalogi C: Pro2bpreplScripts
- Ṣii faili fun ṣiṣatunkọ replProc.pf
- Ṣafikun awọn paramita asopọ si ibi ipamọ data ẹda cdc:
# Ipilẹ data atunkọ
-db cdc -ld repl -H <orukọ olupin data akọkọ> -S <ibudo alagbata aaye data cdc>
-U pro2admin -P <ọrọigbaniwọle> - fi kun un replProc.pf awọn paramita asopọ si awọn apoti isura infomesonu orisun ati Dimu Schema ni irisi awọn faili paramita. Orukọ faili paramita gbọdọ baramu orukọ orisun data data ti a ti sopọ.
# Sopọ si gbogbo awọn orisun atunwi BISQUIT
-pf bpreplscriptsbisquit.pf - fi kun un replProc.pf paramita fun sopọ si Schema dimu.
# Àkọlé Pro DB Schema dimu
-db bisquitsh -ld bisquitsh
-H <ETL ilana ogun orukọ>
-S <biskuitsh alagbata ibudo>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <orukọ olupin alagbata Oracle>
-DataService orabroker1 - Fipamọ faili paramita replProc.pf
- Nigbamii, o nilo lati ṣẹda ati ṣii fun ṣiṣatunkọ awọn faili paramita fun orisun data orisun kọọkan ti a ti sopọ ninu itọsọna naa C: Pro2bpreplScripts: bisquit.pf. Faili PF kọọkan ni awọn ayeraye fun sisopọ si data data ti o baamu, fun apẹẹrẹ:
-db bisquit -ld bisquit -H <hostname> -S <ibudo alagbata>
-U pro2admin -P <ọrọigbaniwọle>
Lati tunto awọn ọna abuja Windows, o nilo lati lọ si liana C: Pro2bpreplScripts ati satunkọ ọna abuja "Pro2 - Isakoso". Lati ṣe eyi, ṣii awọn ohun-ini ti ọna abuja ati ni laini Bẹrẹ ni tọkasi ilana fifi sori ẹrọ Pro2. Išišẹ ti o jọra gbọdọ ṣee ṣe fun awọn ọna abuja "Pro2 - Olootu" ati "RunBulkLoader".
Eto Isakoso Pro2: Iṣagbekalẹ Ibẹrẹ iṣakojọpọ
Jẹ ki ká lọlẹ awọn console.
Lọ si "Map DB".
Lati ṣe asopọ awọn data data ni Pro2 – Isakoso, lọ si taabu naa DB Map. Ṣafikun aworan agbaye ti awọn apoti isura data orisun - Dimu Schema - Oracle.
Lọ si taabu ìyàwòrán. Lori akojọ Aaye aaye data Nipa aiyipada, ipilẹ data orisun akọkọ ti a ti sopọ ti yan. Ni apa ọtun ti atokọ yẹ ki o jẹ akọle kan Gbogbo Databases So - awọn ti a ti yan infomesonu ti wa ni ti sopọ. Ni isalẹ ni apa osi o yẹ ki o wo atokọ ti awọn tabili ilọsiwaju lati bisquit. Ni apa ọtun ni atokọ ti awọn tabili lati ibi ipamọ data Oracle.
Ṣiṣẹda awọn eto SQL ati awọn data data ni Oracle
Lati ṣẹda maapu ẹda, o gbọdọ kọkọ ṣe ipilẹṣẹ Eto SQL ni Oracle. Ni Pro2 Isakoso a ṣiṣẹ ohun akojọ aṣayan Awọn irinṣẹ -> Ṣẹda koodu -> Eto ibi-afẹde, lẹhinna ninu apoti ibaraẹnisọrọ Yan aaye data yan ọkan tabi diẹ ẹ sii awọn apoti isura infomesonu orisun ati gbe wọn si ọtun.
Tẹ O DARA ki o yan itọsọna naa lati fi awọn eto SQL pamọ.
Nigbamii ti a ṣẹda ipilẹ. Eyi le ṣee ṣe, fun apẹẹrẹ, nipasẹ Olùgbéejáde SQL Oracle. Lati ṣe eyi, a sopọ si ibi-ipamọ data Oracle ati fifuye ero fun fifi awọn tabili kun. Lẹhin iyipada akopọ ti awọn tabili Oracle, o nilo lati ṣe imudojuiwọn awọn eto SQL ninu Dimu Sikema.
Lẹhin igbasilẹ naa ti pari ni aṣeyọri, jade kuro ni ibi ipamọ data bisquitsh ki o ṣii igbimọ iṣakoso Pro2. Awọn tabili lati ibi-ipamọ data Oracle yẹ ki o han lori taabu Mapping ni apa ọtun.
Tabili ìyàwòrán
Lati ṣẹda maapu ẹda kan, ninu igbimọ iṣakoso Pro2, lọ si taabu Mapping ki o yan aaye data orisun. Tẹ lori Awọn tabili maapu, yan Yan Awọn ayipada ni apa osi ti awọn tabili ti o yẹ ki o tun ṣe ni Oracle, gbe wọn si apa ọtun ki o jẹrisi yiyan. Maapu kan yoo ṣẹda laifọwọyi fun awọn tabili ti o yan. A tun iṣẹ naa ṣe lati ṣẹda maapu ẹda kan fun awọn apoti isura data orisun miiran.
Ti o npese Pro2 Sisisẹsẹhin Processor Library ati Olopobobo Processor Awọn isẹ
Ile-ikawe Processor Replication jẹ apẹrẹ fun awọn ilana isọdọtun aṣa (ETLs) ti o ṣe ilana isinyi ẹda Pro2 ati titari awọn ayipada si aaye data Oracle. Awọn eto ile ikawe ero isise ti wa ni fipamọ laifọwọyi si itọsọna lẹhin iran bprepl/repl_proc (paramita PROC_DIRECTORY). Lati ṣe ipilẹṣẹ ile-ikawe ero isise ẹda, lọ si Awọn irinṣẹ -> Ina koodu -> isise Library. Lẹhin ti iran ti pari, awọn eto yoo han ninu liana bprepl/ repl_proc.
Awọn eto Processor Load Olopobobo ni a lo lati muuṣiṣẹpọ awọn apoti isura infomesonu Ilọsiwaju orisun pẹlu ibi-ipamọ data Oracle ti o da lori Ilọsiwaju ABL (4GL) ede siseto. Lati ṣe ina wọn, lọ si ohun akojọ aṣayan Awọn irinṣẹ -> Ṣẹda koodu -> Olopobobo-Daakọ Processor. Ninu apoti ibaraẹnisọrọ Yan Database, yan awọn apoti isura infomesonu orisun, gbe wọn lọ si apa ọtun ti window ki o tẹ OK. Lẹhin ti iran ti pari, awọn eto yoo han ninu liana bpreplrepl_mproc.
Ṣiṣeto awọn ilana atunṣe ni Pro2
Pipin awọn tabili sinu awọn eto ti o ṣiṣẹ nipasẹ okun isọdọtun lọtọ ṣe ilọsiwaju iṣẹ ṣiṣe ati ṣiṣe ti Pro2 Oracle. Nipa aiyipada, gbogbo awọn asopọ ti a ṣẹda ninu maapu ẹda fun awọn tabili atunṣe tuntun ni o ni nkan ṣe pẹlu nọmba okun 1. A ṣe iṣeduro lati ya awọn tabili si awọn oriṣiriṣi oriṣiriṣi.
Alaye nipa ipo ti awọn okun isọdọtun ti han loju iboju Isakoso Pro2 ni taabu Atẹle ni apakan Ipo Iṣatunṣe. Apejuwe alaye ti awọn iye paramita ni a le rii ninu iwe Pro2 (ilana C: Pro2Docs).
Ṣẹda ati mu awọn ilana CDC ṣiṣẹ
Awọn eto imulo jẹ eto awọn ofin fun ẹrọ OpenEdge CDC lati ṣe atẹle awọn ayipada si awọn tabili. Ni akoko kikọ, Pro2 nikan ṣe atilẹyin awọn ilana CDC pẹlu ipele 0, iyẹn ni, otitọ nikan ni abojuto awọn iyipada igbasilẹ.
Lati ṣẹda eto imulo CDC kan, lori igbimọ iṣakoso, lọ si taabu maapu, yan aaye data orisun ki o tẹ bọtini Fikun-un/Yọ Awọn imulo kuro. Ninu window Yan Awọn iyipada ti o ṣii, yan ni apa osi ki o gbe lọ si apa ọtun awọn tabili fun eyiti o nilo lati ṣẹda tabi paarẹ eto imulo CDC kan.
Lati muu ṣiṣẹ, ṣii taabu maapu lẹẹkansi, yan aaye data orisun ki o tẹ bọtini naa (Ninu) Mu awọn eto imulo ṣiṣẹ. Yan ati gbe si apa ọtun ti tabili awọn eto imulo ti o nilo lati muu ṣiṣẹ, tẹ O DARA. Lẹhin eyi wọn ti samisi ni alawọ ewe. Nipa lilo (Ninu) Mu awọn eto imulo ṣiṣẹ O tun le mu maṣiṣẹ awọn ilana CDC. Gbogbo awọn iṣowo ni a ṣe lori ayelujara.
Lẹhin ti eto imulo CDC ti muu ṣiṣẹ, awọn akọsilẹ nipa awọn igbasilẹ iyipada ti wa ni ipamọ si agbegbe ibi ipamọ "Agbegbe ReplCDCAgbegbe" ni ibamu si awọn orisun database. Awọn akọsilẹ wọnyi yoo ni ilọsiwaju nipasẹ ilana pataki kan CDCBatch, eyiti o da lori wọn yoo ṣẹda awọn akọsilẹ ni isinyi ẹda Pro2 ni ibi ipamọ data cdc (atunṣe).
Nitorinaa, a ni awọn ila meji fun ẹda. Ipele akọkọ jẹ CDCBatch: lati ibi ipamọ data orisun, data akọkọ lọ si aaye data CDC agbedemeji. Ipele keji jẹ nigbati a ba gbe data lati aaye data CDC si Oracle. Eyi jẹ ẹya ti faaji lọwọlọwọ ati ọja funrararẹ - titi di isisiyi awọn olupilẹṣẹ ko ni anfani lati fi idi isọdọtun taara.
Amuṣiṣẹpọ akọkọ
Lẹhin ti o mu ẹrọ CDC ṣiṣẹ ati ṣeto olupin ẹda Pro2, a nilo lati bẹrẹ amuṣiṣẹpọ akọkọ. Aṣẹ imuṣiṣẹpọ akọkọ:
/pro2/bprepl/Script/replLoad.sh bisquit tabili-orukọ
Lẹhin mimuuṣiṣẹpọ akọkọ ti pari, awọn ilana isọdọtun le bẹrẹ.
Bẹrẹ awọn ilana atunṣe
Lati bẹrẹ awọn ilana atunkọ o nilo lati ṣiṣe iwe afọwọkọ kan replbatch.sh. Ṣaaju ki o to bẹrẹ, rii daju pe awọn iwe afọwọkọ replbatch wa fun gbogbo awọn okun - replbatch1, replbatch2, ati bẹbẹ lọ. Ti ohun gbogbo ba wa ni aye, ṣii laini aṣẹ (fun apẹẹrẹ, proenv), lọ si liana /bprepl/awọn iwe afọwọkọ ki o si bẹrẹ awọn akosile. Ninu igbimọ iṣakoso, a ṣayẹwo pe ilana ti o baamu ti gba ipo RUNNING.
Результаты
Lẹhin imuse, a yara pupọ ikojọpọ alaye si ile itaja data ile-iṣẹ. Awọn data laifọwọyi n wọle sinu Oracle lori ayelujara. Ko si iwulo lati padanu akoko ṣiṣe diẹ ninu awọn ibeere ti n ṣiṣẹ pipẹ lati gba data lati awọn eto oriṣiriṣi. Ni afikun, ninu ojutu yii ilana isọdọtun le compress data, eyiti o tun ni ipa rere lori iyara. Bayi ilaja ojoojumọ ti eto BISKVIT pẹlu awọn ọna ṣiṣe miiran bẹrẹ lati gba iṣẹju 15-20 dipo awọn wakati 2-2,5, ati ilaja pipe gba awọn wakati pupọ dipo ọjọ meji.
orisun: www.habr.com