Sida saaxiibbo loogu yeesho inta u dhaxaysa nidaamka bangiyada ee Horusocodka OpenEdge iyo Oracle DBMS

Laga soo bilaabo 1999, si loogu adeego xafiiska dambe, bangiyagu wuxuu isticmaalay nidaamka bangiyada isku dhafan ee BISKVIT ee ku yaala Progress OpenEdge platform, kaas oo si ballaaran looga isticmaalo adduunka oo dhan, oo ay ku jiraan qaybta maaliyadeed. Waxqabadka DBMS wuxuu kuu ogolaanayaa inaad ku akhrido ilaa hal milyan ama ka badan rikoodhada ilbiriqsi kasta hal kayd (DB). Horumarkayaga adeegyada OpenEdge ee ku saabsan 1,5 milyan oo dhigaal shaqsi ah iyo ilaa 22,2 milyan oo qandaraasyo ah oo alaabooyin firfircoon ah (amaah baabuur iyo deyn), waxayna sidoo kale mas'uul ka yihiin dhammaan dejinta maamulayaasha (Bangiga Dhexe) iyo SWIFT.

Isticmaalka Progress OpenEdge, waxa nala soo gudboonaaday baahida loo qabo in laga dhigo in ay la shaqeyso Oracle DBMS. Markii hore, xidhmadani waxay ahayd ciribtirka kaabayaashayaga - ilaa aan rakibno oo aan habaynnay Pro2 CDC - badeecad Horumarineed oo kuu oggolaanaysa inaad xogta Horumarka DBMS uga dirto Oracle DBMS si toos ah, onlayn. Maqaalkan waxaan si faahfaahsan kuugu sheegi doonaa, dhammaan dhibaatooyinka, sida ugu waxtarka leh ee saaxiibo loogu sameeyo inta u dhaxaysa OpenEdge iyo Oracle.

Siday u dhacday: ku shubida xogta QCD iyadoo loo marayo wadaagista faylka

Marka hore, xaqiiqooyin ku saabsan kaabayaashayaga. Tirada isticmaalayaasha firfircoon ee kaydka xogta waa ku dhawaad ​​15 kun. Mugga dhammaan xogta wax soo saarka, oo ay ku jiraan nuqulka iyo heeganka, waa 600 TB, kaydka ugu weyni waa 16,5 TB. Isla mar ahaantaana, xogta macluumaadka si joogto ah ayaa loo buuxinayaa: sannadkii hore oo keliya, qiyaastii 120 TB oo xog wax soo saar leh ayaa lagu daray. Nidaamka waxaa ku shaqeeya 150 adeegayaal hore oo ku yaal goobta x86. Kaydka macluumaadka waxa lagu marti galiyay 21 IBM madal server.

Nidaamyada-dhamaadka hore, nidaamyada bangiyada muhiimka ah ee kala duwan iyo adeegyada bangiyada ayaa lagu dhex daray OpenEdge Progress (BISCUIT IBS) iyada oo la sii marayo baska Sonic ESB. U raritaanka xogta QCD waxay ku dhacdaa isweydaarsiga faylka. Ilaa wakhti go'an, xalkani wuxuu lahaa laba dhibaato oo waaweyn hal mar - waxqabadka hooseeya ee gelinta macluumaadka bakhaarka xogta shirkadaha (CDW) iyo wakhti dheer oo lagu fulinayo dib-u-heshiisiinta xogta (dib u heshiisiinta) nidaamyada kale.

Sidaa darteed, waxaan bilownay inaan raadino qalab soo dedejin kara hababkan. Xalka labada mushkiladoodba waxa uu ahaa badeecada cusub ee Progress OpenEdge - Pro2 CDC (Beddel Xog Qabashada). Markaa, aan bilowno.

Ku rakib Progress OpenEdge iyo Pro2Oracle

Si aad Pro2 Oracle ugu socodsiiso kombayutarka Windows-ka ee maamulaha, waa ku filan tahay in la rakibo Progress OpenEdge Developer Kit Classroom Edition, kaas oo noqon kara скачать bilaash. Tusmooyinka rakibaadda OpenEdge ee caadiga ah:

DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK

Nidaamyada ETL waxay u baahan yihiin Progress OpenEdge shatiyada nooca 11.7+ - oo ah OE DataServer ee Nidaamka Horumarinta Oracle iyo 4GL. Shatiyadaan waxaa lagu daray Pro2. Hawlgalka buuxa ee DataServer ee Oracle oo wata xogta Oracle fog, Macmiil Oracle oo buuxa ayaa la rakibay.

Adeegga Oracle waxaad u baahan tahay inaad ku rakibto Oracle Database 12+, samee xog madhan oo ku dar isticmaale ( aynu u wacno isaga cdc).

Si aad u rakibto Pro2Oracle, kala soo bax qaybintii ugu dambaysay xarunta soo dejinta Horumarka Software. Ka soo saar kaydka tusaha C:Pro2 (Si loo habeeyo Pro2 on Unix, isla qaybinta ayaa la isticmaalaa iyo mabaadi'da qaabeynta isku mid ah ayaa lagu dabaqayaa).

Abuuritaanka keydka xogta cdc

Xog ururinta cdc (repl) Pro2 waxa loo isticmaalaa in lagu kaydiyo xogta qaabaynta, oo ay ku jirto khariidadda nuqul ka samaynta, magacyada xogaha la soo koobay iyo miisaskooda. Waxa kale oo ay ka kooban tahay safka soo noqnoqda, oo ka kooban qoraalo ku saabsan xaqiiqda ah in safka miiska ee kaydka xogta is-beddelay. Xogta safka ku celcelinta waxaa isticmaala hababka ETL si ay u aqoonsadaan safafka u baahan in lagu koobiyo Oracle ee xogta isha.

Waxaan abuureynaa keydka cdc gaar ah.

Habka abuurista xog-ururin

1. Server-ka xogta waxa aanu u abuurnaa hagaha kaydka xogta cdc- tusaale ahaan server-ka /database/cdc/.
2. U samee dulmy xogta cdc: koobi $DLC/cdc madhan
3. U oggolow taageerada faylasha waaweyn: proutil cdc -C EnableLargeFiles
4. Waxaan diyaarinaa qoraal si aan u bilowno xogta cdc. Halbeegyada bilawga ahi waa inay la mid noqdaan cabbirada bilowga ee xogta la soo koobay.
5. Waxaan bilownaa xogta cdc.
6. Ku xidh xogta xogta cdc oo ka soo rar faylka Pro2 schema cdc.df, kaas oo lagu daray Pro2.
7. Waxaan ku abuurnay isticmaalayaasha soo socda xogta cdc:

pro2adm - isku xirka guddiga maamulka Pro2;
pro2etl - isku xirka hababka ETL (ReplBatch);
pro2cdc - isku xirka hababka CDC (CDCBatch);

Dhaqdhaqaaqa OpenEdge Beddelka Xog Qabashada

Hadda aynu shidno habka CDC laftiisa, annagoo kaashanayna xogta lagu soo celin doono aag tignoolajiyada dheeraadka ah. Horumar kasta oo xogta isha furan ee OpenEdge, waxaad u baahan tahay inaad ku darto meelo kaydineed oo gaar ah oo xogta isha lagu koobi doono, oo aad dhaqaajiso habka laftiisa adoo isticmaalaya amarka faa'iido leh.

Tusaalaha nidaamka kaydinta xogta bisquit

1. Ka guurinta buug-yaraha C: Pro2db faylka cdcadd.st ilaa tusaha xogta isha bisquit.
2. Waxaan ku qeexnaa in cdcadd.st xadka cabbir go'an ee gobollada "ReplCDCArea" и "ReplCDCArea_IDX". Waxaad ku dari kartaa meelaha kaydinta cusub onlayn: prostrct addonline bisquit cdcadd.st
3. Daar OpenEdge CDC:
   proutil bisquit -C awoodcdc aagga "ReplCDCArea" index area "ReplCDCArea_IDX"
4. Isticmaalayaasha soo socda waa in lagu dhex abuuraa xogta isha si loo aqoonsado hababka socda:
   a. pro2adm - si loogu xidho guddiga maamulka Pro2.
   b. pro2etl - isku xirka ETL hababka (ReplBatch).
   c. pro2cdc - isku xirka hababka CDC (CDCBatch).

Abuuritaanka Haysta Schema ee DataServer ee Oracle

Marka xigta, waxaan u baahanahay inaan abuurno keydka kaydiyaha Schema ee server-ka halkaasoo xogta Horumarka DBMS lagu soo celin doono Oracle DBMS. DataServer Schema Holder waa xog-ururinta OpenEdge oo maran isticmaaleyaal ama xogta codsiga, oo ka kooban khariidad waraaqo ah oo u dhexeeya miisaska isha iyo miisaska Oracle ee dibadda ah.

Xogta Haystaha Schema ee Horumarka Xogta OpenEdge ee Oracle ee Pro2 waa in ay ku taal server-ka habka ETL; waxaa si gaar ah loogu abuuray laan kasta.

Sida loo abuuro haye Schema

1. Ka soo saar qaybinta Pro2 oo ka dhig hagaha /pro2
2. Abuur oo tag hagaha /pro2/dbsh
3. Samee kaydka kaydka Schema adigoo isticmaalaya amarka koobi $DLC/Bisquitsh madhan
4. Samaynta beddelka bisquish geli codaynta loo baahan yahay - tusaale ahaan, gudaha UTF-8 haddii xogta Oracle ay leeyihiin UTF-8 codaynta: proutil bisquitsh -C convchar beddel UTF-8
5. Ka dib markii la abuuray database madhan bisquish ku xidhi qaab hal isticmaale: pro bisquitsh
6. Aan tagno Qaamuuska Xogta: Aaladaha -> Qaamuuska Xogta -> DataServer -> Adeegga ORACLE -> Abuur Qorshaha DataServer
7. Bilaw Qabashada Schema
8. Dejinta dallaalka Oracle DataServer:
   a. Bilow AdminServer
   proadsv -bilow
   b. Bilawga Oracle DataServer
   oraman -magac orabroker1 -bilow

Dejinta guddiga maamulka iyo nidaamka ku celcelinta

Isticmaalka guddiga maamulka ee Pro2, cabbirrada Pro2 waa la habeeyey, oo ay ku jiraan dejinta nidaamka soo-celinta iyo soo saarista hababka ETL (Maktabadda Processor), barnaamijyada isku-dubbaridka aasaasiga ah (Processor-Copy Processor), kicinta soo-celinta iyo siyaasadaha OpenEdge CDC. Waxa kale oo jira aaladaha aasaasiga ah ee la socodka iyo maaraynta ETL iyo hababka CDC. Ugu horreyntii, waxaan dejinnay faylalka parameter-ka.

Sida loo habeeyo faylalka parameterka

1. Tag liiska C:Pro2bpreplScripts
2. Fur faylka si aad u saxdo replProc.pf
3. Ku dar cabbirada isku xirka xogta taransiga cdc:
   # Xogta Ku-noqoshada
   -db cdc -ld repl -H <magaca martigeliyaha xogta ugu muhiimsan> -S <dekedda dallaalka xogta cdc>
   U pro2admin -P <password>
4. Ku dar replProc.pf xuduudaha isku xirka ilaha xogta iyo Sheema Holder oo ah qaabka faylalka cabbirka. Magaca feylka cabbiraadaha waa inuu waafaqaa magaca xogta isha ee lagu xirayo.
   # Ku xidh dhammaan ilaha la soo koobay BISQUIT
   -pf bpreplscriptsbisquit.pf
5. Ku dar replProc.pf qiyaasaha ku xidhidhiyaha Schema.
   #Bartilmaameedka Pro DB Schema Holder
   -db bisqid -ld bisqid
   -H <ETL habka martigeliyaha>
   -S <biskuitsh broker port>
   -db bisquitsql
   -ld bisquitsql
   -dt ORACLE
   -S 5162 -H <magaca martigeliyaha Oracle>
   -DataService orbroker1
6. Kaydi feylka xuduudaha replProc.pf
7. Marka xigta, waxaad u baahan tahay inaad abuurto oo aad furto tafatirka faylalka halbeegga ee xog ururin kasta oo ku xiran hagaha C:Pro2bpreplScripts: bisquit.pf. Fayl kasta oo pf ah wuxuu ka kooban yahay cabbirro lagu xirayo xogta u dhiganta, tusaale ahaan:
   -db bisquit -ld bisquit -H <hostname> -S <dekedda dilaal>
   U pro2admin -P <password>

Si aad u habaynayso jidadka gaaban ee Windows, waxaad u baahan tahay inaad aaddo hagaha C:Pro2bpreplScripts oo wax ka beddel habka gaaban ee "Pro2 - Maamulka". Si tan loo sameeyo, fur sifooyinka marin-gaaban iyo khadka Ka bilow Tilmaan tusaha rakibaadda Pro2. Qalliin la mid ah waa in loo sameeyaa "Pro2 - Editor" iyo "RunBulkLoader".

Dejinta Maamulka Pro2: Soodejinaya Habaynta Hore

Aan bilowno console-ka

Tag " DB Map ".

Si aad ugu xidho xogta macluumaadka ee Pro2 – Maamulka, tag tab Khariidadda DB. Ku dar khariidaynta ilaha xogta - Haysta Schema - Oracle.

Tag tab Uruurinta. Liiska Xogta Isha Sida caadiga ah, xogta xogta isha ee ugu horeysa ayaa la doortaa. Dhinaca midig ee liiska waa in uu jiraa qoraal Dhammaan Database-yada ku xidhan - database-yada la doortay ayaa ku xiran. Dhanka bidix ee hoose waa inaad ku aragtaa liis jadwalada Horumarka ee bisquit. Dhanka midig waxaa ku yaal liiska miisaska xogta Oracle.

Abuuritaanka schema SQL iyo xog ururinta gudaha Oracle

Si aad u abuurto khariidad ku celcelin ah, waa inaad marka hore abuurtaa Qorshaha SQL gudaha Oracle. Maamulka Pro2 waxaan fulinaa shayga menu Qalabka -> Samee koodka -> Qorshaha Bartilmaameedka, ka dibna sanduuqa wada hadalka Xulo Database dooro hal ama in ka badan kaydka macluumaadka oo u dhaqaaq dhanka midig.

Guji OK oo dooro tusaha si aad u badbaadiso schemas-ka SQL

Marka xigta waxaan abuurnaa saldhigga. Tan waxaa la samayn karaa, tusaale ahaan, via Soo -saaraha Oracle SQL. Si tan loo sameeyo, waxaan ku xireynaa xogta Oracle waxaanan ku shubeynaa qorshaha lagu daro miisaska. Ka dib marka aad beddesho halabuurka miisaska Oracle, waxaad u baahan tahay inaad cusboonaysiiso qorshayaasha SQL ee Haysta Schema.

Ka dib marka la soo dejiyo si guul leh loo dhammeeyo, ka bax xogta bisquitsh oo fur guddiga maamulka Pro2. Jadwalka xogta Oracle waa inay ka muuqdaan tabka Khariidaynta ee dhanka midig.

Maabaynta shaxda

Si aad u abuurto khariidad nuqul ka mid ah, guddiga maamulka ee Pro2, aad khariidadda tab oo dooro xogta xogta. Guji miisaska Khariidadda, dooro Dooro Isbeddellada dhanka bidix ee miisaska kuwaas oo ay tahay in lagu soo celiyo Oracle, u dhaqaaq dhanka midig oo xaqiiji xulashada. Khariidad ayaa si toos ah loogu abuuri doonaa miisaska la doortay. Waxaan ku celinaa hawlgalka si aan u abuurno khariidad nuqul ka mid ah kaydadka ilaha kale.

Soo saarista Pro2 ku celcelinta maktabadda Processor iyo Barnaamijyada Processor-ka koobiga

Laybareeri Processor-ku-noqod waxa loogu talagalay hab-socodka dib-u-celinta caadiga ah (ETLs) ee socodsiiya safka soo-celinta Pro2 oo riixaya isbeddellada xogta Oracle. Barnaamijyada laybareeriyada soo noqnoqda waxa si toos ah loogu kaydiyaa buugga jiilka ka dambeeya bprepl/repl_proc ( PROC_DIRECTORY cabirka). Si aad u abuurto maktabada soosaariyaha ku celcelinta, tag Qalabka -> Samee Koodhka -> Maktabadda Processor-ka. Ka dib markii jiilka la dhammeeyo, barnaamijyadu waxay ka soo muuqan doonaan buugga bprepl/repl_proc.

Processor Processor Bulk Load Processor waxa loo istcmaalay in la is waafajiyo xogta Horumarka isha iyo xogta bartilmaameedka Oracle ee ku salaysan Horumarka ABL (4GL) ee luuqada barnaamijka. Si aad u soo saarto, aad shayga menu-ka Aaladaha -> Samee koodka -> Soo-saareha koobiga badan. In sanduuqa wadahadalka Select Database, dooro database-ka isha, u guuri dhinaca midig ee daaqadda oo guji OK. Ka dib markii jiilka la dhammeeyo, barnaamijyadu waxay ka soo muuqan doonaan buugga bpreplrepl_mproc.

Dejinta hababka ku celcelinta Pro2

U kala qaybinta miisaska oo ay u adeegto dun isku celcelineed oo gooni ah waxay wanaajisaa waxqabadka iyo hufnaanta Pro2 Oracle. Sida caadiga ah, dhammaan xidhiidhada lagu abuuray khariidadda soo-celinta ee miisaska cusub ee dib-u-celinta waxay la xidhiidhaan lambarka dunta 1. Waxaa lagu talinayaa in loo kala saaro shaxanka dunta kala duwan.

Macluumaadka ku saabsan xaaladda dunta ku-noqoshada ayaa lagu muujiyaa shaashadda Maamulka Pro2 ee ku taal tab Monitor-ka ee qaybta Xaaladda Ku-noqoshada. Faahfaahin faahfaahsan oo ku saabsan qiyamka halbeegyada waxaa laga heli karaa dukumeentiyada Pro2 (tusaha C: Pro2Docs).

Abuur oo dhaqaaji siyaasadaha CDC

Nidaamyadu waa xeerar go'an oo loogu talagalay mashiinka OpenEdge CDC si uu ula socdo isbeddellada miisaska. Waqtiga qorista, Pro2 kaliya waxay taageertaa siyaasadaha CDC heerka 0, taas oo ah, kaliya xaqiiqda ayaa lala socdaa isbeddelada diiwaanka.

Si aad u abuurto siyaasadda CDC, guddiga maamulka, aad tabka khariidaynta, dooro xogta isha oo dhagsii badhanka Ku dar/kasaar siyaasadaha. Daaqadda Xulashada Isbedelka ee furmo, ka dooro dhanka bidix oo u dhaqaaq dhanka midig jaantusyada aad u baahan tahay si aad u abuurto ama u tirtirto siyaasadda CDC.

Si aad u dhaqaajiso, mar kale fur tabka Khariidadda, dooro xogta xogta isha oo guji badhanka (In) Dhaqdhaqaaqa Siyaasadaha. Dooro oo u dhaqaaq dhanka midig ee miiska siyaasadaha u baahan in la hawlgeliyo, dhagsii OK. Intaa ka dib waxaa lagu calaamadeeyay cagaar. Adigoo isticmaalaya (In) Dhaqdhaqaaqa Siyaasadaha Waxa kale oo aad dami kartaa siyaasadaha CDC. Dhammaan wax kala iibsiga waxa lagu sameeyaa online.

Ka dib marka siyaasadda CDC la hawlgeliyo, qoraallada ku saabsan diiwaannada la beddelay ayaa lagu kaydiyaa aagga kaydinta "ReplCDCArea" sida laga soo xigtay xogta isha. Qoraaladan waxa lagu farsamayn doonaa hab gaar ah CDCBatch, taas oo iyaga ku salaysan waxay samayn doontaa qoraallo ku jira safka ku celcelinta Pro2 ee kaydka xogta cdc (repl).

Markaa, waxaan haysanaa laba saf oo loogu talagalay ku celcelinta. Marxaladda koowaad waa CDCBatch: laga bilaabo xogta isha, xogta marka hore waxay aadaysaa kaydka dhexe ee CDC. Marxaladda labaad waa marka xogta laga wareejiyo xogta CDC loona wareejiyo Oracle. Tani waa sifo ka mid ah qaab-dhismeedka hadda jira iyo badeecada lafteeda - ilaa hadda horumariyayaashu ma awoodaan inay dejiyaan ku celcelin toos ah.

Isku xidhka aasaasiga ah

Ka dib markii aan awoodno habka CDC iyo dejinta Pro2 server reply, waxaan u baahanahay inaan bilowno isku-dubarid bilowga ah. Amarka hore ee isku xidhka:

/pro2/bprepl/Script/replLoad.sh bisquit miiska-magaca

Ka dib marka la dhammeeyo wada shaqaynta bilowga ah, hababka ku celcelinta ayaa la bilaabi karaa.

Bilawga hababka taranka

Si aad u bilowdo habsocod ku celcelinta waxa aad u baahantahay in aad samayso qoraal soo celin.sh. Kahor intaadan bilaabin, iska hubi inay jiraan qoraalo replbatch ah oo loogu talagalay dhammaan mawduucyada - replbatch1, replbatch2, iwm. Haddii wax walba ay meesha yaalliin, fur khadka taliska (tusaale ahaan, proenv), aad buugga hagaha /bprepl/scripts oo bilow qoraalka. Guddiga maamulka, waxaan ku hubineynaa in habka u dhigma uu helay heerka ORODDA.

Результаты

Hirgelinta ka dib, waxaan si weyn u dardargelinay raritaanka macluumaadka bakhaarka xogta shirkadda. Xogtu waxay si toos ah u gasho Oracle online. Looma baahna in wakhti lagu lumiyo socodsiinta qaar ka mid ah weydiimaha muddada dheer socda si loo ururiyo xogta nidaamyada kala duwan. Intaa waxaa dheer, xalkan habka dib-u-celinta wuxuu ku adkeyn karaa xogta, taas oo sidoo kale saameyn togan ku leh xawaaraha. Hadda dib-u-heshiisiinta maalinlaha ah ee nidaamka BISKVIT iyo nidaamyada kale waxay bilaabeen inay qaataan 15-20 daqiiqo halkii ay ka ahayd 2-2,5 saacadood, dib-u-heshiisiin dhamaystiran waxay qaadatay dhowr saacadood halkii laba maalmood ah.

Source: www.habr.com