Mai ka makahiki 1999, no ka lawelawe ʻana i ke keʻena hope, ua hoʻohana kā mākou panakō i ka ʻōnaehana panakō hoʻohui BISKVIT ma ka Progress OpenEdge platform, i hoʻohana nui ʻia ma ka honua holoʻokoʻa, me ka ʻoihana kālā. ʻO ka hana o kēia DBMS hiki iā ʻoe ke heluhelu a hiki i hoʻokahi miliona a ʻoi aku paha nā moʻolelo i kēlā me kēia kekona i hoʻokahi waihona (DB). ʻO kā mākou Progress OpenEdge nā lawelawe e pili ana i 1,5 miliona mau waihona pilikino a ma kahi o 22,2 miliona mau ʻaelike no nā huahana ikaika (nā hōʻaiʻē kaʻa a me nā moraki), a nona ke kuleana no nā hoʻonohonoho āpau me ka mea hoʻoponopono (Central Bank) a me SWIFT.
Ke hoʻohana nei i ka Progress OpenEdge, ua alo mākou i ka pono e hana me ka Oracle DBMS. I ka wā mua, ʻo kēia puʻupuʻu ka bottleneck o kā mākou ʻoihana - a hiki i kā mākou hoʻokomo ʻana a hoʻonohonoho iā Pro2 CDC - kahi huahana Progress e hiki ai iā ʻoe ke hoʻouna pololei i ka ʻikepili mai ka Progress DBMS i ka Oracle DBMS, ma ka pūnaewele. Ma kēia pou e haʻi aku mākou iā ʻoe i nā kikoʻī, me nā pitfalls āpau, pehea e hana pono ai i mau hoaaloha ma waena o OpenEdge a me Oracle.
Pehea i hana ʻia ai: hoʻouka ʻana i ka ʻikepili i QCD ma o ka hoʻoili ʻana i nā faila
ʻO ka mea mua, kekahi mau ʻike e pili ana i kā mākou ʻoihana. ʻO ka helu o nā mea hoʻohana ikaika o ka waihona ma kahi o 15 tausani. ʻO 600 TB ka nui o nā waihona waiwai, me ka replica a me ka standby, ʻo ka waihona nui loa he 16,5 TB. I ka manawa like, hoʻopiha mau ʻia nā waihona: i ka makahiki i hala wale nō, ma kahi o 120 TB o nā ʻikepili huahana i hoʻohui ʻia. Hoʻohana ʻia ka ʻōnaehana e 150 mau kikowaena mua ma ke kahua x86. Hoʻokipa ʻia nā waihona ma 21 mau kikowaena platform IBM.
Hoʻohui ʻia nā ʻōnaehana mua, nā ʻōnaehana waihona koʻikoʻi a me nā lawelawe panakō me OpenEdge Progress (BISCUIT IBS) ma o ka pahi Sonic ESB. Hoʻouka ʻia ka ʻikepili i QCD ma o ka hoʻololi ʻana i nā faila. A hiki i kekahi manawa, ua loaʻa i kēia hoʻonā ʻelua pilikia nui i ka manawa hoʻokahi - ka haʻahaʻa haʻahaʻa o ka hoʻouka ʻana i ka ʻike i loko o kahi waihona ʻikepili hui (CDW) a me kahi manawa lōʻihi no ka hoʻokō ʻana i ka hoʻoponopono data (reconciliation) me nā ʻōnaehana ʻē aʻe.
No laila, hoʻomaka mākou e ʻimi i kahi mea hana e hiki ai ke wikiwiki i kēia mau hana. ʻO ka hopena i nā pilikia ʻelua, ʻo ia ka huahana Progress OpenEdge hou - Pro2 CDC (Change Data Capture). No laila, e hoʻomaka kākou.
E hoʻouka i ka Progress OpenEdge a me Pro2Oracle
No ka holo ʻana iā Pro2 Oracle ma ka kamepiula Windows o ka luna hoʻomalu, ua lawa ia e hoʻokomo i ka Progress OpenEdge Developer Kit Classroom Edition, hiki ke no ka manuahi. Nā papa kuhikuhi hoʻokomo OpenEdge paʻamau:
DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK
Pono nā kaʻina hana ETL i Progress OpenEdge laikini version 11.7+ - ʻo ia hoʻi ʻo OE DataServer no Oracle a me 4GL Development System. Hoʻokomo ʻia kēia mau laikini me ka Pro2. No ka hana piha o DataServer no Oracle me kahi waihona Oracle mamao, ua hoʻokomo ʻia ʻo Full Oracle Client.
Ma ke kikowaena Oracle pono ʻoe e hoʻokomo i ka Oracle Database 12+, e hana i kahi waihona ʻole a hoʻohui i kahi mea hoʻohana (e kāhea mākou iā ia. cdc).
No ka hoʻouka ʻana iā Pro2Oracle, e hoʻoiho i ka hoʻoili hou mai ke kikowaena download. Wehe i ka waihona i loko o kahi papa kuhikuhi C:Pro2 (No ka hoʻonohonoho ʻana iā Pro2 ma Unix, hoʻohana ʻia ka māhele like a pili nā loina hoʻonohonoho like).
Ke hana ʻana i kahi waihona hoʻopiʻi cdc
waihona waihona kope cdc (repl) Hoʻohana ʻia ʻo Pro2 no ka mālama ʻana i ka ʻike hoʻonohonoho, me ka palapala hoʻopiʻi, nā inoa o nā waihona i hoʻopili hou ʻia a me kā lākou mau papa. Loaʻa iā ia kahi laina hoʻopiʻi, aia nā memo e pili ana i ka ʻoiaʻiʻo ua loli ka lālani papa ma ka waihona kumu. Hoʻohana ʻia ka ʻikepili mai ka queue replication e nā kaʻina ETL e ʻike i nā lālani e pono e kope ʻia i Oracle mai ka waihona kumu.
Ke hana nei mākou i kahi waihona cdc ʻokoʻa.
Ke kaʻina hana no ka hana ʻana i kahi waihona
- Ma ka waihona kikowaena hana mākou i kahi papa kuhikuhi no ka waihona cdc - no ka laʻana, ma ke kikowaena /database/cdc/.
- E hana i kahi dummy no ka waihona cdc: hoʻopiʻi $DLC / cdc hakahaka
- E ho'ā i ke kākoʻo no nā faila nui: proutil cdc -C EnableLargeFiles
- Hoʻomākaukau mākou i kahi palapala no ka hoʻomaka ʻana i ka waihona cdc. Pono nā ʻāpana hoʻomaka e like me nā ʻāpana hoʻomaka o ka waihona i hoʻopili hou ʻia.
- Hoʻomaka mākou i ka waihona cdc.
- Hoʻohui i ka waihona cdc a hoʻouka i ka schema Pro2 mai ka faila cdc.df, i komo pū me ka Pro2.
- Hana mākou i nā mea hoʻohana ma ka waihona cdc:
pro2adm - no ka hoʻopili ʻana mai ka papa hoʻokele Pro2;
pro2etl - no ka hoʻopili ʻana i nā kaʻina hana ETL (ReplBatch);
pro2cdc - no ka hoʻopili ʻana i nā kaʻina hana CDC (CDCBatch);
E ho'ā ana i ka OpenEdge Change Data Capture
I kēia manawa e hoʻohuli i ka mīkini CDC ponoʻī, me ke kōkua o ka ʻikepili e hoʻihoʻi ʻia i kahi ʻenehana ʻenehana hou. I kēlā me kēia Progress OpenEdge source database, pono ʻoe e hoʻohui i nā wahi waiho ʻokoʻa kahi e hoʻopālua ʻia ai ka ʻikepili kumu, a hoʻāla i ka mīkini me ka hoʻohana ʻana i ke kauoha. proutil.
Ke kaʻina hana no ka waihona bisquit
- Ke kope ʻana mai ka waihona C:Pro2db faila cdcadd.st i ka waihona waihona waihona bisquit.
- wehewehe mākou ma cdcadd.st nā palena nui paʻa no nā ʻāpana "ReplCDCArea" и "ReplCDCArea_IDX". Hiki iā ʻoe ke hoʻohui i nā wahi waihona hou ma ka pūnaewele: prostrct addonline bisquit cdcadd.st
- E ho'ā i ka OpenEdge CDC:
proutil bisquit -C enablecdc wahi "ReplCDCArea" indexarea "ReplCDCArea_IDX" - Pono e hana ʻia nā mea hoʻohana ma ka waihona kumu no ka ʻike ʻana i nā kaʻina holo:
a. pro2adm - no ka hoʻohui ʻana mai ka papa hoʻokele Pro2.
b. pro2etl - no ka hoʻopili ʻana i nā kaʻina hana ETL (ReplBatch).
c. pro2cdc - no ka hoʻopili ʻana i nā kaʻina hana CDC (CDCBatch).
Ke hana ʻana i kahi mea paʻa Schema no DataServer no Oracle
A laila, pono mākou e hana i kahi waihona Schema Holder ma ke kikowaena kahi e hoʻihoʻi ʻia ai ka ʻikepili mai ka Progress DBMS i ka Oracle DBMS. ʻO ka DataServer Schema Holder kahi waihona Progress OpenEdge nele me ka ʻole o nā mea hoʻohana a i ʻole ka ʻikepili noiʻi, i loaʻa kahi palapala ʻāina o ka pilina ma waena o nā papa kumu a me nā papa Oracle waho.
Pono e ʻike ʻia ka ʻikepili Schema Holder no Progress OpenEdge DataServer no Oracle no Pro2 ma ka kikowaena kaʻina hana ETL; ua hana ʻia ia no kēlā me kēia lālā.
Pehea e hana ai i kahi Schema Holder
- Wehe i ka mahele Pro2 i loko o kahi papa kuhikuhi /pro2
- Hana a hele i ka papa kuhikuhi /pro2/dbsh
- E hana i kahi waihona waihona Schema Holder me ke kauoha kope $DLC/bisquitsh nele
- E hana ana i ka hoohuli ana bisquitsh i loko o ka hoʻopili ʻana i koi ʻia - no ka laʻana, i ka UTF-8 inā loaʻa i nā ʻikepili ʻo Oracle ka UTF-8 hoʻopili: proutil bisquitsh -C convchar hoʻohuli UTF-8
- Ma hope o ka hana ʻana i kahi waihona waihona ʻole bisquitsh hoʻohui iā ia ma ke ʻano hoʻohana hoʻokahi: pro bisquitsh
- E hele kāua i ka puke wehewehe ʻikepili: Mea Hana -> ʻIkepili ʻikepili -> DataServer -> ORACLE Utilities -> Hoʻokumu i ka DataServer Schema
- E hoʻokuʻu i ka mea paʻa i ka papahana
- Ke hoʻonohonoho nei i ka mea hoʻolaha Oracle DataServer:
a. Hoʻomaka AdminServer.
proadsv -hoʻomaka
b. Hoʻomaka o ka Oracle DataServer broker
oraman -name orabroker1 -hoʻomaka
Hoʻonohonoho ʻana i ka papa hoʻokele a me ka hoʻolālā kope
Ke hoʻohana nei i ka papa hoʻokele Pro2, ua hoʻonohonoho ʻia nā ʻāpana Pro2, me ka hoʻonohonoho ʻana i ka papahana replication a me ka hana ʻana i nā kaʻina ETL (Processor Library), nā polokalamu hoʻonohonoho mua (Bulk-Copy Processor), nā mea hoʻoiho hou a me nā kulekele OpenEdge CDC. Aia kekahi mau mea hana mua no ka nānā ʻana a me ka mālama ʻana i nā kaʻina hana ETL a me CDC. ʻO ka mea mua, hoʻonohonoho mākou i nā faila parameter.
Pehea e hoʻonohonoho ai i nā faila parameter
- E hele i ka papa inoa C:Pro2bpreplScripts
- E wehe i ka faila no ka hoʻoponopono replProc.pf
- E hoʻohui i nā ʻāpana pili i ka waihona hoʻopiʻi cdc:
# Hoʻopiʻi waihona
-db cdc -ld repl -H <inoa waihona waihona waihona> -S <port broker port cdc>
-U pro2admin -P <password> - Hoʻohui i replProc.pf nā palena pili i nā waihona waihona a me ka Schema Holder ma ke ʻano o nā faila parameter. Pono ka inoa o nā faila ʻokoʻa me ka inoa o ka waihona kumu i hoʻopili ʻia.
# Hoʻopili i nā kumu hoʻopiʻi āpau BISQUIT
-pf bpreplscriptsbisquit.pf - Hoʻohui i replProc.pf nā ʻāpana no ka hoʻopili ʻana iā Schema Holder.
#Target Pro DB Schema Paʻa
-db bisquitsh -ld bisquitsh
-H <ETL kaʻina hoʻokipa inoa>
-S <biskuitsh broker port>
-db bisquitsql
-ld bisquitsql
-dt OLELO HOOLAHA
-S 5162 -H <Ka inoa hoʻokipa o Oracle broker>
-DataService orabroker1 - E mālama i ka faila ʻāpana replProc.pf
- A laila, pono ʻoe e hana a wehe no ka hoʻoponopono ʻana i nā faila hoʻohālikelike no kēlā me kēia waihona kumu pili i ka papa kuhikuhi C:Pro2bpreplScripts: bisquit.pf. Loaʻa i kēlā me kēia faila pf nā ʻāpana no ka hoʻopili ʻana i ka waihona pili, no ka laʻana:
-db bisquit -ld bisquit -H <hostname> -S <broker port>
-U pro2admin -P <password>
No ka hoʻonohonoho ʻana i nā pōkole Windows, pono ʻoe e hele i ka papa kuhikuhi C:Pro2bpreplScripts a hoʻoponopono i ka pōkole "Pro2 - Administration". No ka hana ʻana i kēia, wehe i nā waiwai o ka pōkole a ma ka laina E hoʻomaka i loko hōʻike i ka papa kuhikuhi hoʻonohonoho Pro2. Pono e hana ʻia kahi hana like no nā pōkole "Pro2 - Lunahooponopono" a me "RunBulkLoader".
Hoʻonohonoho hoʻonohonoho hoʻokele Pro2: Hoʻouka i ka hoʻonohonoho hoʻomaka
E hoʻomaka kākou i ka console.
E hele i ka "DB Map".
No ka hoʻopiliʻana i nāʻikepili ma Pro2 - Administration, e hele i kaʻaoʻao Palapala ʻāina ʻo DB. Hoʻohui i ka palapala ʻāina o nā waihona kumu - Luna Hoʻolālā - Oracle.
E hele i ka pā Ka palapala'āina. Papa inoa Waihona Puna Ma ka paʻamau, ua koho ʻia ka waihona kumu mua pili. Aia ma ka ʻākau o ka papa inoa he palapala Hoʻopili ʻia nā ʻikepili āpau - ua pili nā waihona i koho ʻia. Ma lalo o ka hema pono ʻoe e ʻike i kahi papa inoa o nā papa holomua mai bisquit. Aia ma ka ʻākau he papa inoa o nā papa mai ka ʻikepili Oracle.
Ke hana ʻana i nā schema SQL a me nā waihona ma Oracle
No ka hana ʻana i kahi palapala hoʻopiʻi, pono ʻoe e hana mua Hoʻolālā SQL ma Oracle. Ma Pro2 Administration mākou e hoʻokō i ka papa kuhikuhi Mea Hana -> Hoʻokumu i ke Code -> Kūlana Kūlana, a laila ma ka pahu kamaʻilio Koho pūnaewele koho i hoʻokahi a ʻoi aʻe paha nā waihona waihona a hoʻoneʻe iā lākou i ka ʻākau.
Kaomi OK a koho i ka papa kuhikuhi no ka mālama ʻana i nā schemas SQL.
A laila hana mākou i ke kumu. Hiki ke hana i kēia, no ka laʻana, ma o ʻO Oracle SQL Mea Hoʻolālā. No ka hana ʻana i kēia, hoʻopili mākou i ka waihona Oracle a hoʻouka i ka schema no ka hoʻohui ʻana i nā papa. Ma hope o ka hoʻololi ʻana i ka haku ʻana o nā papa Oracle, pono ʻoe e hōʻano hou i nā schemas SQL i ka Schema Holder.
Ma hope o ka pau ʻana o ka hoʻoiho ʻana, e haʻalele i ka waihona bisquitsh a wehe i ka panel administrative Pro2. Pono e ʻike ʻia nā papa mai ka waihona Oracle ma ka ʻaoʻao Mapping ma ka ʻākau.
Papa palapala
No ka hana ʻana i kahi palapala hoʻopiʻi, ma ka papa hoʻokele Pro2, e hele i ka ʻaoʻao Mapping a koho i ka waihona kumu. E kaomi ma ka Map Tables, koho E koho i nā hoʻololi ma ka hema o nā papa e pono e hana hou ʻia ma Oracle, e neʻe iā lākou i ka ʻākau a hōʻoia i ke koho. E hana ʻakomi ʻia kahi palapala ʻāina no nā papa i koho ʻia. Hana hou mākou i ka hana no ka hana ʻana i kahi palapala palapala no nā ʻikepili kumu ʻē aʻe.
Hoʻopuka ʻana i ka hale waihona waihona Pro2 Replication Processor a me nā polokalamu kaʻina hana kope kope
Hoʻolālā ʻia ka Replication Processor Library no nā kaʻina hana hoʻopiʻi maʻamau (ETLs) e hoʻoponopono i ka queue replication Pro2 a hoʻohuli i nā loli i ka waihona Oracle. Mālama ʻia nā polokalamu waihona waihona kope kope i ka papa kuhikuhi ma hope o ka hanauna bprepl/repl_proc (PROC_DIRECTORY ʻāpana). No ka hana ʻana i ka waihona mea hoʻopuka kope, hele i Mea Hana -> Hoʻokumu i ke Code -> Hale Waihona Puke. Ma hope o ka pau ʻana o ka hana, e ʻike ʻia nā polokalamu ma ka papa kuhikuhi bprepl/repl_proc.
Hoʻohana ʻia nā papahana ʻo Bulk Load Processor no ka hoʻonohonoho ʻana i nā ʻikepili kumu Progress me ka ʻikepili Oracle i manaʻo ʻia e pili ana i ka ʻōlelo papahana Progress ABL (4GL). No ka hana ʻana iā lākou, e hele i ka papa kuhikuhi Mea Hana -> Hoʻokumu i ke Code -> Mea Hana Kope Nui. I loko o ka Select Database dialog box, koho i nā waihona waihona, hoʻoneʻe iā lākou i ka ʻaoʻao ʻākau o ka puka aniani a kaomi OK. Ma hope o ka pau ʻana o ka hana, e ʻike ʻia nā polokalamu ma ka papa kuhikuhi bpreplrepl_mproc.
Ka hoʻonohonoho ʻana i nā kaʻina hana kope ma Pro2
ʻO ka hoʻokaʻawale ʻana i nā papa i loko o nā pūʻulu i lawelawe ʻia e kahi kaula hoʻopiʻi ʻokoʻa e hoʻomaikaʻi i ka hana a me ka pono o Pro2 Oracle. ʻO ka mea maʻamau, pili nā pilina a pau i hana ʻia ma ka palapala hoʻopiʻi no nā papa hoʻopiʻi hou me ka helu helu 1. Manaʻo ʻia e hoʻokaʻawale i nā papa i nā pae like ʻole.
Hōʻike ʻia ka ʻike e pili ana i ke kūlana o nā pae replication ma ka ʻaoʻao Pro2 Administration ma ka ʻaoʻao Monitor ma ka ʻāpana Replication Status. Hiki ke ʻike ʻia kahi wehewehe kikoʻī o nā waiwai parameter ma ka palapala Pro2 (papa kuhikuhi C:Pro2Docs).
E hana a ho'ā i nā kulekele CDC
ʻO nā kulekele he mau lula no ka mīkini OpenEdge CDC e nānā i nā loli i nā papa. I ka manawa kākau, kākoʻo wale ʻo Pro2 i nā kulekele CDC me ka pae 0, ʻo ia hoʻi, ʻike ʻia ka ʻoiaʻiʻo hoʻololi hoʻopaʻa.
No ka hana ʻana i kahi kulekele CDC, ma ka papa hoʻokele, e hele i ka ʻaoʻao Mapping, koho i ka waihona kumu a kaomi ma ka pihi Add/Remove Policies. Ma ka pukaaniani Select Changes e wehe, koho ma ka ʻaoʻao hema a neʻe i ka ʻākau i nā papa āu e pono ai e hana a holoi paha i kahi kulekele CDC.
No ka ho'āla, wehe hou i ka Mapping tab, koho i ka waihona waihona a kaomi i ke pihi (Ma) Ho'ā i nā Kulekele. E koho a neʻe i ka ʻaoʻao ʻākau o ka pākaukau i nā kulekele pono e hoʻāla ʻia, kaomi OK. Ma hope o kēia, hōʻailona ʻia lākou i ka ʻōmaʻomaʻo. Ma ka hoʻohana ʻana (Ma) Ho'ā i nā Kulekele Hiki iā ʻoe ke hoʻopau i nā kulekele CDC. Hana ʻia nā hana a pau ma ka pūnaewele.
Ma hope o ka ho'ā ʻia ʻana o ke kulekele CDC, mālama ʻia nā memo e pili ana i nā moʻolelo i hoʻololi ʻia i kahi e waiho ai "ReplCDCArea" e like me ka waihona waihona. E hana ʻia kēia mau memo ma o kahi kaʻina hana kūikawā CDCBatch, ka mea i hoʻokumu ʻia ma luna o lākou e hana i nā memo i loko o ka laina replication Pro2 i ka waihona cdc (repl).
No laila, ʻelua kā mākou pila no ka hana hou ʻana. ʻO ka pae mua ʻo CDCBatch: mai ka waihona kumu, hele mua ka ʻikepili i ka waihona CDC waena. ʻO ka lua o ka manawa ke hoʻoili ʻia ka ʻikepili mai ka waihona CDC i Oracle. He hiʻohiʻona kēia o ka hoʻolālā o kēia manawa a me ka huahana ponoʻī - a hiki i kēia manawa ʻaʻole hiki i nā mea hoʻomohala ke hoʻokumu i ka replication pololei.
Ka hoʻonohonoho mua
Ma hope o ka ʻae ʻana i ka mīkini CDC a me ka hoʻonohonoho ʻana i ka server replication Pro2, pono mākou e hoʻomaka i ka synchronization mua. Kauoha hoʻonohonoho mua:
/pro2/bprepl/Script/replLoad.sh bisquit papa-inoa
Ma hope o ka pau ʻana o ka hoʻonohonoho mua ʻana, hiki ke hoʻomaka i nā kaʻina hana replication.
Hoʻomaka i nā kaʻina hana kope
No ka hoʻomaka ʻana i nā kaʻina hana replication pono ʻoe e holo i kahi palapala replbatch.sh. Ma mua o ka hoʻomaka ʻana, e ʻike pono aia nā palapala replbatch no nā pae āpau - replbatch1, replbatch2, etc. Inā paʻa nā mea a pau, wehe i ka laina kauoha (no ka laʻana, proenv), hele i ka papa kuhikuhi /bprepl/scripts a hoʻomaka i ka palapala. Ma ka papa hoʻomalu, nānā mākou ua loaʻa i ke kaʻina hana ke kūlana RUNNING.
Nā hualoaʻa
Ma hope o ka hoʻokō ʻana, ua wikiwiki mākou i ka hoʻouka ʻana i ka ʻike i ka hale waihona ʻikepili hui. Loaʻa koke ka ʻikepili i Oracle ma ka pūnaewele. ʻAʻohe pono e hoʻopau i ka manawa e holo ai i kekahi mau nīnau lōʻihi e hōʻiliʻili i ka ʻikepili mai nā ʻōnaehana like ʻole. Eia kekahi, i loko o kēia hoʻonā hiki i ke kaʻina hana replication ke kaomi i ka ʻikepili, a he hopena maikaʻi hoʻi i ka wikiwiki. I kēia manawa ua hoʻomaka ka hoʻoponopono ʻana i kēlā me kēia lā o ka ʻōnaehana BISKVIT me nā ʻōnaehana ʻē aʻe i 15-20 mau minuke ma kahi o 2-2,5 mau hola, a ua hoʻopaʻa hou ʻia kahi mau hola ma mua o ʻelua mau lā.
Source: www.habr.com