1999թ.-ից մեր բանկը back office-ի սպասարկման համար օգտագործել է BISKVIT ինտեգրված բանկային համակարգը Progress OpenEdge հարթակում, որը լայնորեն կիրառվում է ամբողջ աշխարհում, այդ թվում՝ ֆինանսական հատվածում: Այս DBMS-ի աշխատանքը թույլ է տալիս մեկ վայրկյանում կարդալ մինչև մեկ միլիոն կամ ավելի գրառումներ մեկ տվյալների բազայում (DB): Մեր Progress OpenEdge-ը սպասարկում է մոտ 1,5 միլիոն անհատական ավանդներ և մոտ 22,2 միլիոն պայմանագրեր ակտիվ ապրանքների համար (ավտոմեքենաների վարկեր և հիփոթեքային վարկեր), ինչպես նաև պատասխանատու է կարգավորիչի (Կենտրոնական բանկի) և SWIFT-ի հետ բոլոր հաշվարկների համար:
Օգտագործելով Progress OpenEdge-ը, մենք բախվեցինք այն Oracle DBMS-ի հետ աշխատելու անհրաժեշտության հետ: Սկզբում այս փաթեթը մեր ենթակառուցվածքի խցանումն էր, մինչև մենք տեղադրեցինք և կազմաձևեցինք Pro2 CDC-ն՝ Progress արտադրանքը, որը թույլ է տալիս Progress DBMS-ից տվյալներ ուղարկել Oracle DBMS ուղղակիորեն առցանց: Այս գրառման մեջ մենք ձեզ մանրամասն կպատմենք բոլոր թակարդների հետ միասին, թե ինչպես արդյունավետորեն ընկերանալ OpenEdge-ի և Oracle-ի միջև:
Ինչպես դա եղավ. տվյալների վերբեռնում QCD ֆայլերի փոխանակման միջոցով
Նախ՝ որոշ փաստեր մեր ենթակառուցվածքի մասին։ Տվյալների բազայի ակտիվ օգտատերերի թիվը մոտավորապես 15 հազար է։ Բոլոր արտադրողական տվյալների բազաների ծավալը, ներառյալ կրկնօրինակը և սպասման ռեժիմը, 600 ՏԲ է, ամենամեծ տվյալների բազան՝ 16,5 ՏԲ: Միաժամանակ տվյալների բազաները մշտապես համալրվում են. միայն վերջին մեկ տարվա ընթացքում ավելացվել է մոտ 120 ՏԲ արտադրողական տվյալ։ Համակարգը սնուցվում է 150 առջևի սերվերներով x86 հարթակում: Տվյալների բազաները տեղակայված են IBM հարթակի 21 սերվերների վրա:
Front-end համակարգերը, տարբեր հիմնական բանկային համակարգերը և բանկային ծառայությունները ինտեգրված են OpenEdge Progress (BISCUIT IBS) հետ Sonic ESB ավտոբուսի միջոցով: QCD տվյալների վերբեռնումը տեղի է ունենում ֆայլերի փոխանակման միջոցով: Մինչև որոշակի պահ, այս լուծումն ուներ միանգամից երկու մեծ խնդիր՝ կորպորատիվ տվյալների պահեստ (CDW) տեղեկատվության վերբեռնման ցածր կատարողականություն և այլ համակարգերի հետ տվյալների հաշտեցման (հաշտեցման) կատարման երկար ժամանակ:
Հետեւաբար, մենք սկսեցինք փնտրել գործիք, որը կարող է արագացնել այս գործընթացները: Երկու խնդիրների լուծումը նոր Progress OpenEdge արտադրանքն էր՝ Pro2 CDC (Change Data Capture): Այսպիսով, եկեք սկսենք:
Տեղադրեք Progress OpenEdge-ը և Pro2Oracle-ը
Pro2 Oracle-ը ադմինիստրատորի Windows համակարգչում գործարկելու համար բավական է տեղադրել Progress OpenEdge Developer Kit Classroom Edition-ը, որը կարող է լինել. անվճար. Կանխադրված OpenEdge տեղադրման գրացուցակներ.
DLC՝ C:ProgressOpenEdge
WRK: C:OpenEdgeWRK
ETL գործընթացները պահանջում են Progress OpenEdge լիցենզիաներ տարբերակ 11.7+, մասնավորապես OE DataServer-ը Oracle-ի և 4GL Development System-ի համար: Այս լիցենզիաները ներառված են Pro2-ի հետ: Oracle-ի հեռավոր տվյալների բազայի հետ Oracle-ի համար DataServer-ի լիարժեք շահագործման համար տեղադրված է Full Oracle Client-ը:
Oracle սերվերի վրա դուք պետք է տեղադրել Oracle Database 12+, ստեղծել դատարկ տվյալների բազա և ավելացնել օգտվող (եկեք նրան կանչենք cdc).
Pro2Oracle-ը տեղադրելու համար ներբեռնեք վերջին բաշխումը ներբեռնման կենտրոնից. Բացեք արխիվը գրացուցակի մեջ C: Pro2 (Pro2-ը Unix-ում կարգավորելու համար օգտագործվում է նույն բաշխումը և կիրառվում են նույն կազմաձևման սկզբունքները):
CDC-ի կրկնօրինակման տվյալների բազայի ստեղծում
Replication տվյալների բազա cdc (repl) Pro2-ն օգտագործվում է կոնֆիգուրացիայի մասին տեղեկատվությունը, ներառյալ կրկնօրինակման քարտեզը, կրկնօրինակված տվյալների բազաների անունները և դրանց աղյուսակները պահելու համար: Այն նաև պարունակում է կրկնօրինակման հերթ, որը բաղկացած է նշումներից այն մասին, որ աղբյուրի տվյալների բազայում աղյուսակի տողը փոխվել է: Վերարտադրման հերթից ստացված տվյալները օգտագործվում են ETL գործընթացների կողմից՝ հայտնաբերելու տողերը, որոնք պետք է պատճենվեն Oracle-ին աղբյուրի տվյալների բազայից:
Մենք ստեղծում ենք առանձին cdc տվյալների բազա:
Տվյալների բազա ստեղծելու կարգը
- Տվյալների բազայի սերվերի վրա մենք ստեղծում ենք գրացուցակ cdc տվյալների բազայի համար, օրինակ՝ սերվերի վրա /տվյալների բազա/cdc/.
- Ստեղծեք կեղծիք cdc տվյալների բազայի համար. պատճենել $DLC/դատարկ CDC
- Միացնել աջակցությունը մեծ ֆայլերի համար. proutil cdc -C EnableLargeFiles
- Մենք պատրաստում ենք սցենար՝ cdc տվյալների բազան սկսելու համար։ Մեկնարկի պարամետրերը պետք է նման լինեն կրկնօրինակված տվյալների բազայի մեկնարկային պարամետրերին:
- Մենք սկսում ենք cdc տվյալների բազան:
- Միացեք cdc տվյալների բազային և բեռնեք Pro2 սխեման ֆայլից cdc.df, որը ներառված է Pro2-ի հետ:
- Մենք ստեղծում ենք հետևյալ օգտվողները cdc տվյալների բազայում.
pro2adm – Pro2 վարչական վահանակից միանալու համար;
pro2etl – ETL գործընթացները միացնելու համար (ReplBatch);
pro2cdc – CDC գործընթացները միացնելու համար (CDCBatch);
OpenEdge Change Data Capture-ի ակտիվացում
Այժմ եկեք միացնենք ինքնին CDC մեխանիզմը, որի օգնությամբ տվյալները կկրկնօրինակվեն լրացուցիչ տեխնոլոգիական տարածք: Յուրաքանչյուր Progress OpenEdge աղբյուրի տվյալների բազայում դուք պետք է ավելացնեք առանձին պահեստային տարածքներ, որոնցում կկրկնօրինակվեն սկզբնաղբյուրի տվյալները և ակտիվացնեք ինքնին մեխանիզմը՝ օգտագործելով հրամանը: պրոուտիլ.
Բիսկվիտի տվյալների բազայի օրինակելի ընթացակարգ
- Պատճենում կատալոգից C: Pro2db ֆայլը cdcadd.st դեպի bisquit աղբյուրի տվյալների բազայի գրացուցակ:
- Մենք նկարագրում ենք cdcadd.st ֆիքսված չափերի չափերը մարզերի համար «ReplCDCArea» и «ReplCDCArea_IDX». Դուք կարող եք ավելացնել նոր պահեստային տարածքներ առցանց. prostrct addonline bisquit cdcadd.st
- Ակտիվացրեք OpenEdge CDC.
proutil bisquit -C enablecdc տարածք «ReplCDCArea» ինդեքսատարածք «ReplCDCArea_IDX» - Գործող գործընթացները բացահայտելու համար աղբյուրի տվյալների բազայում պետք է ստեղծվեն հետևյալ օգտվողները.
ա. pro2adm – Pro2 վարչական վահանակից միանալու համար:
բ. pro2etl – ETL գործընթացները միացնելու համար (ReplBatch):
գ. pro2cdc – CDC գործընթացները միացնելու համար (CDCBatch):
Oracle-ի համար DataServer-ի համար Schema Holder-ի ստեղծում
Հաջորդը, մենք պետք է ստեղծենք Schema Holder տվյալների բազա սերվերի վրա, որտեղ Progress DBMS-ի տվյալները կկրկնօրինակվեն Oracle DBMS-ին: DataServer Schema Holder-ը Progress OpenEdge-ի դատարկ տվյալների բազա է, առանց օգտվողների կամ հավելվածի տվյալների, որը պարունակում է աղբյուրի աղյուսակների և արտաքին Oracle աղյուսակների միջև համապատասխանության քարտեզ:
Schema Holder տվյալների բազան Progress OpenEdge DataServer-ի համար Oracle-ի համար Pro2-ի համար պետք է տեղակայված լինի ETL գործընթացի սերվերում, այն ստեղծվում է առանձին յուրաքանչյուր մասնաճյուղի համար:
Ինչպես ստեղծել Schema Holder
- Բացեք Pro2 բաշխումը գրացուցակի մեջ /pro2
- Ստեղծեք և անցեք գրացուցակ /pro2/dbsh
- Ստեղծեք Schema Holder տվյալների բազա՝ օգտագործելով հրամանը պատճենեք $DLC/դատարկ bisquitsh
- Փոխակերպման կատարում բիսկվիթշ պահանջվող կոդավորման մեջ, օրինակ՝ UTF-8-ում, եթե Oracle տվյալների բազաները ունեն UTF-8 կոդավորում. proutil bisquitsh -C convchar փոխակերպում UTF-8
- Դատարկ տվյալների բազա ստեղծելուց հետո բիսկվիթշ միացեք դրան մեկ օգտագործողի ռեժիմով. pro bisquitsh
- Եկեք գնանք տվյալների բառարան. Գործիքներ -> Տվյալների բառարան -> DataServer -> ORACLE Utilities -> Ստեղծել DataServer Schema
- Գործարկել Schema Holder-ը
- Oracle DataServer բրոքերի կարգավորում.
ա. Սկսեք AdminServer-ը:
proadsv - սկիզբ
բ. Oracle DataServer բրոքերի մեկնարկը
oraman -name orabroker1 -սկիզբ
Վարչական վահանակի և կրկնօրինակման սխեմայի կարգավորում
Օգտագործելով Pro2 վարչական վահանակը, Pro2 պարամետրերը կազմաձևվում են, ներառյալ կրկնօրինակման սխեմայի կարգավորումը և ETL գործընթացների ստեղծումը (Processor Library), առաջնային համաժամացման ծրագրերը (Bulk-Copy Processor), կրկնօրինակման գործարկիչները և OpenEdge CDC քաղաքականությունները: Կան նաև առաջնային գործիքներ ETL և CDC գործընթացների մոնիտորինգի և կառավարման համար: Առաջին հերթին մենք կարգավորում ենք պարամետրերի ֆայլերը:
Ինչպես կարգավորել պարամետրերի ֆայլերը
- Գնացեք կատալոգ C:Pro2bpreplScripts
- Բացեք ֆայլը խմբագրման համար replProc.pf
- Ավելացնել կապի պարամետրերը cdc-ի կրկնօրինակման տվյալների բազայում.
# Replication Database
-db cdc -ld repl -H <հիմնական տվյալների բազայի հոսթի անունը> -S <տվյալների բազայի բրոքերային նավահանգիստ cdc>
-U pro2admin -P <գաղտնաբառ> - Ավելացնել replProc.pf կապի պարամետրերը աղբյուրի տվյալների բազաներին և Schema Holder-ին պարամետրային ֆայլերի տեսքով: Պարամետրերի ֆայլի անունը պետք է համապատասխանի միացված աղբյուրի տվյալների բազայի անվանը:
# Միացեք BISQUIT-ի բոլոր կրկնվող աղբյուրներին
-pf bpreplscriptsbisquit.pf - Ավելացնել replProc.pf Schema Holder-ին միանալու պարամետրեր:
#Target Pro DB Schema Holder
-db bisquitsh -ld bisquitsh
-H <ETL գործընթացի հյուրընկալողի անունը>
-S <biskuitsh բրոքերային նավահանգիստ>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <Oracle բրոքերի հյուրընկալողի անունը>
-DataService orabroker1 - Պահպանեք պարամետրերի ֆայլը replProc.pf
- Հաջորդը, դուք պետք է ստեղծեք և բացեք պարամետրերի ֆայլերը խմբագրելու համար գրացուցակի յուրաքանչյուր միացված աղբյուրի տվյալների բազայի համար C:Pro2bpreplScripts՝ bisquit.pf. Յուրաքանչյուր pf ֆայլ պարունակում է համապատասխան տվյալների բազայի հետ միանալու պարամետրեր, օրինակ.
-db bisquit -ld bisquit -H <hostname> -S <broker port>
-U pro2admin -P <գաղտնաբառ>
Windows-ի դյուրանցումները կարգավորելու համար հարկավոր է գնալ գրացուցակ C:Pro2bpreplScripts և խմբագրեք «Pro2 – Administration» դյուրանցումը: Դա անելու համար բացեք դյուրանցման հատկությունները և տողում Սկսեք ներս նշեք Pro2 տեղադրման գրացուցակը: Նմանատիպ գործողություն պետք է կատարվի «Pro2 – Editor» և «RunBulkLoader» դյուրանցումների համար:
Pro2 ադմինիստրացիայի կարգավորում. Բեռնվում է նախնական կազմաձևը
Եկեք գործարկենք վահանակը:
Գնացեք «DB Map»:
Pro2 – Administration-ում տվյալների բազաները կապելու համար անցեք ներդիր DB քարտեզ. Ավելացնել աղբյուրի տվյալների բազաների քարտեզագրում - Schema Holder - Oracle.
Գնացեք ներդիր Mapping. Ուցակում Աղբյուրի տվյալների բազա Լռելյայնորեն ընտրված է առաջին միացված աղբյուրի տվյալների բազան: Ցուցակի աջ կողմում պետք է լինի մակագրություն Բոլոր տվյալների բազաները միացված են — ընտրված տվյալների բազաները միացված են: Ձախ կողմում ներքևում դուք պետք է տեսնեք Bisquit-ից առաջընթացի աղյուսակների ցանկը: Աջ կողմում Oracle տվյալների բազայի աղյուսակների ցանկն է:
Oracle-ում SQL սխեմաների և տվյալների բազաների ստեղծում
Կրկնօրինակման քարտեզ ստեղծելու համար նախ պետք է գեներացնել SQL սխեման Oracle-ում։ Pro2 Administration-ում մենք կատարում ենք ցանկի տարրը Գործիքներ -> Ստեղծել կոդ -> Թիրախային սխեման, ապա երկխոսության վանդակում Ընտրեք տվյալների բազան ընտրեք մեկ կամ մի քանի աղբյուրի տվյալների բազա և տեղափոխեք դրանք աջ:
Սեղմեք OK և ընտրեք գրացուցակը SQL սխեմաները պահպանելու համար:
Հաջորդը մենք ստեղծում ենք հիմքը: Դա կարելի է անել, օրինակ, միջոցով Oracle SQL ծրագրավորող. Դա անելու համար մենք միանում ենք Oracle տվյալների բազային և բեռնում աղյուսակներ ավելացնելու սխեման: Oracle-ի աղյուսակների կազմը փոխելուց հետո դուք պետք է թարմացնեք SQL սխեմաները Schema Holder-ում:
Ներբեռնումը հաջողությամբ ավարտվելուց հետո դուրս եկեք bisquitsh տվյալների բազայից և բացեք Pro2 վարչական վահանակը: Oracle-ի տվյալների բազայի աղյուսակները պետք է հայտնվեն աջ կողմում գտնվող Mapping ներդիրում:
Սեղանի քարտեզագրում
Կրկնօրինակման քարտեզ ստեղծելու համար Pro2 ադմինիստրատիվ վահանակում անցեք Քարտեզագրման ներդիր և ընտրեք աղբյուրի տվյալների բազան: Սեղմեք Քարտեզի աղյուսակների վրա, ընտրեք Ընտրել փոփոխությունները աղյուսակների ձախ կողմում, որոնք պետք է կրկնօրինակվեն Oracle-ում, տեղափոխեք դրանք աջ և հաստատեք ընտրությունը: Ընտրված աղյուսակների համար ավտոմատ կստեղծվի քարտեզ: Մենք կրկնում ենք այլ աղբյուրի տվյալների բազաների համար կրկնօրինակման քարտեզ ստեղծելու գործողությունը:
Pro2 Replication Processor Library և Bulk-Copy Processor Programs-ի ստեղծում
Replication Processor Library-ը նախատեսված է հատուկ կրկնօրինակման գործընթացների համար (ETL), որոնք մշակում են Pro2-ի վերարտադրման հերթը և փոփոխություններ են հրում Oracle տվյալների բազայում: Replication պրոցեսոր գրադարանային ծրագրերը ավտոմատ կերպով պահվում են գրացուցակում սերնդից հետո bprepl/repl_proc (PROC_DIRECTORY պարամետր). Վերարտադրման պրոցեսորի գրադարանը ստեղծելու համար անցեք Գործիքներ -> Ստեղծել կոդ -> Պրոցեսորի գրադարան: Ստեղծման ավարտից հետո ծրագրերը կհայտնվեն գրացուցակում bprepl/repl_proc.
Bulk Load Processor ծրագրերն օգտագործվում են աղբյուրի Progress տվյալների բազաները Oracle-ի թիրախային տվյալների բազայի հետ համաժամեցնելու համար՝ հիմնված Progress ABL (4GL) ծրագրավորման լեզվի վրա: Դրանք ստեղծելու համար անցեք ցանկի տարր Գործիքներ -> Ստեղծել կոդ -> Զանգվածային պատճենահանման պրոցեսոր. Ընտրել տվյալների բազայի երկխոսության վանդակում ընտրեք աղբյուրի տվյալների բազաները, տեղափոխեք դրանք պատուհանի աջ կողմ և սեղմեք OK. Ստեղծման ավարտից հետո ծրագրերը կհայտնվեն գրացուցակում bpreplrepl_mproc.
Pro2-ում կրկնօրինակման գործընթացների կարգավորում
Սեղանների բաժանումը խմբերի, որոնք սպասարկվում են առանձին վերարտադրման շղթայով, բարելավում է Pro2 Oracle-ի աշխատանքը և արդյունավետությունը: Լռելյայնորեն, բոլոր կապերը, որոնք ստեղծված են կրկնօրինակման քարտեզում նոր վերարտադրման աղյուսակների համար, կապված են թիվ 1 շղթայի հետ: Խորհուրդ է տրվում աղյուսակները բաժանել տարբեր թելերի:
Replication threads-ի կարգավիճակի մասին տեղեկատվությունը ցուցադրվում է Pro2 Administration էկրանին, Monitor ներդիրում Replication Status բաժնում: Պարամետրերի արժեքների մանրամասն նկարագրությունը կարելի է գտնել Pro2 փաստաթղթերում (տեղեկատու C: Pro2Docs):
Ստեղծեք և ակտիվացրեք CDC քաղաքականությունը
Քաղաքականությունները մի շարք կանոններ են OpenEdge CDC շարժիչի համար՝ վերահսկելու աղյուսակների փոփոխությունները: Գրելու պահին Pro2-ն աջակցում է միայն 0 մակարդակով CDC քաղաքականությանը, այսինքն՝ վերահսկվում է միայն փաստը արձանագրել փոփոխություններ.
CDC քաղաքականություն ստեղծելու համար վարչական վահանակում անցեք Քարտեզագրման ներդիր, ընտրեք աղբյուրի տվյալների բազան և սեղմեք «Ավելացնել/հեռացնել քաղաքականություն» կոճակը: «Ընտրել փոփոխություններ» պատուհանում, որը բացվում է, ձախ կողմում ընտրեք և աջ տեղափոխեք այն աղյուսակները, որոնց համար պետք է ստեղծել կամ ջնջել CDC քաղաքականությունը:
Ակտիվացնելու համար կրկին բացեք Քարտեզագրման ներդիրը, ընտրեք աղբյուրի տվյալների բազան և սեղմեք կոճակը (In)Activate Policies. Ընտրեք և աղյուսակի աջ կողմ տեղափոխեք այն քաղաքականությունները, որոնք պետք է ակտիվացվեն, սեղմեք OK: Դրանից հետո դրանք նշվում են կանաչով: Օգտագործելով (In)Activate Policies Կարող եք նաև անջատել CDC քաղաքականությունը: Բոլոր գործարքները կատարվում են առցանց:
CDC քաղաքականության ակտիվացումից հետո փոփոխված գրառումների մասին նշումները պահվում են պահեստային տարածքում «ReplCDCArea» ըստ աղբյուրի տվյալների բազայի։ Այս նշումները կմշակվեն հատուկ գործընթացով CDCBatch, որը դրանց հիման վրա կստեղծի նշումներ տվյալների բազայի Pro2 կրկնօրինակման հերթում cdc (repl).
Այսպիսով, մենք ունենք կրկնօրինակման երկու հերթ: Առաջին փուլը CDCBatch-ն է. աղբյուրի տվյալների բազայից տվյալները սկզբում գնում են միջանկյալ CDC տվյալների բազա: Երկրորդ փուլն այն է, երբ տվյալները CDC տվյալների բազայից փոխանցվում են Oracle: Սա ներկայիս ճարտարապետության և բուն արտադրանքի առանձնահատկությունն է. մինչ այժմ մշակողները չեն կարողացել ուղղակի կրկնօրինակել:
Առաջնային համաժամացում
CDC մեխանիզմը միացնելուց և Pro2 կրկնօրինակման սերվերը կարգավորելուց հետո մենք պետք է սկսենք նախնական համաժամացումը: Նախնական համաժամացման հրաման.
/pro2/bprepl/Script/replLoad.sh bisquit table-name
Նախնական համաժամացման ավարտից հետո վերարտադրման գործընթացները կարող են սկսվել:
Կրկնօրինակման գործընթացների սկիզբ
Վերարտադրման գործընթացները սկսելու համար հարկավոր է գործարկել սկրիպտը replbatch.sh. Նախքան սկսելը, համոզվեք, որ կան replbatch սցենարներ բոլոր թեմաների համար՝ replbatch1, replbatch2 և այլն: Եթե ամեն ինչ տեղում է, բացեք հրամանի տողը (օրինակ. proenv), գնացեք գրացուցակ /bprepl/scripts և սկսել սցենարը: Վարչական վահանակում մենք ստուգում ենք, որ համապատասխան պրոցեսը ստացել է RUNNING կարգավիճակ:
Արդյունքները
Իրագործումից հետո մենք մեծապես արագացրել ենք տեղեկատվության վերբեռնումը կորպորատիվ տվյալների պահեստ: Տվյալներն ավտոմատ կերպով մտնում են Oracle առցանց: Կարիք չկա ժամանակ վատնել՝ տարբեր համակարգերից տվյալներ հավաքելու համար երկարատև հարցումներ կատարելով: Բացի այդ, այս լուծումում կրկնօրինակման գործընթացը կարող է սեղմել տվյալները, ինչը նույնպես դրական է ազդում արագության վրա։ Այժմ BISKVIT համակարգի ամենօրյա հաշտեցումը այլ համակարգերի հետ սկսեց տևել 15-20 րոպե՝ 2-2,5 ժամի փոխարեն, իսկ ամբողջական հաշտեցումը տևեց մի քանի ժամ՝ երկու օրվա փոխարեն:
Source: www.habr.com