Манай банк 1999 оноос хойш арын албанд үйлчлэхийн тулд дэлхий даяар, тэр дундаа санхүүгийн салбарт өргөн хэрэглэгддэг Progress OpenEdge платформ дээр BISKVIT банкны нэгдсэн системийг ашиглаж байна. Энэхүү DBMS-ийн гүйцэтгэл нь нэг мэдээллийн санд (DB) секундэд сая хүртэлх бичлэгийг унших боломжийг олгодог. Манай Прогресс OpenEdge нь 1,5 сая орчим хувь хүний хадгаламж, 22,2 сая орчим идэвхтэй бүтээгдэхүүн (автомашины зээл, моргейж) гэрээнд үйлчилгээ үзүүлдэг бөгөөд зохицуулагч (Төв банк) болон SWIFT-тэй хийсэн бүх төлбөр тооцоог хариуцдаг.
Прогресс OpenEdge-ийг ашигласнаар бид үүнийг Oracle DBMS-тэй ажиллуулах шаардлага тулгарч байсан. Бид Pro2 CDC-ийг суулгаж, тохируулах хүртэл энэ багц нь манай дэд бүтцийн саад тотгор байсан бөгөөд Прогресс DBMS-ээс Oracle DBMS руу шууд онлайнаар өгөгдлийг илгээх боломжийг олгодог. Энэ нийтлэлд бид OpenEdge болон Oracle хоёрын хооронд хэрхэн үр дүнтэй найзууд болох талаар бүх бэрхшээлийн талаар дэлгэрэнгүй ярих болно.
Хэрхэн болсон: файл хуваалцах замаар өгөгдлийг QCD-д байршуулах
Нэгдүгээрт, манай дэд бүтцийн талаархи зарим баримтууд. Мэдээллийн сангийн идэвхтэй хэрэглэгчдийн тоо ойролцоогоор 15 мянга байна. Бүх бүтээмжтэй мэдээллийн сангийн хэмжээ, түүний дотор хуулбар, зогсолт зэрэг нь 600 TB, хамгийн том мэдээллийн сан нь 16,5 TB юм. Үүний зэрэгцээ мэдээллийн сангууд байнга шинэчлэгдэж байдаг: зөвхөн сүүлийн нэг жилийн хугацаанд 120 орчим ТБ үр дүнтэй өгөгдөл нэмэгдсэн. Систем нь x150 платформ дээрх 86 урд серверээр тэжээгддэг. Мэдээллийн сангууд нь 21 IBM платформ сервер дээр байрладаг.
Front-end системүүд, янз бүрийн үндсэн банкны системүүд болон банкны үйлчилгээнүүд нь Sonic ESB автобусаар дамжуулан OpenEdge Progress (BISCUIT IBS) -тэй нэгдсэн. QCD-д өгөгдөл байршуулах нь файл солилцох замаар явагддаг. Тодорхой цаг үе хүртэл энэхүү шийдэл нь нэг дор хоёр том асуудалтай тулгардаг байсан - корпорацийн мэдээллийн агуулахад (CDW) мэдээлэл байршуулах бага гүйцэтгэл, бусад системүүдтэй өгөгдлийн нэгтгэлт (тохируулах) хийхэд удаан хугацаа шаардагддаг.
Тиймээс бид эдгээр үйл явцыг хурдасгах хэрэгсэл хайж эхэлсэн. Хоёр асуудлын шийдэл нь Progress OpenEdge-ийн шинэ бүтээгдэхүүн байсан - Pro2 CDC (Өгөгдлийн бичлэгийг өөрчлөх). За ингээд эхэлцгээе.
Progress OpenEdge болон Pro2Oracle-г суулгана уу
Pro2 Oracle-г администраторын Windows компьютер дээр ажиллуулахын тулд Progress OpenEdge Developer Kit Classroom Edition-ийг суулгахад хангалттай. үнэгүй. OpenEdge суулгацын өгөгдмөл сангууд:
DLC: C: ProgressOpenEdge
WRK: C: OpenEdgeWRK
ETL процессууд нь Progress OpenEdge лицензийн 11.7+ хувилбарыг шаарддаг - тухайлбал Oracle-д зориулсан OE DataServer болон 4GL Development System. Эдгээр лицензүүд Pro2-д багтсан болно. Oracle-д зориулсан DataServer-ийг алсын зайн Oracle мэдээллийн сантай бүрэн ажиллуулахын тулд Full Oracle Client суулгасан.
Oracle сервер дээр та Oracle Database 12+ суулгаж, хоосон мэдээллийн сан үүсгэж, хэрэглэгч нэмэх хэрэгтэй (түүнийг дуудъя. cdc).
Pro2Oracle-г суулгахын тулд хамгийн сүүлийн үеийн түгээлтийг татаж авах төвөөс татаж аваарай. Архивыг лавлахад задлаарай C: Pro2 (Unix дээр Pro2-г тохируулахын тулд ижил түгээлтийг ашигладаг бөгөөд ижил тохиргооны зарчмуудыг баримтална).
cdc хуулбарлах мэдээллийн сан үүсгэх
Хуулбарлах мэдээллийн сан cdc (repl) Pro2 нь хуулбарлах газрын зураг, хуулбарласан мэдээллийн сангийн нэр, тэдгээрийн хүснэгт зэрэг тохиргооны мэдээллийг хадгалахад ашиглагддаг. Энэ нь мөн эх мэдээллийн сан дахь хүснэгтийн мөр өөрчлөгдсөн тухай тэмдэглэлээс бүрдэх хуулбарлах дарааллыг агуулдаг. Хуулбарлах дарааллын өгөгдлийг ETL процессууд эх сурвалжийн мэдээллийн сангаас Oracle руу хуулах шаардлагатай мөрүүдийг тодорхойлоход ашигладаг.
Бид тусдаа cdc мэдээллийн сан үүсгэж байна.
Мэдээллийн сан үүсгэх журам
- Өгөгдлийн сангийн сервер дээр бид cdc мэдээллийн санд зориулсан лавлах үүсгэдэг - жишээлбэл, сервер дээр /өгөгдлийн сан/cdc/.
- cdc мэдээллийн санд зориулж дамми үүсгэх: $DLC/хоосон CD-г хуулбарлах
- Том файлуудын дэмжлэгийг идэвхжүүлэх: proutil cdc -C EnableLargeFiles
- Бид cdc мэдээллийн санг эхлүүлэх скрипт бэлтгэдэг. Эхлэх параметрүүд нь хуулбарласан мэдээллийн сангийн эхлэлийн параметрүүдтэй төстэй байх ёстой.
- Бид cdc мэдээллийн санг эхлүүлнэ.
- cdc мэдээллийн санд холбогдож, файлаас Pro2 схемийг ачаална уу cdc.df, энэ нь Pro2-д багтсан болно.
- Бид cdc мэдээллийн санд дараах хэрэглэгчдийг үүсгэнэ.
pro2adm - Pro2 удирдлагын самбараас холбогдох;
pro2etl – ETL процессуудыг холбоход зориулагдсан (ReplBatch);
pro2cdc - CDC процессуудыг холбоход зориулагдсан (CDCBatch);
OpenEdge Change Data Capture-г идэвхжүүлж байна
Одоо CDC механизмыг өөрөө асаацгаая, үүний тусламжтайгаар өгөгдлийг нэмэлт технологийн талбарт хуулбарлах болно. Progress OpenEdge эх сурвалжийн өгөгдлийн сан бүрт эх өгөгдлийг хуулбарлах тусдаа хадгалах хэсгүүдийг нэмж, командыг ашиглан механизмыг өөрөө идэвхжүүлэх хэрэгтэй. proutil.
Бисквит мэдээллийн сангийн жишээ процедур
- Каталогоос хуулбарлаж байна C: Pro2db файл cdcadd.st жигнэмэгийн эх сурвалжийн мэдээллийн сангийн лавлах руу.
- Бид дотор дүрсэлдэг cdcadd.st бүс нутгуудын хувьд тогтоосон хэмжээ "ReplCDCArea" и "ReplCDCArea_IDX". Та онлайнаар шинэ хадгалах газар нэмж болно: prostrct addonline bisquit cdcadd.st
- OpenEdge CDC-г идэвхжүүлэх:
proutil bisquit -C enablecdc талбар "ReplCDCArea" indexarea "ReplCDCArea_IDX" - Ажиллаж буй процессуудыг тодорхойлохын тулд дараах хэрэглэгчдийг эх мэдээллийн санд үүсгэсэн байх ёстой.
а. pro2adm – Pro2 удирдлагын самбараас холбогдоход зориулагдсан.
б. pro2etl – ETL процессуудыг холбоход зориулагдсан (ReplBatch).
в. pro2cdc - CDC процессуудыг холбоход зориулагдсан (CDCBatch).
Oracle-д зориулсан DataServer-д зориулсан схем эзэмшигчийг үүсгэх
Дараа нь бид Прогресс DBMS-ийн өгөгдлийг Oracle DBMS-д хуулбарлах Schema Holder мэдээллийн санг сервер дээр үүсгэх хэрэгтэй. DataServer Schema Holder нь хэрэглэгч болон хэрэглээний өгөгдөлгүй хоосон Progress OpenEdge мэдээллийн сан бөгөөд эх хүснэгтүүд болон гадаад Oracle хүснэгтүүдийн хоорондын захидал харилцааны газрын зургийг агуулсан.
Oracle for Pro2-д зориулсан Progress OpenEdge DataServer-д зориулсан Schema Holder мэдээллийн сан нь ETL процессын сервер дээр байрлах ёстой бөгөөд салбар тус бүрээр тусад нь үүсгэгддэг.
Схем эзэмшигчийг хэрхэн бий болгох вэ
- Pro2 түгээлтийг лавлах руу задлаарай /pro2
- Үүсгэж, лавлах руу очно уу /pro2/dbsh
- Командыг ашиглан Schema Holder мэдээллийн санг үүсгэнэ үү $DLC/хоосон жигнэмэг хуулах
- Хөрвүүлэлтийг хийж байна жигнэмэг шаардлагатай кодчилол руу оруулах - жишээлбэл, Oracle мэдээллийн санд UTF-8 кодчилол байгаа бол UTF-8 дээр: proutil bisquitsh -C convchar хувиргах UTF-8
- Хоосон мэдээллийн сан үүсгэсний дараа жигнэмэг нэг хэрэглэгчийн горимд холбогдох: pro bisquitsh
- Өгөгдлийн толь бичиг рүү орцгооё: Tools -> Data Dictionary -> DataServer -> ORACLE Utilities -> DataServer Schema үүсгэх
- Схем эзэмшигчийг ажиллуул
- Oracle DataServer брокерыг тохируулах:
а. Админ серверийг эхлүүлнэ үү.
proadsv - эхлүүлэх
б. Oracle DataServer брокерын эхлэл
oraman -нэр orabroker1 -эхлэх
Захиргааны самбар болон хуулбарлах схемийг тохируулах
Pro2 удирдлагын самбарыг ашиглан хуулбарлах схемийг тохируулах, ETL процессуудыг үүсгэх (Процессорын номын сан), анхдагч синхрончлолын програмууд (Бөөнөөр хуулбарлах процессор), хуулбарлах триггерүүд болон OpenEdge CDC бодлогуудыг багтаасан Pro2 параметрүүдийг тохируулдаг. Мөн ETL болон CDC үйл явцыг хянах, удирдах үндсэн хэрэгслүүд байдаг. Юуны өмнө бид параметрийн файлуудыг тохируулна.
Параметр файлуудыг хэрхэн тохируулах талаар
- Каталог руу очно уу C: Pro2bpreplScripts
- Файлыг засварлахын тулд нээнэ үү replProc.pf
- cdc хуулбарлах мэдээллийн санд холболтын параметрүүдийг нэмнэ үү:
# Хуулбарлах мэдээллийн сан
-db cdc -ld repl -H <өгөгдлийн сангийн үндсэн нэр> -S <өгөгдлийн сангийн брокер порт cdc>
-U pro2admin -P <нууц үг> - -д нэмэх replProc.pf параметрийн файл хэлбэрээр эх сурвалжийн өгөгдлийн сан болон схем эзэмшигчийн холболтын параметрүүд. Параметрийн файлын нэр нь холбогдсон эх сурвалжийн мэдээллийн сангийн нэртэй тохирч байх ёстой.
# Бүх хуулбарласан эх сурвалжтай BISQUIT-тай холбогдоно уу
-pf bpreplscriptsbisquit.pf - -д нэмэх replProc.pf Schema Holder-тэй холбогдох параметрүүд.
#Target Pro DB схем эзэмшигч
-db bisquitsh -ld bisquitsh
-H <ETL процессийн хостын нэр>
-S <biskuitsh брокер порт>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <Oracle брокерын хостын нэр>
-DataService orabroker1 - Параметр файлыг хадгална уу replProc.pf
- Дараа нь та лавлах дахь холбогдсон эх сурвалж бүрийн мэдээллийн сан бүрийн параметрийн файлуудыг үүсгэж, засварлахаар нээх хэрэгтэй C:Pro2bpreplScripts: bisquit.pf. pf файл бүр нь холбогдох мэдээллийн санд холбогдох параметрүүдийг агуулдаг, жишээлбэл:
-db bisquit -ld bisquit -H <hostname> -S <брокер порт>
-U pro2admin -P <нууц үг>
Windows-ийн товчлолыг тохируулахын тулд та лавлах руу очих хэрэгтэй C: Pro2bpreplScripts "Pro2 - Захиргаа" товчлолыг засна уу. Үүнийг хийхийн тулд товчлол болон мөрөнд байгаа шинж чанаруудыг нээнэ үү Эхлэх Pro2 суулгах лавлахыг заана уу. Үүнтэй төстэй үйлдлийг "Pro2 - Editor" болон "RunBulkLoader" товчлолуудад хийх ёстой.
Pro2 удирдлагын тохиргоо: Анхны тохиргоог ачаалж байна
Консолыг ажиллуулцгаая.
"DB Map" руу очно уу.
Pro2 - Удирдлага дахь мэдээллийн санг холбохын тулд таб руу очно уу DB газрын зураг. Эх сурвалжийн мэдээллийн сангийн зураглалыг нэмэх - Схем эзэмшигч - Oracle.
Таб руу оч Зураглал... Жагсаалтад Эх сурвалж мэдээллийн сан Анхдагч байдлаар, эхний холбогдсон эх сурвалжийн мэдээллийн санг сонгосон байна. Жагсаалтын баруун талд бичээс байх ёстой Бүх мэдээллийн сан холбогдсон — сонгосон мэдээллийн сангууд холбогдсон байна. Зүүн талын доор та bisquit-ийн явцын хүснэгтүүдийн жагсаалтыг харах ёстой. Баруун талд Oracle мэдээллийн сангаас авсан хүснэгтүүдийн жагсаалт байна.
Oracle дээр SQL схем болон мэдээллийн сан үүсгэх
Хуулбарлах газрын зураг үүсгэхийн тулд эхлээд үүсгэх хэрэгтэй SQL схем Oracle-д. Pro2 Administration-д бид цэсийн зүйлийг гүйцэтгэдэг Хэрэгсэл -> Код үүсгэх -> Зорилтот схем, дараа нь харилцах цонхонд Мэдээллийн санг сонго нэг буюу хэд хэдэн эх сурвалжийн мэдээллийн санг сонгоод баруун тийш шилжүүлнэ үү.
OK товчийг дараад SQL схемүүдийг хадгалах санг сонго.
Дараа нь бид суурийг бий болгоно. Үүнийг жишээ нь дамжуулан хийж болно Oracle SQL хөгжүүлэгч. Үүнийг хийхийн тулд бид Oracle мэдээллийн санд холбогдож, хүснэгт нэмэх схемийг ачаална. Oracle хүснэгтүүдийн найрлагыг өөрчилсний дараа та Schema Holder дахь SQL схемүүдийг шинэчлэх хэрэгтэй.
Татаж авах ажиллагаа амжилттай дууссаны дараа bisquitsh мэдээллийн сангаас гараад Pro2 удирдлагын самбарыг нээнэ үү. Oracle өгөгдлийн сангийн хүснэгтүүд баруун талд байрлах Газрын зургийн таб дээр гарч ирэх ёстой.
Хүснэгтийн зураглал
Хуулбарлах газрын зураг үүсгэхийн тулд Pro2 удирдлагын самбараас "Зураглал" таб руу очоод эх мэдээллийн санг сонгоно уу. Map Tables дээр товшоод Oracle дээр хуулбарлах ёстой хүснэгтүүдийн зүүн талд байгаа Select Changes гэснийг сонгоод баруун тийш шилжүүлж сонголтоо баталгаажуулна уу. Сонгосон хүснэгтүүдэд автоматаар газрын зураг үүснэ. Бид бусад эх сурвалжийн мэдээллийн сангуудад хуулбарлах газрын зураг үүсгэх үйлдлийг давтана.
Pro2 хуулбарлах процессорын номын сан болон бөөнөөр хуулбарлах процессорын программуудыг үүсгэх
Replication Processor Library нь Pro2 хуулбарлах дарааллыг боловсруулж, Oracle мэдээллийн санд өөрчлөлт оруулах захиалгат хуулбарлах процессуудад (ETLs) зориулагдсан болно. Хуулбарлах процессорын номын сангийн программууд нь үүсгэсний дараа лавлахад автоматаар хадгалагддаг bprepl/repl_proc (PROC_DIRECTORY параметр). Хуулбарлах процессорын санг үүсгэхийн тулд дараах руу очно уу Хэрэгсэл -> Код үүсгэх -> Процессорын номын сан. Үүсгэж дууссаны дараа програмууд лавлахад гарч ирнэ bprepl/repl_proc.
Бөөн ачаалах процессорын программуудыг Progress ABL (4GL) програмчлалын хэл дээр суурилсан эх сурвалжийн Прогресс мэдээллийн санг зорилтот Oracle мэдээллийн сантай синхрончлоход ашигладаг. Тэдгээрийг үүсгэхийн тулд цэсийн зүйл рүү очно уу Хэрэгсэл -> Код үүсгэх -> Бөөнөөр хуулбарлах процессор. Select Database харилцах цонхноос эх сурвалжийн өгөгдлийн сангуудыг сонгоод цонхны баруун талд зөөж, дарна уу OK. Үүсгэж дууссаны дараа програмууд лавлахад гарч ирнэ bpreplrepl_mpoc.
Pro2 дээр хуулбарлах процессуудыг тохируулж байна
Хүснэгтүүдийг тусад нь хуулбарлах урсгалаар үйлчилдэг багц болгон хуваах нь Pro2 Oracle-ийн гүйцэтгэл, үр ашгийг сайжруулдаг. Анхдагч байдлаар, хуулбарлах газрын зураг дээр шинээр хуулбарлах хүснэгтэд үүсгэсэн бүх холболтууд нь 1-р хэлхээний дугаартай холбоотой байдаг. Хүснэгтүүдийг өөр өөр хэлхээ болгон тусгаарлахыг зөвлөж байна.
Хуулбарлах хэлхээний төлөвийн талаарх мэдээллийг Replication Status хэсгийн Monitor табын Pro2 Administration дэлгэц дээр харуулна. Параметрийн утгын нарийвчилсан тайлбарыг Pro2 баримтаас (C: Pro2Docs лавлах) олж болно.
CDC бодлогуудыг үүсгэж идэвхжүүлнэ үү
Бодлого нь OpenEdge CDC хөдөлгүүрт зориулсан хүснэгтийн өөрчлөлтийг хянах дүрмийн багц юм. Бичиж байх үед Pro2 нь зөвхөн 0 түвшний CDC бодлогыг дэмждэг, өөрөөр хэлбэл зөвхөн баримтыг хянаж байдаг. өөрчлөлтийг бүртгэх.
CDC бодлогыг бий болгохын тулд удирдлагын самбар дээрх "Зураглал" таб руу орж, мэдээллийн эх сурвалжийг сонгоод Бодлого нэмэх/хасах товчийг дарна уу. Нээгдсэн "Өөрчлөлтийг сонгох" цонхны зүүн талд сонгоод CDC бодлогыг үүсгэх эсвэл устгах шаардлагатай хүснэгтүүдийг баруун тийш шилжүүлнэ үү.
Идэвхжүүлэхийн тулд Газрын зургийн табыг дахин нээж, эх сурвалжийн мэдээллийн санг сонгоод товчлуур дээр дарна уу (Дотоод) Бодлого идэвхжүүлэх. Хүснэгтийн баруун талд идэвхжүүлэх шаардлагатай бодлогыг сонгоод OK дарна уу. Үүний дараа тэдгээрийг ногооноор тэмдэглэнэ. Ашиглах замаар (Дотоод) Бодлого идэвхжүүлэх Та мөн CDC бодлогыг идэвхгүй болгож болно. Бүх гүйлгээ онлайнаар хийгддэг.
CDC бодлогыг идэвхжүүлсний дараа өөрчилсөн бүртгэлүүдийн талаарх тэмдэглэлийг хадгалах хэсэгт хадгална "ReplCDCArea" эх сурвалжийн мэдээллийн сангийн дагуу. Эдгээр тэмдэглэлийг тусгай процессоор боловсруулна CDCBatch, тэдгээрт үндэслэн мэдээллийн сан дахь Pro2 хуулбарлах дараалалд тэмдэглэл үүсгэх болно cdc (repl).
Тиймээс бид хуулбарлах хоёр дараалалтай байна. Эхний шат нь CDCBatch: эх сурвалжийн мэдээллийн сангаас эхлээд өгөгдөл нь CDC-ийн завсрын мэдээллийн сан руу ордог. Хоёрдахь шат нь CDC мэдээллийн сангаас өгөгдлийг Oracle руу шилжүүлэх явдал юм. Энэ нь одоогийн архитектур болон бүтээгдэхүүний өөрийн онцлог шинж чанар юм - өнөөг хүртэл хөгжүүлэгчид шууд хуулбарыг бий болгож чадаагүй байна.
Анхдагч синхрончлол
CDC механизмыг идэвхжүүлж, Pro2 хуулбарлах серверийг тохируулсны дараа бид анхны синхрончлолыг эхлүүлэх хэрэгтэй. Эхний синхрончлолын тушаал:
/pro2/bprepl/Script/replLoad.sh жигнэмэгийн хүснэгтийн нэр
Эхний синхрончлол дууссаны дараа хуулбарлах процессыг эхлүүлж болно.
Хуулбарлах процессуудын эхлэл
Хуулбарлах процессыг эхлүүлэхийн тулд та скрипт ажиллуулах хэрэгтэй replbatch.sh. Эхлэхээсээ өмнө бүх хэлхээнд replbatch скрипт байгаа эсэхийг шалгаарай - replbatch1, replbatch2 гэх мэт. Хэрэв бүх зүйл байгаа бол командын мөрийг нээнэ үү (жишээлбэл, proenv), лавлах руу очно уу /bprepl/скриптүүд мөн скриптийг эхлүүлнэ үү. Захиргааны самбарт бид холбогдох процесс АЖИЛЛАЖ БАЙГАА статусыг хүлээн авсан эсэхийг шалгана.
Результаты
Хэрэгжүүлсний дараа бид байгууллагын мэдээллийн агуулахад мэдээлэл байршуулах ажлыг ихээхэн хурдасгасан. Өгөгдөл автоматаар Oracle-д онлайнаар ордог. Янз бүрийн системээс мэдээлэл цуглуулахын тулд удаан үргэлжилсэн асуултуудыг ажиллуулж цаг үрэх шаардлагагүй. Нэмж дурдахад, энэ шийдэлд хуулбарлах процесс нь өгөгдлийг шахаж чаддаг бөгөөд энэ нь хурдад эерэг нөлөө үзүүлдэг. Одоо BISKVIT системийг бусад системүүдтэй өдөр бүр тааруулахад 15-20 цагийн оронд 2-2,5 минут зарцуулж эхэлсэн бөгөөд бүрэн эвлэрүүлэхэд хоёр өдрийн оронд хэдэн цаг зарцуулдаг.
Эх сурвалж: www.habr.com