Аз соли 1999 барои хидматрасонӣ ба бэк-офис, бонки мо системаи муттаҳидшудаи бонкии BISKVIT-ро дар платформаи Progress OpenEdge, ки дар тамоми ҷаҳон, аз ҷумла дар бахши молиявӣ васеъ истифода мешавад, истифода мебарад. Фаъолияти ин DBMS ба шумо имкон медиҳад, ки дар як махзани маълумот (МБ) дар як сония то як миллион ё бештар сабтро хонед. Progress OpenEdge мо тақрибан ба 1,5 миллион пасандозҳои инфиродӣ ва тақрибан 22,2 миллион шартнома барои маҳсулоти фаъол (қарзҳои мошин ва ипотека) хидмат мерасонад ва инчунин барои ҳама ҳисоббаробаркуниҳо бо танзимгар (Бонки марказӣ) ва SWIFT масъул аст.
Бо истифода аз Progress OpenEdge, мо ба зарурати кор кардани он бо DBMS Oracle дучор шудем. Дар ибтидо, ин баста монеаи инфрасохтори мо буд - то он даме, ки мо Pro2 CDC-ро насб ва танзим кардем - маҳсулоти Progress, ки ба шумо имкон медиҳад маълумотро аз DBMS Progress ба DBMS Oracle мустақиман онлайн ирсол кунед. Дар ин мақола мо ба шумо бо тамоми домҳо ба таври муфассал нақл хоҳем кард, ки чӣ тавр байни OpenEdge ва Oracle ба таври муассир дӯстӣ пайдо кардан мумкин аст.
Чӣ тавр рӯй дод: боркунии маълумот ба QCD тавассути мубодилаи файл
Аввалан, баъзе далелҳо дар бораи инфрасохтори мо. Шумораи корбарони фаъоли махзани маълумот тақрибан 15 ҳазор нафарро ташкил медиҳад. Ҳаҷми тамоми пойгоҳи додаҳои истеҳсолӣ, аз ҷумла нусхабардорӣ ва интизорӣ, 600 TB, бузургтарин пойгоҳи додаҳо 16,5 TB мебошад. Дар айни замой, базахо мунтазам пурра карда мешаванд: танхо дар давоми як соли охир кариб 120 TB маълумотхои истехсолй илова карда шуданд. Система аз ҷониби 150 серверҳои пеш дар платформаи x86 таъмин карда мешавад. Пойгоҳи додаҳо дар 21 серверҳои платформаи IBM ҷойгир шудаанд.
Системаҳои фронталӣ, системаҳои гуногуни асосии бонкӣ ва хидматҳои бонкӣ бо OpenEdge Progress (BISCUIT IBS) тавассути автобуси Sonic ESB муттаҳид карда мешаванд. Боркунии маълумот ба QCD тавассути мубодилаи файл сурат мегирад. То як лаҳзаи муайян, ин ҳалли якбора ду мушкилоти калон дошт - иҷрои пасти боркунии маълумот ба анбори додаҳои корпоративӣ (CDW) ва муддати тӯлонӣ барои ҳамоҳангсозии додаҳо (мусосабакунӣ) бо дигар системаҳо.
Аз ин рӯ, мо ба ҷустуҷӯи асбобе шурӯъ кардем, ки ин равандҳоро суръат бахшад. Ҳалли ҳарду мушкилот маҳсулоти нави Progress OpenEdge буд - Pro2 CDC (Change Data Capture). Пас, биёед оғоз кунем.
Progress OpenEdge ва Pro2Oracle насб кунед
Барои ба кор даровардани Pro2 Oracle дар компютери маъмури Windows, насб кардани Progress OpenEdge Kit Developer Classroom Edition кифоя аст, ки метавонад бепул. Феҳристҳои насби OpenEdge пешфарз:
DLC: C: ProgressOpenEdge
WRK: C: OpenEdgeWRK
Равандҳои ETL иҷозатномаҳои Progress OpenEdge версияи 11.7+ -ро талаб мекунанд, яъне OE DataServer барои Oracle ва System Development 4GL. Ин иҷозатномаҳо ба Pro2 дохил карда шудаанд. Барои кори пурраи DataServer for Oracle бо махзани дурдасти Oracle, Full Oracle Client насб шудааст.
Дар сервери Oracle ба шумо лозим аст, ки Oracle Database 12+ -ро насб кунед, базаи холӣ эҷод кунед ва корбарро илова кунед (бигзор ба ӯ занг занем) Садо Ояндасоз).
Барои насб кардани Pro2Oracle, паҳнкунии охиринро аз маркази зеркашӣ зеркашӣ кунед. Архивро ба директория кушоед C: Pro2 (Барои конфигуратсияи Pro2 дар Unix, ҳамон тақсимот истифода мешавад ва ҳамон принсипҳои конфигуратсия татбиқ мешаванд).
Эҷоди пойгоҳи нусхаи CDc
Пойгоҳи такрорӣ cdc (репл) Pro2 барои нигоҳ доштани иттилооти конфигуратсия, аз ҷумла харитаи такрорӣ, номҳои пойгоҳи додаҳои такрорӣ ва ҷадвалҳои онҳо истифода мешавад. Он инчунин навбати такрориро дар бар мегирад, ки аз ёддоштҳо дар бораи тағир додани сатри ҷадвал дар базаи манбаъ иборат аст. Маълумот аз навбати такрорӣ аз ҷониби равандҳои ETL барои муайян кардани сатрҳое истифода мешавад, ки бояд аз пойгоҳи додаҳои манбаъ ба Oracle нусхабардорӣ карда шаванд.
Мо базаи алоҳидаи CDC эҷод мекунем.
Тартиби ташкили базаи маълумот
- Дар сервери базаи маълумотҳо мо директорияро барои базаи CDC эҷод мекунем - масалан, дар сервер /базаи маълумот/cdc/.
- Барои пойгоҳи додаҳои CDc як муҷаррад эҷод кунед: $DLC/cdc холӣ нусхабардорӣ кунед
- Дастгирии файлҳои калонро фаъол созед: proutil cdc -C EnableLargeFiles
- Мо скриптро барои оғоз кардани базаи CDC омода мекунем. Параметрҳои оғоз бояд ба параметрҳои оғози пойгоҳи додаҳои такрорӣ монанд бошанд.
- Мо базаи CDC-ро оғоз мекунем.
- Ба пойгоҳи додаҳои cdc пайваст шавед ва схемаи Pro2-ро аз файл бор кунед cdc.df, ки ба Pro2 дохил карда шудааст.
- Мо корбарони зеринро дар базаи CDC эҷод мекунем:
pro2adm - барои пайвастшавӣ аз панели маъмурии Pro2;
pro2etl - барои пайваст кардани равандҳои ETL (ReplBatch);
pro2cdc - барои пайваст кардани равандҳои CDC (CDCBatch);
Фаъолсозии OpenEdge Change Data Capture
Акнун биёед худи механизми CDC-ро ба кор андозем, ки бо ёрии он маълумот ба минтақаи иловагии технология такрор карда мешавад. Ба ҳар як махзани манбаи Progress OpenEdge, шумо бояд минтақаҳои нигаҳдории ҷудогона илова кунед, ки дар онҳо маълумоти манбаъ такрор карда мешавад ва худи механизмро бо истифода аз фармон фаъол созед. proutil.
Тартиби намунавӣ барои пойгоҳи додаҳои бисквит
- Нусхабардорӣ аз каталог C: Pro2db файл cdcadd.st ба феҳристи базаи манбаи bisquit.
- Мо дар cdcadd.st андозаи муайян барои минтақаҳо "ReplCDCArea" и "ReplCDCArea_IDX". Шумо метавонед минтақаҳои нави нигоҳдории онлайн илова кунед: prostrct addonline bisquit cdcadd.st
- OpenEdge CDC-ро фаъол созед:
proutil bisquit -C enablecdc майдони "ReplCDCArea" indexarea "ReplCDCArea_IDX" - Барои муайян кардани равандҳои иҷрошаванда дар пойгоҳи додаҳои манбаъ корбарони зерин бояд эҷод карда шаванд:
а. pro2adm - барои пайвастшавӣ аз панели маъмурии Pro2.
б. pro2etl - барои пайваст кардани равандҳои ETL (ReplBatch).
в. pro2cdc - барои пайваст кардани равандҳои CDC (CDCBatch).
Эҷоди Дорандаи схема барои DataServer барои Oracle
Баъдан, мо бояд дар сервер пойгоҳи додаҳои Schema Holder эҷод кунем, ки дар он маълумот аз DBMS Progress ба DBMS Oracle такрор карда мешавад. DataServer Schema Holder як махзани холии Progress OpenEdge бе корбарон ё додаҳои барнома мебошад, ки дорои харитаи мукотиба байни ҷадвалҳои манбаъ ва ҷадвалҳои берунии Oracle мебошад.
Махзани маълумотҳои Schema Holder барои Progress OpenEdge DataServer for Oracle for Pro2 бояд дар сервери раванди ETL ҷойгир бошад; он барои ҳар як филиал алоҳида сохта мешавад.
Чӣ тавр сохтани Дорандаи схема
- Тақсимоти Pro2-ро ба директория кушоед /pro2
- Эҷод кунед ва ба директория равед /pro2/dbsh
- Бо истифода аз фармон пойгоҳи додаҳои Schema Holder эҷод кунед нусхабардорӣ $ DLC / bisquitsh холӣ
- Иҷрои табдилдиҳӣ бисквит ба рамзгузории зарурӣ - масалан, дар UTF-8, агар пойгоҳи додаҳои Oracle рамзгузории UTF-8 дошта бошанд: proutil bisquitsh -C convchar табдил UTF-8
- Пас аз сохтани базаи холӣ бисквит ба он дар ҳолати ягонаи корбар пайваст шавед: тарафдори бисквитш
- Биёед ба луғати маълумот равем: Асбобҳо -> Луғати маълумот -> DataServer -> Utilities ORACLE -> Схемаи DataServer эҷод кунед
- Дорандаи схемаро оғоз кунед
- Насб кардани брокери Oracle DataServer:
а. AdminServer оғоз кунед.
proadsv - оғоз
б. Оғози брокери Oracle DataServer
oraman -ном orabroker1 -оғоз
Танзими панели маъмурӣ ва нақшаи такрорӣ
Бо истифода аз панели маъмурии Pro2, параметрҳои Pro2 танзим карда мешаванд, аз ҷумла насб кардани схемаи такрорӣ ва тавлиди равандҳои ETL (Китобхонаи протсессорӣ), барномаҳои синхронизатсияи ибтидоӣ (Processor-Copy), триггерҳои такрорӣ ва сиёсатҳои OpenEdge CDC. Инчунин воситаҳои асосӣ барои назорат ва идоракунии равандҳои ETL ва CDC мавҷуданд. Пеш аз ҳама, мо файлҳои параметрҳоро насб мекунем.
Чӣ тавр танзим кардани файлҳои параметр
- Ба каталог равед C: Pro2bpreplScripts
- Файлро барои таҳрир кушоед replProc.pf
- Ба базаи нусхабардории cdc параметрҳои пайвастшавӣ илова кунед:
# Пойгоҳи маълумоти такрорӣ
-db cdc -ld repl -H <номи асосии пойгоҳи додаҳо> -S <порти брокери базаи маълумот cdc>
-U pro2admin -P <парол> - илова ба replProc.pf параметрҳои пайвастшавӣ ба пойгоҳи додаҳои сарчашма ва Schema Holder дар шакли файлҳои параметр. Номи файли параметрҳо бояд ба номи манбаи пойгоҳи додаи пайвастшаванда мувофиқат кунад.
# Ба ҳама манбаъҳои такроршаванда BISQUIT пайваст шавед
-pf bpreplscriptsbisquit.pf - илова ба replProc.pf параметрҳо барои пайвастшавӣ ба Schema Holder.
Дорандаи схемаи #Target Pro DB
-db bisquitsh -ld bisquitsh
-H <Номи мизбони раванди ETL>
-S <бандаргоҳи брокери biskuitsh>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <Номи мизбони брокери Oracle>
-Брокери DataService1 - Файли параметрҳоро захира кунед replProc.pf
- Баъдан, шумо бояд барои таҳрир кардани файлҳои параметрҳо барои ҳар як пойгоҳи додаи сарчашмаи пайвастшуда дар директория эҷод ва кушоед C: Pro2bpreplScripts: bisquit.pf. Ҳар як файли pf дорои параметрҳои пайвастшавӣ ба пойгоҳи додаҳои мувофиқ мебошад, масалан:
-db bisquit -ld bisquit -H <номи мизбон> -S <бандаргоҳи брокер>
-U pro2admin -P <парол>
Барои танзим кардани миёнабурҳои Windows, шумо бояд ба директория равед C: Pro2bpreplScripts ва миёнабури "Pro2 - Administration" -ро таҳрир кунед. Барои ин хосиятҳои миёнабур ва дар сатрро кушоед Оғоз дар директорияи насби Pro2-ро нишон диҳед. Амалиёти шабеҳ бояд барои миёнабурҳои "Pro2 - Editor" ва "RunBulkLoader" анҷом дода шавад.
Setup Administration Pro2: Боркунии конфигуратсияи ибтидоӣ
Биёед консолро оғоз кунем.
Ба "Харитаи DB" гузаред.
Барои пайваст кардани пойгоҳи додаҳо дар Pro2 - Маъмурият, ба ҷадвал равед Харитаи DB. Илова кардани харитаи пойгоҳи додаҳои манбаъ - Дорандаи схема - Oracle.
Ба ҷадвал равед харитасозї. Дар рӯйхат Пойгоҳи додаҳо Бо нобаёнӣ, аввалин пойгоҳи додаи манбаи пайваст интихоб карда мешавад. Дар тарафи рости рӯйхат бояд навиштаҷот мавҷуд бошад Ҳама пойгоҳи додаҳо пайвастанд — базахои интихобшуда пайваст карда шудаанд. Дар зер дар тарафи чап шумо бояд рӯйхати ҷадвалҳои пешрафтро аз bisquit бинед. Дар тарафи рост рӯйхати ҷадвалҳо аз базаи Oracle мавҷуд аст.
Эҷоди схемаҳои SQL ва пойгоҳи додаҳо дар Oracle
Барои сохтани харитаи такрорӣ, шумо бояд аввал тавлид кунед Схемаи SQL дар Oracle. Дар Administration Pro2 мо банди менюро иҷро мекунем Асбобҳо -> Эҷоди код -> Схемаи ҳадаф, пас дар қуттии муколама Махзани маълумотро интихоб кунед як ё якчанд пойгоҳи додаҳои манбаъро интихоб кунед ва онҳоро ба рост ҳаракат кунед.
Хуб-ро пахш кунед ва директорияро барои захира кардани схемаҳои SQL интихоб кунед.
Минбаъд мо базаро эҷод мекунем. Инро, масалан, тавассути Таҳиягари Oracle SQL. Барои ин, мо ба базаи Oracle пайваст мешавем ва схемаро барои илова кардани ҷадвалҳо бор мекунем. Пас аз тағир додани таркиби ҷадвалҳои Oracle, шумо бояд схемаҳои SQL-ро дар Дорандаи Schema навсозӣ кунед.
Пас аз бомуваффақият анҷом ёфтани зеркашӣ, аз пойгоҳи додаҳои bisquitsh хориҷ шавед ва панели маъмурии Pro2-ро кушоед. Ҷадвалҳои базаи Oracle бояд дар ҷадвали Харитасозӣ дар тарафи рост пайдо шаванд.
Харитасозии ҷадвал
Барои сохтани харитаи такрорӣ, дар панели маъмурии Pro2, ба ҷадвали Харитасозӣ гузаред ва пойгоҳи додаи манбаъро интихоб кунед. Ҷадвалҳои харитаро клик кунед, Тағиротро дар тарафи чапи ҷадвалҳо интихоб кунед, ки бояд дар Oracle такрор карда шаванд, онҳоро ба тарафи рост интиқол диҳед ва интихобро тасдиқ кунед. Барои ҷадвалҳои интихобшуда харита ба таври худкор сохта мешавад. Мо амалиётро барои сохтани харитаи такрорӣ барои дигар пойгоҳи додаҳои манбаъ такрор мекунем.
Истеҳсоли Pro2 Китобхонаи протсессори такрорӣ ва барномаҳои протсессори оммавии нусхабардорӣ
Китобхонаи протсессори такрорӣ барои равандҳои такрории фармоишӣ (ETLs) тарҳрезӣ шудааст, ки навбати репликатсияи Pro2-ро коркард мекунанд ва тағиротро ба махзани Oracle таҳрик медиҳанд. Барномаҳои китобхонаи протсессори такрорӣ пас аз насл ба таври худкор дар директория захира карда мешаванд bprepl/repl_proc (параметри PROC_DIRECTORY). Барои тавлиди китобхонаи протсессори такрорӣ, гузаред Асбобҳо -> Эҷоди код -> Китобхонаи протсессор. Пас аз тавлид, барномаҳо дар директория пайдо мешаванд bprepl/repl_proc.
Барномаҳои Bulk Load Processor барои ҳамоҳангсозии пойгоҳи додаҳои сарчашмаи Progress бо базаи мақсадноки Oracle дар асоси забони барномасозии Progress ABL (4GL) истифода мешаванд. Барои тавлиди онҳо, ба банди меню гузаред Асбобҳо -> Эҷоди код -> Протсессори оммавии нусхабардорӣ. Дар равзанаи муколамаи Интихоби Махзани маълумот базаҳои манбаъро интихоб кунед, онҳоро ба тарафи рости равзана интиқол диҳед ва клик кунед OK. Пас аз тавлид, барномаҳо дар директория пайдо мешаванд bpreplrepl_mpoc.
Танзими равандҳои такрорӣ дар Pro2
Тақсим кардани ҷадвалҳо ба маҷмӯаҳое, ки тавассути риштаи такрории алоҳида хидмат мекунанд, кор ва самаранокии Pro2 Oracle-ро беҳтар мекунад. Бо нобаёнӣ, ҳама пайвастагиҳое, ки дар харитаи такрорӣ барои ҷадвалҳои такрории нав сохта шудаанд, бо риштаи рақами 1 алоқаманданд. Тавсия дода мешавад, ки ҷадвалҳоро ба риштаҳои гуногун ҷудо кунед.
Маълумот дар бораи ҳолати риштаҳои такрорӣ дар экрани Administration Pro2 дар ҷадвали Монитор дар бахши Ҳолати такрорӣ нишон дода мешавад. Тавсифи муфассали арзишҳои параметрҳоро дар ҳуҷҷатҳои Pro2 (директорияи C: Pro2Docs) пайдо кардан мумкин аст.
Сиёсати CDC эҷод ва фаъол созед
Сиёсатҳо маҷмӯи қоидаҳо барои муҳаррики OpenEdge CDC барои назорат кардани тағирот дар ҷадвалҳо мебошанд. Ҳангоми навиштан, Pro2 танҳо сиёсатҳои CDC-ро бо сатҳи 0 дастгирӣ мекунад, яъне танҳо далел назорат карда мешавад. тағиротро сабт кунед.
Барои эҷод кардани сиёсати CDC, дар панели маъмурӣ, ба ҷадвали Харитасозӣ гузаред, пойгоҳи додаҳои манбаъро интихоб кунед ва тугмаи Илова/Нест кардани сиёсатҳоро клик кунед. Дар равзанаи Интихоби тағирот, ки кушода мешавад, дар тарафи чап интихоб кунед ва ба рост ҷадвалҳоеро, ки барои онҳо сиёсати CDC эҷод кардан ё нест кардан лозим аст, ҳаракат кунед.
Барои фаъол кардан, боз ҷадвали Харитасозӣ -ро кушоед, базаи манбаъро интихоб кунед ва тугмаро пахш кунед (Дар) Сиёсатҳоро фаъол созед. Сиёсатҳоеро, ки бояд фаъол карда шаванд, интихоб кунед ва ба тарафи рости ҷадвал ҳаракат кунед, OK-ро пахш кунед. Пас аз ин онҳо бо ранги сабз ишора карда мешаванд. Бо истифода (Дар) Сиёсатҳоро фаъол созед Шумо инчунин метавонед сиёсатҳои CDC-ро ғайрифаъол кунед. Ҳама транзаксияҳо онлайн анҷом дода мешаванд.
Пас аз фаъол шудани сиёсати CDC, қайдҳо дар бораи сабтҳои тағирёфта дар минтақаи нигоҳдорӣ захира карда мешаванд "ReplCDCArea" мувофиқи базаи манбаъ. Ин қайдҳо тавассути раванди махсус коркард карда мешаванд CDCBatch, ки дар асоси онҳо қайдҳоро дар навбати такрории Pro2 дар пойгоҳи додаҳо эҷод мекунанд cdc (репл).
Ҳамин тариқ, мо ду навбат барои такрорӣ дорем. Марҳилаи аввал CDCBatch аст: аз базаи манбаъ маълумот аввал ба базаи мобайнии CDC меравад. Марҳилаи дуюм он аст, ки маълумот аз базаи CDC ба Oracle интиқол дода мешавад. Ин як хусусияти меъмории ҷорӣ ва худи маҳсулот аст - то ҳол таҳиягарон натавонистанд такрори мустақимро таъсис диҳанд.
Синхронизатсияи ибтидоӣ
Пас аз фаъол кардани механизми CDC ва насб кардани сервери такрории Pro2, мо бояд ҳамоҳангсозии ибтидоиро оғоз кунем. Фармони ибтидоии ҳамоҳангсозӣ:
/pro2/bprepl/Script/replLoad.sh бисквит мизи-ном
Пас аз анҷоми синхронизатсияи ибтидоӣ, равандҳои такрориро оғоз кардан мумкин аст.
Оғози равандҳои такрорӣ
Барои оғози равандҳои такрорӣ шумо бояд скриптро иҷро кунед replbatch.sh. Пеш аз оғоз, боварӣ ҳосил кунед, ки скриптҳои такрорӣ барои ҳама риштаҳо мавҷуданд - replbatch1, replbatch2 ва ғайра. Агар ҳама чиз дар ҷои худ бошад, сатри фармонро кушоед (масалан, proenv), ба директория равед /bprepl/скриптҳо ва скриптро оғоз кунед. Дар панели маъмурӣ мо месанҷем, ки раванди мувофиқ мақоми ДАВАЙ гирифтааст.
натиҷаҳои
Пас аз татбиқ, мо боркунии маълумотро ба анбори додаҳои корпоративӣ хеле суръат додем. Маълумот ба таври худкор ба Oracle онлайн ворид мешавад. Барои ҷамъоварии маълумот аз системаҳои гуногун вақтро сарф кардан лозим нест. Илова бар ин, дар ин ҳалли раванди такрорӣ метавонад маълумотро фишурда кунад, ки ин ба суръат низ таъсири мусбат мерасонад. Акнун муросокунии харрузаи системаи BISKVIT бо дигар системахо ба чои 15—20 соат 2—2,5 дакика ва барои муросо кардани пурра ба чои ду руз чанд соат вакт сарф мекард.
Манбаъ: will.com