Од 1999. године, за сервисирање бацк оффице-а, наша банка користи интегрисани банкарски систем БИСКВИТ на платформи Прогресс ОпенЕдге, која се широко користи широм света, укључујући и финансијски сектор. Перформансе овог ДБМС-а вам омогућавају да прочитате до милион или више записа у секунди у једној бази података (ДБ). Наш Прогресс ОпенЕдге сервисира око 1,5 милиона појединачних депозита и око 22,2 милиона уговора за активне производе (ауто кредити и хипотеке), а такође је одговоран за сва поравнања са регулатором (Централном банком) и СВИФТ-ом.
Користећи Прогресс ОпенЕдге, суочили смо се са потребом да он ради са Орацле ДБМС-ом. У почетку, овај пакет је био уско грло наше инфраструктуре – све док нисмо инсталирали и конфигурисали Про2 ЦДЦ – Прогресс производ који вам омогућава да директно, онлајн, шаљете податке из Прогресс ДБМС у Орацле ДБМС. У овом посту ћемо вам детаљно рећи, са свим замкама, како да ефикасно стекнете пријатеље између ОпенЕдге-а и Орацле-а.
Како се то догодило: отпремање података у КЦД путем дељења датотека
Прво, неке чињенице о нашој инфраструктури. Број активних корисника базе је приближно 15 хиљада. Обим свих продуктивних база података, укључујући реплику и стандби, је 600 ТБ, највећа база података је 16,5 ТБ. Истовремено, базе података се стално допуњују: само током прошле године додато је око 120 ТБ продуктивних података. Систем покреће 150 фронт сервера на к86 платформи. Базе података се налазе на 21 серверу ИБМ платформе.
Фронт-енд системи, различити основни банкарски системи и банкарске услуге су интегрисани са ОпенЕдге Прогресс-ом (БИСЦУИТ ИБС) преко Сониц ЕСБ магистрале. Учитавање података у КЦД се одвија путем размене датотека. До одређеног времена, ово решење је имало два велика проблема одједном – ниске перформансе учитавања информација у корпоративно складиште података (ЦДВ) и дуго време за обављање усаглашавања (усклађивања) података са другим системима.
Стога смо почели да тражимо алат који би могао да убрза ове процесе. Решење за оба проблема био је нови Прогресс ОпенЕдге производ – Про2 ЦДЦ (Цханге Дата Цаптуре). Дакле, почнимо.
Инсталирајте Прогресс ОпенЕдге и Про2Орацле
Да бисте покренули Про2 Орацле на Виндовс рачунару администратора, довољно је инсталирати Прогресс ОпенЕдге Девелопер Кит Цлассроом Едитион, који се може бесплатно. Подразумевани ОпенЕдге инсталациони директоријуми:
ДЛЦ: Ц:ПрогрессОпенЕдге
ВРК: Ц:ОпенЕдгеВРК
ЕТЛ процеси захтевају Прогресс ОпенЕдге лиценце верзије 11.7+ – наиме ОЕ ДатаСервер за Орацле и 4ГЛ развојни систем. Ове лиценце су укључене у Про2. За потпуни рад ДатаСервер-а за Орацле са удаљеном Орацле базом података, инсталиран је Фулл Орацле Цлиент.
На Орацле серверу морате инсталирати Орацле Датабасе 12+, креирати празну базу података и додати корисника (позовимо га цдц).
Да бисте инсталирали Про2Орацле, преузмите најновију дистрибуцију из центра за преузимање. Распакујте архиву у директоријум Ц:Про2 (Да бисте конфигурисали Про2 на Уник-у, користи се иста дистрибуција и примењују се исти принципи конфигурације).
Креирање базе података за репликацију цдц-а
База података репликације цдц (репл) Про2 се користи за чување информација о конфигурацији, укључујући мапу репликације, имена реплицираних база података и њихове табеле. Такође садржи ред репликације, који се састоји од белешки о чињеници да се ред табеле у изворној бази података променио. ЕТЛ процеси користе податке из реда репликације да идентификују редове које треба копирати у Орацле из изворне базе података.
Правимо посебну ЦДЦ базу података.
Процедура за креирање базе података
- На серверу базе података креирамо директоријум за цдц базу података - на пример, на серверу /датабасе/цдц/.
- Направите лутку за цдц базу података: процопи $ДЛЦ/празни цдц
- Омогућите подршку за велике датотеке: проутил цдц -Ц ЕнаблеЛаргеФилес
- Припремамо скрипту за покретање ЦДЦ базе података. Почетни параметри морају бити слични почетним параметрима реплициране базе података.
- Покрећемо ЦДЦ базу података.
- Повежите се на цдц базу података и учитајте Про2 шему из датотеке цдц.дф, који је укључен у Про2.
- У бази података цдц креирамо следеће кориснике:
про2адм – за повезивање са Про2 административног панела;
про2етл – за повезивање ЕТЛ процеса (РеплБатцх);
про2цдц – за повезивање ЦДЦ процеса (ЦДЦБатцх);
Активирање ОпенЕдге Цханге Дата Цаптуре
Сада укључимо сам ЦДЦ механизам уз помоћ којег ће се подаци реплицирати у додатну технолошку област. Свакој изворној бази података Прогресс ОпенЕдге потребно је да додате одвојене складишне области у које ће се дуплирати изворни подаци и активирати сам механизам помоћу команде проутил.
Пример процедуре за базу података бисквита
- Копирање из каталога Ц:Про2дб фајл цдцадд.ст у директоријум изворне базе података бискуит.
- Описујемо у цдцадд.ст фиксне величине за регионе „РеплЦДЦАреа“ и „РеплЦДЦАреа_ИДКС“. Можете додати нове складишне просторе на мрежи: прострцт аддонлине бискуит цдцадд.ст
- Активирајте ОпенЕдге ЦДЦ:
проутил бискуит -Ц енаблецдц област "РеплЦДЦАреа" индекареа "РеплЦДЦАреа_ИДКС" - Следећи корисници морају бити креирани у изворној бази података да би се идентификовали покренути процеси:
а. про2адм – за повезивање са Про2 административног панела.
б. про2етл – за повезивање ЕТЛ процеса (РеплБатцх).
ц. про2цдц – за повезивање ЦДЦ процеса (ЦДЦБатцх).
Креирање држача шеме за ДатаСервер за Орацле
Затим морамо да креирамо базу података Сцхема Холдер на серверу где ће подаци из Прогресс ДБМС бити реплицирани у Орацле ДБМС. ДатаСервер Сцхема Холдер је празна Прогресс ОпенЕдге база података без података о корисницима или апликацији, која садржи мапу кореспонденције између изворних табела и екстерних Орацле табела.
База података Сцхема Холдер за Прогресс ОпенЕдге ДатаСервер за Орацле за Про2 мора се налазити на серверу ЕТЛ процеса и креира се засебно за сваку грану.
Како направити држач шеме
- Распакујте Про2 дистрибуцију у директоријум /про2
- Креирајте и идите у директоријум /про2/дбсх
- Креирајте базу података Сцхема Холдер користећи команду цопи $ДЛЦ/емпти бискуитсх
- Извођење конверзије бискуитсх у потребно кодирање - на пример, у УТФ-8 ако Орацле базе података имају УТФ-8 кодирање: проутил бискуитсх -Ц цонвцхар претворити УТФ-8
- Након креирања празне базе података бискуитсх повежите се на њега у режиму за једног корисника: про бискуитсх
- Идемо на речник података: Алати -> Речник података -> ДатаСервер -> ОРАЦЛЕ Услужни програми -> Креирај шему сервера података
- Покрените држач шеме
- Подешавање брокера Орацле ДатаСервер:
а. Покрените АдминСервер.
проадсв -старт
б. Почетак Орацле ДатаСервер брокера
ораман -име ораброкер1 -старт
Подешавање административног панела и шеме репликације
Користећи Про2 административни панел, Про2 параметри се конфигуришу, укључујући подешавање шеме репликације и генерисање ЕТЛ процеса (Процесорска библиотека), примарних програма за синхронизацију (Булк-Цопи Процессор), покретача репликације и ОпенЕдге ЦДЦ политика. Постоје и примарни алати за праћење и управљање ЕТЛ и ЦДЦ процесима. Пре свега, постављамо датотеке параметара.
Како конфигурисати датотеке параметара
- Иди у каталог Ц:Про2бпреплСцриптс
- Отворите датотеку за уређивање реплПроц.пф
- Додајте параметре везе у базу података за репликацију цдц:
# База података репликације
-дб цдц -лд репл -Х <име хоста главне базе података> -С <порт цдц посредника базе података>
-У про2админ -П <пассворд> - Додати реплПроц.пф параметри повезивања са изворним базама података и држачем шеме у облику датотека параметара. Име датотеке параметара мора да одговара имену изворне базе података која се повезује.
# Повежите се са свим реплицираним изворима БИСКУИТ
-пф бпреплсцриптсбискуит.пф - Додати реплПроц.пф параметри за повезивање са држачем шеме.
#Таргет Про ДБ држач шеме
-дб бискуитсх -лд бискуитсх
-Х <име хоста ЕТЛ процеса>
-С <бискуитсх брокер порт>
-дб бискуитскл
-лд бискуитскл
-дт ОРАЦЛЕ
-С 5162 -Х <име хоста Орацле брокера>
-ДатаСервице ораброкер1 - Сачувајте датотеку са параметрима реплПроц.пф
- Затим морате да креирате и отворите за уређивање датотека параметара за сваку повезану изворну базу података у директоријуму Ц:Про2бпреплСцриптс: бискуит.пф. Свака пф датотека садржи параметре за повезивање са одговарајућом базом података, на пример:
-дб бискуит -лд бискуит -Х <име хоста> -С <порт брокера>
-У про2админ -П <пассворд>
Да бисте конфигурисали Виндовс пречице, морате да одете у директоријум Ц:Про2бпреплСцриптс и уредите пречицу „Про2 – Администрација“. Да бисте то урадили, отворите својства пречице и у линији Почни У означите Про2 инсталациони директоријум. Слична операција се мора урадити за пречице „Про2 – Едитор“ и „РунБулкЛоадер“.
Про2 Администратион Сетуп: Учитавање почетне конфигурације
Хајде да покренемо конзолу.
Идите на „ДБ мапу“.
Да бисте повезали базе података у Про2 – Администрација, идите на картицу ДБ Мап. Додајте мапирање изворних база података - Држач шеме - Орацле.
Идите на картицу Мапирање. Наведено Изворна база података Подразумевано је изабрана прва повезана изворна база података. Десно од листе треба да стоји натпис Све базе података повезане — изабране базе података су повезане. Испод са леве стране требало би да видите листу Прогрес табела из бискуита. Десно је листа табела из Орацле базе података.
Креирање СКЛ шема и база података у Орацле-у
Да бисте креирали мапу репликације, прво морате да генеришете СКЛ шема у Орацле. У Про2 администрацији извршавамо ставку менија Алати -> Генериши код -> Циљна шема, а затим у дијалогу Изаберите База података изаберите једну или више изворних база података и померите их удесно.
Кликните на ОК и изаберите директоријум за чување СКЛ шема.
Затим креирамо базу. Ово се може урадити, на пример, преко Орацле СКЛ Девелопер. Да бисмо то урадили, повезујемо се са Орацле базом података и учитавамо шему за додавање табела. Након промене састава Орацле табела, потребно је да ажурирате СКЛ шеме у држачу шеме.
Након што је преузимање успешно завршено, изађите из базе података бискуитсх и отворите Про2 административни панел. Табеле из Орацле базе података треба да се појаве на картици Мапирање са десне стране.
Мапирање табеле
Да бисте креирали мапу репликације, у Про2 административној табли идите на картицу Мапирање и изаберите изворну базу података. Кликните на Мап Таблес, изаберите Селецт Цхангес на левој страни табела које треба да се реплицирају у Орацле-у, померите их удесно и потврдите избор. Мапа ће се аутоматски креирати за изабране табеле. Понављамо операцију да креирамо мапу репликације за друге изворне базе података.
Генерисање Про2 процесорске библиотеке за репликацију и процесорских програма за масовно копирање
Библиотека процесора репликације је дизајнирана за прилагођене процесе репликације (ЕТЛ) који обрађују Про2 ред репликације и уносе промене у Орацле базу података. Програми библиотеке процесора репликације се аутоматски чувају у директоријуму након генерисања бпрепл/репл_проц (параметар ПРОЦ_ДИРЕЦТОРИ). Да бисте генерисали библиотеку процесора за репликацију, идите на Алати -> Генериши код -> Библиотека процесора. Након што се генерисање заврши, програми ће се појавити у директоријуму бпрепл/репл_проц.
Програми Булк Лоад Процессор се користе за синхронизацију изворних Прогресс база података са циљном Орацле базом података заснованом на програмском језику Прогресс АБЛ (4ГЛ). Да бисте их генерисали, идите на ставку менија Алати -> Генериши код -> Процесор за масовно копирање. У дијалогу Изаберите базу података изаберите изворне базе података, померите их на десну страну прозора и кликните OK. Након што се генерисање заврши, програми ће се појавити у директоријуму бпреплрепл_мпроц.
Подешавање процеса репликације у Про2
Подела табела на скупове које опслужује засебна нит репликације побољшава перформансе и ефикасност Про2 Орацле-а. Подразумевано, све везе креиране у мапи репликације за нове табеле репликације су повезане са нити број 1. Препоручује се да се табеле раздвоје у различите нити.
Информације о статусу нити репликације приказане су на екрану Про2 Администратион на картици Монитор у одељку Статус репликације. Детаљан опис вредности параметара може се наћи у Про2 документацији (директоријум Ц:Про2Доцс).
Креирајте и активирајте ЦДЦ политике
Смернице су скуп правила за ОпенЕдге ЦДЦ механизам за праћење промена у табелама. У тренутку писања, Про2 подржава само ЦДЦ политике са нивоом 0, односно надгледа се само чињеница бележите промене.
Да бисте креирали политику ЦДЦ-а, на административној табли идите на картицу Мапирање, изаберите изворну базу података и кликните на дугме Додај/уклони смернице. У прозору Селецт Цхангес који се отвори, изаберите са леве стране и померите удесно табеле за које треба да креирате или избришете ЦДЦ полису.
Да бисте активирали, поново отворите картицу Мапирање, изаберите изворну базу података и кликните на дугме (Не)Активирајте политике. Изаберите и померите на десну страну табеле смернице које треба да се активирају, кликните на ОК. Након тога су означени зеленом бојом. Коришћењем (Не)Активирајте политике Такође можете деактивирати политике ЦДЦ-а. Све трансакције се обављају онлајн.
Након што се ЦДЦ политика активира, белешке о измењеним записима се чувају у области за складиштење „РеплЦДЦАреа“ према изворној бази података. Ове белешке ће бити обрађене кроз посебан процес ЦДЦБатцх, који ће на основу њих креирати белешке у Про2 реду за репликацију у бази података цдц (репл).
Дакле, имамо два реда за репликацију. Прва фаза је ЦДЦБатцх: из изворне базе података, подаци прво иду у средњу ЦДЦ базу података. Друга фаза је када се подаци преносе из ЦДЦ базе података у Орацле. Ово је карактеристика тренутне архитектуре и самог производа - до сада програмери нису успели да успоставе директну репликацију.
Примарна синхронизација
Након омогућавања ЦДЦ механизма и подешавања Про2 сервера за репликацију, потребно је да започнемо почетну синхронизацију. Иницијална команда за синхронизацију:
/про2/бпрепл/Сцрипт/реплЛоад.сх бискуит име-табеле
Након што је почетна синхронизација завршена, могу се покренути процеси репликације.
Почетак процеса репликације
Да бисте покренули процесе репликације, потребно је да покренете скрипту реплбатцх.сх. Пре него што почнете, уверите се да постоје реплбатцх скрипте за све нити - реплбатцх1, реплбатцх2, итд. Ако је све на месту, отворите командну линију (нпр. проенв), идите у именик /бпрепл/сцриптс и покрените скрипту. У административном панелу проверавамо да ли је одговарајући процес добио статус РУННИНГ.
Налази
Након имплементације, значајно смо убрзали отпремање информација у корпоративно складиште података. Подаци аутоматски улазе у Орацле на мрежи. Нема потребе да губите време на покретање неких дуготрајних упита за прикупљање података из различитих система. Поред тога, у овом решењу процес репликације може компримовати податке, што такође позитивно утиче на брзину. Сада је дневно усаглашавање система БИСКВИТ са другим системима почело да траје 15-20 минута уместо 2-2,5 сата, а потпуно усаглашавање је трајало неколико сати уместо два дана.
Извор: ввв.хабр.цом