1999 жылдан бастап бэк-офиске қызмет көрсету үшін біздің банк бүкіл әлемде, соның ішінде қаржы секторында кеңінен қолданылатын Progress OpenEdge платформасында BISKVIT интеграцияланған банк жүйесін пайдаланады. Бұл ДҚБЖ өнімділігі бір дерекқорда (ДҚ) секундына миллионға дейін немесе одан да көп жазбаларды оқуға мүмкіндік береді. Біздің Progress OpenEdge 1,5 миллионға жуық жеке депозиттерге және белсенді өнімдерге (автокредиттер мен ипотека) шамамен 22,2 миллион келісімшартқа қызмет көрсетеді, сонымен қатар реттеуші (Орталық банк) және SWIFT-пен барлық есеп айырысуларға жауапты.
Progress OpenEdge көмегімен біз оны Oracle ДҚБЖ-мен жұмыс істеу қажеттілігіне тап болдық. Бастапқыда бұл жинақ біздің инфрақұрылымымыздың тар жолы болды - біз Pro2 CDC орнатып, конфигурациялағанға дейін - Progress ДҚБЖ деректерін Oracle ДҚБЖ-ға тікелей онлайн жіберуге мүмкіндік беретін Progress өнімі. Бұл постта біз сізге OpenEdge және Oracle арасында қалай тиімді достасуға болатынын егжей-тегжейлі айтып береміз.
Бұл қалай болды: файлдарды ортақ пайдалану арқылы деректерді QCD-ге жүктеп салу
Біріншіден, біздің инфрақұрылымымыз туралы кейбір деректер. Деректер базасын белсенді пайдаланушылар саны шамамен 15 мың. Барлық өнімді дерекқорлардың көлемі көшірме және күту режимін қоса алғанда 600 ТБ, ең үлкен деректер базасы 16,5 ТБ. Сонымен қатар, деректер базалары үнемі толықтырылып отырады: тек соңғы жылдың ішінде шамамен 120 ТБ өнімді деректер қосылды. Жүйе x150 платформасындағы 86 алдыңғы сервермен жұмыс істейді. Дерекқорлар 21 IBM платформасының серверінде орналастырылған.
Front-end жүйелері, әртүрлі негізгі банк жүйелері және банк қызметтері Sonic ESB шинасы арқылы OpenEdge Progress (BISCUIT IBS) бағдарламасымен біріктірілген. QCD-ге деректерді жүктеп салу файл алмасу арқылы жүзеге асады. Белгілі бір уақытқа дейін бұл шешімде бірден екі үлкен мәселе болды - корпоративтік деректер қоймасына (CDW) ақпаратты жүктеудің төмен өнімділігі және басқа жүйелермен деректерді салыстыруды (салыстырмалы) орындау үшін ұзақ уақыт.
Сондықтан біз бұл процестерді жылдамдататын құралды іздей бастадық. Екі мәселенің де шешімі Progress OpenEdge жаңа өнімі болды – Pro2 CDC (Деректерді түсіруді өзгерту). Сонымен, бастайық.
Progress OpenEdge және Pro2Oracle орнатыңыз
Әкімшінің Windows компьютерінде Pro2 Oracle бағдарламасын іске қосу үшін Progress OpenEdge Developer Kit Classroom Edition орнату жеткілікті. Тегін. Әдепкі OpenEdge орнату каталогтары:
DLC: C: ProgressOpenEdge
WRK: C: OpenEdgeWRK
ETL процестері Progress OpenEdge лицензияларының 11.7+ нұсқасын талап етеді, атап айтқанда Oracle үшін OE DataServer және 4GL Development System. Бұл лицензиялар Pro2 құрамына кіреді. Қашықтағы Oracle дерекқорымен DataServer for Oracle толық жұмыс істеуі үшін Full Oracle Client орнатылған.
Oracle серверінде Oracle Database 12+ орнатып, бос дерекқорды жасап, пайдаланушыны қосу керек (оны шақырайық) cdc).
Pro2Oracle орнату үшін жүктеу орталығынан соңғы дистрибутивті жүктеп алыңыз. Мұрағатты каталогқа ашыңыз C: Pro2 (Unix жүйесінде Pro2 конфигурациялау үшін бірдей тарату пайдаланылады және бірдей конфигурация принциптері қолданылады).
CD репликациясының дерекқорын жасау
Репликация дерекқоры cdc (қайталау) Pro2 репликация картасын, репликацияланған дерекқорлардың атауларын және олардың кестелерін қоса алғанда, конфигурация ақпаратын сақтау үшін пайдаланылады. Ол сондай-ақ бастапқы дерекқордағы кесте жолының өзгергені туралы жазбалардан тұратын репликация кезегін қамтиды. Репликация кезегінен алынған деректерді бастапқы дерекқордан Oracle-ға көшіру қажет жолдарды анықтау үшін ETL процестері пайдаланылады.
Біз жеке cdc дерекқорын жасаймыз.
Мәліметтер қорын құру тәртібі
- Деректер базасының серверінде біз cdc деректер қоры үшін каталог жасаймыз - мысалы, серверде /деректер базасы/cdc/.
- CDC дерекқоры үшін манекен жасаңыз: $DLC/бос CDC көшіру
- Үлкен файлдарды қолдауды қосыңыз: proutil cdc -C EnableLargeFiles
- Біз cdc дерекқорын іске қосу үшін сценарий дайындаймыз. Бастау параметрлері қайталанатын дерекқордың бастау параметрлеріне ұқсас болуы керек.
- Біз cdc дерекқорын бастаймыз.
- CDC дерекқорына қосылыңыз және файлдан Pro2 схемасын жүктеңіз cdc.df, ол Pro2 құрамына кіреді.
- Біз cdc дерекқорында келесі пайдаланушыларды жасаймыз:
pro2adm – Pro2 әкімшілік панелінен қосылу үшін;
pro2etl – ETL процестерін қосу үшін (ReplBatch);
pro2cdc – CDC процестерін қосу үшін (CDCBatch);
OpenEdge өзгерту деректерін түсіру мүмкіндігін қосу
Енді CDC механизмінің өзін қосамыз, оның көмегімен деректер қосымша технологиялық аймаққа көшіріледі. Әрбір Progress OpenEdge бастапқы дерекқорына бастапқы деректер қайталанатын бөлек сақтау аймақтарын қосу керек және пәрменді пайдаланып механизмнің өзін белсендіру керек. мақтаныш.
Бисквит дерекқорына арналған мысал процедурасы
- Каталогтан көшіру C: Pro2db файл cdcadd.st bisquit көзі дерекқор каталогына.
- ішінде сипаттаймыз cdcadd.st аймақтар үшін белгіленген өлшем ауқымдары "ReplCDCArea" и "ReplCDCArea_IDX". Жаңа сақтау аймақтарын желіде қосуға болады: prostrct addonline bisquit cdcadd.st
- OpenEdge CDC іске қосыңыз:
proutil bisquit -C enablecdc аймағы "ReplCDCArea" индексі "ReplCDCArea_IDX" - Жұмыс істеп тұрған процестерді анықтау үшін бастапқы дерекқорда келесі пайдаланушылар жасалуы керек:
а. pro2adm – Pro2 әкімшілік тақтасынан қосылуға арналған.
б. pro2etl – ETL процестерін қосу үшін (ReplBatch).
в. pro2cdc – CDC процестерін қосу үшін (CDCBatch).
Oracle үшін DataServer үшін схема ұстағышын жасау
Әрі қарай, серверде Прогресс ДҚБЖ деректері Oracle ДҚБЖ көшірілетін Schema Holder дерекқорын жасауымыз керек. DataServer Schema Holder — пайдаланушылар немесе қолданба деректері жоқ, бастапқы кестелер мен сыртқы Oracle кестелері арасындағы сәйкестік картасын қамтитын бос Progress OpenEdge дерекқоры.
Progress OpenEdge DataServer for Oracle for Pro2 бағдарламасына арналған Schema Holder дерекқоры ETL процесс серверінде орналасуы керек, ол әрбір филиал үшін бөлек жасалады.
Схема ұстағышын қалай жасауға болады
- Pro2 дистрибутивін каталогқа шығарыңыз /pro2
- Құрыңыз және каталогқа өтіңіз /pro2/dbsh
- Пәрменді пайдаланып Schema Holder дерекқорын жасаңыз $DLC/бос бисквит көшіріңіз
- Түрлендіруді орындау бисквит талап етілетін кодтауға - мысалы, Oracle дерекқорларында UTF-8 кодтауы болса, UTF-8-де: proutil bisquitsh -C convchar UTF-8 түрлендіру
- Бос дерекқорды жасағаннан кейін бисквит оған бір пайдаланушы режимінде қосылыңыз: pro бисквитш
- Деректер сөздігіне барайық: Құралдар -> Деректер сөздігі -> Деректер сервері -> ORACLE утилиталары -> Деректер серверінің схемасын жасау
- Схема ұстағышын іске қосыңыз
- Oracle DataServer брокерін орнату:
а. AdminServer іске қосыңыз.
proadsv - бастау
б. Oracle DataServer брокерінің іске қосылуы
oraman -orabroker1 -бастау
Әкімшілік панельді және репликация схемасын орнату
Pro2 әкімшілік тақтасын пайдалану арқылы Pro2 параметрлері конфигурацияланады, соның ішінде репликация схемасын орнату және ETL процестерін жасау (Процессор кітапханасы), бастапқы үндестіру бағдарламалары (Жаппай көшіру процессоры), репликация триггерлері және OpenEdge CDC саясаттары. Сондай-ақ ETL және CDC процестерін бақылау және басқарудың негізгі құралдары бар. Ең алдымен, біз параметр файлдарын орнатамыз.
Параметрлік файлдарды қалай конфигурациялауға болады
- Каталогқа өтіңіз C:Pro2bpreplScripts
- Өңдеу үшін файлды ашыңыз replProc.pf
- Қосылым параметрлерін cdc репликация дерекқорына қосыңыз:
# Репликация дерекқоры
-db cdc -ld repl -H <негізгі дерекқор хост аты> -S <деректер базасының брокер порты cdc>
-U pro2admin -P <құпия сөз> - Қосу replProc.pf бастапқы дерекқорларға және параметр файлдары түріндегі схема ұстағышына қосылу параметрлері. Параметрлер файлының атауы қосылып жатқан бастапқы дерекқордың атына сәйкес келуі керек.
# Барлық қайталанатын көздерге BISQUIT қосылыңыз
-pf bpreplscriptsbisquit.pf - Қосу replProc.pf Схема ұстағышына қосылу параметрлері.
#Target Pro DB схемасының ұстағышы
-db bisquitsh -ld бисквитш
-H <ETL процесінің хост атауы>
-S <biskuitsh брокер порты>
-db bisquitsql
-ld bisquitsql
-dt ORACLE
-S 5162 -H <Oracle брокерінің хост атауы>
-DataService orabroker1 - Параметрлер файлын сақтаңыз replProc.pf
- Әрі қарай, каталогтағы әрбір қосылған бастапқы дерекқор үшін параметр файлдарын жасау және өңдеу үшін ашу қажет C:Pro2bpreplScripts: bisquit.pf. Әрбір pf файлында сәйкес дерекқорға қосылу параметрлері бар, мысалы:
-db bisquit -ld bisquit -H <хост аты> -S <брокер порты>
-U pro2admin -P <құпия сөз>
Windows таңбашаларын конфигурациялау үшін каталогқа өту керек C:Pro2bpreplScripts және “Pro2 – Administration” таңбашасын өңдеңіз. Ол үшін таңбашаның және жолдың қасиеттерін ашыңыз Бастау Pro2 орнату каталогын көрсетіңіз. Ұқсас әрекетті “Pro2 – Editor” және “RunBulkLoader” таңбашалары үшін орындау керек.
Pro2 Administration Setup: Бастапқы конфигурацияны жүктеу
Консольді іске қосайық.
«ДҚ картасына» өтіңіз.
Pro2 – Әкімшілікте дерекқорларды байланыстыру үшін қойындыға өтіңіз ДҚ картасы. Бастапқы дерекқорлардың картасын қосу - Схема ұстаушысы - Oracle.
Қойындыға өтіңіз Карталау. Тізімде Бастапқы деректер қоры Әдепкі бойынша, бірінші қосылған бастапқы дерекқор таңдалады. Тізімнің оң жағында жазу болуы керек Барлық дерекқорлар қосылған — таңдалған дерекқорлар қосылған. Төменде сол жақта бисквиттен прогресс кестелерінің тізімін көруіңіз керек. Оң жақта Oracle дерекқорындағы кестелер тізімі.
Oracle бағдарламасында SQL схемалары мен деректер қорын жасау
Репликация картасын жасау үшін алдымен жасау керек SQL схемасы Oracle-да. Pro2 әкімшілігінде біз мәзір пунктін орындаймыз Құралдар -> Кодты жасау -> Мақсатты схема, содан кейін диалогтық терезеде Деректер базасын таңдаңыз бір немесе бірнеше дерекқорды таңдап, оларды оңға жылжытыңыз.
OK түймесін басып, SQL схемаларын сақтау үшін каталогты таңдаңыз.
Әрі қарай біз негіз жасаймыз. Мұны, мысалы, арқылы жасауға болады Oracle SQL әзірлеушісі. Ол үшін Oracle дерекқорына қосылып, кестелерді қосу схемасын жүктейміз. Oracle кестелерінің құрамын өзгерткеннен кейін схема ұстағышындағы SQL схемаларын жаңарту қажет.
Жүктеп алу сәтті аяқталғаннан кейін bisquitsh дерекқорынан шығып, Pro2 әкімшілік тақтасын ашыңыз. Oracle дерекқорындағы кестелер оң жақтағы «Салыстыру» қойындысында пайда болуы керек.
Кестені бейнелеу
Репликация картасын жасау үшін Pro2 әкімшілік тақтасында «Салыстыру» қойындысына өтіп, бастапқы дерекқорды таңдаңыз. Карта кестелері түймесін басып, Oracle бағдарламасында қайталанатын кестелердің сол жағындағы Өзгерістерді таңдау пәрменін таңдаңыз, оларды оңға жылжытыңыз және таңдауды растаңыз. Таңдалған кестелер үшін карта автоматты түрде жасалады. Басқа бастапқы дерекқорлар үшін репликация картасын жасау операциясын қайталаймыз.
Pro2 репликация процессорының кітапханасын және жаппай көшіру процессорлық бағдарламаларын жасау
Репликация процессорының кітапханасы Pro2 репликация кезегін өңдейтін және Oracle дерекқорына өзгертулерді жіберетін теңшелетін репликация процестеріне (ETL) арналған. Репликация процессорының кітапханалық бағдарламалары генерациядан кейін автоматты түрде каталогқа сақталады bprepl/repl_proc (PROC_DIRECTORY параметрі). Репликация процессорының кітапханасын жасау үшін өтіңіз Құралдар -> Кодты жасау -> Процессорлар кітапханасы. Генерациялау аяқталғаннан кейін бағдарламалар каталогта пайда болады bprepl/repl_proc.
Bulk Load Processor бағдарламалары бастапқы Progress дерекқорларын Progress ABL (4GL) бағдарламалау тіліне негізделген мақсатты Oracle дерекқорымен синхрондау үшін пайдаланылады. Оларды жасау үшін мәзір элементіне өтіңіз Құралдар -> Кодты жасау -> Жаппай көшіру процессоры. Дерекқорды таңдау тілқатысу терезесінде бастапқы дерекқорларды таңдап, оларды терезенің оң жағына жылжытыңыз және басыңыз OK. Генерациялау аяқталғаннан кейін бағдарламалар каталогта пайда болады bpreplrepl_mpoc.
Pro2 жүйесінде репликация процестерін орнату
Кестелерді бөлек репликация ағыны арқылы қызмет көрсететін жиындарға бөлу Pro2 Oracle өнімділігі мен тиімділігін жақсартады. Әдепкі бойынша, жаңа репликация кестелері үшін репликация картасында жасалған барлық қосылымдар ағынның нөмірі 1мен байланыстырылады. Кестелерді әртүрлі ағындарға бөлу ұсынылады.
Шағылыстыру ағындарының күйі туралы ақпарат Репликация күйі бөліміндегі Монитор қойындысындағы Pro2 Administration экранында көрсетіледі. Параметр мәндерінің толық сипаттамасын Pro2 құжаттамасында (C:Pro2Docs каталогы) табуға болады.
CDC саясаттарын жасаңыз және белсендіріңіз
Саясат кестелердегі өзгерістерді бақылауға арналған OpenEdge CDC механизміне арналған ережелер жиынтығы. Жазу кезінде Pro2 тек 0 деңгейі бар CDC саясаттарын қолдайды, яғни тек факт бақыланады өзгерістерді жазып алу.
CDC саясатын жасау үшін әкімшілік тақтасында «Салыстыру» қойындысына өтіп, бастапқы дерекқорды таңдап, «Саясаттарды қосу/жою» түймесін басыңыз. Ашылатын Өзгерістерді таңдау терезесінде сол жақтан таңдап, CDC саясатын жасау немесе жою қажет кестелерді оңға жылжытыңыз.
Белсендіру үшін «Салыстыру» қойындысын қайтадан ашыңыз, бастапқы дерекқорды таңдап, түймені басыңыз (In) Саясаттарды белсендіру. Белсендіру қажет саясаттарды таңдап, кестенің оң жағына жылжытыңыз, OK түймесін басыңыз. Осыдан кейін олар жасыл түспен белгіленеді. Көмегімен (In) Саясаттарды белсендіру Сондай-ақ CDC саясаттарын өшіруге болады. Барлық транзакциялар онлайн режимінде жүзеге асырылады.
CDC саясаты іске қосылғаннан кейін өзгертілген жазбалар туралы ескертпелер сақтау аймағына сақталады "ReplCDCArea" дерекқорға сәйкес. Бұл жазбалар арнайы процесс арқылы өңделеді CDCBatch, олардың негізінде дерекқордағы Pro2 репликация кезегінде ескертпелер жасайды cdc (қайталау).
Осылайша, бізде репликация үшін екі кезек бар. Бірінші кезең - CDCBatch: бастапқы дерекқордан деректер алдымен CDC аралық дерекқорына өтеді. Екінші кезең - деректер CDC дерекқорынан Oracle-ға тасымалданады. Бұл қазіргі архитектураның және өнімнің өзіндік ерекшелігі - әзірлеушілер осы уақытқа дейін тікелей репликацияны орната алмады.
Бастапқы синхрондау
CDC механизмін қосқаннан және Pro2 репликация серверін орнатқаннан кейін біз бастапқы синхрондауды бастауымыз керек. Бастапқы синхрондау пәрмені:
/pro2/bprepl/Script/replLoad.sh бисквит кесте атауы
Бастапқы синхрондау аяқталғаннан кейін репликация процестерін бастауға болады.
Репликация процестерінің басталуы
Репликация процестерін бастау үшін сценарийді іске қосу керек replbatch.sh. Бастамас бұрын, барлық ағындар үшін replbatch сценарийлері бар екеніне көз жеткізіңіз - replbatch1, replbatch2 және т.б. Егер бәрі орнында болса, пәрмен жолын ашыңыз (мысалы, proenv), каталогқа өтіңіз /bprepl/скрипттер және сценарийді бастаңыз. Әкімшілік панелінде сәйкес процестің ОРЫНДАУ күйін алғанын тексереміз.
нәтижелері
Енгізгеннен кейін біз корпоративтік деректер қоймасына ақпаратты жүктеуді айтарлықтай жеделдеттік. Деректер автоматты түрде Oracle жүйесіне онлайн түседі. Әртүрлі жүйелерден деректерді жинау үшін ұзақ жұмыс істейтін сұрауларды орындауға уақытты ысырап етудің қажеті жоқ. Сонымен қатар, бұл шешімде репликация процесі деректерді қыса алады, бұл да жылдамдыққа оң әсер етеді. Енді BISKVIT жүйесін басқа жүйелермен күнделікті салыстыру 15-20 сағаттың орнына 2-2,5 минутты алады, ал толық салыстыру екі күннің орнына бірнеше сағатты алады.
Ақпарат көзі: www.habr.com