Progress OpenEdge 뱅킹 시스템과 Oracle DBMS를 친구로 만드는 방법

우리 은행은 1999년부터 백오피스 서비스를 위해 금융권을 비롯한 전 세계적으로 널리 사용되고 있는 Progress OpenEdge 플랫폼에 통합 뱅킹 시스템 BISKVIT을 사용해 왔습니다. 이 DBMS의 성능으로 인해 하나의 데이터베이스(DB)에서 초당 최대 1,5만 개 이상의 레코드를 읽을 수 있습니다. 당사의 Progress OpenEdge는 약 22,2만 건의 개인 예금과 약 XNUMX만 건의 활성 상품(자동차 대출 및 모기지) 계약을 서비스하고 있으며, 규제 기관(중앙 은행) 및 SWIFT와의 모든 결제도 담당합니다.

Progress OpenEdge를 사용하면서 우리는 Oracle DBMS와 함께 작동하도록 해야 한다는 필요성에 직면했습니다. 처음에는 이 번들이 우리 인프라의 병목 현상이었습니다. Pro2 CDC를 설치하고 구성하기 전까지는 Progress DBMS에서 Oracle DBMS로 직접 온라인으로 데이터를 보낼 수 있는 Progress 제품이었습니다. 이 게시물에서는 모든 함정과 함께 OpenEdge와 Oracle을 효과적으로 친구로 만드는 방법을 자세히 설명하겠습니다.

경위: 파일 공유를 통해 QCD에 데이터 업로드

첫째, 우리 인프라에 관한 몇 가지 사실입니다. 데이터베이스의 활성 사용자 수는 약 15명입니다. 복제본과 대기 ​​데이터베이스를 포함한 모든 생산 데이터베이스의 볼륨은 600TB이고, 가장 큰 데이터베이스는 16,5TB입니다. 동시에 데이터베이스는 지속적으로 보충되고 있습니다. 작년에만 약 120TB의 생산 데이터가 추가되었습니다. 이 시스템은 x150 플랫폼의 전면 서버 86개로 구동됩니다. 데이터베이스는 21개의 IBM 플랫폼 서버에서 호스팅됩니다.

프런트 엔드 시스템, 다양한 코어 뱅킹 시스템 및 뱅킹 서비스는 Sonic ESB 버스를 통해 OpenEdge Progress(BISCUIT IBS)와 통합됩니다. QCD로의 데이터 업로드는 파일 교환을 통해 이루어집니다. 일정 시점까지 이 솔루션에는 기업 데이터 웨어하우스(CDW)에 정보를 업로드하는 성능이 낮고, 다른 시스템과의 데이터 조정(조정)을 수행하는 데 오랜 시간이 걸린다는 두 가지 큰 문제가 동시에 있었습니다.

따라서 우리는 이러한 프로세스의 속도를 높일 수 있는 도구를 찾기 시작했습니다. 두 문제에 대한 해결책은 새로운 Progress OpenEdge 제품인 Pro2 CDC(Change Data Capture)였습니다. 그럼 시작해 보겠습니다.

Progress OpenEdge 및 Pro2Oracle 설치

관리자의 Windows 컴퓨터에서 Pro2 Oracle을 실행하려면 Progress OpenEdge Developer Kit Classroom Edition을 설치하면 충분합니다. 다운로드 무료로. 기본 OpenEdge 설치 디렉터리:

DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK

ETL 프로세스에는 Progress OpenEdge 라이센스 버전 11.7+, 즉 Oracle용 OE DataServer 및 4GL 개발 시스템이 필요합니다. 이러한 라이센스는 Pro2에 포함되어 있습니다. 원격 Oracle 데이터베이스와 함께 DataServer for Oracle을 완벽하게 작동하려면 전체 Oracle 클라이언트가 설치됩니다.

Oracle 서버에 Oracle Database 12+를 설치하고 빈 데이터베이스를 생성한 후 사용자를 추가해야 합니다(그를 호출하겠습니다). cdc).

Pro2Oracle을 설치하려면 다운로드 센터에서 최신 배포판을 다운로드하세요. 진행 소프트웨어. 아카이브를 디렉토리에 압축 해제 C:프로2 (Unix에서 Pro2를 구성하려면 동일한 배포판이 사용되며 동일한 구성 원칙이 적용됩니다.)

CDC 복제 데이터베이스 생성

복제 데이터베이스 CDC(대체) Pro2는 복제 맵, 복제된 데이터베이스 이름 및 해당 테이블을 포함한 구성 정보를 저장하는 데 사용됩니다. 또한 소스 데이터베이스의 테이블 행이 변경되었다는 사실에 대한 메모로 구성된 복제 큐도 포함되어 있습니다. 복제 큐의 데이터는 ETL 프로세스에서 소스 데이터베이스에서 Oracle로 복사해야 하는 행을 식별하는 데 사용됩니다.

별도의 CDC 데이터베이스를 생성하고 있습니다.

데이터베이스 생성 절차

1. 데이터베이스 서버에서 우리는 cdc 데이터베이스용 디렉터리를 생성합니다. 예를 들어 서버에 /데이터베이스/cdc/.
2. cdc 데이터베이스에 대한 더미를 만듭니다. 프로카피 $DLC/빈 CDC
3. 대용량 파일 지원 활성화: proutil cdc -C EnableLargeFiles
4. cdc 데이터베이스를 시작하기 위한 스크립트를 준비합니다. 시작 매개변수는 복제된 데이터베이스의 시작 매개변수와 유사해야 합니다.
5. CDC 데이터베이스를 시작합니다.
6. cdc 데이터베이스에 연결하고 파일에서 Pro2 스키마를 로드합니다. CDC.df, Pro2에 포함되어 있습니다.
7. cdc 데이터베이스에 다음 사용자를 생성합니다.

pro2adm – Pro2 관리 패널에서 연결하기 위한 것입니다.
pro2etl – ETL 프로세스 연결용(ReplBatch)
pro2cdc – CDC 프로세스 연결용(CDCBatch)

OpenEdge 변경 데이터 캡처 활성화

이제 데이터가 추가 기술 영역에 복제되는 데 도움을 받아 CDC 메커니즘 자체를 활성화해 보겠습니다. 각 Progress OpenEdge 소스 데이터베이스에 소스 데이터가 복제될 별도의 저장 영역을 추가하고 다음 명령을 사용하여 메커니즘 자체를 활성화해야 합니다. 프로틸.

Bisquit 데이터베이스의 예제 절차

1. 카탈로그에서 복사 C:Pro2db файл cdcadd.st 비스킷 소스 데이터베이스 디렉터리로 이동합니다.
2. 우리는 cdcadd.st 지역의 고정 크기 범위 "ReplCDC 영역" и "ReplCDCArea_IDX". 온라인으로 새 저장 영역을 추가할 수 있습니다. prostrct addonline 비스킷 cdcadd.st
3. OpenEdge CDC 활성화:
   proutil bisquit -C 활성화cdc 영역 "ReplCDCArea" indexarea "ReplCDCArea_IDX"
4. 실행 중인 프로세스를 식별하려면 소스 데이터베이스에 다음 사용자를 생성해야 합니다.
   ㅏ. pro2adm – Pro2 관리 패널에서 연결하기 위한 것입니다.
   비. pro2etl – ETL 프로세스 연결용(ReplBatch)
   씨. pro2cdc – CDC 프로세스 연결용(CDCBatch).

Oracle용 DataServer에 대한 스키마 홀더 생성

다음으로 Progress DBMS의 데이터가 Oracle DBMS에 복제될 서버에 스키마 홀더 데이터베이스를 생성해야 합니다. DataServer 스키마 홀더는 소스 테이블과 외부 Oracle 테이블 간의 대응 맵을 포함하는 사용자 또는 애플리케이션 데이터가 없는 빈 Progress OpenEdge 데이터베이스입니다.

Pro2용 Oracle용 Progress OpenEdge DataServer의 스키마 홀더 데이터베이스는 ETL 프로세스 서버에 있어야 하며 각 지점마다 별도로 생성됩니다.

스키마 홀더를 만드는 방법

1. Pro2 배포판을 디렉터리에 압축 해제 /프로2
2. 디렉토리 생성 및 이동 /pro2/dbsh
3. 다음 명령을 사용하여 스키마 홀더 데이터베이스를 생성합니다. $DLC/빈 비스킷시 복사
4. 변환 수행 비스킷시 필요한 인코딩으로 변환합니다. 예를 들어 Oracle 데이터베이스에 UTF-8 인코딩이 있는 경우 UTF-8로: proutil bisquitsh -C convchar 변환 UTF-8
5. 빈 데이터베이스를 생성한 후 비스킷시 단일 사용자 모드로 연결합니다: 프로 비스킷시
6. 데이터 사전으로 이동해 보겠습니다. 도구 -> 데이터 사전 -> DataServer -> ORACLE 유틸리티 -> DataServer 스키마 생성
7. 스키마 홀더 실행
8. Oracle DataServer 브로커 설정:
   ㅏ. AdminServer를 시작합니다.
   proadsv -시작
   비. Oracle DataServer 브로커 시작
   oraman -이름 orabroker1 -start

관리 패널 및 복제 구성표 설정

Pro2 관리 패널을 사용하면 복제 체계 설정, ETL 프로세스(프로세서 라이브러리), 기본 동기화 프로그램(대량 복사 프로세서), 복제 트리거 및 OpenEdge CDC 정책 생성을 포함하여 Pro2 매개변수가 구성됩니다. ETL 및 CDC 프로세스를 모니터링하고 관리하기 위한 기본 도구도 있습니다. 우선 매개변수 파일을 설정합니다.

매개변수 파일을 구성하는 방법

1. 카탈로그로 이동 C:Pro2bprepl스크립트
2. 편집할 파일을 엽니다. replProc.pf
3. cdc 복제 데이터베이스에 연결 매개변수를 추가합니다.
   # 복제 데이터베이스
   -db cdc -ld repl -H <기본 데이터베이스 호스트 이름> -S <데이터베이스 브로커 포트 cdc>
   -U pro2admin -P <비밀번호>
4. 다음에 추가 replProc.pf 매개변수 파일 형식의 소스 데이터베이스 및 스키마 홀더에 대한 연결 매개변수입니다. 매개변수 파일의 이름은 연결되는 소스 데이터베이스의 이름과 일치해야 합니다.
   # 복제된 모든 소스에 연결 BISQUIT
   -pf bpreplscriptsbisquit.pf
5. 다음에 추가 replProc.pf 스키마 홀더에 연결하기 위한 매개변수입니다.
   #Target Pro DB 스키마 홀더
   -db 비스킷시 -ld 비스킷시
   -H <ETL 프로세스 호스트 이름>
   -S <biskuitsh 브로커 포트>
   -db 비스킷SQL
   -ld 비스킷SQL
   -dt 오라클
   -S 5162 -H <Oracle 브로커 호스트 이름>
   -DataService orabroker1
6. 매개변수 파일 저장 replProc.pf
7. 다음으로 디렉토리에 연결된 소스 데이터베이스 각각에 대한 편집용 매개변수 파일을 생성하고 열어야 합니다. C:Pro2bprepl스크립트: bisquit.pf. 각 pf 파일에는 해당 데이터베이스에 연결하기 위한 매개변수가 포함되어 있습니다. 예:
   -db bisquit -ld bisquit -H <호스트 이름> -S <브로커 포트>
   -U pro2admin -P <비밀번호>

Windows 바로가기를 구성하려면 해당 디렉토리로 이동해야 합니다. C:Pro2bprepl스크립트 "Pro2 – 관리" 바로가기를 편집하세요. 이렇게 하려면 바로가기의 속성을 열고 해당 줄에서 에서 시작 Pro2 설치 디렉터리를 나타냅니다. "Pro2 – Editor" 및 "RunBulkLoader" 단축키에 대해서도 유사한 작업을 수행해야 합니다.

Pro2 관리 설정: 초기 구성 로드

콘솔을 실행해 보겠습니다.

"DB 맵"으로 이동합니다.

Pro2 – 관리에서 데이터베이스를 연결하려면 탭으로 이동하세요. DB 맵. 소스 데이터베이스 매핑 추가 - 스키마 홀더 - Oracle.

탭으로 이동 매핑. 상장 소스 데이터베이스 기본적으로 처음 연결된 소스 데이터베이스가 선택됩니다. 목록 오른쪽에 비문이 있어야합니다 모든 데이터베이스가 연결됨 — 선택한 데이터베이스가 연결되었습니다. 왼쪽 아래에는 비스킷의 진행 상황 테이블 목록이 표시됩니다. 오른쪽에는 Oracle 데이터베이스의 테이블 목록이 있습니다.

Oracle에서 SQL 스키마 및 데이터베이스 생성

복제 맵을 생성하려면 먼저 생성해야 합니다. SQL 스키마 오라클에서. Pro2 관리에서는 메뉴 항목을 실행합니다. 도구 -> 코드 생성 -> 대상 스키마, 대화 상자에서 데이터베이스 선택 하나 이상의 소스 데이터베이스를 선택하고 오른쪽으로 이동합니다.

확인을 클릭하고 SQL 스키마를 저장할 디렉터리를 선택합니다.

다음으로 베이스를 만듭니다. 예를 들어 다음을 통해 이 작업을 수행할 수 있습니다. Oracle SQL 개발자. 이를 위해 Oracle 데이터베이스에 연결하고 테이블 추가를 위한 스키마를 로드합니다. Oracle 테이블의 구성을 변경한 후에는 스키마 홀더에서 SQL 스키마를 업데이트해야 합니다.

다운로드가 성공적으로 완료된 후 bisquitsh 데이터베이스를 종료하고 Pro2 관리 패널을 엽니다. Oracle 데이터베이스의 테이블이 오른쪽의 매핑 탭에 나타나야 합니다.

테이블 매핑

복제 맵을 생성하려면 Pro2 관리 패널에서 매핑 탭으로 이동하여 소스 데이터베이스를 선택합니다. Map Tables를 클릭하고 Oracle에서 복제해야 하는 테이블 왼쪽에서 Select Changes를 선택한 다음 오른쪽으로 이동하고 선택을 확인합니다. 선택한 테이블에 대해 맵이 자동으로 생성됩니다. 다른 소스 데이터베이스에 대한 복제 맵을 생성하기 위해 작업을 반복합니다.

Pro2 복제 프로세서 라이브러리 및 대량 복사 프로세서 프로그램 생성

복제 프로세서 라이브러리는 Pro2 복제 대기열을 처리하고 변경 사항을 Oracle 데이터베이스에 푸시하는 사용자 정의 복제 프로세스(ETL)용으로 설계되었습니다. 복제 프로세서 라이브러리 프로그램은 생성 후 자동으로 디렉토리에 저장됩니다. bprepl/repl_proc(PROC_DIRECTORY 매개변수). 복제 프로세서 라이브러리를 생성하려면 다음으로 이동하세요. 도구 -> 코드 생성 -> 프로세서 라이브러리. 생성이 완료되면 프로그램이 디렉토리에 나타납니다. bprepl/repl_proc.

대량 로드 프로세서 프로그램은 Progress ABL(4GL) 프로그래밍 언어를 기반으로 소스 Progress 데이터베이스를 대상 Oracle 데이터베이스와 동기화하는 데 사용됩니다. 생성하려면 메뉴 항목으로 이동하세요. 도구 -> 코드 생성 -> 대량 복사 프로세서. 데이터베이스 선택 대화 상자에서 원본 데이터베이스를 선택하고 창 오른쪽으로 이동한 후 OK. 생성이 완료되면 프로그램이 디렉토리에 나타납니다. bpreplrepl_mproc.

Pro2에서 복제 프로세스 설정

테이블을 별도의 복제 스레드가 제공하는 세트로 분할하면 Pro2 Oracle의 성능과 효율성이 향상됩니다. 기본적으로 새 복제 테이블에 대한 복제 맵에서 생성된 모든 연결은 스레드 번호 1과 연결됩니다. 테이블을 서로 다른 스레드로 분리하는 것이 좋습니다.

복제 스레드 상태에 대한 정보는 Pro2 관리 화면의 복제 상태 섹션에 있는 모니터 탭에 표시됩니다. 매개변수 값에 대한 자세한 설명은 Pro2 문서(디렉토리 C:Pro2Docs)에서 확인할 수 있습니다.

CDC 정책 생성 및 활성화

정책은 OpenEdge CDC 엔진이 테이블 변경 사항을 모니터링하기 위한 규칙 집합입니다. 이 글을 쓰는 시점에서 Pro2는 레벨 0의 CDC 정책만 지원합니다. 즉, 사실만 모니터링됩니다. 변경 사항을 기록하다.

CDC 정책을 생성하려면 관리 패널에서 매핑 탭으로 이동하여 소스 데이터베이스를 선택한 후 정책 추가/제거 버튼을 클릭하세요. 열리는 변경 사항 선택 창에서 왼쪽에서 CDC 정책을 생성하거나 삭제해야 하는 테이블을 선택하고 오른쪽으로 이동합니다.

활성화하려면 매핑 탭을 다시 열고 소스 데이터베이스를 선택한 후 버튼을 클릭하세요. (에서)정책 활성화. 활성화해야 하는 정책을 선택하여 테이블 오른쪽으로 이동한 후 확인을 클릭합니다. 그 후에는 녹색으로 표시됩니다. 사용하여 (에서)정책 활성화 CDC 정책을 비활성화할 수도 있습니다. 모든 거래는 온라인으로 이루어집니다.

CDC 정책이 활성화되면 수정된 기록에 대한 메모가 저장 영역에 저장됩니다. "ReplCDC 영역" 소스 데이터베이스에 따르면. 이 메모는 특별한 프로세스를 통해 처리됩니다. CDCBatch이를 기반으로 데이터베이스의 Pro2 복제 대기열에 메모가 생성됩니다. CDC(대체).

따라서 복제를 위한 두 개의 대기열이 있습니다. 첫 번째 단계는 CDCBatch입니다. 원본 데이터베이스의 데이터는 먼저 중간 CDC 데이터베이스로 이동합니다. 두 번째 단계는 데이터가 CDC 데이터베이스에서 Oracle로 전송되는 단계입니다. 이는 현재 아키텍처와 제품 자체의 기능입니다. 지금까지 개발자는 직접 복제를 설정할 수 없었습니다.

기본 동기화

CDC 메커니즘을 활성화하고 Pro2 복제 서버를 설정한 후 초기 동기화를 시작해야 합니다. 초기 동기화 명령:

/pro2/bprepl/Script/replLoad.sh 비스킷 테이블 이름

초기 동기화가 완료된 후 복제 프로세스를 시작할 수 있습니다.

복제 프로세스 시작

복제 프로세스를 시작하려면 스크립트를 실행해야 합니다. replbatch.sh. 시작하기 전에 모든 스레드에 대한 relbatch 스크립트(relbatch1, relbatch2 등)가 있는지 확인하십시오. 모든 것이 제자리에 있으면 명령줄을 엽니다(예: 프로엔브), 디렉토리로 이동 /bprepl/스크립트 그리고 스크립트를 시작하세요. 관리 패널에서는 해당 프로세스가 RUNNING 상태를 받았는지 확인합니다.

조사 결과

구현 후 기업 데이터 웨어하우스에 정보를 업로드하는 속도가 크게 빨라졌습니다. 데이터는 자동으로 Oracle 온라인으로 들어옵니다. 다른 시스템에서 데이터를 수집하기 위해 장기 실행 쿼리를 실행하는 데 시간을 낭비할 필요가 없습니다. 또한 이 솔루션에서는 복제 프로세스가 데이터를 압축할 수 있으며 이는 속도에도 긍정적인 영향을 미칩니다. 이제 BISKVIT 시스템과 다른 시스템의 일일 조정이 15~20시간이 아닌 2~2,5분이 걸리기 시작했고, 완전한 조정에는 이틀이 아닌 몇 시간이 걸렸습니다.

출처 : habr.com