Sber 저울이 있을 때. Hive 및 GreenPlum과 함께 Ab Initio 사용

얼마 전 우리는 빅 데이터 작업을 위한 ETL 도구를 선택하는 문제에 직면했습니다. 이전에 사용했던 Informatica BDM 솔루션은 제한된 기능으로 인해 우리에게 적합하지 않았습니다. 그 사용은 Spark-submit 명령을 실행하기 위한 프레임워크로 축소되었습니다. 원칙적으로 우리가 매일 처리하는 엄청난 양의 데이터를 처리할 수 있는 아날로그 제품은 시장에 많지 않았습니다. 결국 우리는 Ab Initio를 선택했습니다. 파일럿 시연에서 제품은 매우 빠른 데이터 처리 속도를 보여주었습니다. 러시아어에는 Ab Initio에 대한 정보가 거의 없기 때문에 Habré에 대한 경험에 대해 이야기하기로 결정했습니다.

Ab Initio에는 고유한 PDL 언어를 사용하여 코드를 확장할 수 있는 고전적이고 특이한 변형이 많이 있습니다. 소규모 기업의 경우 이러한 강력한 도구는 과도할 가능성이 높으며 대부분의 기능은 비용이 많이 들고 사용되지 않을 수 있습니다. 그러나 규모가 Sberov의 규모에 가까우면 Ab Initio가 흥미로울 수 있습니다.

기업이 전 세계적으로 지식을 축적하고 생태계를 개발하는 데 도움이 되며, 개발자는 ETL 기술을 향상하고 쉘에 대한 지식을 향상하며 PDL 언어를 마스터할 수 있는 기회를 제공하고 로딩 프로세스에 대한 시각적 그림을 제공하며 개발을 단순화합니다. 기능성 성분이 풍부하기 때문이다.

이 게시물에서는 Ab Initio의 기능에 대해 이야기하고 Hive 및 GreenPlum 작업의 비교 특성을 제공할 것입니다.

• MDW 프레임워크에 대한 설명 및 GreenPlum에 대한 사용자 정의 작업
• Hive와 GreenPlum의 Ab Initio 성능 비교
• 거의 실시간 모드에서 GreenPlum을 사용하여 Ab Initio 작업

이 제품의 기능은 매우 광범위하고 연구하는 데 많은 시간이 필요합니다. 그러나 적절한 작업 기술과 올바른 성능 설정을 사용하면 데이터 처리 결과가 매우 인상적입니다. 개발자에게 Ab Initio를 사용하면 흥미로운 경험을 제공할 수 있습니다. 이는 스크립트와 유사한 언어로 시각적 환경과 다운로드 개발을 혼합한 ETL 개발에 대한 새로운 시도입니다.

기업은 생태계를 개발하고 있으며 이 도구는 그 어느 때보다 유용합니다. Ab Initio를 사용하면 현재 비즈니스에 대한 지식을 축적하고 이 지식을 사용하여 기존 비즈니스를 확장하고 새로운 비즈니스를 열 수 있습니다. Ab Initio의 대안으로는 시각적 개발 환경인 Informatica BDM과 비시각적 개발 환경인 Apache Spark가 있습니다.

Ab Initio에 대한 설명

다른 ETL 도구와 마찬가지로 Ab Initio는 제품 모음입니다.

Ab Initio GDE(그래픽 개발 환경)는 데이터 변환을 구성하고 이를 화살표 형태의 데이터 흐름과 연결하는 개발자를 위한 환경입니다. 이 경우 이러한 변환 집합을 그래프라고 합니다.

기능 구성 요소의 입력 및 출력 연결은 포트이며 변환 내에서 계산된 필드를 포함합니다. 실행 순서에 따라 화살표 형태의 흐름으로 연결된 여러 그래프를 계획이라고 합니다.

수백 가지의 기능적 구성 요소가 있는데 이는 많습니다. 그들 중 다수는 고도로 전문화되어 있습니다. Ab Initio의 기본 변환 기능은 다른 ETL 도구보다 더 광범위합니다. 예를 들어 Join에는 여러 출력이 있습니다. 데이터셋을 연결한 결과 외에도 키를 연결할 수 없는 입력 데이터셋의 출력 레코드를 얻을 수 있습니다. 또한 텍스트 파일과 동일한 열에서 읽을 수 있고 다른 변환으로 처리할 수 있는 변환 작업의 거부, 오류 및 로그를 얻을 수도 있습니다.

또는 예를 들어 데이터 수신기를 테이블 형식으로 구체화하고 동일한 열에서 데이터를 읽을 수 있습니다.

원래의 변형이 있습니다. 예를 들어 스캔 변환에는 분석 기능과 유사한 기능이 있습니다. 데이터 생성, Excel 읽기, 정규화, 그룹 내 정렬, 프로그램 실행, SQL 실행, DB와 조인 등 이름이 자체적으로 설명되는 변환이 있습니다. 그래프는 매개변수 전달 가능성을 포함하여 런타임 매개변수를 사용할 수 있습니다. 운영 체제. 그래프에 전달된 미리 만들어진 매개변수 세트가 있는 파일을 매개변수 세트(pset)라고 합니다.

예상대로 Ab Initio GDE에는 EME(Enterprise Meta Environment)라는 자체 저장소가 있습니다. 개발자는 로컬 버전의 코드로 작업하고 개발 내용을 중앙 저장소에 체크인할 수 있는 기회를 갖습니다.

그래프를 실행하는 동안이나 실행한 후에 변환을 연결하는 흐름을 클릭하고 이러한 변환 사이에 전달된 데이터를 볼 수 있습니다.

또한 임의의 스트림을 클릭하고 추적 세부 정보(변환이 수행된 병렬 수, 어떤 병렬에 로드된 라인 및 바이트 수)를 볼 수도 있습니다.

그래프의 실행을 여러 단계로 나누고 일부 변환을 먼저(XNUMX 단계에서) 수행해야 하고, 다음 변환은 첫 번째 단계에서, 다음 변환은 두 번째 단계에서 수행해야 한다는 점을 표시할 수 있습니다.

각 변환에 대해 소위 레이아웃(실행될 위치)을 선택할 수 있습니다. 즉, 병렬이 없거나 병렬 스레드에서 개수를 지정할 수 있습니다. 동시에 변환이 실행될 때 Ab Initio가 생성하는 임시 파일은 서버 파일 시스템과 HDFS 모두에 배치될 수 있습니다.

각 변환에서는 기본 템플릿을 기반으로 PDL에서 쉘과 유사한 고유한 스크립트를 생성할 수 있습니다.

PDL을 사용하면 변환 기능을 확장할 수 있으며, 특히 런타임에 런타임 매개변수에 따라 임의의 코드 조각을 동적으로 생성할 수 있습니다.

Ab Initio는 또한 쉘을 통해 OS와의 통합이 잘 발달되어 있습니다. 특히 Sberbank는 Linux ksh를 사용합니다. 셸과 변수를 교환하여 그래프 매개변수로 사용할 수 있습니다. 셸에서 Ab Initio 그래프 실행을 호출하고 Ab Initio를 관리할 수 있습니다.

Ab Initio GDE 외에도 다양한 제품이 배송에 포함되어 있습니다. 운영 체제라고 불리는 자체 Co>Operation System이 있습니다. 다운로드 흐름을 예약하고 모니터링할 수 있는 제어>센터가 있습니다. Ab Initio GDE가 허용하는 것보다 더 원시적인 수준에서 개발을 수행하기 위한 제품이 있습니다.

MDW 프레임워크에 대한 설명 및 GreenPlum에 대한 사용자 정의 작업

해당 제품과 함께 공급업체는 데이터 웨어하우스 또는 데이터 저장소를 채우는 일반적인 작업을 지원하도록 설계된 그래프 구성기인 MDW(Metadata Driven Warehouse) 제품을 공급합니다.

여기에는 사용자 정의(프로젝트별) 메타데이터 파서와 즉시 사용 가능한 기성 코드 생성기가 포함되어 있습니다.

입력으로 MDW는 데이터 모델, 데이터베이스(Oracle, Teradata 또는 Hive)에 대한 연결을 설정하기 위한 구성 파일 및 기타 설정을 받습니다. 예를 들어 프로젝트별 부분은 모델을 데이터베이스에 배포합니다. 제품의 기본 제공 부분은 모델 테이블에 데이터를 로드하여 그래프와 구성 파일을 생성합니다. 이 경우 엔터티 업데이트에 대한 증분 작업 및 초기화의 여러 모드에 대한 그래프(및 pset)가 생성됩니다.

Hive와 RDBMS의 경우 초기화와 증분 데이터 업데이트를 위해 서로 다른 그래프가 생성됩니다.

Hive의 경우 들어오는 델타 데이터는 업데이트 이전에 테이블에 있던 데이터와 Ab Initio Join을 통해 연결됩니다. MDW(Hive 및 RDBMS 모두)의 데이터 로더는 델타에서 새 데이터를 삽입할 뿐만 아니라 기본 키가 델타를 수신한 데이터의 관련 기간을 닫습니다. 또한 데이터의 변경되지 않은 부분을 다시 작성해야 합니다. 하지만 Hive에는 삭제 또는 업데이트 작업이 없기 때문에 이 작업을 수행해야 합니다.

RDBMS의 경우, RDBMS에는 실제 업데이트 기능이 있기 때문에 증분 데이터 업데이트에 대한 그래프가 더 최적으로 보입니다.

수신된 델타는 데이터베이스의 중간 테이블에 로드됩니다. 그런 다음 델타는 업데이트 이전에 테이블에 있던 데이터에 연결됩니다. 그리고 이는 생성된 SQL 쿼리를 사용하여 SQL을 사용하여 수행됩니다. 그런 다음 SQL 명령 delete+insert를 사용하여 델타의 새 데이터가 대상 테이블에 삽입되고 기본 키가 델타를 수신한 데이터의 관련 기간이 닫힙니다.
변경되지 않은 데이터를 다시 쓸 필요가 없습니다.

그래서 우리는 Hive의 경우 Hive에 업데이트 기능이 없기 때문에 MDW가 전체 테이블을 다시 작성해야 한다는 결론에 도달했습니다. 그리고 업데이트할 때 데이터를 완전히 다시 쓰는 것보다 더 좋은 것은 없습니다. 반면 RDBMS의 경우 제품 작성자는 테이블 연결 및 업데이트를 SQL 사용에 맡길 필요가 있다고 판단했습니다.

Sberbank의 프로젝트를 위해 우리는 GreenPlum용 데이터베이스 로더의 재사용 가능한 새 구현을 만들었습니다. 이는 MDW가 Teradata용으로 생성한 버전을 기반으로 수행되었습니다. 이에 가장 가깝고 최선을 다한 것은 Oracle이 아니라 Teradata였습니다. 왜냐하면... MPP 시스템이기도 합니다. Teradata와 GreenPlum의 작업 방식과 구문은 유사한 것으로 나타났습니다.

다양한 RDBMS 간의 MDW 중요한 차이점의 예는 다음과 같습니다. GreenPlum에서는 Teradata와 달리 테이블을 생성할 때 절을 작성해야 합니다.

distributed by

테라데이타는 다음과 같이 쓰고 있습니다.

delete <table> all

, 그리고 GreenPlum에서는 다음과 같이 씁니다.

delete from <table>

Oracle에서는 최적화 목적으로 다음을 작성합니다.

delete from t where rowid in (<соединение t с дельтой>)

, Teradata와 GreenPlum이 작성

delete from t where exists (select * from delta where delta.pk=t.pk)

또한 Ab Initio가 GreenPlum과 함께 작동하려면 Ab Initio 클러스터의 모든 노드에 GreenPlum 클라이언트를 설치해야 했습니다. 이는 클러스터의 모든 노드에서 동시에 GreenPlum에 연결했기 때문입니다. 그리고 GreenPlum에서 병렬로 읽고 각 병렬 Ab Initio 스레드가 GreenPlum에서 데이터의 자체 부분을 읽으려면 SQL 쿼리의 "where" 섹션에 Ab Initio가 이해하는 구성을 배치해야 했습니다.

where ABLOCAL()

변환 데이터베이스에서 읽은 매개변수를 지정하여 이 구성의 값을 결정합니다.

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, 다음과 같이 컴파일됩니다.

mod(sk,10)=3

, 즉. 각 파티션에 대해 명시적인 필터를 사용하여 GreenPlum에 메시지를 표시해야 합니다. 다른 데이터베이스(Teradata, Oracle)의 경우 Ab Initio는 이 병렬화를 자동으로 수행할 수 있습니다.

Hive와 GreenPlum의 Ab Initio 성능 비교

Sberbank는 Hive 및 GreenPlum과 관련하여 MDW 생성 그래프의 성능을 비교하는 실험을 수행했습니다. 실험의 일환으로 Hive의 경우 Ab Initio와 동일한 클러스터에 5개의 노드가 있었고, GreenPlum의 경우 별도의 클러스터에 4개의 노드가 있었습니다. 저것들. Hive는 GreenPlum에 비해 하드웨어 이점이 있었습니다.

우리는 Hive와 GreenPlum에서 동일한 데이터 업데이트 작업을 수행하는 두 쌍의 그래프를 고려했습니다. 동시에 MDW 구성기에 의해 생성된 그래프가 시작되었습니다.

• Hive 테이블에 무작위로 생성된 데이터의 초기 로드 + 증분 로드
• 동일한 GreenPlum 테이블에 무작위로 생성된 데이터의 초기 로드 + 증분 로드

두 경우 모두(Hive 및 GreenPlum) 동일한 Ab Initio 클러스터에서 10개의 병렬 스레드에 업로드를 실행했습니다. Ab Initio는 계산을 위해 중간 데이터를 HDFS에 저장했습니다(Ab Initio의 경우 HDFS를 사용한 MFS 레이아웃을 사용했습니다). 두 경우 모두 무작위로 생성된 데이터 한 줄이 200바이트를 차지했습니다.

결과는 다음과 같았습니다.

하이브 :

Hive의 초기 로딩

삽입된 행
+ 6 000 000
+ 60 000 000
+ 600 000 000

초기화 기간
몇 초 만에 다운로드
41
203
1 601

Hive의 증분 로딩

사용 가능한 행 수
실험 시작 시 목표 테이블
+ 6 000 000
+ 60 000 000
+ 600 000 000

적용되는 델타 라인 수
실험 중 타겟 테이블
+ 6 000 000
+ 6 000 000
+ 6 000 000

증분 기간
몇 초 만에 다운로드
88
299
2 541

그린플럼:

GreenPlum의 초기 로딩

삽입된 행
+ 6 000 000
+ 60 000 000
+ 600 000 000

초기화 기간
몇 초 만에 다운로드
72
360
3 631

GreenPlum의 증분 로딩

사용 가능한 행 수
실험 시작 시 목표 테이블
+ 6 000 000
+ 60 000 000
+ 600 000 000

적용되는 델타 라인 수
실험 중 타겟 테이블
+ 6 000 000
+ 6 000 000
+ 6 000 000

증분 기간
몇 초 만에 다운로드
159
199
321

Hive와 GreenPlum 모두의 초기 로딩 속도는 데이터 양에 따라 선형적으로 달라지며 더 나은 하드웨어로 인해 GreenPlum보다 Hive가 약간 더 빠릅니다.

Hive의 증분 로드 역시 대상 테이블에서 사용 가능한 이전에 로드된 데이터의 볼륨에 선형적으로 의존하며 볼륨이 증가함에 따라 매우 느리게 진행됩니다. 이는 대상 테이블을 완전히 다시 작성해야 하기 때문에 발생합니다. 이는 거대한 테이블에 작은 변경 사항을 적용하는 것이 Hive의 좋은 사용 사례가 아니라는 것을 의미합니다.

GreenPlum의 증분 로드는 대상 테이블에서 사용 가능한 이전에 로드된 데이터의 양에 따라 약하게 달라지며 매우 빠르게 진행됩니다. 이는 삭제 작업을 허용하는 SQL 조인 및 GreenPlum 아키텍처 덕분에 발생했습니다.

따라서 GreenPlum은 delete+insert 메서드를 사용하여 델타를 추가하지만 Hive에는 삭제 또는 업데이트 작업이 없으므로 증분 업데이트 중에 전체 데이터 배열을 완전히 다시 작성해야 했습니다. 굵은 글씨로 강조 표시된 셀의 비교는 리소스 집약적인 다운로드를 사용하는 가장 일반적인 옵션에 해당하므로 가장 잘 드러납니다. 이 테스트에서 GreenPlum이 Hive를 8배나 앞섰다는 것을 알 수 있습니다.

거의 실시간 모드에서 GreenPlum을 사용하여 Ab Initio 작업

이 실험에서는 무작위로 생성된 데이터 청크로 거의 실시간으로 GreenPlum 테이블을 업데이트하는 Ab Initio의 기능을 테스트합니다. 우리가 작업할 GreenPlum 테이블 dev42_1_db_usl.TESTING_SUBJ_org_finval을 고려해 보겠습니다.

세 가지 Ab Initio 그래프를 사용하여 작업하겠습니다.

1) Graph Create_test_data.mp – 10개의 병렬 스레드에 6개의 행이 있는 HDFS에 데이터 파일을 생성합니다. 데이터는 무작위이며 그 구조는 테이블에 삽입되도록 구성되어 있습니다.

2) 그래프 mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10개의 병렬 스레드에서 테이블에 데이터 삽입을 초기화하여 MDW에서 생성된 그래프(그래프 (1)에서 생성된 테스트 데이터가 사용됨)

3) 그래프 mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – 그래프에서 생성된 새로 수신된 데이터(델타)의 일부를 사용하여 10개의 병렬 스레드에서 테이블의 증분 업데이트를 위해 MDW에서 생성된 그래프(1)

NRT 모드에서 아래 스크립트를 실행해 보겠습니다.

• 6개의 테스트 라인 생성
• 초기 로드를 수행하여 빈 테이블에 6개의 테스트 행을 삽입합니다.
• 증분 다운로드를 5회 반복
  • 6개의 테스트 라인 생성
  • 6개의 테스트 행을 테이블에 증분 삽입합니다(이 경우 valid_to_ts 만료 시간은 이전 데이터로 설정되고 동일한 기본 키를 가진 최신 데이터가 삽입됩니다).

이 시나리오는 특정 비즈니스 시스템의 실제 운영 모드를 에뮬레이션합니다. 즉, 상당히 많은 양의 새 데이터가 실시간으로 나타나고 즉시 GreenPlum에 쏟아집니다.

이제 스크립트의 로그를 살펴보겠습니다.

2020-06-04 11:49:11에 Create_test_data.input.pset 시작
2020-06-04 11:49:37에 Create_test_data.input.pset 완료
42-1-2020 06:04:11에 mdw_load.day_one.current.dev49_37_db_usl_testing_subj_org_finval.pset를 시작하세요.
42-1-2020 06:04:11에 mdw_load.day_one.current.dev50_42_db_usl_testing_subj_org_finval.pset 완료
2020-06-04 11:50:42에 Create_test_data.input.pset 시작
2020-06-04 11:51:06에 Create_test_data.input.pset 완료
42-1-2020 06:04:11에 mdw_load.regular.current.dev51_06_db_usl_testing_subj_org_finval.pset를 시작하세요.
42-1-2020 06:04:11에 mdw_load.regular.current.dev53_41_db_usl_testing_subj_org_finval.pset 완료
2020-06-04 11:53:41에 Create_test_data.input.pset 시작
2020-06-04 11:54:04에 Create_test_data.input.pset 완료
42-1-2020 06:04:11에 mdw_load.regular.current.dev54_04_db_usl_testing_subj_org_finval.pset를 시작하세요.
42-1-2020 06:04:11에 mdw_load.regular.current.dev56_51_db_usl_testing_subj_org_finval.pset 완료
2020-06-04 11:56:51에 Create_test_data.input.pset 시작
2020-06-04 11:57:14에 Create_test_data.input.pset 완료
42-1-2020 06:04:11에 mdw_load.regular.current.dev57_14_db_usl_testing_subj_org_finval.pset를 시작하세요.
42-1-2020 06:04:11에 mdw_load.regular.current.dev59_55_db_usl_testing_subj_org_finval.pset 완료
2020-06-04 11:59:55에 Create_test_data.input.pset 시작
2020-06-04 12:00:23에 Create_test_data.input.pset 완료
42-1-2020 06:04:12에 mdw_load.regular.current.dev00_23_db_usl_testing_subj_org_finval.pset를 시작하세요.
42-1-2020 06:04:12에 mdw_load.regular.current.dev03_23_db_usl_testing_subj_org_finval.pset 완료
2020-06-04 12:03:23에 Create_test_data.input.pset 시작
2020-06-04 12:03:49에 Create_test_data.input.pset 완료
42-1-2020 06:04:12에 mdw_load.regular.current.dev03_49_db_usl_testing_subj_org_finval.pset를 시작하세요.
42-1-2020 06:04:12에 mdw_load.regular.current.dev06_46_db_usl_testing_subj_org_finval.pset 완료

이 사진이 나옵니다.

그래프
시작 시간
종료 시간
길이

Create_test_data.input.pset
04.06.2020 11 : 49 : 11
04.06.2020 11 : 49 : 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 : 49 : 37
04.06.2020 11 : 50 : 42
00:01:05

Create_test_data.input.pset
04.06.2020 11 : 50 : 42
04.06.2020 11 : 51 : 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 : 51 : 06
04.06.2020 11 : 53 : 41
00:02:35

Create_test_data.input.pset
04.06.2020 11 : 53 : 41
04.06.2020 11 : 54 : 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 : 54 : 04
04.06.2020 11 : 56 : 51
00:02:47

Create_test_data.input.pset
04.06.2020 11 : 56 : 51
04.06.2020 11 : 57 : 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 : 57 : 14
04.06.2020 11 : 59 : 55
00:02:41

Create_test_data.input.pset
04.06.2020 11 : 59 : 55
04.06.2020 12 : 00 : 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12 : 00 : 23
04.06.2020 12 : 03 : 23
00:03:00

Create_test_data.input.pset
04.06.2020 12 : 03 : 23
04.06.2020 12 : 03 : 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12 : 03 : 49
04.06.2020 12 : 06 : 46
00:02:57

6개의 증분 라인이 000분 안에 처리되는 것을 볼 수 있는데 이는 매우 빠른 속도입니다.
대상 테이블의 데이터는 다음과 같이 분포되어 있는 것으로 나타났습니다.

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

그래프가 시작된 시간에 삽입된 데이터의 대응을 확인할 수 있습니다.
이는 Ab Initio에서 매우 높은 빈도로 GreenPlum에 데이터 증분 로드를 실행하고 이 데이터를 GreenPlum에 삽입하는 빠른 속도를 관찰할 수 있음을 의미합니다. 물론 다른 ETL 도구와 마찬가지로 Ab Initio도 실행 시 "시작"하는 데 시간이 필요하기 때문에 XNUMX초에 한 번 실행하는 것은 불가능합니다.

결론

Ab Initio는 현재 Sberbank에서 ESS(Unified Semantic Data Layer)를 구축하는 데 사용됩니다. 이 프로젝트에는 다양한 은행 사업체 상태의 통합 버전을 구축하는 작업이 포함됩니다. 정보는 다양한 소스에서 나오며 그 복제본은 Hadoop에서 준비됩니다. 비즈니스 요구에 따라 데이터 모델을 준비하고 데이터 변환을 설명합니다. Ab Initio는 ESN에 정보를 로드하며 다운로드된 데이터는 비즈니스 자체에 관심이 있을 뿐만 아니라 데이터 마트 구축을 위한 소스 역할도 합니다. 동시에 제품의 기능을 통해 다양한 시스템(Hive, Greenplum, Teradata, Oracle)을 수신자로 사용할 수 있으므로 비즈니스에 필요한 다양한 형식의 데이터를 쉽게 준비할 수 있습니다.

Ab Initio의 기능은 광범위합니다. 예를 들어 포함된 MDW 프레임워크를 사용하면 기술 및 비즈니스 기록 데이터를 즉시 구축할 수 있습니다. 개발자의 경우 Ab Initio를 사용하면 바퀴를 재발명하는 것이 아니라 데이터 작업 시 기본적으로 필요한 라이브러리인 기존의 많은 기능 구성 요소를 사용할 수 있습니다.

저자는 Sberbank SberProfi DWH/BigData 전문 커뮤니티의 전문가입니다. SberProfi DWH/BigData 전문 커뮤니티는 Hadoop 생태계, Teradata, Oracle DB, GreenPlum은 물론 BI 도구 Qlik, SAP BO, Tableau 등과 같은 영역에서 역량 개발을 담당합니다.

출처 : habr.com