대용량 데이터를 저렴하고 빠르게 이동, 업로드 및 통합하는 방법은 무엇입니까? 푸시다운 최적화란 무엇입니까?

모든 빅 데이터 작업에는 많은 컴퓨팅 성능이 필요합니다. 데이터베이스에서 Hadoop으로 데이터를 이동하는 일반적인 작업에는 몇 주가 걸리거나 비행기 날개만큼 많은 비용이 소요될 수 있습니다. 기다리면서 돈을 쓰고 싶지 않으신가요? 다양한 플랫폼 간에 로드 균형을 조정합니다. 한 가지 방법은 푸시다운 최적화입니다.

Informatica 제품 개발 및 관리 분야의 러시아 최고의 강사인 Alexey Ananyev에게 BDM(Informatica Big Data Management)의 푸시다운 최적화 기능에 대해 이야기해 달라고 요청했습니다. Informatica 제품 작업 방법을 배운 적이 있습니까? 아마도 PowerCenter의 기본 사항을 설명하고 매핑 작성 방법을 설명한 사람은 Alexey일 것입니다.

DIS 그룹 교육 책임자 Alexey Ananyev

푸시다운이란 무엇인가요?

여러분 중 상당수는 이미 Informatica 빅 데이터 관리(BDM)에 익숙합니다. 이 제품은 다양한 소스의 빅 데이터를 통합하고, 다양한 시스템 간에 이동하며, 쉽게 액세스하고, 프로파일링할 수 있도록 하는 등 다양한 기능을 제공합니다.
올바른 손에서 BDM은 놀라운 일을 할 수 있습니다. 작업은 최소한의 컴퓨팅 리소스로 신속하게 완료됩니다.

당신도 그걸 원하나요? BDM의 푸시다운 기능을 사용하여 다양한 플랫폼에 컴퓨팅 로드를 분산하는 방법을 알아보세요. 푸시다운 기술을 사용하면 매핑을 스크립트로 전환하고 이 스크립트가 실행될 환경을 선택할 수 있습니다. 이 선택을 통해 다양한 플랫폼의 장점을 결합하고 최대 성능을 달성할 수 있습니다.

스크립트 실행 환경을 설정하기 위해서는 푸시다운 유형을 선택해야 합니다. 스크립트는 Hadoop에서 완전히 실행되거나 소스와 싱크 간에 부분적으로 분산될 수 있습니다. 가능한 푸시다운 유형은 4가지입니다. 매핑을 스크립트(네이티브)로 변환할 필요는 없습니다. 매핑은 가능한 한 소스(source)에서 수행하거나 소스에서 완전히(full) 수행할 수 있습니다. 매핑을 Hadoop 스크립트(없음)로 변환할 수도 있습니다.

푸시다운 최적화

나열된 4가지 유형은 다양한 방식으로 결합될 수 있습니다. 푸시다운은 시스템의 특정 요구 사항에 맞게 최적화될 수 있습니다. 예를 들어, 데이터베이스 자체 기능을 사용하여 데이터베이스에서 데이터를 추출하는 것이 더 적절한 경우가 많습니다. 그리고 데이터베이스 자체에 과부하가 걸리지 않도록 데이터는 Hadoop을 사용하여 변환됩니다.

원본과 대상이 모두 데이터베이스에 있고 변환 실행 플랫폼을 선택할 수 있는 경우를 생각해 보겠습니다. 설정에 따라 Informatica, 데이터베이스 서버 또는 Hadoop이 됩니다. 이러한 예를 통해 이 메커니즘 작동의 기술적 측면을 가장 정확하게 이해할 수 있습니다. 당연히 실제 생활에서는 이러한 상황이 발생하지 않지만 기능을 시연하는 데 가장 적합합니다.

단일 Oracle 데이터베이스에서 두 개의 테이블을 읽기 위한 매핑을 살펴보겠습니다. 그리고 판독 결과를 동일한 데이터베이스의 테이블에 기록하도록 합니다. 매핑 구성표는 다음과 같습니다.

Informatica BDM 10.2.1의 매핑 형식은 다음과 같습니다.

푸시다운 유형 - 기본

푸시다운 기본 유형을 선택하면 Informatica 서버에서 매핑이 수행됩니다. 데이터는 Oracle 서버에서 읽고 Informatica 서버로 전송된 후 그곳에서 변환되어 Hadoop으로 전송됩니다. 즉, 정상적인 ETL 프로세스를 얻게 됩니다.

푸시다운 유형 - 소스

소스 유형을 선택하면 데이터베이스 서버(DB)와 Hadoop 간에 프로세스를 배포할 수 있는 기회를 얻게 됩니다. 이 설정으로 프로세스를 실행하면 테이블에서 데이터를 검색하라는 요청이 데이터베이스로 전송됩니다. 그리고 나머지는 Hadoop에서 Step 형태로 수행됩니다.
실행 다이어그램은 다음과 같습니다.

아래는 런타임 환경을 설정하는 예입니다.

이 경우 매핑은 두 단계로 수행됩니다. 설정에서 소스로 전송될 스크립트로 바뀌었음을 알 수 있습니다. 또한 테이블 결합 및 데이터 변환은 소스에 대한 재정의된 쿼리 형식으로 수행됩니다.
아래 그림에서는 BDM에 대한 최적화된 매핑과 소스에 대한 재정의된 쿼리를 볼 수 있습니다.

이 구성에서 Hadoop의 역할은 데이터 흐름을 관리하고 조정하는 것으로 축소됩니다. 쿼리 결과는 Hadoop으로 전송됩니다. 읽기가 완료되면 Hadoop의 파일이 싱크에 기록됩니다.

푸시다운 유형 - 전체

전체 유형을 선택하면 매핑이 완전히 데이터베이스 쿼리로 전환됩니다. 그리고 요청 결과는 Hadoop으로 전송됩니다. 그러한 프로세스의 다이어그램이 아래에 제시되어 있습니다.

아래에는 설정 예가 나와 있습니다.

결과적으로 이전과 유사한 최적화된 매핑을 얻게 됩니다. 유일한 차이점은 모든 논리가 삽입을 재정의하는 형태로 수신기에 전송된다는 것입니다. 최적화된 매핑의 예가 아래에 나와 있습니다.

여기서도 앞의 경우와 마찬가지로 하둡이 지휘자 역할을 한다. 그러나 여기서는 소스 전체를 읽은 다음 데이터 처리 논리가 수신기 수준에서 수행됩니다.

푸시다운 유형이 null입니다.

마지막 옵션은 푸시다운 유형으로, 이 유형에서 매핑이 Hadoop 스크립트로 전환됩니다.

이제 최적화된 매핑은 다음과 같습니다.

여기서 소스 파일의 데이터는 먼저 Hadoop에서 읽혀집니다. 그런 다음 자신의 수단을 사용하여 이 두 파일을 결합합니다. 그런 다음 데이터가 변환되어 데이터베이스에 업로드됩니다.

푸시다운 최적화의 원리를 이해하면 빅 데이터 작업을 위한 많은 프로세스를 매우 효과적으로 구성할 수 있습니다. 따라서 아주 최근에 한 대기업은 이전에 몇 년 동안 수집해왔던 빅데이터를 스토리지에서 Hadoop으로 단 몇 주 만에 다운로드했습니다.

출처 : habr.com