Cloudera의 특별한 점과 요리 방법

에 따르면 분산 컴퓨팅 및 빅 데이터 시장 통계, 매년 18-19%씩 성장하고 있습니다. 이는 이러한 목적으로 소프트웨어를 선택하는 문제가 여전히 관련이 있음을 의미합니다. 이 게시물에서는 분산 컴퓨팅이 필요한 이유부터 시작하여 소프트웨어 선택에 대해 자세히 설명하고 Cloudera와 함께 Hadoop을 사용하는 방법에 대해 설명하고 마지막으로 하드웨어 선택과 성능에 미치는 영향에 대해 설명합니다. 다른 방법으로.

일반 비즈니스에서 분산 컴퓨팅이 필요한 이유는 무엇입니까? 모든 것이 동시에 간단하고 복잡합니다. 간단함 - 대부분의 경우 정보 단위당 상대적으로 간단한 계산을 수행하기 때문입니다. 어려움 - 그러한 정보가 많기 때문입니다. 너무 많아. 그 결과, 1000개의 스레드에서 테라바이트의 데이터 처리. 따라서 사용 사례는 매우 보편적입니다. 훨씬 더 큰 데이터 배열에서 많은 수의 메트릭을 고려해야 하는 모든 곳에서 계산을 적용할 수 있습니다.

최근 사례: 도도 피자 한정된 임의의 토핑이 있는 피자를 선택할 때 사용자는 일반적으로 XNUMX개의 기본 재료 세트와 XNUMX개의 임의 재료로 작동한다는 고객 주문 기반 분석을 기반으로 합니다. 이에 따라 피자 가게는 구매를 조정했습니다. 또한 주문 단계에서 제공되는 추가 상품을 사용자에게 더 잘 추천할 수 있어 수익이 증가했습니다.

다른 예 : анализ 상품 덕분에 H&M은 판매 수준을 유지하면서 개별 매장의 구색을 40%까지 줄일 수 있었습니다. 이것은 저조한 판매 포지션을 제외함으로써 달성되었으며 계산에서 계절성을 고려했습니다.

도구 선택

이러한 종류의 컴퓨팅에 대한 업계 표준은 Hadoop입니다. 왜? Hadoop은 전체 유틸리티 및 라이브러리 세트와 함께 제공되는 우수하고 잘 문서화된 프레임워크(동일한 Habr에서 이 주제에 대한 많은 자세한 기사를 제공함)이기 때문입니다. 방대한 양의 정형 및 비정형 데이터 세트를 입력으로 제출할 수 있으며 시스템 자체에서 컴퓨팅 성능 간에 이를 분배합니다. 또한 이러한 동일한 용량은 언제든지 늘리거나 비활성화할 수 있습니다. 즉, 동일한 수평적 확장성이 작동합니다.

2017년 영향력 있는 컨설팅 회사 Gartner 결론Hadoop은 곧 구식이 될 것입니다. 그 이유는 다소 진부합니다. 분석가들은 기업이 컴퓨팅 성능 사용에 따라 비용을 지불할 수 있기 때문에 기업이 클라우드로 대규모로 마이그레이션할 것이라고 믿습니다. Hadoop을 "매장"할 수 있는 두 번째 중요한 요소는 작업 속도입니다. Apache Spark 또는 Google Cloud DataFlow와 같은 옵션이 MapReduce 기본 Hadoop보다 빠르기 때문입니다.

Hadoop은 몇 가지 기반을 기반으로 하며, 그 중 가장 주목할만한 것은 MapReduce 기술(서버 간 계산을 위한 데이터 분산 시스템)과 HDFS 파일 시스템입니다. 후자는 클러스터 노드 간에 분산된 정보를 저장하도록 특별히 설계되었습니다. 고정 크기의 각 블록은 여러 노드에 배치될 수 있으며 복제 덕분에 시스템은 개별 노드의 장애에 강합니다. 파일 테이블 대신 NameNode라는 특수 서버가 사용됩니다.

아래 그림은 MapReduce가 작동하는 방식을 보여줍니다. 첫 번째 단계에서는 데이터가 특정 속성에 따라 분할되고 두 번째 단계에서는 컴퓨팅 성능에 따라 분산되며 세 번째 단계에서는 계산이 수행됩니다.

MapReduce는 원래 검색 요구를 위해 Google에서 만들었습니다. 그런 다음 MapReduce가 무료 코드에 들어갔고 Apache가 프로젝트를 인수했습니다. 음, Google은 점차 다른 솔루션으로 마이그레이션했습니다. 흥미로운 뉘앙스: 현재 Google은 Google Cloud Dataflow라는 프로젝트를 보유하고 있으며 Hadoop 다음 단계로 신속하게 대체할 수 있습니다.

자세히 살펴보면 Google Cloud Dataflow가 Apache Beam의 변형을 기반으로 하는 반면 Apache Beam에는 잘 문서화된 Apache Spark 프레임워크가 포함되어 있어 거의 동일한 솔루션 실행 속도에 대해 이야기할 수 있습니다. Apache Spark는 HDFS 파일 시스템에서 제대로 작동하므로 Hadoop 서버에 배포할 수 있습니다.

여기에 Google Cloud Dataflow에 대한 Hadoop 및 Spark용 문서 및 기성 솔루션을 추가하면 도구 선택이 명확해집니다. 또한 엔지니어는 작업, 경험 및 자격에 중점을 두고 Hadoop 또는 Spark에서 실행할 코드를 스스로 결정할 수 있습니다.

클라우드 또는 로컬 서버

클라우드로의 일반적인 전환 추세는 Hadoop-as-a-service와 같은 흥미로운 용어를 탄생시키기도 했습니다. 이러한 시나리오에서는 연결된 서버의 관리가 매우 중요해졌습니다. 아아, 그 인기에도 불구하고 순수한 Hadoop은 손으로 많은 작업을 수행해야 하기 때문에 구성하기 다소 어려운 도구이기 때문입니다. 예를 들어 서버를 개별적으로 구성하고 성능을 모니터링하며 많은 매개변수를 미세 조정할 수 있습니다. 일반적으로 아마추어를 위해 일하면 어딘가에서 망치거나 무언가를 놓칠 가능성이 큽니다.

따라서 초기에 편리한 배포 및 관리 도구가 장착된 다양한 배포판이 널리 보급되었습니다. Spark를 지원하고 작업을 쉽게 해주는 인기 있는 배포판 중 하나는 Cloudera입니다. 유료 버전과 무료 버전이 모두 있으며 후자의 경우 노드 수를 제한하지 않고 모든 주요 기능을 사용할 수 있습니다.

설정하는 동안 Cloudera Manager는 SSH를 통해 서버에 연결합니다. 흥미로운 점: 설치할 때 소위 수행하도록 지정하는 것이 좋습니다. 소포: 서로 작동하도록 구성된 필요한 모든 구성 요소를 포함하는 특수 패키지. 실제로 이것은 패키지 관리자의 향상된 버전입니다.

설치 후 클러스터 관리 콘솔을 통해 클러스터, 설치된 서비스에 대한 원격 분석을 볼 수 있으며 리소스를 추가/제거하고 클러스터 구성을 편집할 수 있습니다.

그 결과 그 로켓의 절단이 눈앞에 나타나 빅데이터의 밝은 미래로 안내할 것입니다. 하지만 "가자"라고 말하기 전에 내부 내용을 빠르게 살펴보겠습니다.

하드웨어 요구 사항

웹 사이트에서 Cloudera는 가능한 다양한 구성을 언급합니다. 그것들이 만들어지는 일반적인 원칙은 그림에 나와 있습니다.

MapReduce는 이 낙관적인 그림을 흐리게 만들 수 있습니다. 이전 섹션의 다이어그램을 다시 보면 거의 모든 경우에 MapReduce 작업이 디스크나 네트워크에서 데이터를 읽을 때 병목 현상이 발생할 수 있음이 분명해집니다. 이는 Cloudera 블로그에도 나와 있습니다. 결과적으로 실시간 계산에 자주 사용되는 Spark를 통한 빠른 계산을 위해서는 I/O 속도가 매우 중요합니다. 따라서 Hadoop을 사용할 때 균형 있고 빠른 시스템이 클러스터에 들어가는 것이 매우 중요합니다. 가볍게 말하면 클라우드 인프라에서 항상 제공되는 것은 아닙니다.

로드 분산의 균형은 강력한 멀티 코어 CPU가 있는 서버에서 Openstack 가상화를 사용하여 달성됩니다. 데이터 노드에는 자체 프로세서 리소스와 특정 디스크가 할당됩니다. 우리의 결정에 Atos Codex 데이터 레이크 엔진 광범위한 가상화가 달성되어 성능(네트워크 인프라의 영향 최소화) 및 TCO(여분의 물리적 서버 제거) 측면에서 모두 승리하는 이유입니다.

BullSequana S200 서버를 사용하는 경우 일부 병목 현상 없이 매우 균일한 로드를 얻습니다. 최소 구성에는 각각 3개의 JBOD가 있는 200개의 BullSequana S200 서버와 XNUMX개의 데이터 노드가 포함된 추가 SXNUMX이 선택적으로 연결됩니다. 다음은 TeraGen 테스트의 로드 예입니다.

데이터 볼륨과 복제 값이 다른 테스트는 클러스터 노드 전체의 부하 분산 측면에서 동일한 결과를 보여줍니다. 아래는 성능 테스트에 따른 디스크 액세스 분포 그래프입니다.

계산은 BullSequana S3 서버 200대의 최소 구성을 기반으로 합니다. 여기에는 9개의 데이터 노드와 3개의 마스터 노드가 포함되며 OpenStack 가상화를 기반으로 한 보호 배포의 경우 예약된 가상 머신도 포함됩니다. TeraSort 테스트 결과: 512MB 블록 크기의 복제 팩터 23,1(암호화 포함)은 XNUMX분입니다.

시스템을 어떻게 확장할 수 있습니까? Data Lake Engine에 사용할 수 있는 다양한 유형의 확장:

• 데이터 노드: 사용 가능한 공간 40TB마다
• GPU를 설치할 수 있는 분석 노드
• 비즈니스 요구에 따른 기타 옵션(예: Kafka 등이 필요한 경우)

Atos Codex Data Lake Engine 컴플렉스에는 서버 자체와 라이센스가 있는 Cloudera 키트를 포함하여 사전 설치된 소프트웨어가 모두 포함됩니다. Hadoop 자체, RedHat Enterprise Linux 커널을 기반으로 하는 가상 머신이 있는 OpenStack, 데이터 복제 및 백업 시스템(백업 노드 및 Cloudera BDR - 백업 및 재해 복구 사용 포함). Atos Codex Data Lake Engine은 인증을 받은 최초의 가상화 솔루션입니다. 클라우 데라.

세부 사항에 관심이 있으시면 의견에 질문에 답변해 드리겠습니다.

출처 : habr.com