분산 데이터 처리 플랫폼 Apache Hadoop 3.3 출시

XNUMX년 반의 개발 끝에 아파치 소프트웨어 재단 опубликовала 석방하다 아파치 하둡 3.3.0, 패러다임을 사용하여 대용량 데이터의 분산 처리를 구성하기 위한 무료 플랫폼 매핑/감소, 작업은 여러 개의 작은 개별 조각으로 나누어지며 각 조각은 별도의 클러스터 노드에서 시작될 수 있습니다. Hadoop 기반 스토리지는 수천 개의 노드에 걸쳐 있으며 엑사바이트의 데이터를 포함할 수 있습니다.

Hadoop에는 자동으로 데이터 백업을 제공하고 MapReduce 애플리케이션에 최적화된 HDFS(Hadoop 분산 파일 시스템) 구현이 포함되어 있습니다. Hadoop 스토리지의 데이터에 대한 액세스를 단순화하기 위해 HBase 데이터베이스와 SQL 유사 언어 Pig가 개발되었습니다. 이는 MapReduce용 SQL의 일종으로 여러 Hadoop 플랫폼에서 쿼리를 병렬화하고 처리할 수 있습니다. 이 프로젝트는 완전히 안정적이고 산업 운영 준비가 완료된 것으로 평가됩니다. Hadoop은 대규모 산업 프로젝트에 적극적으로 사용되어 Google Bigtable/GFS/MapReduce 플랫폼과 유사한 기능을 제공합니다. Google은 공식적으로 위임됨 Hadoop 및 기타 Apache 프로젝트는 MapReduce 방법과 관련된 특허가 적용되는 기술을 사용할 권리가 있습니다.

Hadoop은 변경 횟수 측면에서 Apache 리포지토리 중 4위를 차지했으며 코드베이스 크기(약 500만 줄의 코드) 측면에서 10위를 차지했습니다. 주요 Hadoop 구현으로는 Netflix(매일 5억 개 이상의 이벤트 저장), Twitter(4개 노드로 구성된 클러스터가 300제타바이트 이상의 데이터를 실시간으로 저장하고 하루 4억 개 이상의 세션 처리), Facebook(클러스터) 등이 있습니다. XNUMX개의 노드 중 XNUMX페타바이트 이상을 저장하고 매일 XNUMXPB씩 증가하고 있습니다.

주요 변경 Apache Hadoop 3.3에서:

• ARM 아키텍처 기반 플랫폼에 대한 지원이 추가되었습니다.
• 형식의 구현 프로토부프 구조화된 데이터를 직렬화하는 데 사용되는 (프로토콜 버퍼)는 protobuf-3.7.1 분기의 수명 주기 종료로 인해 릴리스 2.5.0로 업데이트되었습니다.
• S3A 커넥터의 기능이 확장되었습니다. 토큰을 사용한 인증 지원이 추가되었습니다(위임 토큰), 코드 404를 통한 캐싱 응답 지원 개선, S3guard 성능 향상 및 운영 안정성 향상.
• ABFS 파일 시스템에서 자동 조정 문제가 해결되었습니다.
• COS 객체 스토리지에 액세스하기 위해 Tencent Cloud COS 파일 시스템에 대한 기본 지원이 추가되었습니다.
• Java 11에 대한 전체 지원이 추가되었습니다.
• HDFS RBF(Router-based Federation) 구현이 안정화되었습니다. HDFS 라우터에 보안 제어가 추가되었습니다.
• 클라이언트가 호스트 이름별로 DNS를 통해 서버를 확인할 수 있도록 DNS 확인 서비스를 추가하여 설정에 모든 호스트를 나열하지 않고도 작업을 수행할 수 있습니다.
• 출시 일정 지원 추가 기회주의적 컨테이너 각 노드의 로드를 고려하여 컨테이너를 배포하는 기능을 포함하여 중앙 집중식 리소스 관리자(ResourceManager)를 통해.
• 검색 가능한 YARN(Yet Another Resource Negotiator) 애플리케이션 디렉터리를 추가했습니다.

출처 : opennet.ru