Apache Cassandra 4.0 DBMS 사용 가능

Apache Software Foundation은 noSQL 시스템 클래스에 속하며 연관 배열(해시) 형식으로 저장된 엄청난 양의 데이터를 확장성이 뛰어나고 안정적으로 저장하도록 설계된 분산형 DBMS Apache Cassandra 4.0의 출시를 발표했습니다. Cassandra 4.0 릴리스는 프로덕션 구현 준비가 완료된 것으로 간주되며 이미 1000개 이상의 노드로 구성된 클러스터를 갖춘 Amazon, Apple, DataStax, Instaclustr, iland 및 Netflix의 인프라에서 테스트되었습니다. 프로젝트 코드는 Java로 작성되었으며 Apache 2.0 라이센스에 따라 배포됩니다.

Cassandra DBMS는 원래 Facebook에서 개발되었으며 2009년에 Apache Foundation의 후원으로 이전되었습니다. Cassandra 기반 산업용 솔루션은 Apple, Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay, Huawei, Netflix, Sony, Rackspace, Reddit 및 Twitter와 같은 회사의 전력 서비스에 배포되었습니다. 예를 들어, Apple이 배포한 Apache Cassandra 기반 스토리지 인프라에는 160만 개의 노드를 포함하여 100페타바이트 이상의 데이터를 저장하는 300개가 넘는 클러스터가 있습니다. Huawei는 30개의 노드를 포함하여 100개 이상의 Apache Cassandra 클러스터를 사용하고, Netflix는 10개 이상의 클러스터를 사용하여 XNUMX개의 노드를 처리하고 하루에 XNUMX조 개가 넘는 요청을 처리합니다.

Cassandra DBMS는 완전히 분산된 Dynamo 해시 시스템을 결합하여 데이터 양이 증가함에 따라 거의 선형적인 확장성을 제공합니다. Cassandra는 여러 수준의 중첩으로 해시 저장소를 구성할 수 있다는 점에서 키/값 체인에만 데이터를 저장하는 memcachedb와 같은 시스템과 다른 열 패밀리(ColumnFamily) 기반 데이터 저장소 모델을 사용합니다. 데이터베이스와의 상호 작용을 단순화하기 위해 SQL을 연상시키지만 기능이 축소된 구조적 쿼리 언어 CQL(Cassandra Query Language)이 지원됩니다. 기능에는 네임스페이스 및 열 패밀리에 대한 지원과 "CREATE INDEX" 표현식을 사용한 인덱스 생성이 포함됩니다.

DBMS를 사용하면 오류 방지 저장소를 만들 수 있습니다. 데이터베이스에 있는 데이터는 서로 다른 데이터 센터에 걸쳐 있을 수 있는 분산 네트워크의 여러 노드에 자동으로 복제됩니다. 노드에 장애가 발생하면 해당 기능은 다른 노드에 의해 즉각적으로 선택됩니다. 클러스터에 새 노드를 추가하고 Cassandra 버전을 업데이트하는 작업은 추가적인 수동 개입이나 다른 노드 재구성 없이 즉시 수행됩니다. CQL을 지원하는 드라이버는 Python, Java(JDBC/DBAPI2), Ruby, PHP, C++ 및 JavaScript(Node.js)용으로 준비되어 있습니다.

주요 혁신:

• 성능과 확장성이 향상되었습니다. 노드 간 SSTable(Sorted Strings Table) 형식의 데이터 교환 효율성이 향상되었습니다. 노드 간 메시징 프로토콜이 최적화되었습니다. 노드 간 데이터 스트림 전송 속도가 최대 5배 증가했으며(주로 Zero Copy 기술 사용 및 전체 SSTable 전송으로 인해) 읽기 및 쓰기 작업 처리량이 25%로 증가했습니다. 증분 복구 프로세스가 최적화되었습니다. 가비지 수집 일시 중지로 인한 지연 시간이 몇 밀리초로 단축됩니다.
• 사용자 인증 작업과 실행된 모든 CQL 쿼리를 추적할 수 있는 감사 로그에 대한 지원이 추가되었습니다.
• 전체 바이너리 요청 로그를 유지 관리하는 기능이 추가되어 모든 요청 및 응답 트래픽을 저장할 수 있습니다. 관리를 위해 “nodetool 활성화fullquerylog|disablefullquerylog|resetfullquerylog” 명령을 제안하고, 로그 분석을 위해 fqltool 유틸리티를 제공합니다. 로그를 읽을 수 있는 형식으로 변환(Dump)하고, 활동 슬라이스를 비교(Compare)하고, 실제 부하에 내재된 조건을 재현하는 분석을 위해 재실행(Replay)하는 명령이 제공됩니다.
• SSTable에 저장된 데이터가 아닌 API를 통해 출력되는 정보(성능 지표, 설정 정보, 캐시 콘텐츠, 연결된 클라이언트에 대한 정보 등)를 반영하는 가상 테이블에 대한 지원이 추가되었습니다.
• 압축된 데이터 저장의 효율성이 향상되어 디스크 공간 소비가 줄어들고 읽기 성능이 향상되었습니다.
• 시스템 키스페이스(system.*)와 관련된 데이터는 이제 모든 데이터 디렉터리에 분산되는 대신 기본적으로 첫 번째 디렉터리에 배치되므로 추가 디스크 중 하나에 오류가 발생해도 노드가 계속 작동할 수 있습니다.
• 임시 복제 및 저렴한 쿼럼에 대한 실험적 지원이 추가되었습니다. 임시 복제본은 모든 데이터를 저장하지 않으며 전체 복제본과 일관성을 유지하기 위해 증분 복원을 사용합니다. 라이트 쿼럼은 충분한 전체 복제본 집합을 사용할 수 있을 때까지 임시 복제본에 쓰기가 이루어지지 않는 쓰기 최적화를 구현합니다.
• Java 11에 대한 실험적 지원이 추가되었습니다.
• 모든 머클 트리를 비교하는 실험 옵션이 추가되었습니다. 예를 들어 두 개의 복제본이 동일하고 하나가 오래된 복제본이 있는 3노드 클러스터에서 옵션을 활성화하면 현재 복제본의 한 번의 복사 작업만 사용하여 오래된 복제본이 업데이트됩니다.
• 새로운 기능 currentTimestamp, currentDate, currentTime 및 currentTimeUUID가 추가되었습니다.
• CQL 쿼리에 산술 연산에 대한 지원이 추가되었습니다.
• "타임스탬프"/"날짜" 및 "기간" 유형의 데이터 간에 산술 연산을 수행하는 기능이 제공됩니다.
• 복구에 필요한 데이터 스트림을 미리보기 위한 모드(nodetool 수리 - 미리보기)와 복원되는 데이터의 무결성을 확인하는 기능(nodetool 수리 - 유효성 검사)을 추가했습니다.
• 이제 SELECT 쿼리에는 Map 및 Set 요소를 처리하는 기능이 있습니다.
• 구체화된 뷰의 초기 구성 단계 병렬화에 대한 지원이 추가되었습니다(cassandra.yaml:concurrent_materialized_view_builders).
• "nodetool cfstats" 명령에 특정 지표를 기준으로 정렬하고 표시되는 행 수를 제한하는 지원이 추가되었습니다.
• 사용자의 연결을 특정 데이터 센터로만 제한하는 설정이 제공됩니다.
• 스냅샷 생성 및 삭제 작업의 강도(속도 제한)를 제한하는 기능이 추가되었습니다.
• cqlsh 및 cqlshlib는 이제 Python 3을 지원합니다(Python 2.7은 계속 지원됨).
• Windows 플랫폼에 대한 지원이 중단되었습니다. Windows에서 Cassandra를 실행하려면 WSL2 하위 시스템(Linux 2용 Windows 하위 시스템) 또는 가상화 시스템을 기반으로 생성된 Linux 환경을 사용하는 것이 좋습니다.

출처 : opennet.ru