SDS 아키텍처에 대한 간략한 비교 또는 적합한 스토리지 플랫폼 검색(GlusterVsCephVsVirtuozzoStorage)

이 기사는 귀하가 자신에게 적합한 솔루션을 선택하고 Gluster, Ceph 및 Vstorage(Virtuozzo)와 같은 SDS 간의 차이점을 이해하는 데 도움을 주기 위해 작성되었습니다.

텍스트는 특정 문제에 대해 더 자세히 공개하는 기사에 대한 링크를 사용하므로 불필요한 보풀이 없는 핵심 사항과 원하는 경우 인터넷에서 독립적으로 얻을 수 있는 소개 정보를 사용하여 설명을 최대한 간략하게 설명합니다.

실제로 제기된 주제에는 텍스트의 어조가 필요하지만 현대 사회에서는 점점 더 많은 사람들이 많이 읽는 것을 좋아하지 않습니다.))) 빠르게 읽고 선택할 수 있습니다. 명확하지 않은 경우 링크 또는 Google의 불분명한 단어를 따르십시오.))), 이 기사는 이러한 깊은 주제에 대한 투명한 래퍼와 같으며 각 결정의 주요 핵심 사항인 채우기를 보여줍니다.

글 러스터

가상 환경용 오픈 소스 기반 SDS를 갖춘 하이퍼컨버지드 플랫폼 제조업체에서 적극적으로 사용하는 Gluster부터 시작해 보겠습니다. 이 제품은 RedHat 웹사이트의 스토리지 섹션에서 찾을 수 있으며 Gluster 또는 Ceph의 두 가지 SDS 옵션 중에서 선택할 수 있습니다.

Gluster는 파일 배포 등의 모든 작업을 수행하는 서비스인 번역기 스택으로 구성됩니다. 브릭은 하나의 디스크를 서비스하는 서비스이고, 볼륨은 이러한 브릭을 하나로 묶는 볼륨(풀)입니다. 다음은 DHT(분산 해시 테이블) 기능을 사용해 파일을 그룹으로 분산하는 서비스입니다. 아래 링크에서 이와 관련된 문제를 설명하므로 설명에 샤딩 서비스를 포함하지 않습니다.

쓰기 작업을 수행하면 전체 파일이 브릭에 저장되고 동시에 해당 복사본이 두 번째 서버의 브릭에 쓰여집니다. 다음으로, 두 번째 파일은 서로 다른 서버에 있는 두 브릭(또는 그 이상)의 두 번째 그룹에 기록됩니다.

파일의 크기가 거의 같고 볼륨이 하나의 그룹으로만 구성된 경우에는 문제가 없지만 다른 조건에서는 설명에서 다음과 같은 문제가 발생합니다.

• 그룹 내 공간은 균등하게 활용되지 않으며 파일 크기에 따라 다르며 그룹에 파일을 쓸 수 있는 공간이 충분하지 않으면 오류가 발생하고 파일이 기록되지 않으며 다른 그룹에 재배포되지 않습니다. ;
• 하나의 파일을 쓸 때 IO는 하나의 그룹으로만 이동하고 나머지는 유휴 상태입니다.
• 하나의 파일을 쓸 때 전체 볼륨의 IO를 얻을 수 없습니다.
• 일반적인 개념은 데이터가 블록으로 분산되지 않기 때문에 생산성이 떨어지는 것처럼 보입니다. 여기서는 전체 파일이 블록에 들어가는 것이 아니라 균일한 배포 문제의 균형을 맞추고 해결하는 것이 더 쉽습니다.

공식 설명에서 건축학 또한 우리는 Gluster가 클래식 하드웨어 RAID 위에서 파일 저장소로 작동한다는 것을 무의식적으로 이해하게 되었습니다. 파일을 블록으로 자르려는(샤딩) 개발 시도가 있었지만 이 모든 것은 기존 아키텍처 접근 방식에 성능 손실을 초래하는 추가 작업이며 Fuse와 같이 성능 제한이 있는 자유롭게 배포되는 구성 요소를 사용합니다. 파일을 블록으로 배포할 때 스토리지의 성능과 내결함성 기능을 제한하는 메타데이터 서비스가 없습니다. "Distributed Replicated" 구성을 사용하면 더 나은 성능 지표를 관찰할 수 있으며 최적의 로드 분산으로 안정적인 복제본 6을 구성하려면 노드 수가 3개 이상이어야 합니다.

이러한 결과는 사용자 경험에 대한 설명과도 관련이 있습니다. 글 러스터 그리고 비교했을 때 세프, 더욱 생산적이고 안정적인 구성을 이해하는 데 도움이 되는 경험에 대한 설명도 있습니다. “복제된 분산”.


그림은 두 개의 파일을 쓸 때 로드 분산을 보여줍니다. 여기서 첫 번째 파일의 복사본은 볼륨 0 그룹으로 결합된 처음 세 개의 서버에 분산되고, 두 번째 파일의 복사본 세 개는 세 번째 그룹 중 볼륨1에 배치됩니다. 서버. 각 서버에는 하나의 디스크가 있습니다.

일반적인 결론은 Gluster를 사용할 수 있다는 것입니다. 그러나 가상 환경의 컴퓨팅 부하에도 리소스가 필요한 하이퍼컨버지드 솔루션의 특정 조건에서 어려움을 초래하는 성능 및 내결함성에 제한이 있다는 점을 이해해야 합니다.

특정 조건에서 달성할 수 있는 일부 Gluster 성능 지표도 있습니다. 결함 허용.

세프

이제 제가 할 수 있었던 아키텍처 설명에서 Ceph를 살펴보겠습니다. 찾다. 에 대한 비교도 있습니다. Glusterfs와 Ceph, Ceph 서비스에는 로드 중인 모든 하드웨어 리소스가 필요하므로 별도의 서버에 Ceph를 배포하는 것이 바람직하다는 것을 즉시 이해할 수 있습니다.

구조 세프 Gluster보다 더 복잡하고 메타데이터 서비스와 같은 서비스가 있지만 전체 구성 요소 스택은 상당히 복잡하고 가상화 솔루션에서 사용하기에는 그다지 유연하지 않습니다. 데이터는 블록에 저장되어 더 생산적으로 보이지만 모든 서비스(구성 요소)의 계층 구조에서는 특정 부하 및 긴급 상황에서 손실과 대기 시간이 있습니다. 예를 들면 다음과 같습니다. 조.

아키텍처 설명에서 핵심은 CRUSH이며, 덕분에 데이터 저장 위치가 선택되었습니다. 다음은 PG입니다. 이것은 이해하기 가장 어려운 추상화(논리적 그룹)입니다. CRUSH를 더욱 효과적으로 만들기 위해서는 PG가 필요합니다. PG의 주요 목적은 개체를 그룹화하여 리소스 소비를 줄이고 성능과 확장성을 높이는 것입니다. 개체를 PG로 결합하지 않고 개체를 개별적으로 직접 처리하는 것은 비용이 매우 많이 듭니다. OSD는 각 개별 디스크에 대한 서비스입니다.

클러스터에는 다양한 목적과 다양한 설정을 가진 하나 이상의 데이터 풀이 있을 수 있습니다. 풀은 배치 그룹으로 구분됩니다. 배치 그룹은 클라이언트가 액세스하는 개체를 저장합니다. 여기에서 논리적 수준이 끝나고 물리적 수준이 시작됩니다. 각 배치 그룹에는 하나의 기본 디스크와 여러 개의 복제본 디스크(정확히 풀 복제 요소에 따라 달라지는 개수)가 할당되기 때문입니다. 즉, 논리적 수준에서 개체는 특정 배치 그룹에 저장되고 물리적 수준에서는 해당 개체에 할당된 디스크에 저장됩니다. 이 경우 디스크는 물리적으로 다른 노드에 위치하거나 심지어 다른 데이터 센터에 위치할 수도 있습니다.

이 계획에서 배치 그룹은 전체 솔루션의 유연성을 위해 필요한 수준처럼 보이지만 동시에 이 체인의 추가 링크로 나타나며 이는 본의 아니게 생산성 손실을 암시합니다. 예를 들어, 데이터를 쓸 때 시스템은 데이터를 이러한 그룹으로 분할한 다음 물리적 수준에서 기본 디스크와 복제본용 디스크로 분할해야 합니다. 즉, 해시 함수는 개체를 검색하고 삽입할 때 작동하지만 부작용이 있습니다. 즉, 해시 재구축 시(디스크 추가 또는 제거 시) 비용이 매우 높고 제한 사항이 있습니다. 또 다른 해시 문제는 변경할 수 없는 데이터의 위치가 명확하게 고정되어 있다는 것입니다. 즉, 어떤 이유에서든 디스크의 부하가 증가하면 시스템은 (다른 디스크를 선택하여) 디스크에 쓰지 않을 기회가 없으며 해시 함수는 아무리 나쁘더라도 규칙에 따라 데이터를 찾도록 의무화합니다. 디스크가 있기 때문에 Ceph는 자가 치유나 스토리지 증가를 대비해 PG를 재구축할 때 메모리를 많이 소모합니다. 결론은 Ceph가 (느리긴 하지만) 잘 작동하지만 확장, 긴급 상황 또는 업데이트가 없는 경우에만 작동한다는 것입니다.

물론 캐싱과 캐시 공유를 통해 성능을 높이는 옵션도 있지만 이를 위해서는 좋은 하드웨어가 필요하며 여전히 손실이 발생합니다. 그러나 전반적으로 Ceph는 생산성 측면에서 Gluster보다 더 매력적으로 보입니다. 또한 이러한 제품을 사용할 때 중요한 요소를 고려해야 합니다. 이는 모든 것을 올바르게 배포, 구성 및 유지하는 것이 매우 중요하기 때문에 Linux에 중점을 둔 높은 수준의 역량, 경험 및 전문성입니다. 이는 관리자에게 더 많은 책임과 부담을 안겨줍니다.

Vstorage

건축물이 더 재미있어 보이네요 Virtuozzo 스토리지(Vstorage), 동일한 노드의 하이퍼바이저와 함께 사용할 수 있습니다. 선그러나 좋은 성능을 얻으려면 모든 것을 올바르게 구성하는 것이 매우 중요합니다. 즉, 아키텍처에 따른 권장 사항을 고려하지 않고 모든 구성에서 이러한 제품을 기본적으로 배포하는 것은 매우 쉽지만 생산적이지는 않습니다.

kvm-qemu 하이퍼바이저 서비스 옆에 스토리지로 공존할 수 있는 것은 무엇이며 구성 요소의 컴팩트한 최적 계층 구조가 발견된 몇 가지 서비스는 FUSE(오픈 소스가 아닌 수정됨)를 통해 마운트된 클라이언트 서비스, MDS 메타데이터 서비스입니다. (메타데이터 서비스), 물리적 수준에서 하나의 디스크와 동일하고 그게 전부인 서비스 청크 서비스 데이터 블록입니다. 물론 속도 측면에서는 복제본 6개를 사용하는 내결함성 방식을 사용하는 것이 가장 좋지만 SSD 드라이브에서 캐싱 및 로그를 사용하는 경우 오류 허용 코딩(삭제 코딩 또는 raidXNUMX)을 적당히 오버클럭할 수 있습니다. 하이브리드 방식이거나 올플래시에서 더 좋습니다. EC(삭제 코딩)에는 몇 가지 단점이 있습니다. 하나의 데이터 블록을 변경할 때 패리티 양을 다시 계산해야 합니다. 이 작업과 관련된 손실을 우회하기 위해 Ceph는 EC에 지연적으로 기록하며 특정 요청 중에 성능 문제가 발생할 수 있습니다. 예를 들어 모든 블록을 읽어야 하는 경우 Virtuozzo Storage의 경우 변경된 블록 쓰기가 수행됩니다. 패리티 계산 비용을 최소화하는 "로그 구조 파일 시스템" 접근 방식을 사용합니다. EC가 있거나 없는 작업 가속화 옵션을 대략적으로 추정하려면 다음이 있습니다. 계산자. – 장비 제조업체의 정확도 계수에 따라 수치는 대략적인 것일 수 있지만 계산 결과는 구성 계획에 큰 도움이 됩니다.

저장 구성 요소에 대한 간단한 다이어그램이 이러한 구성 요소가 흡수되지 않는다는 의미는 아닙니다. 철 자원, 그러나 모든 비용을 미리 계산하면 하이퍼바이저 옆에서 협업할 수 있습니다.
Ceph 및 Virtuozzo 스토리지 서비스의 하드웨어 리소스 소비를 비교하는 체계가 있습니다.

이전에 오래된 기사를 사용하여 가장 중요한 라인을 사용하여 Gluster와 Ceph를 비교할 수 있었다면 Virtuozzo를 사용하면 더 어렵습니다. 이 제품에 대한 기사는 많지 않으며 정보는 다음 문서에서만 얻을 수 있습니다. 영어 또는 Vstorage를 다음과 같은 회사의 일부 하이퍼컨버지드 솔루션에 사용되는 스토리지로 간주하는 경우 러시아어로 표시됩니다. 로스플랫포르마 그리고 아크로니스.

이 아키텍처에 대한 설명에 도움을 드리기 위해 조금 더 많은 내용이 있을 예정이나, 문서를 직접 이해하려면 시간이 많이 걸리고, 기존 문서는 표를 수정하여 참고용으로만 사용할 수 있습니다. 내용을 보거나 키워드로 검색해보세요.

위에 설명된 구성 요소가 포함된 하이브리드 하드웨어 구성의 기록 프로세스를 고려해 보겠습니다. 기록은 클라이언트가 시작한 노드(FUSE 마운트 지점 서비스)로 이동하기 시작하지만 MDS(메타데이터 서비스) 마스터 구성 요소는 물론 클라이언트를 원하는 청크 서비스(스토리지 서비스 CS 블록)로 직접 연결합니다. 즉, MDS는 녹음 프로세스에 참여하지 않고 단순히 서비스를 필요한 청크로 연결합니다. 일반적으로 통에 물을 붓는 방식으로 녹음하는 것에 비유할 수 있습니다. 각 배럴은 256MB 데이터 블록입니다.

즉, 하나의 디스크는 특정 수의 배럴, 즉 디스크 볼륨을 256MB로 나눈 값입니다. 각 복사본은 하나의 노드에 배포되고 두 번째 복사본은 다른 노드와 거의 병렬로 배포됩니다. 세 개의 복제본이 있고 캐시용 SSD 디스크(로그 읽기 및 쓰기용)가 있는 경우 쓰기 후에 쓰기 확인이 발생합니다. SSD에 대한 로그와 SSD의 병렬 재설정은 마치 백그라운드에서처럼 HDD에서 계속됩니다. XNUMX개의 복제본의 경우 세 번째 노드의 SSD에서 확인 후 레코드가 커밋됩니다. SSD XNUMX개의 쓰기 속도의 합을 XNUMX으로 나누어 보면 복제본 XNUMX개의 쓰기 속도를 얻을 수 있지만 복사본은 병렬로 기록되며 네트워크 지연 속도는 일반적으로 SSD보다 높습니다. 실제로 쓰기 성능은 네트워크에 따라 달라집니다. 이런 점에서 실제 IOPS를 보려면 Vstorage 전체를 올바르게 로드해야 합니다. 방법론즉, 올바른 데이터 블록 크기, 스레드 수 등을 고려해야 하는 메모리 및 캐시가 아닌 실제 로드를 테스트합니다.

위에서 언급한 SSD의 기록 로그는 데이터가 입력되는 즉시 서비스에서 즉시 읽고 HDD에 기록하는 방식으로 작동합니다. 클러스터당 여러 개의 메타데이터 서비스(MDS)가 있으며 그 수는 Paxos 알고리즘에 따라 작동하는 쿼럼에 의해 결정됩니다. 클라이언트의 관점에서 볼 때 FUSE 마운트 지점은 클러스터의 모든 노드에 동시에 표시되는 클러스터 저장소 폴더이며, 각 노드에는 이 원칙에 따라 마운트된 클라이언트가 있으므로 이 저장소는 각 노드에서 사용할 수 있습니다.

위에서 설명한 접근 방식 중 하나를 수행하려면 계획 및 배포 단계에서 네트워크를 올바르게 구성하는 것이 매우 중요합니다. 여기서 집계로 인한 균형 조정과 올바르게 선택된 네트워크 채널 대역폭이 필요합니다. 집계에서는 올바른 해싱 모드와 프레임 크기를 선택하는 것이 중요합니다. 위에서 설명한 SDS와도 매우 큰 차이점이 있습니다. 이는 Virtuozzo Storage의 빠른 경로 기술과 융합됩니다. 현대화된 퓨즈 외에도 다른 오픈 소스 솔루션과 달리 IOPS를 크게 높이고 수평 또는 수직 확장에 제한을 두지 않습니다. 일반적으로 위에서 설명한 아키텍처와 비교할 때 이것이 더 강력해 보이지만 이러한 즐거움을 위해서는 물론 Ceph 및 Gluster와 달리 라이센스를 구입해야 합니다.

요약하자면, 세 가지 중 가장 높은 점을 강조할 수 있습니다. Virtuozzo Storage는 아키텍처의 성능과 안정성 측면에서 XNUMX위를 차지하고 Ceph는 XNUMX위, Gluster는 XNUMX위를 차지합니다.

Virtuozzo Storage를 선택한 기준: 빠른 경로, 유연한 하드웨어 구성 세트, 적은 리소스 소비 및 컴퓨팅(컴퓨팅/가상화)과의 공유 기능을 통해 Fuse 접근 방식에 맞게 현대화된 최적의 아키텍처 구성 요소 세트입니다. 즉, 그가 속해 있는 하이퍼컨버지드 솔루션에 완전히 적합합니다. 두 번째로 Ceph는 블록 단위로 작동할 뿐만 아니라 보다 유연한 시나리오와 대규모 클러스터에서 작업할 수 있는 기능으로 인해 Gluster에 비해 더 생산적인 아키텍처이기 때문입니다.

vSAN, Space Direct Storage, Vstorage 및 Nutanix Storage 간의 비교, HPE 및 Huawei 장비에서의 Vstorage 테스트, Vstorage를 외부 하드웨어 스토리지 시스템과 통합하는 시나리오를 작성할 계획이므로 기사가 마음에 드셨다면 다음과 같습니다. 귀하의 의견과 희망 사항을 고려하여 새로운 기사에 대한 동기를 높일 수 있는 피드백을 받게 되어 기쁩니다.

출처 : habr.com