새로운 객체 스토리지 지표

Nele-Diel의 비행 요새

S3 객체 스토리지 명령 Mail.ru 클라우드 스토리지 오브젝트 스토리지를 선택할 때 어떤 기준이 중요한지에 대한 기사를 번역했습니다. 다음은 저자의 관점에서 본 글이다.

객체 스토리지에 관해 사람들은 일반적으로 TB/GB당 가격이라는 한 가지만 생각합니다. 물론 이 지표는 중요하지만 접근 방식을 일방적으로 만들고 객체 스토리지를 아카이브 스토리지 도구와 동일시합니다. 또한 이 접근 방식은 엔터프라이즈 기술 스택에 대한 개체 스토리지의 중요성을 줄입니다.

객체 스토리지를 선택할 때 다음 XNUMX가지 특성에 주의해야 합니다.

• 성능;
• 확장성;
• S3 호환;
• 실패에 대한 대응;
• 진실성.

이러한 XNUMX가지 특성은 비용과 함께 객체 스토리지에 대한 새로운 지표입니다. 모두 살펴보겠습니다.

Производительность

전통적인 객체 저장소는 성능이 부족합니다. 서비스 제공업체는 저렴한 가격을 추구하기 위해 끊임없이 이를 희생했습니다. 그러나 최신 객체 스토리지에서는 상황이 다릅니다.

다양한 스토리지 시스템이 Hadoop의 속도에 접근하거나 심지어 초과합니다. 읽기 및 쓰기 속도에 대한 최신 요구 사항: 하드 드라이브의 경우 10GB/s, NVMe의 경우 최대 35GB/s. 

이 처리량은 Spark, Presto, Tensorflow, Teradata, Vertica, Splunk 및 분석 스택의 기타 최신 컴퓨팅 프레임워크에 충분합니다. MPP 데이터베이스가 객체 스토리지용으로 구성되고 있다는 사실은 MPP 데이터베이스가 기본 스토리지로 점점 더 많이 사용되고 있음을 시사합니다.

스토리지 시스템이 필요한 속도를 제공하지 않으면 데이터를 사용할 수 없고 데이터에서 가치를 추출할 수 없습니다. 객체 스토리지에서 인메모리 처리 구조로 데이터를 검색하는 경우에도 데이터를 메모리로 전송하거나 메모리에서 전송하려면 대역폭이 필요합니다. 레거시 객체 저장소에는 충분하지 않습니다.

이것이 핵심 포인트입니다. 새로운 성능 지표는 대기 시간이 아니라 처리량입니다. 이는 대규모 데이터에 필요하며 현대 데이터 인프라의 표준입니다.

벤치마크는 성능을 결정하는 좋은 방법이지만 환경에서 애플리케이션을 실행하기 전에는 정확하게 측정할 수 없습니다. 그런 후에야 병목 현상이 정확히 어디에 있는지, 즉 소프트웨어, 디스크, 네트워크 또는 컴퓨팅 수준에서 말할 수 있습니다.

확장성

확장성은 하나의 네임스페이스에 맞는 페타바이트 수를 나타냅니다. 벤더들이 주장하는 것은 쉬운 확장성이지만, 확장함에 따라 대규모 모놀리식 시스템은 취약하고 복잡하며 불안정하고 비용이 많이 든다는 점은 말하지 않습니다.

확장성에 대한 새로운 지표는 제공할 수 있는 네임스페이스 또는 클라이언트의 수입니다. 이 지표는 스토리지 빌딩 블록이 작지만 수십억 단위로 확장되는 하이퍼스케일러에서 직접 가져옵니다. 일반적으로 이는 클라우드 지표입니다.

빌딩 블록이 작을수록 보안, 액세스 제어, 정책 관리, 수명주기 관리 및 무중단 업데이트를 위해 최적화하기가 더 쉽습니다. 그리고 궁극적으로 생산성을 보장합니다. 빌딩 블록의 크기는 복원력이 뛰어난 시스템이 구축되는 방식인 오류 영역의 제어 가능성에 따라 달라집니다.

멀티 테넌시는 많은 특징을 가지고 있습니다. 차원은 조직이 데이터 및 애플리케이션에 대한 액세스를 제공하는 방법을 나타내지만 애플리케이션 자체와 애플리케이션을 서로 격리하는 논리도 나타냅니다.

다중 클라이언트에 대한 최신 접근 방식의 특징:

• 짧은 시간 안에 클라이언트 수가 수백에서 수백만으로 늘어날 수 있습니다.
• 클라이언트는 서로 완전히 격리되어 있습니다. 이를 통해 동일한 소프트웨어의 다양한 버전을 실행하고 구성, 권한, 기능, 보안 및 유지 관리 수준이 다른 개체를 저장할 수 있습니다. 이는 새로운 서버, 업데이트 및 지역으로 확장할 때 필요합니다.
• 스토리지는 탄력적으로 확장 가능하며 리소스는 요청 시 제공됩니다.
• 각 작업은 API에 의해 제어되며 사람의 개입 없이 자동화됩니다.
• 소프트웨어는 컨테이너에서 호스팅될 수 있으며 Kubernetes와 같은 표준 오케스트레이션 시스템을 사용할 수 있습니다.

S3 호환

Amazon S3 API는 객체 스토리지의 사실상 표준입니다. 모든 객체 스토리지 소프트웨어 공급업체는 이 제품과의 호환성을 주장합니다. S3와의 호환성은 이분법적입니다. 완전히 구현되었거나 구현되지 않았습니다.

실제로 개체 스토리지를 사용할 때 문제가 발생하는 수백 또는 수천 개의 엣지 시나리오가 있습니다. 특히 독점 소프트웨어 및 서비스 제공업체의 경우. 주요 사용 사례는 직접 보관 또는 백업이므로 API를 호출할 이유가 거의 없으며 사용 사례가 동일합니다.

오픈 소스 소프트웨어에는 상당한 이점이 있습니다. 애플리케이션, 운영 체제 및 하드웨어 아키텍처의 크기와 다양성을 고려하여 대부분의 엣지 시나리오를 다룹니다.

이 모든 것은 애플리케이션 개발자에게 중요하므로 스토리지 제공업체를 통해 애플리케이션을 테스트해 볼 가치가 있습니다. 오픈 소스를 사용하면 프로세스가 더 쉬워집니다. 어떤 플랫폼이 애플리케이션에 적합한지 이해하기가 더 쉽습니다. 공급자는 스토리지에 대한 단일 진입 지점으로 사용될 수 있으므로 귀하의 요구 사항을 충족할 수 있습니다. 

오픈 소스는 애플리케이션이 공급업체에 종속되지 않고 더욱 투명하다는 것을 의미합니다. 이는 긴 애플리케이션 수명주기를 보장합니다.

그리고 오픈 소스와 S3에 대한 몇 가지 참고 사항이 더 있습니다. 

빅 데이터 애플리케이션을 실행하는 경우 S3 SELECT는 성능과 효율성을 몇 배나 향상시킵니다. 이는 SQL을 사용하여 스토리지에서 필요한 객체만 검색함으로써 이를 수행합니다.

핵심은 버킷 알림 지원입니다. 버킷 알림은 서비스로 제공되는 마이크로서비스 아키텍처의 중요한 구성 요소인 서버리스 컴퓨팅을 촉진합니다. 객체 스토리지가 사실상 클라우드 스토리지라는 점을 고려하면, 이 기능은 클라우드 기반 애플리케이션에서 객체 스토리지를 사용할 때 매우 중요합니다.

마지막으로 S3 구현은 Amazon S3 서버 측 암호화 API(SSE-C, SSE-S3, SSE-KMS)를 지원해야 합니다. 더욱이 S3는 진정으로 안전한 변조 방지 기능을 지원합니다. 

실패에 대한 대응

종종 간과되는 측정 기준은 시스템이 오류를 처리하는 방법입니다. 장애는 다양한 이유로 발생하며, 객체 스토리지는 이를 모두 처리해야 합니다.

예를 들어, 단일 실패 지점이 있으며 이에 대한 지표는 XNUMX입니다.

불행하게도 많은 객체 스토리지 시스템은 클러스터가 제대로 작동하려면 활성화해야 하는 특수 노드를 사용합니다. 여기에는 네임 노드나 메타데이터 서버가 포함되며 이로 인해 단일 실패 지점이 생성됩니다.

여러 장애 지점이 있는 경우에도 치명적인 장애를 견딜 수 있는 능력이 가장 중요합니다. 디스크에 오류가 발생하고 서버에 오류가 발생합니다. 핵심은 오류를 정상적인 조건으로 처리하도록 설계된 소프트웨어를 만드는 것입니다. 디스크나 노드에 장애가 발생하더라도 해당 소프트웨어는 변경 없이 계속 작동합니다.

데이터 삭제 및 데이터 저하에 대한 보호 기능이 내장되어 있어 패리티 블록이 있는 만큼의 디스크나 노드(보통 디스크의 절반)를 잃을 수 있습니다. 그래야만 소프트웨어가 데이터를 반환할 수 없습니다.

부하가 걸린 상태에서 오류를 테스트하는 경우는 거의 없지만 이러한 테스트는 필요합니다. 로드 실패를 시뮬레이션하면 실패 후 발생한 총 비용이 표시됩니다.

일관성

일관성 점수 100%를 엄격한 일관성이라고도 합니다. 일관성은 모든 스토리지 시스템의 핵심 구성 요소이지만 강력한 일관성은 거의 없습니다. 예를 들어 Amazon S3 ListObject는 엄격하게 일관성이 없으며 마지막에만 일관성이 있습니다.

엄격한 일관성이란 무엇을 의미합니까? 확인된 PUT 작업 이후의 모든 작업에 대해 다음이 발생해야 합니다.

• 업데이트된 값은 모든 노드에서 읽을 때 표시됩니다.
• 업데이트는 노드 오류 중복으로부터 보호됩니다.

즉, 녹음 도중에 플러그를 뽑아도 아무것도 손실되지 않습니다. 시스템은 손상되거나 오래된 데이터를 반환하지 않습니다. 이는 트랜잭션 애플리케이션부터 백업 및 복구에 이르기까지 다양한 시나리오에서 중요한 기준입니다.

결론

이는 성능, 일관성, 확장성, 장애 도메인 및 S3 호환성이 클라우드 애플리케이션 및 빅 데이터 분석의 구성 요소인 오늘날 조직의 사용 패턴을 반영하는 새로운 객체 스토리지 지표입니다. 최신 데이터 스택을 구축할 때 가격 외에 이 목록을 사용하는 것이 좋습니다. 

Mail.ru 클라우드 솔루션 객체 스토리지 정보: S3 아키텍처. Mail.ru 클라우드 스토리지의 3년 간의 발전.

그 밖에 읽을 내용:

1. S3 객체 스토리지 Mail.ru 클라우드 솔루션의 웹후크를 기반으로 하는 이벤트 기반 애플리케이션의 예.
2. Ceph 그 이상: MCS 클라우드 블록 스토리지 
3. Mail.ru Cloud Solutions S3 객체 스토리지를 파일 시스템으로 사용.
4. S3 스토리지 및 기타 제품 업데이트에 대한 소식을 전하는 Telegram 채널. 

출처 : habr.com