고가용성 스토리지(99,9999%)에서 소프트웨어를 검증하는 것이 중요한 이유

어떤 펌웨어 버전이 가장 "올바르고" "작동"합니까? 스토리지 시스템이 99,9999%의 내결함성을 보장한다면 소프트웨어 업데이트 없이도 중단 없이 작동한다는 뜻인가요? 아니면 반대로 최대 내결함성을 얻으려면 항상 최신 펌웨어를 설치해야 합니까? 우리는 우리의 경험을 바탕으로 이러한 질문에 대답하려고 노력할 것입니다.

작은 소개

우리 모두는 운영 체제나 장치 드라이버 등 각 소프트웨어 버전에 장비의 서비스 수명이 끝날 때까지 "나타나지" 않거나 "공개"될 수 있는 결함/버그 및 기타 "기능"이 포함되어 있는 경우가 많다는 것을 알고 있습니다. 특정 조건에서만. 이러한 미묘한 차이의 수와 중요성은 소프트웨어의 복잡성(기능)과 개발 중 테스트 품질에 따라 달라집니다. 

종종 사용자는 "공장에서 나온 펌웨어"(유명한 "작동하므로 망치지 마십시오")를 유지하거나 항상 최신 버전을 설치합니다(그들의 이해에 따르면 최신 버전이 가장 작동한다는 것을 의미합니다). 우리는 다른 접근 방식을 사용합니다. 사용된 모든 항목에 대한 릴리스 노트를 살펴봅니다. mClouds 클라우드에서 장비를 선택하고 각 장비에 적합한 펌웨어를 신중하게 선택하십시오.

그들이 말했듯이 우리는 경험을 통해 이러한 결론에 도달했습니다. 우리의 작동 예를 통해 약속된 스토리지 시스템의 99,9999% 신뢰성이 소프트웨어 업데이트 및 설명을 즉시 모니터링하지 않으면 아무 의미가 없는 이유를 설명하겠습니다. 모든 제조업체의 하드웨어에서 유사한 상황이 발생할 수 있으므로 우리의 사례는 모든 공급업체의 스토리지 시스템 사용자에게 적합합니다.

새로운 스토리지 시스템 선택

작년 말에 흥미로운 데이터 스토리지 시스템이 우리 인프라에 추가되었습니다. 구매 당시 Storwize V5000e라고 불렸던 IBM FlashSystem 5010 라인의 주니어 모델이었습니다. 이제는 FlashSystem 5010이라는 이름으로 판매되지만 실제로는 동일한 Spectrum Virtualize가 내부에 포함된 동일한 하드웨어 기반입니다. 

그런데 통합 관리 시스템의 존재는 IBM FlashSystem의 주요 차이점입니다. 더 젊은 시리즈 모델의 경우 더 생산적인 모델과 실질적으로 다르지 않습니다. 특정 모델을 선택하면 적절한 하드웨어 기반만 제공되며, 그 특성으로 인해 하나 또는 다른 기능을 사용하거나 더 높은 수준의 확장성을 제공할 수 있습니다. 소프트웨어는 하드웨어를 식별하고 이 플랫폼에 필요하고 충분한 기능을 제공합니다.

IBM 플래시시스템 5010

모델 5010에 대해 간략히 설명합니다. 이것은 보급형 듀얼 컨트롤러 블록 스토리지 시스템입니다. NLSAS, SAS, SSD 디스크를 수용할 수 있습니다. 이 스토리지 모델은 NVMe 드라이브의 성능이 필요하지 않은 문제를 해결하기 위해 배치되었기 때문에 NVMe 배치를 사용할 수 없습니다.

자주 액세스하지 않는 보관 정보나 데이터를 수용하기 위해 스토리지 시스템을 구입했습니다. 따라서 표준 기능 세트인 계층화(Easy Tier), 씬 프로비저닝으로 충분했습니다. 1000-2000 IOPS 수준의 NLSAS 디스크 성능도 우리에게 상당히 만족스러웠습니다.

우리의 경험 - 펌웨어를 제때에 업데이트하지 않은 방법

이제 소프트웨어 업데이트 자체에 대해 알아보십시오. 구매 당시 시스템에는 이미 약간 오래된 Spectrum Virtualize 소프트웨어 버전이 있었습니다. 8.2.1.3.

우리는 펌웨어 설명을 연구하고 다음 업데이트를 계획했습니다. 8.2.1.9. 우리가 좀 더 효율적이었다면 이 기사는 존재하지 않았을 것입니다. 최신 펌웨어에서는 버그가 발생하지 않았을 것입니다. 그러나 어떤 이유로 인해 본 시스템의 업데이트가 연기되었습니다.

결과적으로 약간의 업데이트 지연으로 인해 링크의 설명과 같이 매우 불쾌한 그림이 생성되었습니다. https://www.ibm.com/support/pages/node/6172341. 

예, 해당 버전의 펌웨어에서는 소위 APAR(Authorized Program Analysis Report) HU02104가 관련되었습니다. 다음과 같이 나타납니다. 로드가 진행되는 특정 상황에서는 캐시가 오버플로되기 시작한 다음 시스템이 보호 모드로 전환되어 풀에 대한 I/O가 비활성화됩니다. 우리의 경우 RAID 3 모드에서 RAID 그룹에 대해 6개의 디스크 연결을 끊는 것처럼 보였고 연결 끊김은 6분 동안 발생했습니다. 다음으로 풀의 볼륨에 대한 액세스가 복원됩니다.

IBM Spectrum Virtualize의 맥락에서 논리적 엔터티의 구조와 이름 지정에 익숙하지 않은 분이 계시다면 지금부터 간단히 설명하겠습니다.

스토리지 시스템 논리 요소의 구조

디스크는 MDisk(관리 디스크)라는 그룹으로 수집됩니다. MDisk는 클래식 RAID(0,1,10,5,6) 또는 가상화된 RAID(DRAID(분산 RAID))일 수 있습니다. DRAID를 사용하면 어레이의 성능을 높일 수 있습니다. 이유는 다음과 같습니다. 그룹의 모든 디스크가 사용되며 장애가 발생한 디스크의 모든 데이터가 아니라 특정 블록만 복원하면 되므로 재구축 시간이 단축됩니다.

RAID-5 모드에서 DRAID(분산 RAID)를 사용할 때 디스크 전체에 데이터 블록을 배포합니다.

이 다이어그램은 하나의 디스크 오류가 발생할 경우 DRAID 재구축이 작동하는 방식의 논리를 보여줍니다.

하나의 디스크가 실패할 경우 DRAID 재구축 논리

다음으로 하나 이상의 MDisk가 소위 풀을 형성합니다. 동일한 풀 내에서 동일한 유형의 디스크에 서로 다른 RAID/DRAID 수준의 MDisk를 사용하는 것은 권장되지 않습니다. 우리는 이것에 대해 너무 깊이 들어가지 않을 것입니다. 왜냐하면... 우리는 다음 기사 중 하나에서 이에 대해 다룰 계획입니다. 실제로 풀은 하나 이상의 블록 액세스 프로토콜을 사용하여 호스트에 제공되는 볼륨으로 나뉩니다.

그래서 우리는 위에서 설명한 상황의 결과로 APAR HU02104, XNUMX개 디스크의 논리적 오류로 인해 MDisk가 작동을 멈추고 결과적으로 풀과 해당 볼륨에 오류가 발생했습니다.

이러한 시스템은 매우 스마트하기 때문에 IBM Storage Insights 클라우드 기반 모니터링 시스템에 연결할 수 있으며, 문제가 발생할 경우 자동으로 IBM 지원 센터에 서비스 요청을 보냅니다. 애플리케이션이 생성되고 IBM 전문가가 원격으로 진단을 수행하고 시스템 사용자에게 연락합니다. 

덕분에 문제는 매우 빠르게 해결되었으며 지원 서비스로부터 시스템을 이전에 선택한 펌웨어 8.2.1.9로 업데이트하라는 즉각적인 권장 사항을 받았습니다. 이 펌웨어는 당시 이미 수정되었습니다. 확인한다 해당 릴리스 노트.

결과 및 권장 사항

속담처럼: "끝이 좋으면 다 좋다." 펌웨어의 버그는 심각한 문제를 일으키지 않았습니다. 서버는 데이터 손실 없이 최대한 빨리 복원되었습니다. 일부 클라이언트는 가상 머신을 다시 시작해야 했지만 일반적으로 우리는 모든 인프라 요소와 클라이언트 머신을 매일 백업하기 때문에 더 부정적인 결과에 대비했습니다. 

우리는 99,9999%의 가용성을 보장하는 안정적인 시스템이라 할지라도 주의와 적시 유지 관리가 필요하다는 확인을 받았습니다. 상황에 따라 우리는 스스로 몇 가지 결론을 도출하고 권장 사항을 공유합니다.

• 업데이트 릴리스를 모니터링하고, 잠재적으로 중요한 문제의 수정을 위해 릴리스 노트를 연구하고, 계획된 업데이트를 적시에 수행하는 것이 필수적입니다.

  이것은 집중할 가치가 없는 것처럼 보이는 조직적이고 심지어 매우 분명한 요점입니다. 그러나 이 "평지"에서는 아주 쉽게 넘어질 수 있습니다. 사실 위에서 설명한 고민이 더해진 것은 바로 이 순간이었다. 업데이트 규정을 작성할 때는 각별히 주의하고 규정 준수 여부를 주의 깊게 모니터링하세요. 이 점은 "훈육"의 개념과 더 관련이 있습니다.

• 항상 최신 소프트웨어 버전으로 시스템을 유지하는 것이 좋습니다. 게다가 현재의 것은 숫자 지정이 더 큰 것이 아니라 출시 날짜가 더 늦은 것입니다. 

  예를 들어, IBM은 스토리지 시스템에 대해 최소 두 개의 소프트웨어 릴리스를 최신 상태로 유지합니다. 이 글을 쓰는 시점에서는 8.2와 8.3입니다. 8.2에 대한 업데이트가 더 일찍 나옵니다. 8.3에 대한 유사한 업데이트는 일반적으로 약간의 지연을 거쳐 출시됩니다.

  릴리스 8.3에는 여러 가지 기능적 이점이 있습니다. 예를 들어 하나 이상의 새 디스크를 추가하여 MDisk(DRAID 모드에서)를 확장하는 기능이 있습니다(이 기능은 버전 8.3.1부터 나타났습니다). 이것은 상당히 기본적인 기능이지만, 8.2에는 안타깝게도 그러한 기능이 없습니다.

• 어떤 이유로 업데이트할 수 없는 경우 Spectrum Virtualize 소프트웨어 버전 8.2.1.9 및 8.3.1.0(위에 설명된 버그와 관련된 경우) 이전 버전의 경우 발생 위험을 줄이기 위해 IBM 기술 지원에서는 권장합니다. 아래 그림에 표시된 것처럼 풀 수준에서 시스템 성능을 제한합니다(사진은 GUI의 Russified 버전에서 촬영됨). 10000 IOPS 값은 예로 표시되었으며 시스템 특성에 따라 선택됩니다.

IBM 스토리지 성능 제한

• 스토리지 시스템의 부하를 정확하게 계산하고 과부하를 방지하는 것이 필요합니다. 이를 수행하려면 IBM sizer(액세스 권한이 있는 경우)나 파트너의 도움 또는 타사 리소스를 사용할 수 있습니다. 스토리지 시스템의 로드 프로필을 이해하는 것이 중요합니다. MB/s 및 IOPS 단위의 성능은 최소한 다음 매개변수에 따라 크게 달라집니다.

  • 작업 유형: 읽기 또는 쓰기,

  • 연산 블록 크기,

  • 전체 I/O 스트림에서 읽기 및 쓰기 작업의 비율입니다.

  또한 작업 속도는 데이터 블록을 읽는 방법(순차적 또는 무작위 순서)에 따라 영향을 받습니다. 애플리케이션 측에서 여러 데이터 액세스 작업을 수행할 때 종속 작업이라는 개념이 있습니다. 이 점을 고려하는 것도 좋습니다. 이 모든 것은 OS, 스토리지 시스템, 서버/하이퍼바이저의 성능 카운터에서 얻은 전체 데이터를 확인하고 애플리케이션, DBMS 및 기타 디스크 리소스 "소비자"의 운영 기능을 이해하는 데 도움이 될 수 있습니다.

• 마지막으로 백업이 최신 상태이고 제대로 작동하는지 확인하세요. 백업 일정은 비즈니스에 허용되는 RPO 값을 기반으로 구성되어야 하며, 백업의 주기적인 무결성 검사를 확인하여 허용 가능한 RTO 값을 보장해야 합니다(상당수의 백업 소프트웨어 공급업체가 자사 제품에 자동 확인 기능을 구현함).

끝까지 읽어주셔서 감사합니다.
댓글을 통해 귀하의 질문과 의견에 답변할 준비가 되어 있습니다. 또한 텔레그램 채널을 구독하도록 초대합니다, 정기적인 프로모션(IaaS 할인 및 VPS 프로모션 코드 최대 100% 증정)을 진행하고 흥미로운 뉴스를 작성하며 Habr 블로그에 새 기사를 발표합니다.

출처 : habr.com