Unity 스토리지의 FAST VP: 작동 방식

오늘은 Unity/Unity XT 스토리지 시스템에 구현된 흥미로운 기술인 FAST VP에 대해 이야기하겠습니다. Unity에 대해 처음 듣는 경우 기사 마지막에 있는 링크를 사용하여 시스템 특성을 확인할 수 있습니다. 저는 Dell EMC 프로젝트 팀에서 XNUMX년 넘게 FAST VP로 근무했습니다. 오늘 저는 이 기술에 대해 더 자세히 이야기하고 구현에 대한 세부 사항을 공개하고 싶습니다. 물론 공개가 허용된 것들만요. 효율적인 데이터 저장 문제에 관심이 있거나 문서를 완전히 이해하지 못했다면 이 기사가 확실히 유용하고 흥미로울 것입니다.

자료에 없는 내용은 바로 말씀드리겠습니다. 경쟁사를 검색하거나 비교하지 않습니다. 또한 호기심 많은 독자는 이미 이에 대해 알고 있기 때문에 오픈 소스의 유사한 기술에 대해 이야기할 계획이 없습니다. 그리고 물론 저는 아무것도 광고하지 않을 것입니다.

스토리지 계층화. FAST VP의 목표와 목적

FAST VP는 Fully Automated Storage Tiering for Virtual Pool을 의미합니다. 조금 어렵나요? 문제 없습니다. 이제 알아 보겠습니다. 계층화는 이 데이터가 저장되는 여러 수준(계층)이 있는 데이터 저장소를 구성하는 방법입니다. 각각 고유한 특성이 있습니다. 가장 중요한 것은 정보 단위 저장의 성능, 양 및 가격입니다. 물론 그들 사이에는 관계가 있습니다.

계층화의 중요한 특징은 데이터에 대한 액세스가 현재 위치한 스토리지 수준에 관계없이 균일하게 제공되며, 풀의 크기는 여기에 포함된 리소스 크기의 합과 동일하다는 것입니다. 이것이 캐시와의 차이점입니다. 캐시의 크기는 리소스(이 경우 풀)의 전체 볼륨에 추가되지 않으며 캐시 데이터는 기본 미디어 데이터의 일부 조각을 복제합니다(또는 캐시의 데이터가 아직 기록되지 않았습니다). 또한 레벨별 데이터 분포가 사용자에게 숨겨집니다. 즉, 정책을 설정하여 간접적으로 영향을 미칠 수 있지만 각 수준에 어떤 데이터가 있는지 정확히 볼 수는 없습니다(자세한 내용은 나중에 설명).

이제 Unity의 스토리지 계층화 구현 기능을 살펴보겠습니다. Unity에는 3가지 레벨 또는 계층이 있습니다.

• 최고의 성능(SSD)
• 성능(SAS HDD 10k/15k RPM)
• 용량(NL-SAS HDD 7200RPM)

성능과 가격을 기준으로 내림차순으로 표시됩니다. 최고의 성능에는 SSD(Solid State Drive)만 포함됩니다. 다른 두 계층에는 회전 속도와 성능이 다른 자기 디스크 드라이브가 포함됩니다.

동일한 레벨, 동일한 크기의 스토리지 미디어가 RAID 어레이로 결합되어 RAID 그룹(RAID 그룹, 약어로 RG)을 형성합니다. 공식 문서에서 사용 가능하고 권장되는 RAID 레벨에 대해 읽을 수 있습니다. 하나 이상의 레벨로 구성된 RAID 그룹에서 스토리지 풀이 형성되고, 이 풀에서 여유 공간이 분배됩니다. 그리고 풀 공간에서 파일 시스템과 LUN을 위해 할당됩니다.

계층화가 필요한 이유는 무엇입니까?

간단하고 추상적으로 말하면: 최소한의 자원으로 더 큰 결과를 얻으려면 보다 구체적으로, 결과는 일반적으로 속도 및 액세스 시간, 스토리지 비용 등 스토리지 시스템 특성의 집합으로 이해됩니다. 최소한의 자원은 최소한의 지출(돈, 에너지 등)을 의미합니다. FAST VP는 Unity/Unity XT 스토리지 시스템의 다양한 수준에 걸쳐 데이터를 재배포하는 메커니즘을 구현합니다. 제 말을 믿으신다면 다음 단락을 건너뛰셔도 됩니다. 나머지 부분에 대해서는 조금 더 말씀드리겠습니다.

스토리지 계층 전체에 데이터를 적절하게 배포하면 거의 사용되지 않는 일부 정보에 대한 액세스 속도를 희생하여 전체 스토리지 비용을 절약하고 자주 사용하는 데이터를 더 빠른 미디어로 이동하여 성능을 향상시킬 수 있습니다. 여기에서 어떤 사람은 계층화 없이도 일반 관리자가 어떤 데이터를 어디에 넣을지, 자신의 작업에 적합한 스토리지 시스템의 특성이 무엇인지 등을 알고 있다고 주장할 수 있습니다. 이는 의심할 여지 없이 사실이지만, 데이터를 수동으로 배포하는 데는 다음과 같은 단점이 있습니다.

• 관리자의 시간과 주의가 필요합니다.
• 변화하는 조건에 맞게 스토리지 리소스를 "다시 그리는" 것이 항상 가능한 것은 아닙니다.
• 중요한 이점이 사라집니다. 즉, 다양한 스토리지 수준에 있는 리소스에 대한 통합 액세스입니다.

스토리지 관리자가 직업 안정성에 대해 덜 걱정할 수 있도록 여기에서도 유능한 리소스 계획이 필요하다는 점을 덧붙이겠습니다. 이제 계층화 작업에 대해 간략하게 설명했으므로 FAST VP에서 기대할 수 있는 기능을 살펴보겠습니다. 이제 정의로 돌아갈 때입니다. 처음 두 단어인 완전 자동화(Fully Automated)는 말 그대로 "완전 자동화"로 번역되며 레벨 간 분배가 자동으로 발생한다는 의미입니다. 가상 풀은 다양한 스토리지 수준의 리소스를 포함하는 데이터 풀입니다. 그 모습은 다음과 같습니다.

앞으로 FAST VP는 여러 풀 사이가 아닌 단일 풀 내에서만 데이터를 이동한다고 말씀드리겠습니다.

FAST VP를 통해 해결된 문제

먼저 추상적으로 이야기해보자. 우리는 풀과 이 풀 내에서 데이터를 재분배할 수 있는 몇 가지 메커니즘을 가지고 있습니다. 우리의 임무는 최대의 생산성을 달성하는 것임을 염두에 두고 스스로에게 질문해 봅시다. 어떤 방법으로 이를 달성할 수 있습니까? 그 중 여러 가지가 있을 수 있으며, 이 기술은 단순한 스토리지 계층화 이상의 기술이므로 FAST VP는 사용자에게 무엇인가를 제공할 수 있습니다. FAST VP가 풀 성능을 향상할 수 있는 몇 가지 방법은 다음과 같습니다.

• 다양한 유형의 디스크, 레벨에 걸쳐 데이터 배포
• 동일한 유형의 디스크 간에 데이터 분산
• 풀 확장 시 데이터 배포

이러한 작업이 수행되는 방식을 살펴보기 전에 FAST VP의 작동 방식에 대한 몇 가지 필수 사실을 알아야 합니다. FAST VP는 특정 크기(256MB)의 블록으로 작동합니다. 이는 이동할 수 있는 가장 작은 연속 데이터 "청크"입니다. 문서에서는 이것을 슬라이스라고 부릅니다. FAST VP의 관점에서 볼 때 모든 RAID 그룹은 이러한 "조각" 세트로 구성됩니다. 따라서 해당 데이터 블록에 대한 모든 I/O 통계가 누적됩니다. 이 블록 크기를 선택한 이유는 무엇이며 크기가 줄어들 예정입니까? 블록은 상당히 크지만 이는 데이터 세분성(더 작은 블록 크기 - 더 정확한 분포)과 사용 가능한 컴퓨팅 리소스 간의 절충안입니다. 기존의 RAM에 대한 엄격한 제한과 많은 수의 블록으로 인해 통계 데이터가 너무 많이 걸릴 수 있으며, 계산 횟수도 비례해서 늘어납니다.

FAST VP가 풀에 데이터를 할당하는 방법입니다. 정치인

FAST VP가 활성화된 풀의 데이터 배치를 제어하기 위해 다음과 같은 정책이 있습니다.

• 사용 가능한 최고 계층
• 자동 등급
• 높은 수준으로 시작한 후 자동 계층화(기본값)
• 사용 가능한 최저 계층

이는 초기 블록 할당(처음 작성된 데이터)과 후속 재할당 모두에 영향을 미칩니다. 데이터가 이미 디스크에 있는 경우 일정에 따라 또는 수동으로 재배포가 시작됩니다.

사용 가능한 최고 계층은 새 블록을 최고 성능 계층에 배치하려고 합니다. 공간이 충분하지 않으면 성능 측면에서 다음 단계이지만 데이터는 더 생산적인 수준으로 이동할 수 있습니다(공간이 있거나 다른 데이터를 밀어내는 경우). 자동 계층은 사용 가능한 공간 크기에 따라 새 데이터를 다양한 계층에 배치하고 수요 및 여유 공간에 따라 재배포합니다. 높음으로 시작한 다음 자동 계층이 기본 정책이며 권장됩니다. 처음에는 사용 가능한 최고 계층으로 작동한 다음 사용 통계에 따라 데이터를 이동합니다. 사용 가능한 최저 계층 정책은 성능이 가장 낮은 계층에 데이터를 배치하려고 합니다.

데이터 전송은 스토리지 시스템의 유용한 작업을 방해하지 않도록 낮은 우선순위로 진행되지만, 우선순위를 변경하는 "데이터 재배치 속도" 설정이 있습니다. 여기에는 특이한 점이 있습니다. 모든 데이터 블록이 동일한 재배포 순서를 갖지는 않습니다. 예를 들어 메타데이터로 표시된 블록은 먼저 더 빠른 계층으로 이동됩니다. 메타데이터는 말하자면 "데이터에 관한 데이터"로, 사용자 데이터는 아니지만 해당 설명을 저장하는 추가 정보입니다. 예를 들어, 특정 파일이 어느 블록에 있는지에 대한 파일 시스템의 정보입니다. 즉, 데이터에 대한 액세스 속도는 메타데이터에 대한 액세스 속도에 따라 달라집니다. 메타데이터는 일반적으로 훨씬 작기 때문에 더 빠른 디스크로 이동하면 더 큰 이점이 있을 것으로 예상됩니다.

Fast VP가 작업에 사용하는 기준

대략적으로 각 블록의 주요 기준은 데이터 조각의 읽기 및 쓰기 작업 수에 따라 달라지는 데이터 "요구"의 특성입니다. 우리는 이 특성을 '온도'라고 부릅니다. 요청되지 않은 데이터보다 "더 핫한" 수요(핫) 데이터가 있습니다. 기본적으로 XNUMX시간 간격으로 주기적으로 계산됩니다.

온도 계산 기능에는 다음과 같은 속성이 있습니다.

• I/O가 없으면 시간이 지남에 따라 데이터가 "냉각"됩니다.
• 시간이 지남에 따라 거의 동일한 부하가 발생하면 온도가 먼저 증가한 다음 특정 범위에서 안정화됩니다.

다음으로 위에서 설명한 정책과 각 계층의 여유 공간을 고려합니다. 명확성을 위해 문서의 사진을 제공하겠습니다. 여기서 빨간색, 노란색, 파란색은 각각 고온, 중온, 저온의 블록을 나타냅니다.

하지만 작업으로 돌아가 보겠습니다. 따라서 FAST VP 문제를 해결하기 위해 수행 중인 작업을 분석할 수 있습니다.

A. 다양한 유형의 디스크, 레벨에 걸친 데이터 배포

실제로 이것이 FAST VP의 주요 작업입니다. 나머지는 어떤 의미에서 그것의 파생물입니다. 선택한 정책에 따라 데이터는 다양한 스토리지 수준에 분산됩니다. 먼저 배치 정책을 고려한 다음 블록 온도와 RAID 그룹의 크기/속도를 고려합니다.

사용 가능한 최고/최저 계층 정책의 경우 모든 것이 매우 간단합니다. 다른 두 사람의 경우도 마찬가지입니다. 데이터는 RAID 그룹의 크기와 성능을 고려하여 다양한 수준에 분산됩니다. 따라서 각 RAID 그룹의 "조건부 최대 성능"에 대한 블록의 총 "온도" 비율은 대략 동일합니다. 따라서 하중은 어느 정도 균등하게 분산됩니다. 수요가 많은 데이터는 빠른 미디어로 이동하고, 거의 사용되지 않는 데이터는 느린 미디어로 이동합니다. 이상적으로 분포는 다음과 같아야 합니다.

B. 동일한 유형의 디스크 간 데이터 분포

처음에 나는 정보 매체가 다음과 같다고 썼다는 것을 기억하십시오. 하나 이상 레벨이 하나의 풀로 결합됩니까? 단일 수준의 경우 FAST VP에서도 수행할 작업이 있습니다. 모든 수준에서 최대 성능을 달성하려면 디스크 간에 데이터를 균등하게 배포하는 것이 좋습니다. 이를 통해 (이론적으로) 최대 IOPS를 얻을 수 있습니다. RAID 그룹 내의 데이터는 디스크 전체에 고르게 분산된 것으로 간주할 수 있지만 RAID 그룹 간에는 항상 그런 것은 아닙니다. 불균형이 발생하는 경우 FAST VP는 볼륨 및 "조건부 성능"(수치 기준)에 비례하여 RAID 그룹 간에 데이터를 이동합니다. 명확성을 위해 세 가지 RAID 그룹 간의 재조정 방식을 보여 드리겠습니다.

다. 풀 확장 시 데이터 배포

이 작업은 이전 작업의 특별한 경우이며 RAID 그룹이 풀에 추가될 때 수행됩니다. 새로 추가된 RAID 그룹이 유휴 상태가 되는 것을 방지하기 위해 일부 데이터가 해당 그룹으로 전송됩니다. 이는 모든 RAID 그룹의 로드가 재분산된다는 의미입니다.

SSD 웨어 레벨링

FAST VP는 웨어 레벨링을 사용하여 SSD의 수명을 연장할 수 있지만 이 기능은 스토리지 계층화와 직접적인 관련이 없습니다. 온도 데이터를 이미 사용할 수 있고 쓰기 작업 수도 고려되며 데이터 블록을 이동하는 방법을 알고 있으므로 FAST VP에서 이 문제를 해결하는 것이 논리적입니다.

한 RAID 그룹의 항목 수가 다른 RAID 그룹의 항목 수를 크게 초과하는 경우 FAST VP는 쓰기 작업 수에 따라 데이터를 재분배합니다. 이는 로드를 완화하고 일부 디스크의 리소스를 절약하는 한편, 로드가 적은 디스크에 "작업"을 추가하여 전반적인 성능을 향상시킵니다.

이러한 방식으로 FAST VP는 스토리지 계층화의 기존 과제를 해결하고 그 이상의 기능을 수행합니다. 이 모든 기능을 통해 Unity 스토리지 시스템에 데이터를 상당히 효율적으로 저장할 수 있습니다.

몇 가지 팁

1. 문서 읽기를 게을리하지 마십시오. 모범 사례가 있으며 꽤 잘 작동합니다. 이를 따르면 원칙적으로 심각한 문제가 발생하지 않습니다. 나머지 조언은 기본적으로 이를 반복하거나 보완합니다.
2. FAST VP를 구성하고 활성화한 경우 활성화된 상태로 둡니다. 할당된 시간에 데이터를 XNUMX년에 한 번씩 조금씩 배포하고 다른 작업의 성능에 심각한 영향을 미치도록 하세요. 이러한 경우 데이터 재배포에 오랜 시간이 걸릴 수 있습니다.
3. 재배치 기간을 선택할 때는 주의하세요. 당연한 이야기지만, Unity에 부하가 가장 적은 시간을 선택하여 충분한 시간을 할당해 보세요.
4. 스토리지 확장을 계획하고 제때에 수행하십시오. 이는 FAST VP에도 중요한 일반적인 권장 사항입니다. 여유 공간이 매우 작으면 데이터 이동 속도가 느려지거나 불가능해집니다. 특히 포인트 2를 무시한 경우.
5. FAST VP가 활성화된 풀을 확장하는 경우 가장 느린 디스크로 시작해서는 안 됩니다. 즉, 계획된 모든 RAID 그룹을 한 번에 추가하거나 가장 빠른 디스크를 먼저 추가합니다. 이 경우 새로운 "빠른" 디스크에 데이터를 재배포하면 풀의 전체 속도가 향상됩니다. 그렇지 않으면 "느린" 디스크로 시작하면 매우 불쾌한 상황이 발생할 수 있습니다. 먼저 데이터는 상대적으로 느린 새 디스크로 전송되고, 더 빠른 디스크가 추가되면 반대 방향으로 전송됩니다. 여기에는 다양한 FAST VP 정책과 관련된 미묘한 차이가 있지만 일반적으로 비슷한 상황이 가능합니다.

이 제품을 보고 계시다면 Unity VSA 가상 어플라이언스를 다운로드하여 Unity를 무료로 사용해 보실 수 있습니다.

자료 마지막에는 몇 가지 유용한 링크를 공유합니다.

• 페이지 유니티 스토리지 시스템
• Dell EMC Unity: FAST VP 작동 이론 – 기능에 대한 간략한 설명
• 더 완전하고 자세한 설명, PDF 형식
• Unity VSA/클라우드 에디션

결론

나는 많은 것에 대해 쓰고 싶지만 모든 세부 사항이 독자의 관심을 끌지는 않을 것이라는 것을 이해합니다. 예를 들어 FAST VP가 데이터 전송을 결정하는 기준, I/O 통계 분석 프로세스에 대해 자세히 설명할 수 있습니다. 또한, 상호작용의 주제는 동적 풀, 이는 별도의 기사가 필요합니다. 이 기술의 발전에 대해 상상해 볼 수도 있습니다. 지루하지 않았고 지루하지 않았기를 바랍니다. 곧 봐요!

출처 : habr.com