Qsan XCubeSAN 스토리지 시스템의 자동 계층화 기능

스토리지 시스템에 적용되는 I/O 작업 가속화 기술을 지속적으로 고려하고 있습니다. 이전 기사, 자동 계층화와 같이 매우 인기 있는 옵션에 대해 생각할 수밖에 없습니다. 이 기능의 이데올로기는 다양한 스토리지 시스템 제조업체에서 매우 유사하지만 예를 사용하여 계층화 구현의 특징을 살펴보겠습니다. Qsan 스토리지 시스템.

스토리지 시스템에 저장된 데이터의 다양성에도 불구하고 이 동일한 데이터는 수요(사용 빈도)에 따라 여러 그룹으로 나눌 수 있습니다. 가장 인기 있는(“핫”) 데이터는 가능한 한 빨리 액세스해야 하며, 덜 사용되는(“콜드”) 데이터는 낮은 우선순위로 처리될 수 있습니다.

이러한 체계를 구성하기 위해 계층화 기능이 사용됩니다. 이 경우 데이터 어레이는 동일한 유형의 디스크로 구성되지 않고 서로 다른 스토리지 계층을 형성하는 여러 드라이브 그룹으로 구성됩니다. 특수 알고리즘을 사용하여 데이터는 레벨 간에 자동으로 이동되어 전체 성능을 최대화합니다.

SHD Q산 최대 XNUMX가지 스토리지 수준 지원:

• 계층 1: SSD, 최대 성능
• 계층 2: HDD SAS 10K/15K, 고성능
• 계층 3: HDD NL-SAS 7.2K, 최대 용량

자동 계층화 풀은 세 가지 수준을 모두 포함하거나 조합에 따라 두 가지 수준만 포함할 수 있습니다. 각 계층 내에서 드라이브는 친숙한 RAID 그룹으로 결합됩니다. 유연성을 극대화하기 위해 각 계층의 RAID 수준은 다를 수 있습니다. 즉, 예를 들어 4x SSD RAID10 + 6x HDD 10K RAID5 + 12 HDD 7.2K RAID6과 같은 구조를 구성하는 데 방해가 되는 것은 없습니다.

볼륨(가상 디스크)을 생성한 후 자동 계층화 풀은 모든 I/O 작업에 대한 통계의 백그라운드 수집을 시작합니다. 이를 위해 공간이 1GB 블록(소위 하위 LUN)으로 "절단"됩니다. 이러한 블록에 액세스할 때마다 계수 1이 할당됩니다. 그런 다음 시간이 지남에 따라 이 계수는 감소합니다. 24시간 후에 이 블록에 대한 I/O 요청이 없으면 이미 0.5와 동일하며 다음 시간마다 계속해서 감소합니다.

특정 시점(기본적으로 매일 자정)에 수집된 결과는 해당 계수를 기준으로 하위 LUN 활동별로 순위가 지정됩니다. 이를 바탕으로 어느 블록을 어느 방향으로 이동할지 결정됩니다. 그 후에 실제로 레벨 간 데이터 재배치가 발생합니다.

Qsan 스토리지 시스템은 다양한 매개변수를 사용하여 계층화 프로세스 관리를 완벽하게 구현하므로 어레이의 최종 성능을 매우 유연하게 구성할 수 있습니다.

데이터의 초기 위치와 이동 우선순위 방향을 결정하기 위해 각 볼륨에 대해 별도로 설정된 정책이 사용됩니다.

• 자동 계층화 – 기본 정책, 초기 배치 및 이동 방향이 자동으로 결정됩니다. "핫" 데이터는 최상위 수준으로 이동하는 경향이 있고 "콜드" 데이터는 아래로 이동하는 경향이 있습니다. 초기 배치는 각 레벨에서 사용 가능한 공간을 기준으로 선택됩니다. 그러나 시스템은 기본적으로 가장 빠른 드라이브를 최대한 활용하기 위해 노력한다는 점을 이해해야 합니다. 따라서 여유 공간이 있으면 데이터는 상위 레벨에 배치됩니다. 이 정책은 데이터 수요를 미리 예측할 수 없는 대부분의 시나리오에 적합합니다.
• 높음으로 시작한 다음 자동 계층화 – 이전과의 차이점은 데이터의 초기 위치(가장 빠른 수준)에만 있습니다.
• 최고 수준 – 데이터는 항상 가장 빠른 수준을 차지하려고 노력합니다. 작동 중에 아래로 이동하면 가능한 한 빨리 뒤로 이동합니다. 이 정책은 가능한 가장 빠른 액세스가 필요한 데이터에 적합합니다.
• 최소 레벨 – 데이터는 항상 가장 낮은 수준을 차지하는 경향이 있습니다. 이 정책은 거의 사용되지 않는 데이터(예: 아카이브)에 적합합니다.
• 움직이지 마세요 – 시스템은 데이터의 원래 위치를 자동으로 확인하고 이동하지 않습니다. 그러나 나중에 재배치가 필요할 경우를 대비해 통계는 계속 수집됩니다.

정책은 각 볼륨이 생성될 때 정의되지만 시스템 수명 주기 전반에 걸쳐 즉시 반복적으로 변경될 수 있다는 점은 주목할 가치가 있습니다.

계층화 메커니즘에 대한 정책 외에도 수준 간 데이터 이동의 빈도와 속도도 구성됩니다. 매일 또는 특정 요일에 특정 이동 시간을 설정할 수 있으며 통계 수집 간격을 몇 시간(최소 빈도 - 2시간)으로 줄일 수도 있습니다. 데이터 이동 작업을 완료하는 데 걸리는 시간을 제한해야 하는 경우 기간(이동 기간)을 설정할 수 있습니다. 또한 재배치 속도도 표시됩니다(빠름, 중간, 느림).

즉각적인 데이터 재배치가 필요한 경우 관리자의 명령에 따라 언제든지 수동으로 수행할 수 있습니다.

데이터가 레벨 간에 더 자주, 더 빠르게 이동할수록 스토리지 시스템이 현재 운영 조건에 더 유연하게 적응할 수 있다는 것은 분명합니다. 그러나 동시에 이동은 추가 부하(주로 디스크)이므로 반드시 필요한 경우가 아니면 데이터를 "구동"해서는 안 된다는 점을 기억할 가치가 있습니다. 부하가 가장 적은 시간에 움직임을 계획하는 것이 좋습니다. 스토리지 시스템 운영에 연중무휴 24시간 고성능이 지속적으로 요구되는 경우 재배치 비율을 최소한으로 줄이는 것이 좋습니다.

풍부한 촬영 설정은 의심할 여지없이 고급 사용자를 만족시킬 것입니다. 그러나 이러한 기술을 처음 접하는 사람들에게는 걱정할 것이 없습니다. 기본 설정(자동 계층화 정책, 밤에 하루에 한 번 최대 속도로 이동)을 신뢰하고 통계가 축적됨에 따라 특정 매개변수를 조정하여 필요한 결과를 얻는 것이 가능합니다.

생산성을 높이기 위해 인기 있는 기술과 인열을 비교하면 다음과 같습니다. SSD 캐싱, 해당 알고리즘의 다양한 작동 원리를 기억해야 합니다.

SSD 캐싱
자동 계층화

효과 시작 속도
거의 즉시. 그러나 눈에 띄는 효과는 캐시가 "워밍업"된 후에만 나타납니다(몇 분에서 몇 시간).
통계 수집 후(2시간, 이상적으로는 하루에 한 시간) + 데이터 이동 시간

효과 지속 시간
데이터가 새로운 부분으로 대체될 때까지(분-시간)
데이터 수요가 있는 동안(XNUMX시간 이상)

사용에 대한 표시
즉각적인 단기 성능 향상(데이터베이스, 가상화 환경)
장기간 생산성 향상(파일, 웹, 메일 서버)

또한 계층화의 특징 중 하나는 "SSD + HDD"와 같은 시나리오뿐만 아니라 "빠른 HDD + 느린 HDD" 또는 심지어 세 가지 수준 모두에 사용할 수 있다는 것입니다. 이는 SSD 캐싱을 사용할 때 기본적으로 불가능합니다.

테스트

계층화 알고리즘의 성능을 테스트하기 위해 간단한 테스트를 수행했습니다. 두 가지 수준의 SSD(RAID 1) + HDD 7.2K(RAID1) 풀이 생성되었으며 여기에 "최소 수준" 정책이 적용된 볼륨이 배치되었습니다. 저것들. 데이터는 항상 느린 디스크에 위치해야 합니다.

관리 인터페이스는 레벨 간 데이터 배치를 명확하게 보여줍니다.

볼륨을 데이터로 채운 후 배치 정책을 자동 계층화로 변경하고 IOmeter 테스트를 실행했습니다.

몇 시간의 테스트 끝에 시스템이 통계를 축적할 수 있게 되었을 때 재배치 프로세스가 시작되었습니다.

데이터 이동이 완료된 후 테스트 볼륨은 최상위 수준(SSD)까지 완전히 "크롤링"되었습니다.

평결

자동 계층화(Auto Tiering)는 고속 드라이브를 보다 집중적으로 사용하여 최소한의 재료 및 시간 비용으로 스토리지 시스템의 성능을 향상시킬 수 있는 놀라운 기술입니다. 적용대상 Q산 유일한 투자는 볼륨/디스크/쉘프/등의 수에 대한 제한 없이 한 번만 구매하는 라이센스입니다. 이 기능은 거의 모든 비즈니스 작업을 만족시킬 수 있는 풍부한 설정을 갖추고 있습니다. 그리고 인터페이스의 프로세스 시각화를 통해 장치를 효과적으로 관리할 수 있습니다.

출처 : habr.com