NVMe의 RAID 어레이

이 기사에서는 RAID 어레이를 구성하는 다양한 방법에 대해 설명하고 NVMe를 지원하는 최초의 하드웨어 RAID 컨트롤러 중 하나를 보여줍니다.

RAID 기술의 다양한 응용 분야는 모두 서버 부문에서 찾아볼 수 있습니다. 클라이언트 세그먼트에서는 두 개의 디스크에 있는 소프트웨어 RAID0 또는 RAID1만 가장 자주 사용됩니다.

이 문서에서는 RAID 기술에 대한 간략한 개요, 세 가지 도구를 사용하여 RAID 어레이를 생성하는 방법에 대한 간단한 튜토리얼, 각 방법을 사용한 가상 디스크 성능 비교를 제공합니다.

RAID란 무엇입니까?

위키 백과 RAID 기술에 대한 포괄적인 정의를 제공합니다.

RAID (영어 독립 디스크의 중복 어레이 - 독립(독립) 디스크의 중복 배열) - 내결함성과 성능을 높이기 위해 여러 물리적 디스크 장치를 하나의 논리 모듈로 결합하는 데이터 가상화 기술입니다.

디스크 어레이의 구성과 사용되는 기술은 선택한 항목에 따라 다릅니다. RAID 레벨. RAID 레벨은 사양에 표준화되어 있습니다. 일반적인 RAID 디스크 데이터 형식. 다양한 RAID 레벨을 설명하지만 가장 일반적인 것은 RAID0, RAID1, RAID5 및 RAID6입니다.

RAID0또는 문은 두 개 이상의 물리적 드라이브를 하나의 논리 드라이브로 결합하는 RAID 수준입니다. 논리 디스크의 볼륨은 어레이에 포함된 물리 디스크의 볼륨의 합과 같습니다. 이 RAID 수준에는 중복성이 없으며 드라이브 하나에 오류가 발생하면 가상 디스크의 모든 데이터가 손실될 수 있습니다.

수평 RAID1또는 거울, 두 개 이상의 디스크에 동일한 데이터 복사본을 만듭니다. 가상 디스크의 크기는 물리 디스크의 최소 크기를 초과하지 않습니다. RAID1 가상 디스크의 데이터는 어레이에서 하나 이상의 물리적 디스크가 작동하는 한 사용할 수 있습니다. RAID1을 사용하면 중복성이 추가되지만 두 개 이상의 디스크 배열에서는 하나만 사용할 수 있으므로 비용이 많이 드는 솔루션입니다.

수평 RAID5 높은 비용 문제를 해결합니다. RAID5 레벨의 어레이를 생성하려면 최소 3개의 디스크가 필요하며 어레이는 디스크 5개의 오류에 강합니다. RAID5의 데이터는 체크섬이 있는 블록에 저장됩니다. 데이터 디스크와 체크섬 디스크 사이에는 엄격한 구분이 없습니다. RAID1의 체크섬은 각각 다른 디스크에서 가져온 N-XNUMX 블록에 적용된 XOR 연산의 결과입니다.

RAID 어레이는 중복성을 높이고 중복성을 제공하지만 백업을 저장하는 데는 적합하지 않습니다.

RAID 어레이 유형에 대해 간략히 살펴본 후 디스크 어레이를 조립하고 사용할 수 있는 장치 및 프로그램으로 넘어갈 수 있습니다.

RAID 컨트롤러 유형

RAID 어레이를 생성하고 사용하는 방법에는 하드웨어와 소프트웨어의 두 가지가 있습니다. 우리는 다음과 같은 해결책을 고려할 것입니다:

• 리눅스 소프트웨어 RAID.
• Intel® 가상 RAID On CPU.
• LSI MegaRAID 9460-8i.

인텔® 솔루션은 칩셋에서 실행되므로 하드웨어 솔루션인지 소프트웨어 솔루션인지에 대한 의문이 제기됩니다. 예를 들어 VMWare ESXi 하이퍼바이저는 VROC 소프트웨어를 고려하며 공식적으로 지원하지 않습니다.

리눅스 소프트웨어 RAID

Linux OS 제품군의 소프트웨어 RAID 어레이는 클라이언트와 서버 부문 모두에서 상당히 일반적인 솔루션입니다. 어레이를 생성하는 데 필요한 것은 mdadm 유틸리티와 몇 개의 블록 장치뿐입니다. Linux 소프트웨어 RAID가 사용하는 드라이브에 적용하는 유일한 요구 사항은 시스템에 액세스할 수 있는 블록 장치라는 것입니다.

장비와 소프트웨어 비용이 들지 않는다는 점은 이 방법의 분명한 장점입니다. Linux 소프트웨어 RAID는 CPU 시간을 희생하여 디스크 어레이를 구성합니다. 지원되는 RAID 수준 목록과 현재 디스크 배열 상태는 procfs 루트에 있는 mdstat 파일에서 볼 수 있습니다.

root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] 
unused devices: <none>

적절한 커널 모듈을 연결하면 RAID 레벨에 대한 지원이 추가됩니다. 예:

root@grindelwald:~# modprobe raid456
root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
unused devices: <none>

디스크 어레이에 대한 모든 작업은 mdadm 명령줄 유틸리티를 통해 수행됩니다. 디스크 어레이는 하나의 명령으로 구성됩니다.

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

이 명령을 실행하면 /dev/md0 블록 장치가 시스템에 나타나며 이는 사용자를 가상 디스크로 나타냅니다.

CPU 기반 인텔® 가상 RAID

인텔® VROC 표준 하드웨어 키
Intel® VROC(Virtual RAID On CPU)는 Intel® 칩셋을 기반으로 RAID 어레이를 생성하기 위한 하드웨어 및 소프트웨어 기술입니다. 이 기술은 주로 Intel® Xeon® Scalable 프로세서를 지원하는 마더보드에서 사용할 수 있습니다. 기본적으로 VROC는 사용할 수 없습니다. 활성화하려면 VROC 하드웨어 라이센스 키를 설치해야 합니다.

표준 VROC 라이센스를 사용하면 0, 1 및 10 RAID 수준의 디스크 어레이를 생성할 수 있습니다. 프리미엄 버전은 RAID5 지원으로 이 목록을 확장합니다.

최신 마더보드의 인텔® VROC 기술은 NVMe 드라이브에 핫스왑 기능을 제공하는 인텔® 볼륨 관리 장치(VMD)와 함께 작동합니다.

인텔® VROC 표준 라이센스 어레이는 서버가 부팅될 때 설정 유틸리티를 통해 구성됩니다. 탭에서 Advnaced 디스크 배열을 구성할 수 있는 Intel® Virtual RAID on CPU 항목이 나타납니다.

두 개의 드라이브에 RAID1 어레이 생성
인텔® VROC 기술에는 자체적인 에이스가 있습니다. VROC를 사용하여 구축된 디스크 어레이는 Linux 소프트웨어 RAID와 호환됩니다. 이는 어레이의 상태를 /proc/mdstat에서 모니터링하고 mdadm을 통해 관리할 수 있음을 의미합니다. 이 "기능"은 Intel에서 공식적으로 지원합니다. 설정 유틸리티에서 RAID1을 조립한 후 OS에서 드라이브 동기화를 관찰할 수 있습니다.

root@grindelwald:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 nvme2n1[1] nvme1n1[0]
      1855832064 blocks super external:/md127/0 [2/2] [UU]
      [>....................]  resync =  1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec
      
md127 : inactive nvme1n1[1](S) nvme2n1[0](S)
      10402 blocks super external:imsm
       
unused devices: <none>

mdadm을 사용하여 VROC에서 어레이를 조립할 수는 없지만(조립된 어레이는 Linux SW RAID가 됨) 그 안의 디스크를 변경하고 어레이를 분해할 수 있습니다.

LSI 메가레이드 9460-8i

LSI MegaRAID 9460-8i 컨트롤러의 모습
RAID 컨트롤러는 독립형 하드웨어 솔루션입니다. 컨트롤러는 컨트롤러에 직접 연결된 드라이브에서만 작동합니다. 이 RAID 컨트롤러는 최대 24개의 NVMe 드라이브를 지원합니다. 이 컨트롤러를 다른 많은 컨트롤러와 차별화하는 것은 NVMe 지원입니다.

하드웨어 컨트롤러의 메인 메뉴
UEFI 모드를 사용하면 컨트롤러 설정이 설정 유틸리티에 통합됩니다. VROC에 비해 하드웨어 컨트롤러 메뉴는 훨씬 더 복잡해 보입니다.

두 개의 디스크에 RAID1 생성
하드웨어 컨트롤러에서 디스크 어레이를 구성하는 방법을 설명하는 것은 상당히 미묘한 주제이며 본격적인 기사를 작성하는 이유가 될 수 있습니다. 여기서는 기본 설정으로 RAID0 및 RAID1을 생성하는 것으로만 제한하겠습니다.

하드웨어 컨트롤러에 연결된 디스크는 운영 체제에 표시되지 않습니다. 대신 컨트롤러는 모든 RAID 어레이를 SAS 드라이브로 "마스크"합니다. 컨트롤러에 연결되어 있지만 디스크 어레이의 일부가 아닌 드라이브는 OS에서 액세스할 수 없습니다.

root@grindelwald:~# smartctl -i /dev/sda
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               AVAGO
Product:              MR9460-8i
Revision:             5.14
Compliance:           SPC-3
User Capacity:        1,999,844,147,200 bytes [1.99 TB]
Logical block size:   512 bytes
Rotation Rate:        Solid State Device
Logical Unit id:      0x000000000000000000000000000000
Serial number:        00000000000000000000000000000000
Device type:          disk
Local Time is:        Sun Oct 11 16:27:59 2020 MSK
SMART support is:     Unavailable - device lacks SMART capability.

NVMe 어레이는 SAS 드라이브로 위장되어 있음에도 불구하고 PCIe 속도로 작동합니다. 그러나 이 기능을 사용하면 레거시에서 NVMe에서 부팅할 수 있습니다.

테스트 벤치

디스크 어레이를 구성하는 각 방법에는 고유한 물리적 장단점이 있습니다. 하지만 디스크 어레이로 작업할 때 성능 차이가 있습니까?

최대한의 공정성을 달성하기 위해 모든 테스트는 동일한 서버에서 수행됩니다. 구성:

• 2x 인텔® 제온® 6240;
• 12x DDR4-2666 16GB;
• LSI MegaRAID 9460-8i;
• 인텔® VROC 표준 하드웨어 키;
• 4x 인텔® SSD DC P4510 U.2 2TB;
• 1x 삼성 970 EVO Plus M.2 500GB.

테스트 장치는 P4510이며, 절반은 마더보드에 연결되고 나머지 절반은 RAID 컨트롤러에 연결됩니다. M.2는 Ubuntu 20.04를 실행하고 있으며 테스트는 fio 버전 3.16을 사용하여 실행됩니다.

테스트

우선, 디스크 작업 시 지연을 확인해 보겠습니다. 테스트는 하나의 스레드에서 실행되며 블록 크기는 4KB입니다. 각 테스트는 5분 동안 진행됩니다. 시작하기 전에 해당 블록 장치는 I/O 스케줄러로 없음으로 설정됩니다. fio 명령은 다음과 같습니다.

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --iodepth=1 --loops=1000 --runtime=300  --rw=<mode> --filename=<blkdev>

fio 결과에서 우리는 clat 99.00%를 취합니다. 결과는 아래 표에 나와 있습니다.

무작위 판독, μs
무작위 녹음, μs

디스크
112
78

리눅스 SW RAID, RAID0
113
45

VROC, RAID0
112
46

LSI, RAID0
122
63

리눅스 SW RAID, RAID1
113
48

VROC, RAID1
113
45

LSI, RAID1
128
89

데이터 액세스 시 지연이 발생하는 것 외에도 가상 드라이브의 성능을 확인하고 물리 디스크의 성능과 비교하고 싶습니다. fio를 실행하는 명령:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --loops=1000 --runtime=300  --iodepth=<threads> --rw=<mode> --filename=<blkdev>

성능은 I/O 작업 측면에서 측정됩니다. 결과는 아래 표에 제시되어 있습니다.

무작위 읽기 1스레드, IOPS
무작위 쓰기 1개 스레드, IOPS
무작위 읽기 128개 스레드, IOPS
무작위 쓰기 128개 스레드, IOPS

디스크
11300
40700
453000
105000

리눅스 SW RAID, RAID0
11200
52000
429000
232000

VROC, RAID0
11200
52300
441000
162000

LSI, RAID0
10900
44200
311000
160000

리눅스 SW RAID, RAID1
10000
48600
395000
147000

VROC, RAID1
10000
54400
378000
244000

LSI, RAID1
11000
34300
229000
248000

하드웨어 컨트롤러를 사용하면 소프트웨어 솔루션에 비해 지연 시간이 늘어나고 성능 저하가 발생한다는 것을 쉽게 알 수 있습니다.

결론

하드웨어 솔루션을 사용하여 두 개의 디스크에서 디스크 배열을 만드는 것은 비합리적으로 보입니다. 그러나 RAID 컨트롤러 사용이 정당한 작업이 있습니다. NVMe 인터페이스를 지원하는 컨트롤러의 출현으로 사용자는 프로젝트에서 더 빠른 SSD를 사용할 수 있는 기회를 갖게 되었습니다.

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

RAID 솔루션을 사용하고 있습니까?

• 29,6%예, 하드웨어 솔루션32

• 50,0%예, 소프트웨어 솔루션54

• 16,7%18

• 3,7%RAID가 필요하지 않음4

108명의 사용자가 투표했습니다. 14명의 사용자가 기권했습니다.

출처 : habr.com