RAID-arrayer på NVMe

I denna artikel kommer vi att berätta om olika sätt att organisera RAID-arrayer, samt visa en av de första hårdvarubaserade RAID-kontrollerna med stöd för NVMe.

Alla olika tillämpningar av RAID-teknologin förekommer i serversegmentet. I klientsegmentet används oftast enbart programvarubaserad RAID0 eller RAID1 med två diskar.

I denna artikel kommer det att ges en kort översikt av RAID-teknologin, en liten instruktion för att skapa RAID-arrayer med hjälp av tre olika verktyg och en jämförelse av prestandan hos virtuella diskar vid användning av varje metod.

Vad är RAID?

Wikipedia ger en uttömmande definition av RAID-teknologin:

RAID (eng. Redundant Array of Independent Disks — redundant array av oberoende (självständiga) diskar) — är en data virtualiseringsteknik för att kombinera flera fysiska lagringsenheter till en logisk modul för att öka både redundans och prestanda.

Konfigurationen av diskarrayer och de teknologier som används är beroende av den valda RAID-nivån (RAID level). RAID-nivåer standardiseras i specifikationen Common RAID Disk Data Format. Den beskriver många RAID-nivåer, men de mest förekommande anses vara RAID0, RAID1, RAID5 och RAID6.

RAID0, eller Stripes, — är en RAID-nivå som kombinerar två eller flera fysiska diskar till en logisk. Volymen av den logiska disken är summan av volymerna av de fysiska diskarna i arrayen. På denna nivå av RAID finns det ingen redundans, och ett fel på en disk kan leda till förlust av alla data på den virtuella disken.

Nivå RAID1, eller Mirror, skapar identiska kopior av data på två eller fler diskar. Volymen av den virtuella disken överskrider inte volymen av den minsta av de fysiska diskarna. Data på den virtuella disken RAID1 kommer att vara tillgängliga så länge minst en fysisk disk i arrayen fungerar. Användningen av RAID1 tillför redundans, men är en ganska kostsam lösning, eftersom i arrayer med två eller fler diskar är det endast volymen av en disk som är tillgänglig.

Nivå RAID5 lösning på kostnadsfrågan. För att skapa en RAID5-array behövs minst 3 enheter, och arrayen är motståndskraftig mot att en enhet går sönder. Data i RAID5 lagras i block med kontrollsummor. Det finns ingen strikt uppdelning mellan enheter som lagrar data och de som innehåller kontrollsummor. Kontrollsummorna i RAID5 är resultatet av en XOR-operation som tillämpas på N-1 block, där varje block tas från sin egen enhet.

Även om RAID-arrayer ökar redundansen och erbjuder reservdelar, är de inte lämpliga för att lagra säkerhetskopior.

Efter en kort översikt över olika typer av RAID-arrayer kan vi gå vidare till enheter och program som möjliggör skapandet och användningen av diskarrayer.

Typer av RAID-kontroller

Det finns två sätt att skapa och använda RAID-arrayer: hårdvara och mjukvara. Vi kommer att titta på följande lösningar:

• Linux Software RAID.
• Intel® Virtual RAID On CPU.
• LSI MegaRAID 9460-8i.

Det är värt att notera att Intel®-lösningen fungerar på chippet, vilket väcker frågan om det är en hårdvarulösning eller en mjukvarulösning. Till exempel anser hypervisor VMWare ESXi att VROC är mjukvarubaserat och stöder det inte officiellt.

Linux Software RAID

Mjukvaru-RAID-arrayer inom Linux OS-familjen är en ganska vanlig lösning både inom klientsegmentet och på servrar. Allt som behövs för att skapa en array är verktyget mdadm och några blockenheter. Det enda krav som Linux Software RAID ställer på de använda lagringsenheterna är att de ska vara blockenheter tillgängliga för systemet.

Avsaknaden av kostnader för hårdvara och mjukvara är den uppenbara fördelen med denna metod. Linux Software RAID organiserar diskarrayer till priset av processortid. Listan över stödda RAID-nivåer och status för aktuella diskarrayer kan ses i filen mdstat, som finns i roten av procfs:

root@grindelwald:~# cat /proc/mdstat 
Personligheter : [linear] [multipath] [raid0] [raid1] [raid10] 
 oanvända enheter:

Stöd för RAID-nivåer läggs till genom att koppla in den motsvarande kärnmodulen, till exempel:

root@grindelwald:~# modprobe raid456
root@grindelwald:~# cat /proc/mdstat 
Personligheter : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
 oanvända enheter:

Alla operationer med diskarrayer utförs via kommandoradsverktyget mdadm. Samlingen av en diskarray görs i ett enda kommando:

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

Efter att ha kört det här kommandot kommer ett blockenhet /dev/md0 att dyka upp i systemet, vilket representerar en virtuell disk.

Intel® Virtuellt RAID På CPU

Intel® VROC Standard Hårdvarulicens
Intel® Virtuellt RAID På CPU (VROC) är en programvaru- och hårdvaruteknologi för att skapa RAID-arrayer baserat på Intel® chipset. Denna teknologi är främst tillgänglig för moderkort som stöder Intel® Xeon® Scalable processorer. Som standard är VROC inte tillgängligt. För att aktivera det behöver du installera en hårdvarulicensnyckel för VROC.

Den standardlicens för VROC möjliggör skapande av diskarrayer med nivåer av RAID 0, 1 och 10. Den premiumversionen utökar denna lista med stöd för RAID 5.

Teknologin Intel® VROC på moderna moderkort fungerar tillsammans med Intel® Volume Management Device (VMD), vilket möjliggör hot-swapping för enheter med NVMe-gränssnitt.

Intel® VROC med standardlicens Konfiguration av arrayer görs via Setup Utility vid serverns uppstart. På fliken Avancerad dyker punkt Intel® Virtuellt RAID på CPU upp, där man kan konfigurera diskarrayer.

Skapande av RAID1-array med två enheter
Teknologin Intel® VROC har sina "trumpeter i ärmen". Diskarrayer som skapas med VROC är kompatibla med Linux Software RAID. Detta innebär att tillståndet av arrayer kan spåras i /proc/mdstat och administreras via mdadm. Denna "funktion" stöds officiellt av Intel. Efter att RAID1 har byggts i Setup Utility kan man observera synkronisering av enheterna i OS:

root@grindelwald:~# cat /proc/mdstat 
Personligheter : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : aktiv raid1 nvme2n1[1] nvme1n1[0]
      1855832064 block super extern:/md127/0 [2/2] [UU]
      [>....................]  resync =  1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec
      
md127 : inaktiv nvme1n1[1](S) nvme2n1[0](S)
      10402 block super extern:imsm
       
osk använda enheter:

Notera att man inte kan skapa arrayer på VROC genom mdadm (skapade arrayer kommer att vara Linux SW RAID), men man kan byta ut enheter och ta isär arrayer.

LSI MegaRAID 9460-8i

Utseendet på LSI MegaRAID 9460-8i kontrollern
RAID-kontrollern är en fristående hårdvarulösning. Kontrollern fungerar endast med enheter som är direkt anslutna till den. Denna RAID-kontroller stöder upp till 24 enheter med NVMe-gränssnitt. Just stödet för NVMe särskiljer denna kontroller från många andra.

Huvudmenyn för hårdvarukontrollern
När UEFI-läget används integreras kontrollerinställningarna i Setup Utility. Jämfört med VROC ser menyn för den hårdvarubaserade kontrollen betydligt mer komplicerad ut.

Skapa RAID1 med två diskar
Förklaringen av diskarrangemang på den hårdvarubaserade kontrollen är ett ganska komplext ämne och kan bli en fullständig artikel. Här begränsar vi oss till att skapa RAID0 och RAID1 med standardinställningar.

Disken, som är ansluten till den hårdvarubaserade kontrollen, syns inte av operativsystemet. Istället "maskerar" kontrollern alla RAID-arrayer som SAS-enheter. Enheter som är anslutna till kontrollern men inte ingår i diskarrayen kommer inte att vara tillgängliga för OS:et.

root@grindelwald:~# smartctl -i /dev/sda
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (lokal bygg)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START AV INFORMATIONSEKTION ===
Tillverkare:           AVAGO
Produkt:              MR9460-8i
Revision:             5.14
Överensstämmelse:     SPC-3
Användarkapacitet:    1,999,844,147,200 bytes [1.99 TB]
Logisk blockstorlek:  512 bytes
Rotationshastighet:    Solid State-enhet
Logisk enhets-ID:     0x000000000000000000000000000000
Serienummer:          00000000000000000000000000000000
Enhetstyp:           disk
Lokal tid är:        Sön 11 Okt 16:27:59 2020 MSK
SMART-stöd är:       Otillgängligt - enheten saknar SMART-kapacitet.

Trots att det maskeras som SAS-enheter kommer arrays med NVMe att fungera i PCIe-hastighet. Denna funktion gör det möjligt att starta från NVMe i Legacy.

Testbänk

Varje metod för att organisera diskarrayer har sina fysiska fördelar och nackdelar. Men finns det någon skillnad i prestanda när man arbetar med diskarrayer?

För att uppnå maximal rättvisa kommer alla tester att utföras på samma server. Dess konfiguration:

• 2x Intel® Xeon® 6240;
• 12x DDR4-2666 16 GB;
• LSI MegaRAID 9460-8i;
• Intel® VROC Standard Hardware Key;
• 4x Intel® SSD DC P4510 U.2 2TB;
• 1x Samsung 970 EVO Plus M.2 500GB.

Tester utförs på P4510, där ena halvan är ansluten till moderkortet och den andra till RAID-kontrollen. Operativsystemet Ubuntu 20.04 är installerat på M.2, och testerna kommer att genomföras med hjälp av fio version 3.16.

Testning

Vi börjar med att kontrollera latensen vid diskoperationer. Testet utförs i en tråd, blockstorleken är 4 KB. Varje test varar i 5 minuter. Innan starten sätts rätt blockenhet till none som IO-schemaläggare. Fio-kommandot ser ut som följer:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --iodepth=1 --loops=1000 --runtime=300  --rw= --filename=

Från resultaten av fio tar vi clat 99.00%. Resultaten presenteras i tabellen nedan.

Slumpläsning, µs
Slumpskrivning, µs

Enhet
112
78

Linux SW RAID, RAID0
113
45

VROC, RAID0
112
46

LSI, RAID0
122
63

Linux SW RAID, RAID1
113
48

VROC, RAID1
113
45

LSI, RAID1
128
89

Förutom fördröjningar vid åtkomst av data vill vi se prestandan hos virtuella enheter och jämföra med prestandan hos en fysisk disk. Kommandot för att köra fio:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio --loops=1000 --runtime=300 --iodepth= --rw= --filename=

Prestandan mäts i antal in- och utdataoperationer. Resultaten presenteras i tabellen nedan.

Slumpläsning 1 tråd, IOPS
Slumpskrivning 1 tråd, IOPS
Slumpläsning 128 trådar, IOPS
Slumpskrivning 128 trådar, IOPS

Enhet
11300
40700
453000
105000

Linux SW RAID, RAID0
11200
52000
429000
232000

VROC, RAID0
11200
52300
441000
162000

LSI, RAID0
10900
44200
311000
160000

Linux SW RAID, RAID1
10000
48600
395000
147000

VROC, RAID1
10000
54400
378000
244000

LSI, RAID1
11000
34300
229000
248000

Det är lätt att se att användning av en hårdvarukontroller ger ökade fördröjningar och nedgångar i prestanda jämfört med programbaserade lösningar.

Slutsats

Att använda hårdvarulösningar för att skapa diskarrayer av två diskar verkar oekonomiskt. Ändå finns det uppgifter där användning av RAID-kontrollrar är berättigad. Med framkomsten av kontrollerare med stöd för NVMe-gränssnitt får användarna möjlighet att använda snabbare SSD:er i sina projekt.

Endast registrerade användare kan delta i omröstningen. Logga in, tack.

Använder du RAID-lösningar?

• 29,6%Ja, hårdvarulösningar32

• 50,0%Ja, programvarulösningar54

• 16,7%Nej18

• 3,7%RAID behövs inte4

108 användare har röstat. 14 användare avstod.

Källa: habr.com