🥇RAID etalaj sou NVMe

Nan atik sa a nou pral pale sou diferan fason yo òganize etalaj RAID, epi tou montre youn nan premye contrôleur RAID pyès ki nan konpitè ak sipò NVMe.

Tout varyete aplikasyon teknoloji RAID yo jwenn nan segman sèvè a. Nan segman kliyan an, se sèlman lojisyèl RAID0 oswa RAID1 sou de disk ki pi souvan itilize.

Atik sa a pral bay yon ti apèsi sou teknoloji ATAK, yon ti leson patikilye sou kòman yo kreye etalaj RAID lè l sèvi avèk twa zouti diferan, ak yon konparezon nan pèfòmans disk vityèl lè l sèvi avèk chak metòd.

ki sa ki RAID?

Wikipedya bay yon definisyon konplè nan teknoloji RAID:

Rèd (Angle Etalaj redondants nan disk endepandan - etalaj redondants de disques endepandan (endepandan) - done virtuel teknoloji pou konbine plizyè aparèy fizik disques nan yon modil lojik pou ogmante tolerans bay tò ak pèfòmans.

Konfigirasyon an nan etalaj ki gen kapasite ak teknoloji yo itilize depann sou chwazi a Nivo RAID. Nivo RAID yo ofisyèl nan spesifikasyon la Fòma done komen RAID Disk. Li dekri anpil nivo RAID, men ki pi komen yo se RAID0, RAID1, RAID5 ak RAID6.

ATAK 0Oswa Stripes, se yon nivo RAID ki konbine de oswa plis kondui fizik nan yon sèl kondwi lojik. Volim disk lojik la egal a sòm volim disk fizik ki enkli nan etalaj la. Pa gen okenn redondance nan nivo RAID sa a, ak echèk nan yon sèl kondwi ka lakòz pèt la nan tout done nan disk la vityèl.

Nivo ATAK 1Oswa Glas, kreye kopi done ki idantik sou de oswa plis disk. Gwosè a nan disk la vityèl pa depase gwosè a minimòm de disk fizik yo. Done ki sou disk vityèl RAID1 la ap disponib osi lontan ke omwen yon disk fizik nan etalaj la fonksyone. Sèvi ak RAID1 ajoute redondance, men se yon solisyon olye chè, depi nan etalaj de oswa plis disk kapasite a nan yon sèl ki disponib.

Nivo ATAK 5 rezoud pwoblèm nan nan pri segondè. Pou kreye yon etalaj ak nivo RAID5, ou bezwen omwen 3 disk, ak etalaj la rezistan a echèk nan yon sèl disk. Done ki nan RAID5 yo estoke nan blòk ak sòm chèk. Pa gen okenn divizyon strik ant disk done ak disk checksum. Checksums nan RAID5 se rezilta yon operasyon XOR aplike nan blòk N-1, yo chak pran nan yon disk diferan.

Malgre ke etalaj RAID ogmante redondance ak bay redondance, yo pa apwopriye pou estoke sovgad.

Apre yon levasyon tou kout nan kalite RAID etalaj yo, ou ka ale nan aparèy ak pwogram ki pèmèt ou rasanble epi sèvi ak etalaj ki gen kapasite.

Kalite contrôleur RAID

Gen de fason pou kreye epi itilize etalaj RAID: pyès ki nan konpitè ak lojisyèl. Nou pral konsidere solisyon sa yo:

Linux Software RAID.
Intel® Virtual RAID sou CPU.
LSI MegaRAID 9460-8i.

Remake byen ke solisyon Intel® la kouri sou yon chipset, ki poze kesyon si li se yon solisyon pyès ki nan konpitè oswa lojisyèl. Pou egzanp, VMWare ESXi hypervisor konsidere lojisyèl VROC epi li pa ofisyèlman sipòte li.

Linux Software RAID

Lojisyèl RAID etalaj nan fanmi OS Linux yo se yon solisyon jistis komen nan tou de segman kliyan ak sèvè. Tout sa ou bezwen pou kreye yon etalaj se sèvis piblik mdadm ak kèk aparèy blòk. Sèl kondisyon Linux Software RAID mete sou kondui yo li itilize yo se yo dwe yon aparèy blòk aksesib a sistèm nan.

Absans depans pou ekipman ak lojisyèl se yon avantaj evidan nan metòd sa a. Linux Software RAID òganize ranje disk nan pri a nan tan CPU. Ou ka wè lis nivo RAID ki sipòte yo ak estati ranje disk aktyèl yo nan fichye mdstat, ki sitiye nan rasin procfs la:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] 
unused devices: <none>

Sipò pou nivo RAID yo ajoute lè w konekte modil nwayo ki apwopriye a, pou egzanp:

root@grindelwald:~# modprobe raid456
root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
unused devices: <none>

Tout operasyon ak ranje disk yo fèt atravè sèvis piblik liy kòmand mdadm. Se etalaj la ki gen kapasite reyini nan yon sèl kòmand:

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

Apre ou fin egzekite lòd sa a, aparèy blòk /dev/md0 la ap parèt nan sistèm nan, ki reprezante ou kòm yon disk vityèl.

Intel® Virtual RAID sou CPU

Intel® VROC Creole Kle Materyèl
Intel® Virtual RAID On CPU (VROC) se yon teknoloji pyès ki nan konpitè ak lojisyèl pou kreye etalaj RAID ki baze sou chipset Intel®. Teknoloji sa a disponib sitou pou plak mèr ki sipòte processeurs Intel® Xeon® Scalable. Pa defo, VROC pa disponib. Pou aktive li, ou dwe enstale yon kle lisans pyès ki nan konpitè VROC.

Lisans VROC estanda a pèmèt ou kreye ranje disk ak nivo RAID 0, 1 ak 10. Vèsyon prim lan ogmante lis sa a ak sipò RAID5.

Teknoloji Intel® VROC sou plak mèr modèn yo ap travay ansanm ak Intel® Volim Management Device (VMD), ki bay kapasite cho-swap pou kondui NVMe.

Intel® VROC Standard License Etalaj yo konfigirasyon atravè sèvis piblik la konfigirasyon lè sèvè a bòt. Sou tab la avanse Intel® Virtual RAID sou CPU atik la parèt, kote ou ka configured ranje disk.

Kreye yon etalaj RAID1 sou de kondui
Teknoloji Intel® VROC gen pwòp as li yo nan manch li. Etalaj disk ki te konstwi lè l sèvi avèk VROC yo konpatib ak Linux Software RAID. Sa vle di ke eta a nan etalaj yo ka kontwole nan /proc/mdstat epi administre atravè mdadm. "Karakteristik" sa a ofisyèlman sipòte pa Intel. Apre ou fin rasanble RAID1 nan Enstalasyon sèvis piblik, ou ka obsève senkronizasyon kondui yo nan eksplwatasyon an:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 nvme2n1[1] nvme1n1[0]
      1855832064 blocks super external:/md127/0 [2/2] [UU]
      [>....................]  resync =  1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec
      
md127 : inactive nvme1n1[1](S) nvme2n1[0](S)
      10402 blocks super external:imsm
       
unused devices: <none>

Remake byen ke ou pa ka rasanble etalaj sou VROC lè l sèvi avèk mdadm (etalaj yo reyini yo pral Linux SW RAID), men ou ka chanje disk nan yo epi demonte etalaj yo.

LSI MegaRAID 9460-8i

Aparans kontwolè LSI MegaRAID 9460-8i
Kontwolè RAID la se yon solisyon pyès ki nan konpitè otonòm. Kontwolè a sèlman travay ak kondui ki konekte dirèkteman ak li. Kontwolè RAID sa a sipòte jiska 24 kondui NVMe. Li se sipò NVMe ki mete kontwolè sa a apa de anpil lòt.

Meni prensipal kontwolè pyès ki nan konpitè
Lè w ap itilize mòd UEFI, paramèt kontwolè yo entegre nan Setup Utility. Konpare ak VROC, meni kontwolè pyès ki nan konpitè sanble pi konplèks.

Kreye RAID1 sou de disk
Eksplike ki jan yo konfigirasyon ranje disk sou yon kontwolè pyès ki nan konpitè se yon sijè olye delika epi li ta ka rezon ki fè yo pou yon atik plen véritable. Isit la nou pral tou senpleman limite tèt nou nan kreye RAID0 ak RAID1 ak anviwònman default.

Disk ki konekte ak kontwolè pyès ki nan konpitè yo pa vizib nan sistèm operasyon an. Olye de sa, kontwolè a "maske" tout etalaj RAID kòm kondui SAS. Kondwi ki konekte ak kontwolè a, men se pa yon pati nan etalaj la ki gen kapasite, yo pa pral aksesib pa OS la.

root@grindelwald:~# smartctl -i /dev/sda
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               AVAGO
Product:              MR9460-8i
Revision:             5.14
Compliance:           SPC-3
User Capacity:        1,999,844,147,200 bytes [1.99 TB]
Logical block size:   512 bytes
Rotation Rate:        Solid State Device
Logical Unit id:      0x000000000000000000000000000000
Serial number:        00000000000000000000000000000000
Device type:          disk
Local Time is:        Sun Oct 11 16:27:59 2020 MSK
SMART support is:     Unavailable - device lacks SMART capability.

Malgre ke yo degize kòm kondui SAS, etalaj NVMe pral opere nan vitès PCIe. Sepandan, karakteristik sa a pèmèt ou bòt soti nan NVMe nan Legacy.

Ban tès

Chak metòd pou òganize ranje disk gen pwòp avantaj fizik li yo ak dezavantaj. Men, èske gen yon diferans pèfòmans lè w ap travay ak ranje disk?

Pou reyalize maksimòm jistis, tout tès yo pral fèt sou menm sèvè a. Konfigirasyon li yo:

2x Intel® Xeon® 6240;
12x DDR4-2666 16 GB;
LSI MegaRAID 9460-8i;
Intel® VROC Creole Kle Materyèl;
4x Intel® SSD DC P4510 U.2 2TB;
1x Samsung 970 EVO Plus M.2 500GB.

Inite tès yo se P4510, yon mwatye nan ki konekte ak plak mèr la, ak lòt mwatye a nan kontwolè RAID la. M.2 la ap kouri Ubuntu 20.04 epi tès yo pral kouri lè l sèvi avèk fio vèsyon 3.16.

Tès

Premye a tout, se pou yo tcheke reta yo lè w ap travay ak disk la. Tès la egzekite nan yon sèl fil, gwosè blòk la se 4 KB. Chak tès dire 5 minit. Anvan yo kòmanse, aparèy blòk korespondan an mete nan okenn kòm pwogramè I/O. Kòmandman fio a sanble sa a:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --iodepth=1 --loops=1000 --runtime=300  --rw=<mode> --filename=<blkdev>

Soti nan rezilta fio nou pran clat 99.00%. Rezilta yo montre nan tablo ki anba a.

Lekti o aza, μs
Anrejistreman o aza, μs

ki gen kapasite
112
78

Linux SW RAID, RAID0
113
45

VROC, RAID0
112
46

LSI, RAID0
122
63

Linux SW RAID, RAID1
113
48

VROC, RAID1
113
45

LSI, RAID1
128
89

Anplis de reta lè gen aksè a done, mwen ta renmen wè pèfòmans nan kondui vityèl epi konpare yo ak pèfòmans nan yon disk fizik. Kòmand pou kouri fio:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --loops=1000 --runtime=300  --iodepth=<threads> --rw=<mode> --filename=<blkdev>

Pèfòmans mezire an tèm de operasyon I/O. Rezilta yo prezante nan tablo ki anba a.

Li o aza 1 fil, IOPS
O aza ekri 1 fil, IOPS
Li o aza 128 fil, IOPS
O aza ekri 128 fil, IOPS

ki gen kapasite
11300
40700
453000
105000

Linux SW RAID, RAID0
11200
52000
429000
232000

VROC, RAID0
11200
52300
441000
162000

LSI, RAID0
10900
44200
311000
160000

Linux SW RAID, RAID1
10000
48600
395000
147000

VROC, RAID1
10000
54400
378000
244000

LSI, RAID1
11000
34300
229000
248000

Li fasil pou w wè ke lè w sèvi ak yon kontwolè pyès ki nan konpitè rezilta nan ogmante latansi ak yon frape pèfòmans konpare ak solisyon lojisyèl.

Konklizyon

Sèvi ak solisyon pyès ki nan konpitè pou kreye ranje disk soti nan de disk sanble irasyonèl. Sepandan, gen travay kote itilizasyon kontwolè RAID jistifye. Avèk avenman kontwolè ki sipòte koòdone NVMe a, itilizatè yo gen opòtinite pou yo sèvi ak SSD pi vit nan pwojè yo.

Se sèlman itilizatè ki anrejistre ki ka patisipe nan sondaj la. Enskri, tanpri.

Èske w ap itilize solisyon RAID?

29,6%Wi, solisyon pyès ki nan konpitè32
50,0%Wi, solisyon lojisyèl54
16,7%Non18
3,7%Pa gen RAID ki nesesè4

108 itilizatè yo te vote. 14 itilizatè te absteni.

Sous: www.habr.com

RAID etalaj sou NVMe