RAID arrays i luga ole NVMe

RAID arrays i luga ole NVMe
I lenei tusiga o le a tatou talanoa e uiga i auala eseese e faʻapipiʻi ai RAID arrays, ma faʻaalia foi se tasi o mea muamua RAID faʻapipiʻi ma le lagolago NVMe.

O ituaiga uma o faʻaoga o tekinolosi RAID o loʻo maua i le vaega o le server. I le vaega o tagata o tausia, na'o le polokalame RAID0 po'o le RAID1 i luga o tisiki se lua e masani ona fa'aaogaina.

O lenei tusiga o le a tuʻuina atu se faʻamatalaga puupuu o tekinolosi RAID, o se aʻoaʻoga puʻupuʻu i le auala e faʻaogaina ai le RAID arrays e faʻaaoga ai meafaigaluega eseese e tolu, ma se faʻatusatusaga o le faʻatinoga o le tisiki mataʻutia e faʻaaoga ai metotia taʻitasi.

O le a le RAID?

Wikipedia o loʻo tuʻuina mai se faʻamatalaga manino o tekinolosi RAID:

osofaʻiga (Ig. Le Toe Faʻatulagaina o Tutoʻatasi Disks - tele fa'asologa o tisiki tuto'atasi (tuto'atasi) - fa'atekonolosi fa'amatalaga mo le tu'ufa'atasia o le tele o masini tisiki fa'aletino i totonu o se fa'aoga talafeagai e fa'ateleina ai le fa'apalepale masei ma le fa'atinoga.

O le fa'atulagaina o fa'asologa o tisiki ma tekinolosi fa'aaogaina e fa'alagolago i le filifiliga tulaga RAID. O laʻasaga RAID o loʻo faʻatulagaina i le faʻamatalaga Fa'asologa masani RAID Disk Fa'amaumauga. O loʻo faʻamatalaina le tele o laʻasaga RAID, ae sili ona taatele o RAID0, RAID1, RAID5 ma RAID6.

RAID0poʻo Faʻailoga, o se tulaga RAID lea e tu'ufa'atasia ai le lua pe sili atu ta'avale fa'aletino i totonu o le ta'avale talafeagai e tasi. O le voluma o le tisiki sa'o e tutusa ma le aofa'i o voluma o tisiki fa'aletino o lo'o aofia i le fa'asologa. E leai se fa'aletonu i lenei tulaga RAID, ma o le toilalo o le tasi ta'avale e mafai ona i'u ai i le leiloa o fa'amaumauga uma i totonu o le tisiki virtual.

Laʻasaga RAID1poʻo fāʻata, faia kopi tutusa o fa'amaumauga i luga o tisiki se lua pe sili atu. Ole lapo'a ole tisiki mata'utia e le sili atu ile la'ititi laititi ole tisiki fa'aletino. O fa'amaumauga i luga o le RAID1 virtual disk o le a maua pe a le itiiti ifo ma le tasi le tisiki fa'aletino mai le fa'asologa o lo'o galue. O le fa'aaogaina o le RAID1 e fa'aopoopoina ai le fa'aletonu, ae o se fofo taugata tele, talu ai i fa'asologa o tisiki se lua pe sili atu le gafatia o le tasi e maua.

Laʻasaga RAID5 foia le faafitauli o le tau maualuga. Ina ia fatuina se laina faʻatasi ma le RAID5 tulaga, e te manaʻomia a itiiti ifo ma le 3 tisiketi, ma o le laina e teteʻe i le toilalo o le tasi tisiki. O faʻamatalaga i le RAID5 o loʻo teuina i poloka ma siaki siaki. E leai se va'aiga mamafa i va o tisiki fa'amaumauga ma tisiki siaki. O siaki i le RAID5 o le taunu'uga lea o se fa'agaioiga XOR na fa'aogaina i poloka N-1, e ta'itasi mai se tisiki eseese.

E ui ina fa'atuputeleina le fa'atupuina o le RAID ma tu'uina atu le fa'aletonu, e le talafeagai mo le teuina o fa'amaumauga.

A maeʻa sina tafaoga puupuu i ituaiga RAID arrays, e mafai ona e agai i luga i masini ma polokalame e mafai ai ona e faʻapipiʻi ma faʻaoga faʻasologa o tisiki.

Ituaiga o pule RAID

E lua auala e fatu ai ma faʻaoga RAID arrays: meafaigaluega ma polokalama. O le a tatou iloiloina fofo nei:

  • Linux Software RAID.
  • Intel® Virtual RAID I luga ole PPU.
  • LSI MegaRAID 9460-8i.

Manatua o le Intel® solution e alu i luga o se kaseti, lea e tulaʻi mai ai le fesili pe o se meafaigaluega poʻo se fofo faʻapipiʻi. Mo se faʻataʻitaʻiga, o le VMWare ESXi hypervisor e manatu i le VROC software ma e le lagolagoina aloaia.

Linux Software RAID

Software RAID arrays i le Linux OS aiga o se fofo masani masani i vaega uma o le kalani ma le server. Pau lava le mea e te manaʻomia e fai ai se laina o le mdadm aoga ma nai poloka poloka. Pau lava le mea e manaʻomia e Linux Software RAID e tuʻuina i luga o taʻavale o loʻo faʻaaogaina o le avea ma se poloka poloka e mafai ona maua e le polokalama.

O le leai o se tau mo meafaigaluega ma polokalama faʻapitoa o se faʻamanuiaga manino o lenei metotia. Linux Software RAID fa'atulagaina fa'asologa tisiki i le tau ole taimi ole PPU. O le lisi o laʻasaga RAID lagolago ma le tulaga o faʻasologa o disk o loʻo iai nei e mafai ona vaʻaia i le faila mdstat, lea o loʻo i totonu o le procfs root:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] 
unused devices: <none>

Lagolago mo laʻasaga RAID e faʻaopoopoina e ala i le faʻafesoʻotaʻi o le kernel talafeagai, mo se faʻataʻitaʻiga:

root@grindelwald:~# modprobe raid456
root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
unused devices: <none>

O fa'agaioiga uma ma fa'asologa o tisiki e fa'atinoina e ala i le mdadm command line utility. O lo'o fa'apipi'iina le fa'asologa o tisiki i se fa'atonuga e tasi:

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

A maeʻa ona faʻatinoina lenei faʻatonuga, o le / dev / md0 poloka masini o le a faʻaalia i totonu o le polokalama, lea e fai ma sui o se tisiki mataʻutia.

Intel® Virtual RAID I luga ole PPU

RAID arrays i luga ole NVMeIntel® VROC Standard Meafaigaluega Ki
Intel® Virtual RAID On CPU (VROC) o se masini ma masini komepiuta mo le fatuina o faʻasologa RAID e faʻavae i Intel® chipsets. O lenei tekinolosi e maua muamua mo motherboards e lagolagoina Intel® Xeon® Scalable processors. E le mafai, VROC e le maua. Ina ia fa'agaoioia, e tatau ona e fa'apipi'i se ki laisene VROC hardware.

O le laisene VROC masani e mafai ai ona e faia ni fa'asologa o tisiki ma le 0, 1 ma le 10 RAID maualuga. O le faʻasalalauga faʻapitoa e faʻalauteleina lenei lisi ma le lagolago RAID5.

Intel® VROC tekonolosi i luga o tina faʻaonaponei e galue faʻatasi ma le Intel® Volume Management Device (VMD), lea e maua ai le gafatia vevela mo taʻavale NVMe.

RAID arrays i luga ole NVMeIntel® VROC Laisene Tulaga O fa'asologa o lo'o fa'atulagaina e ala i le Setup Utility pe a fa'asee le server. I luga o le laupepa maoaʻe O le Intel® Virtual RAID i luga o le CPU e aliali mai, lea e mafai ona e faʻapipiʻi ai faʻasologa o tisiki.

RAID arrays i luga ole NVMeFausia se laiga RAID1 i ta'avale e lua
Intel® VROC tekonolosi ei ai ana lava aces i luga o lona lima. O fa'asologa o disk e fa'aogaina e fa'aaoga ai le VROC e fetaui lelei ma le Linux Software RAID. O lona uiga e mafai ona mataʻituina le tulaga o faʻasologa i /proc/mdstat ma faʻatautaia e ala i mdadm. O lenei "foliga" e lagolagoina aloaia e Intel. A maeʻa ona faʻapipiʻi RAID1 i le Setup Utility, e mafai ona e vaʻaia le faʻamaopoopoina o taʻavale i le OS:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 nvme2n1[1] nvme1n1[0]
      1855832064 blocks super external:/md127/0 [2/2] [UU]
      [>....................]  resync =  1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec
      
md127 : inactive nvme1n1[1](S) nvme2n1[0](S)
      10402 blocks super external:imsm
       
unused devices: <none>

Manatua e le mafai ona e faʻapipiʻi faʻasologa i luga ole VROC e faʻaaoga ai le mdadm (o le faʻapipiʻi faʻapipiʻi o le Linux SW RAID), ae e mafai ona e suia tisiki i totonu ma faʻaʻeseʻese laina.

LSI MegaRAID 9460-8i

RAID arrays i luga ole NVMeFaʻaaliga o le LSI MegaRAID 9460-8i pule
O le RAID controller o se fofo faʻapitoa faʻapitoa. E na'o le ta'avale e feso'ota'i sa'o i ai. O lenei RAID pule e lagolagoina e oʻo atu i le 24 NVMe taʻavale. O le lagolago a le NVMe e tuʻu ese ai lenei pule mai le tele o isi.

RAID arrays i luga ole NVMeAutu autu o le masini e pulea
A fa'aogaina le UEFI mode, e fa'apipi'i fa'atonu fa'atonu i le Setup Utility. Pe a faatusatusa i le VROC, e sili atu ona lavelave le lisi o mea e pulea ai meafaigaluega.

RAID arrays i luga ole NVMeFausia le RAID1 i luga o tisiki e lua
Fa'amatalaina pe fa'afefea ona fa'atulagaina fa'asologa o tisiki i luga o se masini fa'atonu o se autu ma'ale'ale ma e mafai ona avea ma mafua'aga mo se tusitusiga atoa. O iinei o le a tatou faʻatapulaʻaina ai i tatou lava i le fatuina o le RAID0 ma le RAID1 faʻatasi ai ma tulaga le lelei.

O tisiki e feso'ota'i i le masini fa'atonu e le o va'aia e le faiga fa'aoga. Nai lo lena, o le pule e "ufiufi" uma RAID arrays e pei o le SAS. O ta'avale e feso'ota'i i le pule, ae le o se vaega o le fa'asologa o tisiki, e le mafai ona maua e le OS.

root@grindelwald:~# smartctl -i /dev/sda
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               AVAGO
Product:              MR9460-8i
Revision:             5.14
Compliance:           SPC-3
User Capacity:        1,999,844,147,200 bytes [1.99 TB]
Logical block size:   512 bytes
Rotation Rate:        Solid State Device
Logical Unit id:      0x000000000000000000000000000000
Serial number:        00000000000000000000000000000000
Device type:          disk
Local Time is:        Sun Oct 11 16:27:59 2020 MSK
SMART support is:     Unavailable - device lacks SMART capability.

E ui lava i le faʻailogaina e pei o le SAS, o le NVMe arrays o le a faʻaogaina i PCIe saoasaoa. Ae ui i lea, o lenei uiga e mafai ai ona e faʻaulu mai le NVMe i Legacy.

nofoa su'ega

O metotia ta'itasi o le fa'atulagaina o fa'aputuga tisiki e iai ona lelei fa'aletino ma fa'aletonu. Ae pe i ai se eseesega faʻatinoga pe a galue i faʻasologa o disk?

Ina ia ausia le maualuga maualuga, o suʻega uma o le a faia i luga o le server lava e tasi. O lona faatulagaga:

  • 2x Intel® Xeon® 6240;
  • 12x DDR4-2666 16 GB;
  • LSI MegaRAID 9460-8i;
  • Intel® VROC Standard Hardware Key;
  • 4x Intel® SSD DC P4510 U.2 2TB;
  • 1x Samsung 970 EVO Plus M.2 500GB.

O iunite suʻega o le P4510, o le tasi afa o loʻo fesoʻotaʻi i le motherboard, ma le isi afa i le RAID controller. O le M.2 o loʻo faʻaogaina le Ubuntu 20.04 ma o suʻega o le a faʻaaogaina e faʻaaoga ai le fio version 3.16.

Suʻega

Muamua, sei o tatou siaki le tuai pe a galue ma le disk. O le suʻega e faʻatino i le tasi filo, o le poloka poloka e 4 KB. O su'ega ta'itasi e 5 minute. Aʻo leʻi amataina, o le masini poloka poloka e leai se mea e pei o le I/O scheduler. O le poloaiga fio e pei o lenei:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --iodepth=1 --loops=1000 --runtime=300  --rw=<mode> --filename=<blkdev>

Mai i'uga fio matou te maua clat 99.00%. O fa'ai'uga o lo'o fa'aalia i le laulau o lo'o i lalo.

Faitau fa'afuase'i, μs
Fa'amaumauga fa'afuase'i, μs

Disk
112
78

Linux SW RAID, RAID0
113
45

VROC, RAID0
112
46

LSI, RAID0
122
63

Linux SW RAID, RAID1
113
48

VROC, RAID1
113
45

LSI, RAID1
128
89

I le faaopoopo atu i le tuai pe a maua faʻamatalaga, ou te fia vaʻai i le faʻatinoga o masini komepiuta ma faʻatusatusa i latou i le faʻatinoga o se tisiki faaletino. Poloaiga e tamoe fio:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --loops=1000 --runtime=300  --iodepth=<threads> --rw=<mode> --filename=<blkdev>

O fa'atinoga e fuaina ile tulaga ole I/O fa'agaioiga. O fa'ai'uga o lo'o tu'uina atu i le laulau o lo'o i lalo.

Faitau fa'afuase'i 1 filo, IOPS
Tusi fa'afuase'i 1 filo, IOPS
Faitau fa'afuase'i 128 filo, IOPS
Tusi fa'afuase'i 128 filo, IOPS

Disk
11300
40700
453000
105000

Linux SW RAID, RAID0
11200
52000
429000
232000

VROC, RAID0
11200
52300
441000
162000

LSI, RAID0
10900
44200
311000
160000

Linux SW RAID, RAID1
10000
48600
395000
147000

VROC, RAID1
10000
54400
378000
244000

LSI, RAID1
11000
34300
229000
248000

E faigofie ona iloa o le faʻaaogaina o se masini faʻapipiʻi e maua ai le faʻateleina o le taofiofia ma se faʻatinoga faʻatusatusa pe a faʻatusatusa i fofo polokalame.

iʻuga

O le fa'aogaina o fofo fa'apitoa e fai ai fa'asologa o tisiki mai tisiki se lua e foliga fa'avalevalea. Ae ui i lea, o loʻo i ai galuega e faʻamaonia ai le faʻaogaina o le RAID controllers. Faatasi ai ma le oʻo mai o tagata faʻatonutonu e lagolagoina le atinaʻe NVMe, o loʻo maua e tagata faʻaoga le avanoa e faʻaoga vave ai SSD i a latou galuega.

RAID arrays i luga ole NVMe

Na'o tagata fa'aigoaina e mafai ona auai i le su'esu'ega. Saini ese j, faʻamolemole.

O e fa'aogaina fofo RAID?

  • 29,6%Ioe, meafaigaluega fofo32

  • 50,0%Ioe, software solutions54

  • 16,7%Leai18

  • 3,7%Leai se RAID e manaʻomia4

108 tagata fa'aoga na palota. 14 tagata fa'aoga na le fa'aaogaina.

puna: www.habr.com

Faaopoopo i ai se faamatalaga