RAID მასივები NVMe-ზე

ამ სტატიაში ვისაუბრებთ RAID მასივების ორგანიზების სხვადასხვა გზებზე და ასევე ვაჩვენებთ ერთ-ერთ პირველ აპარატურულ RAID კონტროლერს NVMe მხარდაჭერით.

RAID ტექნოლოგიის ყველა მრავალფეროვნება გვხვდება სერვერის სეგმენტში. კლიენტის სეგმენტში ყველაზე ხშირად გამოიყენება მხოლოდ პროგრამული უზრუნველყოფა RAID0 ან RAID1 ორ დისკზე.

ამ სტატიაში მოცემულია RAID ტექნოლოგიის მოკლე მიმოხილვა, მოკლე გაკვეთილი იმის შესახებ, თუ როგორ უნდა შექმნათ RAID მასივები სამი განსხვავებული ხელსაწყოს გამოყენებით და ვირტუალური დისკის მუშაობის შედარება თითოეული მეთოდის გამოყენებით.

რა არის RAID?

ვიკიპედია იძლევა RAID ტექნოლოგიის ყოვლისმომცველ განმარტებას:

RAID (ინგლისური დამოუკიდებელი დისკების ზედმეტი მასივი - დამოუკიდებელი (დამოუკიდებელი) დისკების ზედმეტი მასივი) - მონაცემთა ვირტუალიზაციის ტექნოლოგია ლოგიკურ მოდულში რამდენიმე ფიზიკური დისკის მოწყობილობის გაერთიანებისთვის, შეცდომების ტოლერანტობისა და შესრულების გაზრდის მიზნით.

დისკის მასივების კონფიგურაცია და გამოყენებული ტექნოლოგიები დამოკიდებულია არჩეულზე RAID დონე. RAID დონეები სტანდარტიზებულია სპეციფიკაციაში საერთო RAID დისკის მონაცემთა ფორმატი. იგი აღწერს ბევრ RAID დონეს, მაგრამ ყველაზე გავრცელებულია RAID0, RAID1, RAID5 და RAID6.

RAID0ან Stripes, არის RAID დონე, რომელიც აერთიანებს ორ ან მეტ ფიზიკურ დისკს ერთ ლოგიკურ დისკში. ლოგიკური დისკის მოცულობა უდრის მასივში შემავალი ფიზიკური დისკების მოცულობების ჯამს. ამ RAID დონეზე არ არის ზედმეტი და ერთი დისკის წარუმატებლობამ შეიძლება გამოიწვიოს ვირტუალურ დისკზე ყველა მონაცემის დაკარგვა.

დონე RAID1ან Mirror, ქმნის მონაცემთა იდენტურ ასლებს ორ ან მეტ დისკზე. ვირტუალური დისკის ზომა არ აღემატება ფიზიკური დისკის მინიმალურ ზომას. RAID1 ვირტუალურ დისკზე მონაცემები ხელმისაწვდომი იქნება მანამ, სანამ მასივიდან მინიმუმ ერთი ფიზიკური დისკი მუშაობს. RAID1-ის გამოყენება მატებს ზედმეტობას, მაგრამ საკმაოდ ძვირი გამოსავალია, რადგან ორი ან მეტი დისკის მასივებს მხოლოდ ერთი აქვს.

დონე RAID5 წყვეტს მაღალი ღირებულების პრობლემას. RAID5 დონის მქონე მასივის შესაქმნელად საჭიროა მინიმუმ 3 დისკი და მასივი მდგრადია ერთი დისკის გაუმართაობის მიმართ. მონაცემები RAID5-ში ინახება ბლოკებში ჩეკსუმებით. არ არსებობს მკაცრი დაყოფა მონაცემთა დისკებსა და გამშვებ დისკებს შორის. შემოწმების ჯამები RAID5-ში არის XOR ოპერაციის შედეგი, რომელიც გამოიყენება N-1 ბლოკებზე, თითოეული აღებული სხვადასხვა დისკიდან.

მიუხედავად იმისა, რომ RAID მასივები ზრდის ზედმეტობას და უზრუნველყოფს ჭარბი რაოდენობას, ისინი არ არის შესაფერისი სარეზერვო ასლების შესანახად.

RAID მასივების ტიპებში მოკლე ექსკურსიის შემდეგ, შეგიძლიათ გადახვიდეთ მოწყობილობებზე და პროგრამებზე, რომლებიც საშუალებას გაძლევთ შეიკრიბოთ და გამოიყენოთ დისკის მასივები.

RAID კონტროლერების ტიპები

RAID მასივების შექმნისა და გამოყენების ორი გზა არსებობს: აპარატურა და პროგრამული უზრუნველყოფა. ჩვენ განვიხილავთ შემდეგ გადაწყვეტილებებს:

• Linux Software RAID.
• Intel® ვირტუალური RAID პროცესორზე.
• LSI MegaRAID 9460-8i.

გაითვალისწინეთ, რომ Intel® გადაწყვეტა მუშაობს ჩიპსეტზე, რაც აჩენს კითხვას, არის ეს აპარატურა თუ პროგრამული გადაწყვეტა. მაგალითად, VMWare ESXi ჰიპერვიზორი განიხილავს VROC პროგრამულ უზრუნველყოფას და მას ოფიციალურად არ უჭერს მხარს.

Linux Software RAID

პროგრამული RAID მასივები Linux OS ოჯახში საკმაოდ გავრცელებული გადაწყვეტაა როგორც კლიენტის, ასევე სერვერის სეგმენტებში. ყველაფერი რაც თქვენ გჭირდებათ მასივის შესაქმნელად არის mdadm უტილიტა და რამდენიმე ბლოკის მოწყობილობა. ერთადერთი მოთხოვნა, რომელიც Linux Software RAID-ს აყენებს დისკებზე, რომელსაც იყენებს, არის სისტემისთვის ხელმისაწვდომი ბლოკის მოწყობილობა.

აღჭურვილობისა და პროგრამული უზრუნველყოფის ხარჯების არარსებობა ამ მეთოდის აშკარა უპირატესობაა. Linux Software RAID აწყობს დისკის მასივებს CPU დროის ხარჯზე. მხარდაჭერილი RAID დონის სია და მიმდინარე დისკის მასივების სტატუსი შეგიძლიათ იხილოთ mdstat ფაილში, რომელიც მდებარეობს procfs root-ში:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] 
unused devices: <none>

RAID დონის მხარდაჭერა ემატება შესაბამისი ბირთვის მოდულის შეერთებით, მაგალითად:

root@grindelwald:~# modprobe raid456
root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
unused devices: <none>

ყველა ოპერაცია დისკის მასივებით ხორციელდება mdadm ბრძანების ხაზის უტილიტის საშუალებით. დისკის მასივი იკრიბება ერთი ბრძანებით:

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

ამ ბრძანების შესრულების შემდეგ სისტემაში გამოჩნდება /dev/md0 ბლოკის მოწყობილობა, რომელიც წარმოგიდგენთ ვირტუალურ დისკს.

Intel® ვირტუალური RAID პროცესორზე

Intel® VROC სტანდარტული აპარატურის გასაღები
Intel® Virtual RAID On CPU (VROC) არის ტექნიკისა და პროგრამული უზრუნველყოფის ტექნოლოგია Intel® ჩიპსეტებზე დაფუძნებული RAID მასივების შესაქმნელად. ეს ტექნოლოგია ძირითადად ხელმისაწვდომია დედაპლატებისთვის, რომლებიც მხარს უჭერენ Intel® Xeon® Scalable პროცესორებს. ნაგულისხმევად, VROC არ არის ხელმისაწვდომი. მის გასააქტიურებლად, თქვენ უნდა დააინსტალიროთ VROC ტექნიკის ლიცენზიის გასაღები.

სტანდარტული VROC ლიცენზია საშუალებას გაძლევთ შექმნათ დისკის მასივები 0, 1 და 10 RAID დონეებით. პრემიუმ ვერსია აფართოებს ამ სიას RAID5 მხარდაჭერით.

Intel® VROC ტექნოლოგია თანამედროვე დედაპლატებზე მუშაობს Intel® მოცულობის მართვის მოწყობილობასთან (VMD) ერთად, რომელიც უზრუნველყოფს NVMe დისკებისთვის ცხელი სვოპის შესაძლებლობას.

Intel® VROC სტანდარტული ლიცენზია სერვერის ჩატვირთვისას მასივების კონფიგურაცია ხდება Setup Utility-ის მეშვეობით. ჩანართზე მოწინავე გამოჩნდება Intel® ვირტუალური RAID CPU-ზე, სადაც შეგიძლიათ დააკონფიგურიროთ დისკის მასივები.

RAID1 მასივის შექმნა ორ დისკზე
Intel® VROC ტექნოლოგიას აქვს საკუთარი ტუზები. VROC-ის გამოყენებით აგებული დისკის მასივები თავსებადია Linux Software RAID-თან. ეს ნიშნავს, რომ მასივების მდგომარეობის მონიტორინგი შესაძლებელია /proc/mdstat-ში და ადმინისტრირება mdadm-ის მეშვეობით. ამ "მახასიათებელს" ოფიციალურად აქვს მხარდაჭერა Intel. Setup Utility-ში RAID1-ის აწყობის შემდეგ, შეგიძლიათ დააკვირდეთ დისკების სინქრონიზაციას OS-ში:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 nvme2n1[1] nvme1n1[0]
      1855832064 blocks super external:/md127/0 [2/2] [UU]
      [>....................]  resync =  1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec
      
md127 : inactive nvme1n1[1](S) nvme2n1[0](S)
      10402 blocks super external:imsm
       
unused devices: <none>

გაითვალისწინეთ, რომ Mdadm-ის გამოყენებით VROC-ზე მასივების აწყობა შეუძლებელია (აწყობილი მასივები იქნება Linux SW RAID), მაგრამ შეგიძლიათ შეცვალოთ დისკები მათში და დაშალოთ მასივები.

LSI MegaRAID 9460-8i

LSI MegaRAID 9460-8i კონტროლერის გარეგნობა
RAID კონტროლერი არის დამოუკიდებელი ტექნიკის გადაწყვეტა. კონტროლერი მუშაობს მხოლოდ მასზე დაკავშირებულ დისკებზე. ეს RAID კონტროლერი მხარს უჭერს 24-მდე NVMe დისკს. ეს არის NVMe მხარდაჭერა, რომელიც განასხვავებს ამ კონტროლერს მრავალი სხვასგან.

ტექნიკის კონტროლერის მთავარი მენიუ
UEFI რეჟიმის გამოყენებისას, კონტროლერის პარამეტრები ინტეგრირებულია Setup Utility-ში. VROC-თან შედარებით, აპარატურის კონტროლერის მენიუ ბევრად უფრო რთული გამოიყურება.

RAID1-ის შექმნა ორ დისკზე
იმის ახსნა, თუ როგორ უნდა დააკონფიგურიროთ დისკის მასივები ტექნიკის კონტროლერზე, საკმაოდ დელიკატური თემაა და შეიძლება იყოს სრულფასოვანი სტატიის მიზეზი. აქ ჩვენ უბრალოდ შემოვიფარგლებით RAID0-ისა და RAID1-ის შექმნით ნაგულისხმევი პარამეტრებით.

აპარატურულ კონტროლერთან დაკავშირებული დისკები არ ჩანს ოპერაციული სისტემისთვის. ამის ნაცვლად, კონტროლერი „ნიღბავს“ ყველა RAID მასივს SAS დისკებად. დისკები, რომლებიც დაკავშირებულია კონტროლერთან, მაგრამ არა დისკის მასივის ნაწილი, მიუწვდომელი იქნება OS-ისთვის.

root@grindelwald:~# smartctl -i /dev/sda
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               AVAGO
Product:              MR9460-8i
Revision:             5.14
Compliance:           SPC-3
User Capacity:        1,999,844,147,200 bytes [1.99 TB]
Logical block size:   512 bytes
Rotation Rate:        Solid State Device
Logical Unit id:      0x000000000000000000000000000000
Serial number:        00000000000000000000000000000000
Device type:          disk
Local Time is:        Sun Oct 11 16:27:59 2020 MSK
SMART support is:     Unavailable - device lacks SMART capability.

მიუხედავად იმისა, რომ შენიღბულია SAS დისკებად, NVMe მასივები იმუშავებს PCIe სიჩქარით. თუმცა, ეს ფუნქცია საშუალებას გაძლევთ ჩატვირთოთ NVMe-დან Legacy-ში.

სატესტო სტენდი

დისკის მასივების ორგანიზების თითოეულ მეთოდს აქვს საკუთარი ფიზიკური დადებითი და უარყოფითი მხარეები. მაგრამ არის თუ არა შესრულების განსხვავება დისკის მასივებთან მუშაობისას?

მაქსიმალური სამართლიანობის მისაღწევად, ყველა ტესტი ჩატარდება იმავე სერვერზე. მისი კონფიგურაცია:

• 2x Intel® Xeon® 6240;
• 12x DDR4-2666 16 GB;
• LSI MegaRAID 9460-8i;
• Intel® VROC სტანდარტული აპარატურის გასაღები;
• 4x Intel® SSD DC P4510 U.2 2TB;
• 1x Samsung 970 EVO Plus M.2 500GB.

სატესტო ერთეული არის P4510, რომლის ერთი ნახევარი დაკავშირებულია დედაპლატთან, ხოლო მეორე ნახევარი RAID კონტროლერთან. M.2 მუშაობს Ubuntu 20.04-ზე და ტესტები ჩატარდება fio ვერსიის 3.16 გამოყენებით.

ტესტირება

პირველ რიგში შევამოწმოთ შეფერხებები დისკთან მუშაობისას. ტესტი შესრულებულია ერთ თემაში, ბლოკის ზომაა 4 კბ. თითოეული ტესტი გრძელდება 5 წუთი. დაწყებამდე, შესაბამისი ბლოკის მოწყობილობა დაყენებულია None-ზე, როგორც I/O დამგეგმავი. fio ბრძანება ასე გამოიყურება:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --iodepth=1 --loops=1000 --runtime=300  --rw=<mode> --filename=<blkdev>

ფიო შედეგებიდან ვიღებთ 99.00%-ს. შედეგები ნაჩვენებია ქვემოთ მოცემულ ცხრილში.

შემთხვევითი კითხვა, μs
შემთხვევითი ჩაწერა, μs

დისკზე
112
78

Linux SW RAID, RAID0
113
45

VROC, RAID0
112
46

LSI, RAID0
122
63

Linux SW RAID, RAID1
113
48

VROC, RAID1
113
45

LSI, RAID1
128
89

მონაცემების წვდომისას შეფერხებების გარდა, მინდა ვირტუალური დისკების შესრულება და მათი შედარება ფიზიკური დისკის მუშაობასთან. ბრძანება გასაშვებად fio:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --loops=1000 --runtime=300  --iodepth=<threads> --rw=<mode> --filename=<blkdev>

შესრულება იზომება I/O ოპერაციების მიხედვით. შედეგები წარმოდგენილია ქვემოთ მოცემულ ცხრილში.

შემთხვევითი წაკითხვა 1 თემა, IOPS
შემთხვევითი ჩაწერა 1 თემა, IOPS
შემთხვევითი წაკითხვა 128 თემა, IOPS
შემთხვევითი ჩაწერა 128 თემა, IOPS

დისკზე
11300
40700
453000
105000

Linux SW RAID, RAID0
11200
52000
429000
232000

VROC, RAID0
11200
52300
441000
162000

LSI, RAID0
10900
44200
311000
160000

Linux SW RAID, RAID1
10000
48600
395000
147000

VROC, RAID1
10000
54400
378000
244000

LSI, RAID1
11000
34300
229000
248000

ადვილი მისახვედრია, რომ ტექნიკის კონტროლერის გამოყენება იწვევს შეყოვნების გაზრდას და შესრულების დარტყმას პროგრამულ გადაწყვეტილებებთან შედარებით.

დასკვნა

ტექნიკის გადაწყვეტილებების გამოყენება ორი დისკიდან დისკის მასივების შესაქმნელად ირაციონალურად გამოიყურება. თუმცა, არის ამოცანები, სადაც RAID კონტროლერების გამოყენება გამართლებულია. კონტროლერების მოსვლასთან ერთად, რომლებიც მხარს უჭერენ NVMe ინტერფეისს, მომხმარებლებს აქვთ შესაძლებლობა გამოიყენონ უფრო სწრაფი SSD-ები თავიანთ პროექტებში.

გამოკითხვაში მონაწილეობა შეუძლიათ მხოლოდ დარეგისტრირებულ მომხმარებლებს. Შებრძანდითგთხოვთ

იყენებთ RAID გადაწყვეტილებებს?

• 29,6%დიახ, ტექნიკის გადაწყვეტილებები32

• 50,0%დიახ, პროგრამული გადაწყვეტილებები54

• 16,7%No18

• 3,7%არ არის საჭირო RAID 4

მისცა ხმა 108 მომხმარებელმა. 14-მა მომხმარებელმა თავი შეიკავა.

წყარო: www.habr.com