מערכי RAID ב-NVMe

במאמר זה נדבר על דרכים שונות לארגון מערכי RAID, וגם נראה את אחד מבקרי RAID החומרה הראשונים עם תמיכה ב-NVMe.

כל מגוון היישומים של טכנולוגיית RAID מצויים בגזרת השרתים. בגזרת הלקוח, משתמשים לרוב רק בתוכנה RAID0 או RAID1 בשני דיסקים.

מאמר זה יספק סקירה קצרה של טכנולוגיית RAID, מדריך קצר כיצד ליצור מערכי RAID באמצעות שלושה כלים שונים, והשוואה של ביצועי דיסק וירטואלי בכל שיטה.

מה זה RAID?

ויקיפדיה נותן הגדרה מקיפה של טכנולוגיית RAID:

RAID (אנגלית מערך מיותר של דיסקים עצמאיים - מערך מיותר של דיסקים עצמאיים (בלתי תלויים) - טכנולוגיית וירטואליזציה של נתונים לשילוב של מספר התקני דיסקים פיזיים למודול לוגי להגברת סובלנות תקלות וביצועים.

התצורה של מערכי הדיסקים והטכנולוגיות המשמשות תלויות בבחירה רמת RAID. רמות RAID סטנדרטיות במפרט פורמט נתוני דיסק RAID נפוץ. הוא מתאר רמות RAID רבות, אך הנפוצות ביותר הן RAID0, RAID1, RAID5 ו-RAID6.

RAID0או פסים, היא רמת RAID המשלבת שני כוננים פיזיים או יותר לכונן לוגי אחד. נפח הדיסק הלוגי שווה לסכום הנפחים של הדיסקים הפיזיים הכלולים במערך. אין יתירות ברמת RAID זו, וכשל בכונן אחד עלול לגרום לאובדן כל הנתונים בדיסק הוירטואלי.

רמה RAID1או מַרְאָה, יוצר עותקים זהים של נתונים בשני דיסקים או יותר. גודל הדיסק הוירטואלי אינו חורג מהגודל המינימלי של הדיסקים הפיזיים. הנתונים בדיסק הוירטואלי RAID1 יהיו זמינים כל עוד דיסק פיזי אחד לפחות מהמערך פועל. שימוש ב-RAID1 מוסיף יתירות, אבל הוא פתרון יקר למדי, שכן במערכים של שני דיסקים או יותר קיבולת של אחד זמינה בלבד.

רמה RAID5 פותר את בעיית העלות הגבוהה. כדי ליצור מערך עם רמת RAID5, אתה צריך לפחות 3 דיסקים, והמערך עמיד בפני כשל של דיסק אחד. הנתונים ב-RAID5 מאוחסנים בבלוקים עם סכומי ביקורת. אין חלוקה קפדנית בין דיסקי נתונים ודיסקים של checksum. סכומי ביקורת ב-RAID5 הם תוצאה של פעולת XOR שהוחלה על בלוקים N-1, כל אחד מהם נלקח מדיסק אחר.

למרות שמערכי RAID מגבירים יתירות ומספקים יתירות, הם אינם מתאימים לאחסון גיבויים.

לאחר סיור קצר לסוגי מערכי ה-RAID, תוכלו לעבור להתקנים ותוכנות המאפשרות להרכיב ולהשתמש במערכי דיסקים.

סוגי בקרי RAID

ישנן שתי דרכים ליצור ולהשתמש במערכי RAID: חומרה ותוכנה. נשקול את הפתרונות הבאים:

• Linux Software RAID.
• Intel® Virtual RAID על מעבד.
• LSI MegaRAID 9460-8i.

שימו לב שפתרון Intel® פועל על ערכת שבבים, מה שמעלה את השאלה האם מדובר בפתרון חומרה או תוכנה. לדוגמה, ה-Hypervisor של VMWare ESXi מחשיב תוכנת VROC ואינו תומך בה באופן רשמי.

Linux Software RAID

מערכי RAID של תוכנות במשפחת מערכת ההפעלה Linux הם פתרון נפוץ למדי הן בגזרת הלקוח והן בגזרת השרתים. כל מה שאתה צריך כדי ליצור מערך הוא כלי השירות mdadm וכמה התקני בלוק. הדרישה היחידה ש-Linux Software RAID מציבה בכוננים שבהם היא משתמשת היא להיות התקן בלוק נגיש למערכת.

היעדר עלויות עבור ציוד ותוכנה הוא יתרון ברור של שיטה זו. Linux Software RAID מארגנת מערכי דיסקים במחיר של זמן מעבד. ניתן לראות את רשימת רמות ה-RAID הנתמכות ואת המצב של מערכי הדיסקים הנוכחיים בקובץ mdstat, שנמצא בשורש procfs:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] 
unused devices: <none>

תמיכה ברמות RAID מתווספת על ידי חיבור מודול הליבה המתאים, למשל:

root@grindelwald:~# modprobe raid456
root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
unused devices: <none>

כל הפעולות עם מערכי דיסקים מבוצעות דרך תוכנית השירות mdadm שורת הפקודה. מערך הדיסקים מורכב בפקודה אחת:

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

לאחר ביצוע פקודה זו, התקן החסימה /dev/md0 יופיע במערכת, המייצג אותך כדיסק וירטואלי.

Intel® Virtual RAID על מעבד

מפתח חומרה סטנדרטי של Intel® VROC
Intel® Virtual RAID On CPU (VROC) היא טכנולוגיית חומרה ותוכנה ליצירת מערכי RAID המבוססים על ערכות שבבים של Intel®. טכנולוגיה זו זמינה בעיקר עבור לוחות אם התומכים במעבדי Intel® Xeon® Scalable. כברירת מחדל, VROC אינו זמין. כדי להפעיל אותו, עליך להתקין מפתח רישיון חומרה של VROC.

רישיון VROC הסטנדרטי מאפשר ליצור מערכי דיסקים עם רמות 0, 1 ו-10 RAID. גרסת הפרימיום מרחיבה רשימה זו עם תמיכה ב-RAID5.

טכנולוגיית Intel® VROC על לוחות אם מודרניים פועלת בשילוב עם Intel® Volume Management Device (VMD), המספק יכולת החלפה חמה עבור כונני NVMe.

רישיון סטנדרטי של Intel® VROC מערכים מוגדרים דרך תוכנית השירות Setup Utility כאשר השרת מאתחל. בכרטיסייה מתקדם מופיע הפריט של Intel® Virtual RAID on CPU, שבו תוכל להגדיר מערכי דיסקים.

יצירת מערך RAID1 בשני כוננים
לטכנולוגיית Intel® VROC יש אסים משלה בשרוול. מערכי דיסקים שנבנו באמצעות VROC תואמים ל-Linux Software RAID. משמעות הדבר היא שניתן לנטר את מצב המערכים ב-/proc/mdstat ולנהל אותם באמצעות mdadm. "תכונה" זו נתמכת רשמית על ידי אינטל. לאחר הרכבת RAID1 ב- Setup Utility, תוכל לצפות בסנכרון של כוננים במערכת ההפעלה:

root@grindelwald:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 nvme2n1[1] nvme1n1[0]
      1855832064 blocks super external:/md127/0 [2/2] [UU]
      [>....................]  resync =  1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec
      
md127 : inactive nvme1n1[1](S) nvme2n1[0](S)
      10402 blocks super external:imsm
       
unused devices: <none>

שימו לב שלא ניתן להרכיב מערכים ב-VROC באמצעות mdadm (המערכים המורכבים יהיו Linux SW RAID), אך ניתן לשנות בהם דיסקים ולפרק את המערכים.

LSI MegaRAID 9460-8i

מראה של בקר LSI MegaRAID 9460-8i
בקר ה-RAID הוא פתרון חומרה עצמאי. הבקר עובד רק עם כוננים המחוברים ישירות אליו. בקר RAID זה תומך בעד 24 כונני NVMe. התמיכה ב-NVMe היא שמבדילה את הבקר הזה מרבים אחרים.

תפריט ראשי של בקר החומרה
בעת שימוש במצב UEFI, הגדרות הבקר משולבות ב- Setup Utility. בהשוואה ל-VROC, תפריט בקר החומרה נראה הרבה יותר מורכב.

יצירת RAID1 על שני דיסקים
הסבר כיצד להגדיר מערכי דיסקים בבקר חומרה הוא נושא עדין למדי ויכול להיות הסיבה למאמר מלא. כאן פשוט נגביל את עצמנו ליצירת RAID0 ו-RAID1 עם הגדרות ברירת מחדל.

דיסקים המחוברים לבקר החומרה אינם גלויים למערכת ההפעלה. במקום זאת, הבקר "מסווה" את כל מערכי ה-RAID ככונני SAS. כוננים המחוברים לבקר, אך אינם חלק ממערך הדיסקים, לא יהיו נגישים למערכת ההפעלה.

root@grindelwald:~# smartctl -i /dev/sda
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               AVAGO
Product:              MR9460-8i
Revision:             5.14
Compliance:           SPC-3
User Capacity:        1,999,844,147,200 bytes [1.99 TB]
Logical block size:   512 bytes
Rotation Rate:        Solid State Device
Logical Unit id:      0x000000000000000000000000000000
Serial number:        00000000000000000000000000000000
Device type:          disk
Local Time is:        Sun Oct 11 16:27:59 2020 MSK
SMART support is:     Unavailable - device lacks SMART capability.

למרות היותם מוסווים לכונני SAS, מערכי NVMe יפעלו במהירויות PCIe. עם זאת, תכונה זו מאפשרת לך לאתחל מ-NVMe ב-Legacy.

עמדת מבחן

לכל שיטה לארגון מערכי דיסקים יש יתרונות וחסרונות פיזיים משלה. אבל האם יש הבדל בביצועים בעבודה עם מערכי דיסקים?

כדי להשיג הגינות מירבית, כל הבדיקות יתבצעו באותו שרת. התצורה שלו:

• 2x Intel® Xeon® 6240;
• 12x DDR4-2666 16 GB;
• LSI MegaRAID 9460-8i;
• מפתח חומרה סטנדרטי של Intel® VROC;
• 4x Intel® SSD DC P4510 U.2 2TB;
• 1x Samsung 970 EVO Plus M.2 500GB.

יחידות הבדיקה הן P4510, שמחציתן מחוברת ללוח האם, והחצי השני לבקר RAID. ה-M.2 מריץ את אובונטו 20.04 והבדיקות יופעלו באמצעות גירסת fio 3.16.

בדיקה

קודם כל, בואו נבדוק את העיכובים בעבודה עם הדיסק. הבדיקה מתבצעת בשרשור אחד, גודל הבלוק הוא 4 KB. כל מבחן נמשך 5 דקות. לפני התחלת ההפעלה, התקן החסימה המתאים מוגדר ללא כמתזמן הקלט/פלט. הפקודה fio נראית כך:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --iodepth=1 --loops=1000 --runtime=300  --rw=<mode> --filename=<blkdev>

מתוצאות fio אנו לוקחים קלאט 99.00%. התוצאות מוצגות בטבלה למטה.

קריאה אקראית, μs
הקלטה אקראית, μs

דיסק
112
78

Linux SW RAID, RAID0
113
45

VROC, RAID0
112
46

LSI, RAID0
122
63

Linux SW RAID, RAID1
113
48

VROC, RAID1
113
45

LSI, RAID1
128
89

בנוסף לעיכובים בגישה לנתונים, אני רוצה לראות את הביצועים של כוננים וירטואליים ולהשוות אותם לביצועים של דיסק פיזי. פקודה להפעלת fio:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --loops=1000 --runtime=300  --iodepth=<threads> --rw=<mode> --filename=<blkdev>

הביצועים נמדדים במונחים של פעולות I/O. התוצאות מוצגות בטבלה שלהלן.

קרא באופן אקראי שרשור 1, IOPS
כתיבה אקראית של שרשור אחד, IOPS
קרא באקראי 128 שרשורים, IOPS
כתוב אקראי 128 שרשורים, IOPS

דיסק
11300
40700
453000
105000

Linux SW RAID, RAID0
11200
52000
429000
232000

VROC, RAID0
11200
52300
441000
162000

LSI, RAID0
10900
44200
311000
160000

Linux SW RAID, RAID1
10000
48600
395000
147000

VROC, RAID1
10000
54400
378000
244000

LSI, RAID1
11000
34300
229000
248000

קל לראות ששימוש בבקר חומרה מביא להשהייה מוגברת ולפגיעה בביצועים בהשוואה לפתרונות תוכנה.

מסקנה

שימוש בפתרונות חומרה ליצירת מערכי דיסקים משני דיסקים נראה לא הגיוני. עם זאת, ישנן משימות שבהן השימוש בבקרי RAID מוצדק. עם הופעת הבקרים התומכים בממשק NVMe, למשתמשים יש הזדמנות להשתמש ב-SSD מהירים יותר בפרויקטים שלהם.

רק משתמשים רשומים יכולים להשתתף בסקר. להתחברבבקשה.

האם אתה משתמש בפתרונות RAID?

• 29,6%כן, פתרונות חומרה32

• 50,0%כן, פתרונות תוכנה54

• 16,7%מספר 18

• 3,7%אין צורך ב-RAID4

108 משתמשים הצביעו. 14 משתמשים נמנעו.

מקור: www.habr.com