בדיקות ריסוק של מערכת אחסון AERODISK ENGINE N2, בדיקת חוזק

שלום לכולם! עם מאמר זה, AERODISK פותחת בלוג על Habré. היי, חברים!

מאמרים קודמים על Habré דנו בשאלות על הארכיטקטורה והתצורה הבסיסית של מערכות אחסון. במאמר זה נבחן שאלה שלא כוסתה בעבר, אך נשאלת לעתים קרובות - על סבילות התקלות של מערכות האחסון AERODISK ENGINE. הצוות שלנו יעשה הכל כדי להבטיח שמערכת האחסון AERODISK תפסיק לפעול, כלומר. שבור את זה.

כך קרה שמאמרים על ההיסטוריה של החברה שלנו, על המוצרים שלנו, כמו גם דוגמה ליישום מוצלח כבר תלויים על Habré, שעבורו תודה רבה לשותפים שלנו - TS Solution וחברות Softline.

לכן, אני לא אאמן כאן כישורי ניהול העתק-הדבק, אלא פשוט אספק קישורים למקורות של המאמרים האלה:

• מאמר מס' 1. על ההיסטוריה של החברה והארכיטקטורה של מערכת האחסון AERODISK ENGINE
• מאמר מס' 2. כיצד להגדיר במהירות מערכת אחסון AERODISK ENGINE
• מאמר מס' 3. פרויקט מעניין על יישום מעקב וידאו בקנה מידה גדול לקראת מונדיאל 2018 במסגרת פרויקט עיר בטוחה

אני גם רוצה לחלוק חדשות טובות. אבל אתחיל, כמובן, מהבעיה. אנחנו, כספק צעיר, בין היתר, מתמודדים כל הזמן עם העובדה שמהנדסים ומנהלים רבים פשוט לא יודעים כיצד לתפעל נכון את מערכת האחסון שלנו.
ברור שניהול רוב מערכות האחסון נראה בערך אותו הדבר מנקודת מבט של מנהל, אבל לכל יצרן יש מאפיינים משלו. ואנחנו לא יוצאי דופן כאן.

לכן, על מנת לפשט את המשימה של הכשרת מומחי IT, החלטנו להקדיש את השנה הזו לחינוך חינם. לשם כך, בערים גדולות רבות ברוסיה אנו פותחים רשת של מרכזי מיומנות AERODISK, שבה כל מומחה טכני מעוניין יכול לקחת קורס ללא תשלום לחלוטין ולקבל תעודה בניהול מערכות אחסון AERODISK ENGINE.

בכל מרכז כשירות נתקין עמדת הדגמה מלאה ממערכת האחסון AERODISK ושרת פיזי, עליו יערוך המורה שלנו הדרכה פנים אל פנים. נפרסם את לוח העבודה של מרכזי הכשירות עם הופעתם, אבל כבר פתחנו מרכז בניז'ני נובגורוד והעיר קרסנודר היא הבאה. אתה יכול להירשם לאימון באמצעות הקישורים למטה. להלן המידע הידוע כעת על ערים ותאריכים:

• ניז'ני נובגורוד (כבר פתוח - ניתן להירשם כאן https://aerodisk.promo/nn/);
  עד ה-16 באפריל 2019 ניתן לבקר במרכז בכל זמן עבודה וב-16 באפריל 2019 ייערך קורס הכשרה גדול.
• קרסנודר (ייפתח בקרוב - ניתן להירשם כאן https://aerodisk.promo/krsnd/ );
  בתאריכים 9 עד 25 ניתן לבקר במרכז בכל זמן עבודה ובתאריך 2019 ייערך קורס הכשרה גדול.
• יקטרינבורג (נפתח בקרוב, עקוב אחר המידע באתר האינטרנט שלנו או ב-Habré);
  מאי-יוני 2019.
• נובוסיבירסק (עקוב אחר המידע באתר האינטרנט שלנו או ב-Habré);
  אוקטובר 2019
• קרסנויארסק (עקוב אחר המידע באתר האינטרנט שלנו או ב-Habré);
  נובמבר 2019.

וכמובן, אם מוסקבה לא רחוקה ממך, אז בכל עת תוכל לבקר במשרדנו במוסקבה ולעבור הכשרה דומה.

את כל. סיימנו עם השיווק, בואו נעבור לטכנולוגיה!

ב-Habré נפרסם באופן קבוע מאמרים טכניים על המוצרים שלנו, בדיקות עומס, השוואות, תכונות שימוש ויישומים מעניינים.

בדיקות ריסוק של מערכת אחסון AERODISK ENGINE N2, בדיקת חוזק

אזהרה! לאחר קריאת המאמר, אתה יכול לומר: ובכן, כמובן, המוכר יבדוק את עצמו כך שהכל יעבוד "בחבטה", תנאי החממה וכו'. אני אענה: שום דבר כזה! בניגוד למתחרים הזרים שלנו, אנחנו נמצאים כאן, קרוב אליכם, ותמיד תוכלו להגיע אלינו (במוסקווה או בכל ועד מרכזי) ולבדוק את מערכת האחסון שלנו בכל דרך. לפיכך, אין זה הגיוני עבורנו להתאים את התוצאות לתמונה אידיאלית של העולם, כי קל מאוד לבדוק אותנו. למי שמתעצל ללכת ואין לו זמן, אנחנו יכולים לארגן בדיקות מרחוק. יש לנו מעבדה מיוחדת לזה. צור קשר.

ACHTUNG-2! מבחן זה אינו מבחן עומס, כי כאן אכפת לנו רק מסובלנות לתקלות. בעוד שבועיים נכין דוכן חזק יותר ונבצע בדיקת עומסים של מערכת האחסון, נפרסם כאן את התוצאות (אגב, בקשות לבדיקות מתקבלות).

אז בוא נלך לשבור את זה.

עמדת מבחן

הדוכן שלנו מורכב מהחומרה הבאה:

• 1 x מערכת אחסון Aerodisk Engine N2 (2 בקרים, מטמון 64GB, 8xFC יציאות 8Gb/s, 4xEthernet יציאות 10Gb/s SFP+, 4xEthernet יציאות 1Gb/s); הדיסקים הבאים מותקנים במערכת האחסון:
• 4 x SAS SSD דיסקים 900 GB;
• 12 x SAS 10k דיסקים 1,2 TB;
• 1 x שרת פיזי עם Windows Server 2016 (2xXeon E5 2667 v3, 96GB RAM, 2xFC יציאות 8Gb/s, 2xEthernet יציאות 10Gb/s SFP+);
• 2 x מתג SAN 8G;
• 2 x מתג LAN 10G;

חיברנו את השרת למערכת האחסון באמצעות מתגים גם דרך FC וגם 10G Ethernet. תרשים הדוכן נמצא למטה.

הרכיבים שאנו צריכים, כגון MPIO ו-iSCSI initiator, מותקנים ב-Windows Server.
אזורים מוגדרים על מתגי ה-FC, ה-VLAN המתאימים מוגדרים על מתגי ה-LAN, ו-MTU 9000 מותקן על יציאות האחסון, המתגים והמארח (איך לעשות את כל זה מתואר בתיעוד שלנו, אז לא נתאר התהליך הזה כאן).

מתודולוגיית בדיקה

תוכנית מבחן הריסוק היא כדלקמן:

• בדיקת כשל ביציאות FC ו-Ethernet.
• בדיקת הפסקת חשמל.
• בדיקת כשל בבקר.
• בודק כשל בדיסק בקבוצה/פול.

כל הבדיקות יבוצעו בתנאי עומס סינטטי, אותם נפיק על ידי תוכנית IOMETER. במקביל, נבצע את אותן בדיקות, אך בתנאים של העתקת קבצים גדולים למערכת האחסון.

תצורת IOmeter היא כדלקמן:

• קריאה/כתיבה – 70/30
• בלוק – 128k (החלטנו לשטוף את מערכות האחסון בבלוקים גדולים)
• מספר חוטים – 128 (שדומה מאוד לעומס היצרני)
• אקראי מלא
• מספר עובדים – 4 (2 עבור FC, 2 עבור iSCSI)

למבחן יש את המטרות הבאות:

1. ודא שתהליך הטעינה וההעתקה הסינטטיים לא יפריעו או יגרום לשגיאות בתרחישי כשל שונים.
2. יש לוודא שתהליך החלפת יציאות, בקרים וכדומה מספיק אוטומטי ואינו מצריך פעולות מנהל במקרה של תקלות (כלומר בזמן תקלות לא מדברים כמובן על תקלות).
3. ודא שהמידע ביומנים מוצג כהלכה.

הכנת מערכת המארח והאחסון

הגדרנו גישה לחסימה במערכת האחסון באמצעות יציאות FC ו-Ethernet (FC ו-iSCSI, בהתאמה). החבר'ה מ-TS Solution תיארו בפירוט כיצד לעשות זאת במאמר קודם (https://habr.com/ru/company/tssolution/blog/432876/). וכמובן, אף אחד לא ביטל את המדריכים והקורסים.

הקמנו קבוצה היברידית באמצעות כל הכוננים שהיו לנו. 2 דיסקי SSD נוספו למטמון, 2 דיסקי SSD נוספו כשכבת אחסון נוספת (Online-tier). קיבצנו 12 כונני SAS10k ל-RAID-60P (זוגיות משולשת) על מנת לבדוק את הכשל של שלושה כוננים בקבוצה בבת אחת. נשאר דיסק אחד להחלפה אוטומטית.

חיברנו שני LUNs (אחד דרך FC, אחד דרך iSCSI).

הבעלים של שני LUNs הוא בקר Engine-0

בואו נתחיל את המבחן

אנו מפעילים את IOMETER עם התצורה שלמעלה.

אנו רושמים תפוקה של 1.8 GB/s והשהייה של 3 מילישניות. אין שגיאות (ספירת שגיאות כוללת).

במקביל, מהכונן המקומי "C" של המארח שלנו, אנו מתחילים במקביל להעתיק שני קבצים גדולים של 100GB ל-LUN של FC ו-iSCSI אחסון (כוננים E ו-G ב-Windows), תוך שימוש בממשקים אחרים.

למעלה הוא תהליך ההעתקה ל-LUN FC, למטה ל-iSCSI.

מבחן מס' 1: השבתת יציאות I/O

אנחנו מתקרבים למערכת האחסון מאחור))) ובתנועה קלה של היד אנחנו שולפים את כל כבלי FC ו-Ethernet 10G מהבקר Engine-0. זה כאילו עובדת ניקיון עם מגב עברה במקום והחליטה לשטוף את הרצפה בדיוק במקום שבו הנזלת מונחת והכבלים מונחים (כלומר, הבקר עדיין עובד, אבל יציאות ה-I/O מתות).

בואו נסתכל על IOMETER והעתקת קבצים. התפוקה ירדה ל-0,5 GB/s, אך חזרה במהירות לרמה הקודמת שלה (בערך 4-5 שניות). אין שגיאות.

העתקת הקבצים לא פסקה, יש ירידה במהירות, אבל היא בכלל לא קריטית (מ-840 מגה-בש' היא ירדה ל-720 מגה-בש). ההעתקה לא הפסיקה.

אנו מסתכלים על יומני מערכת האחסון ורואים הודעה על חוסר זמינות של פורטים והעברה אוטומטית של הקבוצה.

לוח המידע גם אומר לנו שהכל לא טוב במיוחד עם יציאות FC.

מערכת האחסון שרדה כשל ביציאות I/O בְּהַצלָחָה.

בדיקה מס' 2. השבתת בקר האחסון

כמעט מיד (לאחר שחיברנו את הכבלים בחזרה למערכת האחסון) החלטנו לסיים את מערכת האחסון על ידי שליפת הבקר מהמארז.

שוב אנחנו ניגשים למערכת האחסון מאחור (אהבנו))) והפעם שולפים את הבקר Engine-1, שברגע זה הוא הבעלים של ה-RDG (אליו עברה הקבוצה).

המצב ב-IOmeter הוא כדלקמן. הקלט/פלט נעצר למשך כ-5 שניות. שגיאות לא מצטברות.

לאחר 5 שניות, ה-I/O התחדש בערך באותה תפוקה, אך עם השהיות של 35 אלפיות שניות (השהיות שתוקנו לאחר מספר דקות בערך). כפי שניתן לראות מצילומי המסך, ערך ספירת השגיאות הכוללת הוא 0, כלומר, לא היו שגיאות כתיבה או קריאה.

בואו נסתכל על העתקת הקבצים שלנו. כפי שאתה יכול לראות, זה לא נקטע, הייתה ירידה קלה בביצועים, אבל בסך הכל הכל חזר לאותם ~ 800 מגה-בייט לשנייה.

אנחנו הולכים למערכת האחסון ורואים קללה בלוח המידע שהבקר Engine-1 אינו זמין (כמובן, הרגנו אותו).

אנו רואים גם ערך דומה ביומנים.

גם בקר האחסון שרד תקלה בְּהַצלָחָה.

בדיקה מס' 3: ניתוק אספקת החשמל.

ליתר בטחון, התחלנו להעתיק קבצים שוב, אבל לא הפסקנו את IOMETER.
אנחנו מושכים את יחידת אספקת החשמל.

התראה נוספת נוספה למערכת האחסון בלוח המידע.

גם בתפריט החיישנים אנו רואים שהחיישנים הקשורים לספק הכוח הנשלף הפכו לאדומים.

מערכת האחסון ממשיכה לעבוד. הכשל של יחידת אספקת החשמל אינו משפיע בשום אופן על פעולת מערכת האחסון; מנקודת מבטו של המארח, מחווני מהירות ההעתקה ומחווני IOMETER נותרו ללא שינוי.

מבחן הפסקת חשמל עבר בְּהַצלָחָה.

לפני הבדיקה הסופית החלטנו להחזיר קצת את מערכת האחסון לחיים, להחזיר את הבקר ויחידת אספקת החשמל, וגם לעשות סדר בכבלים, מה שמערכת האחסון הודיעה לנו עליהם בשמחה עם אייקונים ירוקים בלוח הבריאות שלה .

מבחן מס' 4. כשל של שלושה דיסקים בקבוצה

לפני בדיקה זו, ביצענו שלב הכנה נוסף. העובדה היא שמערכת האחסון ENGINE מספקת דבר שימושי מאוד - מדיניות בנייה מחדש שונה. TS Solution כתבה על תכונה זו קודם לכן, אבל בואו נזכור את המהות שלה. מנהל האחסון יכול לציין את העדיפות להקצאת משאבים במהלך הבנייה מחדש. או בכיוון של ביצועי I/O, כלומר, הבנייה מחדש נמשכת זמן רב יותר, אבל אין ירידה בביצועים. או בכיוון של מהירות בנייה מחדש, אבל הפרודוקטיביות תפחת. או אפשרות מאוזנת. מכיוון שביצועי אחסון במהלך בנייה מחדש של קבוצת דיסקים הם תמיד כאב ראש של מנהל מערכת, אנו נבדוק מדיניות עם הטיה לביצועי I/O ועל חשבון מהירות הבנייה מחדש.

עכשיו בואו נבדוק אם יש כשל בדיסק. אנו גם מאפשרים הקלטה ל-LUNs (קבצים ו-IOMETER). מכיוון שיש לנו קבוצה עם זוגיות משולשת (RAID-60P), זה אומר שהמערכת צריכה לעמוד בכשל של שלושה דיסקים, ולאחר התקלה, ההחלפה האוטומטית חייבת לפעול, דיסק אחד חייב לתפוס את מקומו של אחד מהתקלות. ב-RDG, ויש להתחיל בו בנייה מחדש.

התחל. ראשית, דרך ממשק האחסון, נדגיש את הדיסקים שאנו רוצים לשלוף (כדי לא לפספס ולמשוך את דיסק השינוי האוטומטי).

אנו בודקים את האינדיקציה על החומרה. הכל בסדר, אנו רואים שלושה דיסקים מודגשים.

ואנחנו שולפים את שלושת הדיסקים האלה.

בואו נסתכל מה יש על המארח. ושם... לא קרה שום דבר מיוחד.

מחווני ההעתקה (הם גבוהים יותר מאשר בהתחלה, כי המטמון התחמם) ו-IOMETER לא משתנים הרבה בעת הסרת הדיסקים ותחילת הבנייה מחדש (תוך 5-10%).

בואו נסתכל מה יש על מערכת האחסון.

בסטטוס הקבוצה אנו רואים כי תהליך השינוי המבני החל והוא קרוב לסיומו.

בשלד RDG ניתן לראות ש-2 דיסקים במצב אדום, ואחד כבר הוחלף. הדיסק להחלפה אוטומטית כבר לא שם; הוא החליף את הדיסק השלישי שכשל. הבנייה מחדש ארכה מספר דקות, כתיבת קבצים כאשר 3 דיסקים נכשלו לא הופרעה, וביצועי הקלט/פלט לא השתנו הרבה.

מבחן כשל הדיסק עבר בהחלט בְּהַצלָחָה.

מסקנה

בשלב זה החלטנו להפסיק את האלימות נגד מערכות אחסון. בואו נסכם:

• בדיקת כשל ביציאת FC - מוצלחת
• בדיקת כשל ביציאת Ethernet - מוצלחת
• בדיקת כשל בבקר - הצליחה
• בדיקת הפסקת חשמל - מוצלחת
• בדיקת כשל בדיסק ב-grouppool - הצליח

אף אחת מהכשלים לא הפסיקה להקליט או גרמה לשגיאות בעומס הסינטטי, כמובן שהיה פגיעה בביצועים (ואנחנו יודעים איך להתגבר עליה, מה שנעשה בקרוב), אבל בהתחשב בעובדה שמדובר בשניות, זה די מקובל. מסקנה: סבילות התקלות של כל רכיבי מערכת האחסון AERODISK עבדה ברמה, לא היו נקודות כשל.

ברור שבמאמר אחד אנחנו לא יכולים לבדוק את כל תרחישי הכישלון, אבל ניסינו לכסות את הפופולריים ביותר. לכן, אנא שלח את הערותיך, הצעות לפרסומים עתידיים וכמובן ביקורת מספקת. נשמח לדון (או יותר טוב, בואו לאימון, אני משכפל את לוח הזמנים לכל מקרה)! עד לבדיקות חדשות!

• ניז'ני נובגורוד (כבר פתוח - ניתן להירשם כאן https://aerodisk.promo/nn/);
  עד ה-16 באפריל 2019 ניתן לבקר במרכז בכל זמן עבודה וב-16 באפריל 2019 ייערך קורס הכשרה גדול.
• קרסנודר (ייפתח בקרוב - ניתן להירשם כאן https://aerodisk.promo/krsnd/ );
  בתאריכים 9 עד 25 ניתן לבקר במרכז בכל זמן עבודה ובתאריך 2019 ייערך קורס הכשרה גדול.
• יקטרינבורג (נפתח בקרוב, עקוב אחר המידע באתר האינטרנט שלנו או ב-Habré);
  מאי-יוני 2019.
• נובוסיבירסק (עקוב אחר המידע באתר האינטרנט שלנו או ב-Habré);
  אוקטובר 2019
• קרסנויארסק (עקוב אחר המידע באתר האינטרנט שלנו או ב-Habré);
  נובמבר 2019.

מקור: www.habr.com