أهلاً بكم! بهذه المقالة، تفتح AERODISK مدونة على حبري. مرحا أيها الرفاق!
ناقشت المقالات السابقة عن حبري أسئلة حول البنية والتكوين الأساسي لأنظمة التخزين. في هذه المقالة، سننظر في سؤال لم يتم تناوله مسبقًا، ولكن يتم طرحه غالبًا - حول التسامح مع الخطأ في أنظمة تخزين AERODISK ENGINE. سيبذل فريقنا قصارى جهده لضمان توقف نظام تخزين AERODISK عن العمل، أي. حطمها.
لقد حدث أن مقالات حول تاريخ شركتنا ومنتجاتنا، بالإضافة إلى مثال على التنفيذ الناجح معلقة بالفعل على حبري، والتي من أجلها شكرًا جزيلاً لشركائنا - شركات TS Solution وSoftline.
لذلك، لن أقوم بتدريب مهارات إدارة النسخ واللصق هنا، ولكن سأقدم ببساطة روابط إلى النسخ الأصلية لهذه المقالات:
أريد أيضًا أن أشارك الأخبار الجيدة. لكنني سأبدأ بالطبع بالمشكلة. نحن، كبائع شاب، من بين تكاليف أخرى، نواجه باستمرار حقيقة أن العديد من المهندسين والإداريين لا يعرفون ببساطة كيفية تشغيل نظام التخزين الخاص بنا بشكل صحيح.
من الواضح أن إدارة معظم أنظمة التخزين تبدو متشابهة تقريبًا من وجهة نظر المسؤول، ولكن لكل شركة مصنعة خصائصها الخاصة. ونحن لسنا استثناء هنا.
لذلك، ومن أجل تبسيط مهمة تدريب متخصصي تكنولوجيا المعلومات، قررنا تخصيص هذا العام للتعليم المجاني. للقيام بذلك، نفتح في العديد من المدن الكبرى في روسيا شبكة من مراكز الكفاءة AERODISK، حيث يمكن لأي متخصص تقني مهتم أن يأخذ دورة تدريبية مجانًا تمامًا ويحصل على شهادة في إدارة أنظمة تخزين AERODISK ENGINE.
سنقوم في كل مركز من مراكز الكفاءة بتركيب منصة تجريبية كاملة من نظام تخزين AERODISK وخادم فعلي، حيث سيقوم معلمنا بإجراء التدريب وجهًا لوجه. وسننشر جدول عمل مراكز الكفاءة فور ظهورها، ولكننا افتتحنا بالفعل مركزًا في نيجني نوفغورود، وستكون مدينة كراسنودار هي التالية. يمكنك الاشتراك في التدريب باستخدام الروابط أدناه. فيما يلي المعلومات المعروفة حاليًا عن المدن والتواريخ:
- نيجني نوفغورود (مفتوح بالفعل – يمكنك الاشتراك هنا );
حتى 16 أبريل 2019 يمكنكم زيارة المركز في أي وقت عمل، وفي 16 أبريل 2019 سيتم تنظيم دورة تدريبية كبيرة. - كراسنودار (الافتتاح قريبًا - يمكنك الاشتراك هنا );
من 9 أبريل إلى 25 أبريل 2019 يمكنكم زيارة المركز في أي وقت عمل، وفي 25 أبريل 2019 سيتم تنظيم دورة تدريبية كبيرة. - يكاترينبورغ (سيتم الافتتاح قريبًا، اتبع المعلومات الموجودة على موقعنا الإلكتروني أو على حبري)؛
مايو-يونيو 2019. - نوفوسيبيرسك (اتبع المعلومات الموجودة على موقعنا الإلكتروني أو على حبري)؛
أكتوبر 2019 - كراسنويارسك (اتبع المعلومات الموجودة على موقعنا الإلكتروني أو على حبري)؛
نوفمبر 2019.
وبالطبع، إذا لم تكن موسكو بعيدة عنك، فيمكنك في أي وقت زيارة مكتبنا في موسكو والخضوع لتدريب مماثل.
الجميع. لقد انتهينا من التسويق، فلننتقل إلى التكنولوجيا!
سننشر على حبري بانتظام مقالات تقنية حول منتجاتنا واختبارات التحميل والمقارنات وميزات الاستخدام والتطبيقات المثيرة للاهتمام.
اختبارات الأعطال لنظام التخزين AERODISK ENGINE N2، واختبار القوة
تحذير! بعد قراءة المقال يمكنك أن تقول: حسنًا، بالطبع، سيقوم البائع بفحص نفسه للتأكد من أن كل شيء يعمل "بقوة"، وظروف الاحتباس الحراري، وما إلى ذلك. سأجيب: لا شيء من هذا القبيل! على عكس منافسينا الأجانب، نحن موجودون هنا، بالقرب منك، ويمكنك دائمًا القدوم إلينا (في موسكو أو أي لجنة مركزية) واختبار نظام التخزين الخاص بنا بأي شكل من الأشكال. وبالتالي، ليس من المنطقي بالنسبة لنا أن نعدل النتائج إلى صورة مثالية للعالم، لأنه نحن من السهل جدا التحقق. بالنسبة لأولئك الذين هم كسالى جدًا ولا يمكنهم الذهاب وليس لديهم الوقت، يمكننا تنظيم اختبار عن بعد. لدينا مختبر خاص لهذا الغرض. اتصل بنا.
أشتونج-2! هذا الاختبار ليس اختبار حمل، لأنه نحن هنا نهتم فقط بالتسامح مع الخطأ. في غضون أسبوعين، سنقوم بإعداد حامل أكثر قوة وإجراء اختبار الحمل لنظام التخزين، ونشر النتائج هنا (بالمناسبة، يتم قبول طلبات الاختبارات).
لذلك، دعونا نذهب لكسرها.
اختبار موقف
يتكون جناحنا من الأجهزة التالية:
- 1 × نظام تخزين Aerodisk Engine N2 (وحدتا تحكم، ذاكرة تخزين مؤقت سعة 2 جيجابايت، 64 منافذ xFC بسرعة 8 جيجابايت/ثانية، 8 منافذ إيثرنت بسرعة 4 جيجابايت/ثانية SFP+، 10 منافذ إيثرنت بسرعة 4 جيجابايت/ثانية)؛ يتم تثبيت الأقراص التالية في نظام التخزين:
- 4 × أقراص SAS SSD بسعة 900 جيجابايت؛
- 12 قرص SAS 10k سعة 1,2 تيرابايت؛
- 1 × خادم فعلي يعمل بنظام التشغيل Windows Server 2016 (2xXeon E5 2667 v3، وذاكرة الوصول العشوائي (RAM) سعة 96 جيجابايت، ومنافذ 2xFC بسرعة 8 جيجابايت/ثانية، ومنفذي xEthernet بسرعة 2 جيجابايت/ثانية SFP+)؛
- 2 × مفتاح SAN 8G؛
- 2 × مفتاح LAN 10G؛
قمنا بتوصيل الخادم بنظام التخزين عبر مفاتيح عبر كل من FC و10G Ethernet. مخطط الموقف أدناه.
يتم تثبيت المكونات التي نحتاجها، مثل MPIO وبادئ iSCSI، على Windows Server.
يتم تكوين المناطق على محولات FC، ويتم تكوين شبكات VLAN المقابلة على محولات LAN، ويتم تثبيت MTU 9000 على منافذ التخزين والمحولات والمضيف (كيفية القيام بكل هذا موصوفة في وثائقنا، لذلك لن نقوم بالوصف هذه العملية هنا).
منهجية الاختبار
خطة اختبار التصادم هي كما يلي:
- التحقق من فشل منافذ FC و Ethernet.
- فحص فشل الطاقة.
- فحص فشل وحدة التحكم.
- التحقق من فشل القرص في مجموعة/تجمع.
سيتم إجراء جميع الاختبارات في ظل ظروف التحميل الاصطناعية، والتي سنقوم بإنشائها بواسطة برنامج IOMETER. بالتوازي، سنقوم بإجراء نفس الاختبارات، ولكن في ظل ظروف نسخ الملفات الكبيرة إلى نظام التخزين.
تكوين IOmeter هو كما يلي:
- القراءة/الكتابة - 70/30
- كتلة – 128 ألف (قررنا غسل أنظمة التخزين في كتل كبيرة)
- عدد الخيوط – 128 (وهو مشابه جدًا للحمل الإنتاجي)
- عشوائية كاملة
- عدد العاملين – 4 (2 لـ FC، 2 لـ iSCSI)
الاختبار له الأهداف التالية:
- تأكد من أن عملية التحميل والنسخ الاصطناعية لن تقاطع أو تسبب أخطاء في ظل سيناريوهات الفشل المختلفة.
- تأكد من أن عملية تبديل المنافذ ووحدات التحكم وما إلى ذلك مؤتمتة بما فيه الكفاية ولا تتطلب إجراءات المسؤول في حالة الفشل (أي، أثناء عمليات تجاوز الفشل، لا نتحدث عن حالات الاسترداد بالطبع).
- تأكد من عرض المعلومات الموجودة في السجلات بشكل صحيح.
إعداد المضيف ونظام التخزين
قمنا بتكوين الوصول إلى الكتلة على نظام التخزين باستخدام منافذ FC وEthernet (FC وiSCSI، على التوالي). وصف الرجال من TS Solution بالتفصيل كيفية القيام بذلك في مقال سابق (). وبالطبع لم يقم أحد بإلغاء الكتيبات والدورات.
لقد أنشأنا مجموعة مختلطة باستخدام جميع محركات الأقراص المتوفرة لدينا. تمت إضافة قرصين SSD إلى ذاكرة التخزين المؤقت، كما تمت إضافة قرصين SSD كطبقة تخزين إضافية (الطبقة عبر الإنترنت). قمنا بتجميع 2 محرك أقراص SAS2k في RAID-12P (تكافؤ ثلاثي) للتحقق من فشل ثلاثة محركات أقراص في المجموعة في وقت واحد. تم ترك قرص واحد للاستبدال التلقائي.
قمنا بتوصيل وحدتي LUN (واحدة عبر FC، وواحدة عبر iSCSI).
مالك كلا LUNs هو وحدة التحكم Engine-0
لنبدأ الاختبار
نقوم بتمكين IOMETER مع التكوين أعلاه.
نسجل إنتاجية تبلغ 1.8 جيجابايت/ثانية وزمن وصول يبلغ 3 مللي ثانية. لا توجد أخطاء (إجمالي عدد الأخطاء).
في الوقت نفسه، من محرك الأقراص المحلي "C" الخاص بمضيفنا، نبدأ بالتوازي في نسخ ملفين كبيرين بسعة 100 جيجابايت إلى وحدات LUN للتخزين FC وiSCSI (محركات الأقراص E وG في Windows)، باستخدام واجهات أخرى.
أعلاه هي عملية النسخ إلى LUN FC، أدناه إلى iSCSI.
الاختبار رقم 1: تعطيل منافذ الإدخال/الإخراج
نقترب من نظام التخزين من الخلف))) وبحركة بسيطة من اليد نقوم بسحب جميع كابلات FC و Ethernet 10G من وحدة التحكم Engine-0. يبدو الأمر كما لو أن عاملة تنظيف تحمل ممسحة مرت بجوارها وقررت غسل الأرضية في المكان الذي كان فيه المخاط والكابلات ملقاة (أي أن وحدة التحكم لا تزال تعمل، لكن منافذ الإدخال/الإخراج معطلة).
دعونا نلقي نظرة على IOMETER ونسخ الملفات. انخفضت الإنتاجية إلى 0,5 جيجابايت/ثانية، لكنها عادت سريعًا إلى مستواها السابق (في حوالي 4-5 ثوانٍ). لا توجد أخطاء.
لم يتوقف نسخ الملفات، وهناك انخفاض في السرعة، لكنه ليس حرجًا على الإطلاق (من 840 ميجابايت/ثانية انخفض إلى 720 ميجابايت/ثانية). النسخ لم يتوقف
نحن ننظر إلى سجلات نظام التخزين ونرى رسالة حول عدم توفر المنافذ والنقل التلقائي للمجموعة.
تخبرنا لوحة المعلومات أيضًا أن كل شيء ليس جيدًا جدًا مع منافذ FC.
نجا نظام التخزين من فشل منافذ الإدخال/الإخراج بنجاح.
الاختبار رقم 2. تعطيل وحدة التحكم في التخزين
على الفور تقريبًا (بعد توصيل الكابلات مرة أخرى بنظام التخزين) قررنا إنهاء نظام التخزين عن طريق سحب وحدة التحكم من الهيكل.
مرة أخرى نقترب من نظام التخزين من الخلف (لقد أحببنا ذلك))) وهذه المرة نسحب وحدة التحكم Engine-1، والتي هي في هذه اللحظة مالك RDG (الذي انتقلت إليه المجموعة).
الوضع في IOmeter هو كما يلي. توقف الإدخال/الإخراج لمدة 5 ثوانٍ تقريبًا. الأخطاء لا تتراكم.
بعد 5 ثوانٍ، تم استئناف الإدخال/الإخراج بنفس الإنتاجية تقريبًا، ولكن بزمن وصول قدره 35 مللي ثانية (تم تصحيح زمن الاستجابة بعد دقيقتين تقريبًا). كما يتبين من لقطات الشاشة، فإن قيمة إجمالي عدد الأخطاء هي 0، أي أنه لم تكن هناك أخطاء في الكتابة أو القراءة.
دعونا ننظر في نسخ ملفاتنا. كما ترون، لم تتم مقاطعته، وكان هناك انخفاض طفيف في الأداء، ولكن بشكل عام عاد كل شيء إلى نفس السرعة ~ 800 ميجابايت/ثانية.
نذهب إلى نظام التخزين ونرى لعنة في لوحة المعلومات مفادها أن وحدة التحكم Engine-1 غير متوفرة (لقد قتلناها بالطبع).
نرى أيضًا إدخالاً مشابهًا في السجلات.
نجت وحدة التحكم في التخزين أيضًا من الفشل بنجاح.
الاختبار رقم 3: فصل مصدر الطاقة.
فقط في حالة، بدأنا في نسخ الملفات مرة أخرى، لكننا لم نتوقف عن IOMETER.
نحن نسحب وحدة إمداد الطاقة.
تمت إضافة تنبيه آخر إلى نظام التخزين في لوحة المعلومات.
نرى أيضًا في قائمة المستشعرات أن المستشعرات المرتبطة بمصدر الطاقة المسحوب قد تحولت إلى اللون الأحمر.
يستمر نظام التخزين في العمل. لا يؤثر فشل وحدة إمداد الطاقة بأي شكل من الأشكال على تشغيل نظام التخزين، ومن وجهة نظر المضيف، ظلت سرعة النسخ ومؤشرات IOMETER دون تغيير.
تم اجتياز اختبار انقطاع التيار الكهربائي بنجاح.
قبل الاختبار النهائي، قررنا إعادة نظام التخزين إلى الحياة قليلاً، وإعادة وحدة التحكم ووحدة إمداد الطاقة، وكذلك ترتيب الكابلات، والتي أبلغنا عنها نظام التخزين بسعادة من خلال الرموز الخضراء في لوحة الصحة الخاصة به .
الاختبار رقم 4. فشل ثلاثة أقراص في المجموعة
قبل هذا الاختبار، قمنا بخطوة تحضيرية إضافية. الحقيقة هي أن نظام تخزين ENGINE يوفر شيئًا مفيدًا جدًا - سياسات إعادة البناء المختلفة. لقد كتب TS Solution عن هذه الميزة سابقًا، ولكن دعونا نتذكر جوهرها. يمكن لمسؤول التخزين تحديد أولوية تخصيص الموارد أثناء إعادة البناء. إما في اتجاه أداء الإدخال/الإخراج، أي أن إعادة البناء تستغرق وقتًا أطول، ولكن لا يوجد انخفاض في الأداء. أو في اتجاه إعادة البناء بسرعة، ولكن سيتم تخفيض الإنتاجية. أو خيار متوازن. نظرًا لأن أداء التخزين أثناء إعادة بناء مجموعة الأقراص يمثل دائمًا مشكلة للمسؤول، فسنختبر سياسة متحيزة تجاه أداء الإدخال/الإخراج وعلى حساب سرعة إعادة البناء.
الآن دعونا نتحقق من فشل القرص. نقوم أيضًا بتمكين التسجيل على LUNs (الملفات وIOMETER). وبما أن لدينا مجموعة ذات تكافؤ ثلاثي (RAID-60P)، فهذا يعني أن النظام يجب أن يتحمل فشل ثلاثة أقراص، وبعد الفشل يجب أن تعمل عملية الاستبدال التلقائي، ويجب أن يحل قرص واحد محل أحد الأقراص الفاشلة في RDG، ويجب أن تبدأ عملية إعادة البناء فيه.
يبدأ. أولاً، من خلال واجهة التخزين، دعونا نسلط الضوء على الأقراص التي نريد سحبها (حتى لا نفوت ونسحب قرص التغيير التلقائي).
نتحقق من الإشارة على الأجهزة. كل شيء على ما يرام، ونحن نرى ثلاثة أقراص مميزة.
ونقوم بسحب هذه الأقراص الثلاثة.
دعونا نلقي نظرة على ما هو موجود على المضيف. وهناك... لم يحدث شيء خاص.
مؤشرات النسخ (وهي أعلى مما كانت عليه في البداية، لأن ذاكرة التخزين المؤقت قد تحسنت) وIOMETER لا تتغير كثيرًا عند إزالة الأقراص وبدء إعادة البناء (في حدود 5-10٪).
دعونا نلقي نظرة على ما هو موجود في نظام التخزين.
وفي وضع المجموعة نرى أن عملية إعادة الهيكلة قد بدأت وهي على وشك الانتهاء.
في هيكل RDG، يمكنك أن ترى أن هناك قرصين في الحالة الحمراء، وقد تم استبدال أحدهما بالفعل. لم يعد قرص الاستبدال التلقائي موجودًا، بل حل محل القرص الثالث الفاشل. استغرقت عملية إعادة البناء عدة دقائق، ولم تتم مقاطعة كتابة الملفات عند فشل 2 أقراص، ولم يتغير أداء الإدخال/الإخراج كثيرًا.
لقد نجح اختبار فشل القرص بالتأكيد بنجاح.
اختتام
عند هذه النقطة، قررنا وقف العنف ضد أنظمة التخزين. دعونا نلخص:
- التحقق من فشل منفذ FC - ناجح
- التحقق من فشل منفذ إيثرنت - ناجح
- التحقق من فشل وحدة التحكم - ناجح
- اختبار انقطاع التيار الكهربائي - ناجح
- التحقق من فشل القرص في تجمع المجموعة - ناجح
لم تتوقف أي من حالات الفشل عن التسجيل أو تسببت في حدوث أخطاء في التحميل الاصطناعي، بالطبع، كان هناك نجاح في الأداء (ونحن نعرف كيفية التغلب عليه، وهو ما سنفعله قريبًا)، ولكن نظرًا لأن هذه ثوانٍ، فهذا مقبول تمامًا. الخلاصة: التسامح مع الخطأ لجميع مكونات نظام تخزين AERODISK يعمل على المستوى، ولم تكن هناك نقاط فشل.
من الواضح أنه في مقال واحد لا يمكننا اختبار جميع سيناريوهات الفشل، لكننا حاولنا تغطية أكثرها شيوعًا. لذلك يرجى إرسال تعليقاتكم واقتراحاتكم للإصدارات المستقبلية وبالطبع النقد الكافي. سنكون سعداء بالمناقشة (أو الأفضل من ذلك، الحضور إلى التدريب، وسأكرر الجدول في حالة حدوث ذلك)! حتى اختبارات جديدة!
- نيجني نوفغورود (مفتوح بالفعل – يمكنك الاشتراك هنا );
حتى 16 أبريل 2019 يمكنكم زيارة المركز في أي وقت عمل، وفي 16 أبريل 2019 سيتم تنظيم دورة تدريبية كبيرة. - كراسنودار (الافتتاح قريبًا - يمكنك الاشتراك هنا );
من 9 أبريل إلى 25 أبريل 2019 يمكنكم زيارة المركز في أي وقت عمل، وفي 25 أبريل 2019 سيتم تنظيم دورة تدريبية كبيرة. - يكاترينبورغ (سيتم الافتتاح قريبًا، اتبع المعلومات الموجودة على موقعنا الإلكتروني أو على حبري)؛
مايو-يونيو 2019. - نوفوسيبيرسك (اتبع المعلومات الموجودة على موقعنا الإلكتروني أو على حبري)؛
أكتوبر 2019 - كراسنويارسك (اتبع المعلومات الموجودة على موقعنا الإلكتروني أو على حبري)؛
نوفمبر 2019.
المصدر: www.habr.com