في أحد الدردشات طرح علي سؤال:
— هل هناك أي شيء يمكنني قراءته حول كيفية تجميع الخوادم في الرفوف بشكل صحيح؟
أدركت أنني لا أعرف مثل هذا النص، لذلك كتبت نصي الخاص.
أولاً، يتناول هذا النص الخوادم الفعلية في مراكز البيانات الفعلية (DC). ثانيًا، نعتقد أن هناك عددًا كبيرًا جدًا من الخوادم: مئات الآلاف، أما بالنسبة لعدد أقل فإن هذا النص لا معنى له. ثالثًا، نعتبر أن لدينا ثلاثة قيود: المساحة الفعلية في الرفوف، وإمدادات الطاقة لكل حامل، والسماح للرفوف بالوقوف في صفوف حتى نتمكن من استخدام مفتاح ToR واحد لتوصيل الخوادم في الرفوف المجاورة.
تعتمد إجابة السؤال بشكل كبير على المعلمة التي نقوم بتحسينها وما يمكننا تغييره لتحقيق أفضل نتيجة. على سبيل المثال، نحتاج فقط إلى شغل الحد الأدنى من المساحة من أجل ترك المزيد لمزيد من النمو. أو ربما لدينا الحرية في اختيار ارتفاع الرفوف، والطاقة لكل حامل، والمقابس في وحدة PDU، وعدد الرفوف في مجموعة المفاتيح (مفتاح واحد لرف واحد أو 1 أو 2 رفوف)، وطول الأسلاك وأعمال السحب ( يعد هذا أمرًا بالغ الأهمية في نهايات الصفوف: مع وجود 3 رفوف متتالية و10 رفوف لكل مفتاح، سيتعين عليك سحب الأسلاك إلى صف آخر أو تقليل استخدام المنافذ الموجودة في المفتاح)، وما إلى ذلك، وما إلى ذلك. قصص منفصلة: اختيار الخوادم واختيار DC، سنفترض أنه تم اختيارهم.
سيكون من الجيد فهم بعض الفروق الدقيقة والتفاصيل، على وجه الخصوص، متوسط / الحد الأقصى لاستهلاك الخوادم، وكيفية تزويدنا بالكهرباء. لذلك، إذا كان لدينا مصدر طاقة روسي يبلغ 230 فولتًا ومرحلة واحدة لكل حامل، فيمكن لآلة 32 أمبير التعامل مع 7 كيلو وات تقريبًا. لنفترض أننا ندفع اسميًا مقابل 6 كيلووات لكل رف. إذا قام المزود بقياس استهلاكنا فقط لصف مكون من 10 رفوف، وليس لكل رف، وإذا تم ضبط الماكينة على قطع مشروط قدره 7 كيلووات، فيمكننا من الناحية الفنية استهلاك 6.9 كيلووات في حامل واحد، و5.1 كيلووات في حامل آخر. كل شيء سيكون على ما يرام - لا يعاقب عليه.
عادة ما يكون هدفنا الرئيسي هو تقليل التكاليف. أفضل معيار للقياس هو تخفيض التكلفة الإجمالية للملكية (TCO). ويتكون من القطع التالية:
- النفقات الرأسمالية: شراء البنية التحتية للتيار المستمر والخوادم وأجهزة الشبكة والكابلات
- النفقات التشغيلية: استئجار العاصمة، واستهلاك الكهرباء، والصيانة. تعتمد النفقات التشغيلية على مدة الخدمة. ومن المعقول أن نفترض أن تكون 3 سنوات.
اعتمادًا على حجم القطع الفردية في الكعكة الإجمالية، نحتاج إلى تحسين الأجزاء الأكثر تكلفة، والسماح للباقي باستخدام جميع الموارد المتبقية بأكبر قدر ممكن من الكفاءة.
لنفترض أن لدينا DC موجودًا، وهناك ارتفاع حامل بوحدات H (على سبيل المثال، H=47)، وكهرباء لكل حامل (Prack=6kW)، وقررنا استخدام خوادم ذات وحدتين h=2U. سنقوم بإزالة 2..4 وحدة من الحامل للمفاتيح ولوحات التصحيح والمنظمين. أولئك. فعليًا، لدينا خوادم Sh=rounddown((H-2..4)/h) في الحامل الخاص بنا (أي Sh = rounddown((47-4)/2)=21 خادمًا لكل رف). دعونا نتذكر هذا الشيخ.
في الحالة البسيطة، تكون جميع الخوادم الموجودة في الحامل متطابقة. في المجمل، إذا ملأنا رفًا بالخوادم، فيمكننا إنفاق متوسط الطاقة على كل خادم Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). من أجل البساطة، نتجاهل استهلاك التبديل هنا.
لنأخذ خطوة جانبًا ونحدد الحد الأقصى لاستهلاك الخادم Pmax. إذا كان الأمر بسيطًا جدًا، وغير فعال جدًا وآمنًا تمامًا، فإننا نقرأ ما هو مكتوب على مصدر طاقة الخادم - وهذا هو.
إذا كان الأمر أكثر تعقيدًا وأكثر كفاءة، فسنأخذ TDP (حزمة التصميم الحراري) لجميع المكونات ونلخصها (هذا ليس صحيحًا تمامًا، ولكنه ممكن).
عادةً لا نعرف TDP للمكونات (باستثناء وحدة المعالجة المركزية)، لذلك نتبع النهج الأكثر صحة ولكن أيضًا الأكثر تعقيدًا (نحتاج إلى مختبر) - نأخذ خادمًا تجريبيًا بالتكوين المطلوب ونقوم بتحميله، على سبيل المثال، باستخدام Linpack (وحدة المعالجة المركزية والذاكرة) وfio (الأقراص)، نقوم بقياس الاستهلاك. إذا أخذنا الأمر على محمل الجد، فسنحتاج أيضًا إلى إنشاء بيئة أكثر دفئًا في الممر البارد أثناء الاختبارات، لأن هذا سيؤثر على استهلاك المروحة واستهلاك وحدة المعالجة المركزية. نحصل على أقصى استهلاك لخادم معين بتكوين محدد في هذه الظروف المحددة وفي ظل هذا الحمل المحدد. نعني ببساطة أن البرامج الثابتة الجديدة للنظام وإصدار البرنامج المختلف والظروف الأخرى قد تؤثر على النتيجة.
لذا، نعود إلى Pserv وكيف نقارنه مع Pmax. إنها مسألة فهم كيفية عمل الخدمات ومدى قوة أعصاب مديرك الفني.
إذا لم نتحمل أي مخاطر على الإطلاق، فإننا نعتقد أن جميع الخوادم يمكن أن تبدأ في وقت واحد في استهلاك الحد الأقصى من طاقتها. في نفس اللحظة، قد يحدث إدخال واحد في العاصمة. حتى في ظل هذه الظروف، يجب أن توفر الأشعة تحت الحمراء الخدمة، لذلك Pserv ≡ Pmax. هذا هو النهج الذي تكون فيه الموثوقية مهمة للغاية.
إذا كان مدير التكنولوجيا لا يفكر فقط في الأمان المثالي، بل أيضًا في أموال الشركة ويتمتع بالشجاعة الكافية، فيمكنك أن تقرر ذلك
- لقد بدأنا في إدارة البائعين لدينا، وعلى وجه الخصوص، نحن نحظر الصيانة المجدولة في أوقات ذروة الحمل المخطط لها لتقليل الانخفاض في أحد المدخلات؛
- و/أو تسمح لك بنيتنا بفقد حامل/صف/تيار مستمر، لكن الخدمات تستمر في العمل؛
- و/أو نقوم بتوزيع الحمولة بشكل جيد أفقيًا عبر الرفوف، لذلك لن تقفز خدماتنا أبدًا إلى الحد الأقصى من الاستهلاك في رف واحد معًا.
من المفيد جدًا هنا ليس فقط التخمين، بل مراقبة الاستهلاك ومعرفة كيف تستهلك الخوادم الكهرباء فعليًا في ظل الظروف العادية وظروف الذروة. لذلك، بعد بعض التحليل، يضغط المدير الفني على كل ما لديه ويقول: "لقد اتخذنا قرارًا إراديًا بأن الحد الأقصى الذي يمكن تحقيقه لمتوسط الحد الأقصى لاستهلاك الخادم لكل حامل هو **كثيرًا** أقل من الحد الأقصى للاستهلاك"، بشرط Pserv = 0.8 * ماكس.
وبعد ذلك، لم يعد الحامل بقدرة 6 كيلو وات قادرًا على استيعاب 16 خادمًا بقدرة Pmax = 375 وات، ولكن 20 خادمًا مع Pserv = 375 وات * 0.8 = 300 وات. أولئك. 25% خوادم إضافية. يعد هذا توفيرًا كبيرًا جدًا - فنحن نحتاج على الفور إلى رفوف أقل بنسبة 25% (وسنوفر أيضًا وحدات PDU والمفاتيح والكابلات). العيب الخطير لمثل هذا الحل هو أننا يجب أن نراقب باستمرار أن افتراضاتنا لا تزال صحيحة. أن إصدار البرنامج الثابت الجديد لا يغير بشكل كبير عمل المراوح والاستهلاك، وأن التطوير فجأة مع الإصدار الجديد لم يبدأ في استخدام الخوادم بشكل أكثر كفاءة (اقرأ: لقد حققوا حملًا أكبر واستهلاكًا أكبر على الخادم). بعد كل شيء، تصبح افتراضاتنا واستنتاجاتنا الأولية غير صحيحة على الفور. وهذا خطر يجب التعامل معه بمسؤولية (أو تجنبه ثم الدفع مقابل الرفوف غير المستغلة بشكل واضح).
ملاحظة مهمة - يجب أن تحاول توزيع الخوادم من الخدمات المختلفة أفقيًا عبر الرفوف، إن أمكن. يعد ذلك ضروريًا حتى لا تحدث مواقف عندما تصل دفعة واحدة من الخوادم لخدمة واحدة، ويتم تعبئة الرفوف معها رأسيًا لزيادة "الكثافة" (لأن الأمر أسهل بهذه الطريقة). في الواقع، اتضح أن أحد الرفوف مملوء بخوادم متطابقة ذات تحميل منخفض لنفس الخدمة، والآخر مليء بخوادم ذات تحميل عالي بنفس القدر. احتمال السقوط الثاني أعلى بكثير، لأنه ملف تعريف التحميل هو نفسه، وتبدأ جميع الخوادم معًا في هذا الحامل في استهلاك نفس المقدار نتيجة لزيادة التحميل.
دعنا نعود إلى توزيع الخوادم على الرفوف. لقد نظرنا إلى مساحة الحامل الفعلية وقيود الطاقة، والآن دعونا نلقي نظرة على الشبكة. يمكنك استخدام المحولات ذات المنافذ 24/32/48 N (على سبيل المثال، لدينا محولات ToR ذات 48 منفذًا). لحسن الحظ، لا توجد خيارات كثيرة إذا كنت لا تفكر في الكابلات المنفصلة. نحن نفكر في السيناريوهات التي يكون فيها لدينا محول واحد لكل حامل، أو محول واحد لاثنين أو ثلاثة رفوف في مجموعة Rnet. يبدو لي أن أكثر من ثلاثة رفوف في المجموعة هو بالفعل أكثر من اللازم، لأن... تصبح مشكلة الكابلات بين الرفوف أكبر بكثير.
لذلك، لكل سيناريو شبكة (1 أو 2 أو 3 رفوف في مجموعة)، نقوم بتوزيع الخوادم بين الرفوف:
Srack = min(Sh، rounddown(Prack/Pserv)، rounddown(N/Rnet))
وهكذا، بالنسبة للخيار مع 2 رفوف في المجموعة:
Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 خادمًا لكل حامل.
نحن نعتبر الخيارات المتبقية بنفس الطريقة:
سراك1 = 20
سراك3 = 16
ونحن على وشك الوصول إلى هناك. نحسب عدد الرفوف لتوزيع جميع خوادمنا S (فليكن 1000):
R = roundup(S / (Srack * Rnet)) * Rnet
R1 = التقريب (1000 / (20 * 1)) * 1 = 50 * 1 = 50 رفوف
R2 = التقريب (1000 / (20 * 2)) * 2 = 25 * 2 = 50 رفوف
R3 = التقريب (1000 / (16 * 3)) * 3 = 25 * 2 = 63 رفوف
بعد ذلك، نقوم بحساب التكلفة الإجمالية للملكية لكل خيار بناءً على عدد الرفوف، والعدد المطلوب من المفاتيح، والكابلات، وما إلى ذلك. نختار الخيار الذي تكون فيه التكلفة الإجمالية للملكية أقل. ربح!
لاحظ أنه على الرغم من أن العدد المطلوب من الرفوف للخيارين 1 و2 هو نفسه، إلا أن سعرها سيكون مختلفًا، لأن عدد المفاتيح للخيار الثاني هو النصف، وطول الكابلات المطلوبة أطول.
ملحوظة: إذا أتيحت لك الفرصة للعب بقوة كل حامل وارتفاع الحامل، فإن التباين يزيد. ولكن يمكن اختصار العملية إلى تلك الموضحة أعلاه بمجرد الاطلاع على الخيارات. نعم، سيكون هناك المزيد من المجموعات، ولكن لا يزال العدد محدودًا للغاية - يمكن زيادة مصدر الطاقة للحامل لإجراء الحساب بخطوات تبلغ 1 كيلووات، وتأتي الرفوف النموذجية بعدد محدود من الأحجام القياسية: 42U، 45U، 47U، 48U , 52 يو. وهنا يمكن أن يساعد تحليل ماذا لو في Excel في وضع جدول البيانات في العمليات الحسابية. نحن ننظر إلى اللوحات المستلمة ونختار الحد الأدنى.
المصدر: www.habr.com