ProHoster > بلوق > إدارة > إنشاء بنية تحتية لتكنولوجيا المعلومات تتسامح مع الأخطاء. الجزء 1 - التحضير لنشر مجموعة oVirt 4.3

إنشاء بنية تحتية لتكنولوجيا المعلومات تتسامح مع الأخطاء. الجزء 1 - التحضير لنشر مجموعة oVirt 4.3

القراء مدعوون للتعرف على مبادئ بناء بنية تحتية تتحمل الأخطاء لمؤسسة صغيرة داخل مركز بيانات واحد ، والتي ستتم مناقشتها بالتفصيل في سلسلة قصيرة من المقالات.

بادرة

تحت مركز البيانات يمكن فهم (مركز معالجة البيانات) على النحو التالي:

  • الرف الخاص به في "غرفة الخادم" الخاصة به على أراضي المؤسسة ، والذي يلبي الحد الأدنى من المتطلبات لتوفير معدات الطاقة والتبريد ، ولديه أيضًا إمكانية الوصول إلى الإنترنت من خلال مزودين مستقلين ؛
  • رف مستأجر بمعداته الخاصة ، الموجود في مركز بيانات حقيقي - ما يسمى ب. ارتباط من المستوى الثالث أو الرابع يضمن الوصول إلى الإنترنت بشكل موثوق به ، والتبريد وتجاوز الأعطال ؛
  • معدات مؤجرة بالكامل في مركز بيانات من المستوى الثالث أو الرابع.

خيار الإقامة الذي يجب اختياره - في كل حالة ، كل شيء فردي ، ويعتمد عادةً على عدة عوامل رئيسية:

  • لماذا تحتاج المؤسسة إلى البنية التحتية لتكنولوجيا المعلومات الخاصة بها على الإطلاق ؛
  • ما الذي تريده المؤسسة بالضبط من البنية التحتية لتكنولوجيا المعلومات (الموثوقية ، قابلية التوسع ، الإدارة ، إلخ) ؛
  • مقدار الاستثمار الأولي في البنية التحتية لتكنولوجيا المعلومات ، بالإضافة إلى نوع التكاليف الخاصة به - رأس المال (وهو ما يعني شراء المعدات الخاصة بك) ، أو التشغيل (عادةً ما يتم استئجار المعدات) ؛
  • أفق التخطيط للمؤسسة نفسها.

يمكنك أن تكتب كثيرًا عن العوامل التي تؤثر على قرار المؤسسة لإنشاء واستخدام البنية التحتية لتكنولوجيا المعلومات الخاصة بها ، ولكن هدفنا هو أن نظهر عمليًا كيفية إنشاء هذه البنية التحتية ذاتها بحيث تتسامح مع الأخطاء ولا يزال بإمكانك حفظ - تقليل تكلفة الحصول على البرمجيات التجارية ، أو تجنبها تمامًا.

كما تظهر الممارسة الطويلة ، لا يستحق التوفير في الحديد ، لأن البخيل يدفع مرتين ، بل وأكثر من ذلك بكثير. ولكن مرة أخرى - أجهزة جيدة ، هذه مجرد توصية ، وفي النهاية ما يجب شراؤه بالضبط وإلى أي مدى يعتمد على قدرات المؤسسة و "جشع" إدارتها. علاوة على ذلك ، يجب فهم كلمة "جشع" بالمعنى الجيد للكلمة ، حيث إنه من الأفضل الاستثمار في الأجهزة في المرحلة الأولية ، بحيث لا تواجهك لاحقًا مشكلات خطيرة مع دعمها الإضافي وتوسيع نطاقها ، نظرًا لأنه غير صحيح في البداية يمكن أن يؤدي التخطيط والادخار المفرط إلى تكاليف أعلى مما كانت عليه عند بدء المشروع.

إذن ، البيانات الأولية للمشروع:

  • هناك مؤسسة قررت إنشاء بوابة الويب الخاصة بها وتقديم أنشطتها إلى الإنترنت ؛
  • قررت الشركة استئجار رف لاستيعاب معداتها في مركز بيانات جيد معتمد وفقًا لمعيار Tier III ؛
  • قررت الشركة عدم توفير الكثير على الأجهزة ، وبالتالي اشترت المعدات التالية بضمانات ودعم ممتدين:

قائمة المعدات

  • اثنين من خوادم Dell PowerEdge R640 الفعلية على النحو التالي:
  • اثنين من معالجات Intel Xeon Gold 5120
  • شنومك غب رام
  • قرصين SAS في RAID1 ، لتثبيت نظام التشغيل
  • بطاقة شبكة 4G مدمجة ذات 1 منافذ
  • بطاقتي شبكة 2G 10-port
  • واحد ثنائي المنافذ FC HBA 2G.
  • وحدة تخزين وحدة تحكم Dell MD2f 3820 متصلة عبر FC 16G مباشرة بمضيفي Dell ؛
  • مفتاحان من المستوى الثاني - Cisco WS-C2960RX-48FPS-L مكدسة ؛
  • مفتاحان من المستوى الثالث - Cisco WS-C3850-24T-E ، مدمجان في مكدس ؛
  • Rack ، UPS ، PDU ، خوادم وحدة التحكم - يتم توفيرها بواسطة مركز البيانات.

كما نرى ، تتمتع المعدات الحالية بآفاق جيدة للتوسع الأفقي والرأسي ، إذا كان بإمكان المؤسسة التنافس مع شركات أخرى ذات ملف تعريف مشابه على الإنترنت ، وتبدأ في تحقيق ربح يمكن استثماره في توسيع الموارد لمزيد من المنافسة و نمو الأرباح.

ما هي المعدات التي يمكننا إضافتها إذا قررت المؤسسة زيادة أداء مجموعة الحوسبة لدينا:

  • لدينا احتياطي كبير من حيث عدد المنافذ على محولات 2960X ، مما يعني أنه يمكننا إضافة المزيد من خوادم الأجهزة ؛
  • شراء محولات FC لتوصيل أنظمة التخزين والخوادم الإضافية بها ؛
  • يمكن ترقية الخوادم الحالية - إضافة ذاكرة ، واستبدال المعالجات بأخرى أكثر كفاءة ، والاتصال بشبكة 10G مع محولات الشبكة الحالية ؛
  • يمكنك إضافة أرفف قرص إضافية إلى نظام التخزين بنوع الأقراص المطلوب - SAS أو SATA أو SSD ، اعتمادًا على الحمل المخطط له ؛
  • بعد إضافة محولات FC ، يمكنك شراء نظام تخزين آخر لإضافة المزيد من سعة القرص ، وإذا قمت بشراء خيار النسخ المتماثل البعيد الخاص به ، فيمكنك تكوين نسخ البيانات بين أنظمة التخزين داخل حدود مركز بيانات واحد وبين مراكز البيانات (لكن هذا بالفعل خارج نطاق المادة) ؛
  • هناك أيضًا محولات من المستوى الثالث - Cisco 3850 ، والتي يمكن استخدامها كنواة شبكة متسامحة مع الأخطاء للتوجيه عالي السرعة بين الشبكات الداخلية. سيساعد هذا كثيرًا في المستقبل ، مع نمو البنية التحتية الداخلية. يحتوي جهاز 3850 أيضًا على منافذ 10G يمكن استخدامها لاحقًا عند ترقية معدات الشبكة إلى سرعة 10G.

نظرًا لأنه لا يوجد مكان بدون المحاكاة الافتراضية ، سنكون بالتأكيد في الاتجاه ، خاصة وأن هذه طريقة رائعة لتقليل تكلفة الحصول على خوادم باهظة الثمن لعناصر البنية التحتية الفردية (خوادم الويب ، وقواعد البيانات ، وما إلى ذلك) ، والتي لا تكون دائمًا مثالية يستخدم في حالة التحميل المنخفض وهذا هو بالضبط ما سيكون في بداية إطلاق المشروع.

بالإضافة إلى ذلك ، تتمتع المحاكاة الافتراضية بالعديد من المزايا الأخرى التي يمكن أن تكون مفيدة جدًا لنا: التسامح مع أخطاء الجهاز الظاهري من فشل خادم الأجهزة ، الترحيل المباشر بين عقد أجهزة المجموعة لصيانتها ، توزيع الحمل اليدوي أو التلقائي بين عقد المجموعة ، إلخ.

بالنسبة للأجهزة التي تم شراؤها من قبل المؤسسة ، فإن نشر مجموعة VMware vSphere عالية التوفر يقترح نفسه ، ولكن نظرًا لأن أي برنامج من VMware معروف بعلامات أسعاره "الحصان" ، فسنستخدم برنامج إدارة افتراضية مجاني تمامًا - أوفيرت، على أساسه يتم إنشاء منتج معروف ، ولكن تجاري بالفعل - rhev.

Программное обеспечение أوفيرت ضروري لدمج جميع عناصر البنية التحتية في كل واحد حتى تتمكن من العمل بشكل ملائم مع الأجهزة الافتراضية المتاحة للغاية - وهي قواعد البيانات وتطبيقات الويب والخوادم الوكيلة والموازنات والخوادم لجمع السجلات والتحليلات وما إلى ذلك ، أي ، ما تتكون منه بوابة الويب الخاصة بمؤسستنا.

تلخيصًا لهذه المقدمة ، تنتظرنا المقالات التالية ، والتي ستوضح عمليًا كيفية نشر البنية التحتية للأجهزة والبرامج بالكامل للمؤسسة:

قائمة المقالات

  • جزء 1. التحضير لنشر oVirt Cluster 4.3.
  • جزء 2. تثبيت وتكوين مجموعة oVirt Cluster 4.3.
  • جزء 3. إنشاء مجموعة VyOS ، وتنظيم التوجيه الخارجي المتسامح مع الأخطاء.
  • جزء 4. إعداد مكدس Cisco 3850 ، وتنظيم توجيه الإنترانت.

الجزء 1. التحضير لنشر مجموعة oVirt 4.3

إعداد المضيف الأساسي

يعد تثبيت نظام التشغيل وتكوينه أسهل خطوة. هناك الكثير من المقالات حول كيفية تثبيت نظام التشغيل وتكوينه بشكل صحيح ، لذلك لا معنى لمحاولة تقديم شيء حصري حول هذا الموضوع.

لذلك ، لدينا مضيفان من Dell PowerEdge R640 نحتاج إلى تثبيت نظام التشغيل وإجراء الإعدادات الأولية من أجل استخدامها كبرامج مراقبة لتشغيل الأجهزة الافتراضية في مجموعة oVirt 4.3.

نظرًا لأننا نخطط لاستخدام البرنامج المجاني غير التجاري oVirt ، فقد اخترنا نظام التشغيل لنشر المضيفين CentOS 7.7، على الرغم من أنه من الممكن تثبيت أنظمة تشغيل أخرى على مضيفين لـ oVirt:

قبل تثبيت نظام التشغيل ، يوصى بما يلي:

  • تكوين واجهة شبكة iDRAC على كلا المضيفين ؛
  • تحديث البرامج الثابتة لـ BIOS و iDRAC إلى أحدث الإصدارات ؛
  • تكوين ملف تعريف النظام للخادم ، ويفضل أن يكون ذلك في وضع الأداء ؛
  • تكوين RAID من الأقراص المحلية (يوصى باستخدام RAID1) لتثبيت نظام التشغيل على الخادم.

ثم نقوم بتثبيت نظام التشغيل على القرص الذي تم إنشاؤه مسبقًا من خلال iDRAC - عملية التثبيت طبيعية ، ولا توجد لحظات خاصة فيه. يمكنك أيضًا الوصول إلى وحدة تحكم الخادم لبدء تثبيت نظام التشغيل عبر iDRAC ، على الرغم من أنه لا يوجد شيء يمنعك من توصيل الشاشة ولوحة المفاتيح والماوس مباشرة بالخادم وتثبيت نظام التشغيل من محرك أقراص محمول.

بعد تثبيت نظام التشغيل نقوم بإجراء إعداداته الأولية:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

تثبيت مجموعة البرامج الأساسية

لإعداد نظام التشغيل الأولي ، تحتاج إلى تكوين أي واجهة شبكة على الخادم بحيث يمكنك الوصول إلى الإنترنت لتحديث نظام التشغيل وتثبيت حزم البرامج الضرورية. يمكن القيام بذلك أثناء عملية تثبيت نظام التشغيل وبعدها.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

جميع الإعدادات ومجموعة البرامج المذكورة أعلاه هي مسألة تفضيل شخصي ، وهذه المجموعة ليست سوى توصية.

نظرًا لأن مضيفنا سيلعب دور برنامج Hypervisor ، فسنقوم بتمكين ملف تعريف الأداء المطلوب:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

يمكنك قراءة المزيد عن ملف تعريف الأداء هنا:الفصل 4".

بعد تثبيت نظام التشغيل ، ننتقل إلى الجزء التالي - تكوين واجهات الشبكة على المضيفين ، ومجموعة من محولات Cisco 2960X.

تكوين حزمة Cisco 2960X Switch Stack

في مشروعنا ، سيتم استخدام أرقام VLAN التالية - أو نطاقات البث المعزولة عن بعضها البعض ، من أجل فصل أنواع مختلفة من حركة المرور:

شبكة محلية ظاهرية 10 - الإنترنت
شبكة محلية ظاهرية 17 - الإدارة (iDRAC ، التخزين ، إدارة المفاتيح)
شبكة محلية ظاهرية 32 - شبكة إنتاج VM
شبكة محلية ظاهرية 33 - شبكة ربط الاتصال البيني (للمقاولين الخارجيين)
شبكة محلية ظاهرية 34 - شبكة اختبار VM
شبكة محلية ظاهرية 35 - شبكة مطوري VM
شبكة محلية ظاهرية 40 - شبكة مراقبة

قبل بدء العمل ، دعنا نعطي رسمًا تخطيطيًا على المستوى L2 ، والذي يجب أن نصل إليه في النهاية:

إنشاء بنية تحتية لتكنولوجيا المعلومات تتسامح مع الأخطاء. الجزء 1 - التحضير لنشر مجموعة oVirt 4.3

لتفاعل الشبكة بين مضيفي oVirt والأجهزة الافتراضية مع بعضهم البعض ، وكذلك لإدارة نظام التخزين لدينا ، من الضروري تكوين مجموعة من محولات Cisco 2960X.

لدى مضيفي Dell بطاقات شبكة مدمجة ذات 4 منافذ ، لذلك ، يُنصح بتنظيم اتصالهم بـ Cisco 2960X باستخدام اتصال شبكة متسامح مع الأخطاء ، باستخدام تجميع منافذ الشبكة الفعلية في واجهة منطقية ، و LACP (802.3) ad) البروتوكول:

  • تم تكوين أول منفذين على المضيف في وضع الربط ومتصلين بمحول 2960X - سيتم تكوين هذه الواجهة المنطقية جسر مع عنوان لإدارة المضيف والمراقبة والتواصل مع مضيفين آخرين في مجموعة oVirt ، سيتم استخدامه أيضًا للترحيل المباشر للأجهزة الافتراضية ؛
  • يتم أيضًا تكوين المنفذين الثانيين على المضيف في وضع الربط ومتصلين بـ 2960X - على هذه الواجهة المنطقية باستخدام oVirt ، سيتم إنشاء الجسور لاحقًا (في شبكات VLAN المقابلة) التي ستتصل بها الأجهزة الظاهرية.
  • سيكون كلا منفذي الشبكة داخل نفس الواجهة المنطقية نشطين ، أي يمكن نقل حركة المرور عليها في وقت واحد ، في وضع التوازن.
  • يجب أن تكون إعدادات الشبكة في عقد المجموعة متطابقة تمامًا ، باستثناء عناوين IP.

الإعداد الأساسي لمكدس التبديل 2960X وموانئها

في السابق ، يجب أن تكون مفاتيحنا:

  • شنت رف؛
  • متصل بواسطة كبلين خاصين بالطول المطلوب ، على سبيل المثال ، CAB-STK-E-1M ؛
  • متصل بمصدر الطاقة ؛
  • متصلة بمحطة عمل المسؤول عبر منفذ وحدة التحكم لتكوينها الأولي.

الإرشادات اللازمة لذلك متوفرة على الصفحة الرسمية الشركة المصنعة.

بعد الانتهاء من الخطوات المذكورة أعلاه ، نقوم بتهيئة المفاتيح.
ما يعنيه كل أمر ليس من المفترض أن يتم فك شفرته في إطار هذه المقالة ؛ إذا لزم الأمر ، يمكن العثور على جميع المعلومات بشكل مستقل.
هدفنا هو إعداد حزمة تبديل بسرعة وتوصيل المضيفين وواجهات إدارة التخزين بها.

1) نقوم بالاتصال بالمفتاح الرئيسي ، ننتقل إلى الوضع المميز ، ثم ننتقل إلى وضع التكوين وقم بإجراء الإعدادات الأساسية.

التكوين الأساسي للمفتاح:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

احفظ التكوين باستخدام الأمر "مذكرات الكتابة"وأعد تشغيل حزمة التبديل باستخدام الأمر"تحميل»على المفتاح الرئيسي 1.

2) نقوم بتكوين منافذ الشبكة الخاصة بالمحول في وضع الوصول (الوصول) في VLAN 17 ، لتوصيل واجهات التحكم في أنظمة التخزين وخوادم iDRAC.

تكوين منافذ الإدارة:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) بعد إعادة تحميل المكدس ، تأكد من أنه يعمل بشكل صحيح:

التحقق من أداء المكدس:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) إعداد وصول SSH إلى مكدس 2960X

لإدارة المكدس عن بعد عبر SSH ، سنستخدم IP 172.20.1.10 المكون على SVI (تبديل الواجهة الافتراضية) شبكة محلية ظاهرية 17.

على الرغم من أنه من المستحسن استخدام منفذ مخصص على المحول لأغراض الإدارة ، فهذه مسألة تفضيل شخصي وفرصة.

إعداد وصول SSH إلى مكدس المحولات:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

قم بإعداد كلمة مرور للدخول إلى الوضع المميز:

enable secret *myenablepassword*
service password-encryption

إعداد NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) قم بإعداد واجهات Etherchannel المنطقية والمنافذ المادية المتصلة بالأجهزة المضيفة. لسهولة التكوين ، سيتم السماح لجميع شبكات VLAN المتاحة على جميع الواجهات المنطقية ، ولكن يوصى عمومًا بتكوين ما هو مطلوب فقط:

تكوين واجهات Etherchannel:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

التكوين الأولي لواجهات الشبكة للأجهزة الافتراضية ، على الأجهزة المضيفة المضيف 1 и المضيف 2

نتحقق من وجود الوحدات اللازمة لتشغيل الترابط في النظام ، ونقوم بتثبيت الوحدة النمطية لإدارة الجسور:

modinfo bonding
modinfo 8021q
yum install bridge-utils

تكوين واجهة BOND1 المنطقية للأجهزة الافتراضية وواجهاتها المادية على الأجهزة المضيفة:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

بعد الانتهاء من الإعدادات على المكدس 2960X والمضيفين ، أعد تشغيل الشبكة على المضيفين ، وتحقق من إمكانية تشغيل الواجهة المنطقية.

  • على المضيف:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • على كومة التبديل 2960X:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

التكوين الأولي لواجهات الشبكة لإدارة موارد الكتلة ، على الأجهزة المضيفة المضيف 1 и المضيف 2

تكوين واجهة BOND1 المنطقية للإدارة على الأجهزة المضيفة ، وواجهاتها المادية:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

بعد الانتهاء من الإعدادات على المكدس 2960X والمضيفين ، أعد تشغيل الشبكة على المضيفين ، وتحقق من إمكانية تشغيل الواجهة المنطقية.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

قم بإعداد واجهة شبكة إدارة على كل مضيف في شبكة محلية ظاهرية 17، وربطها بالواجهة المنطقية BOND1:

تكوين VLAN17 على المضيف 1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

تكوين VLAN17 على المضيف 2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

نقوم بإعادة تشغيل الشبكة على المضيفين ونتحقق من ظهورهم لبعضهم البعض.

هذا يكمل تكوين مكدس تبديل Cisco 2960X ، وإذا تم كل شيء بشكل صحيح ، فلدينا الآن اتصال شبكة لجميع عناصر البنية التحتية ببعضها البعض على مستوى L2.

إعداد التخزين Dell MD3820f

قبل بدء العمل على تكوين نظام التخزين ، يجب أن يكون متصلاً بالفعل بمكدس تبديل Cisco 2960X واجهات الإدارة ، وكذلك للمضيفين المضيف 1 и المضيف 2 عبر FC.

تم تقديم المخطط العام لكيفية توصيل نظام التخزين بمكدس المحولات في الفصل السابق.

يجب أن يبدو مخطط توصيل التخزين عبر FC بالمضيفين كما يلي:

إنشاء بنية تحتية لتكنولوجيا المعلومات تتسامح مع الأخطاء. الجزء 1 - التحضير لنشر مجموعة oVirt 4.3

أثناء الاتصال ، من الضروري كتابة عناوين WWPN لمضيفي FC HBA المتصلين بمنافذ FC على نظام التخزين - سيكون هذا ضروريًا للتكوين اللاحق لربط المضيف بـ LUNs على نظام التخزين.

قم بتنزيل الأداة المساعدة لإدارة التخزين Dell MD3820f وتثبيتها على محطة عمل المسؤول - مدير تخزين القرص المعياري PowerVault (إم دي إس إم).
نتصل بها عبر عناوين IP الافتراضية الخاصة بها ، ثم نقوم بتهيئة عناويننا من شبكة محلية ظاهرية 17، لإدارة وحدات التحكم عبر TCP / IP:

Storage1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

بعد إعداد العناوين ، ننتقل إلى واجهة إدارة التخزين وقمنا بتعيين كلمة مرور ، وضبط الوقت ، وتحديث البرنامج الثابت لوحدات التحكم والأقراص ، إذا لزم الأمر ، وما إلى ذلك.
كيف يتم ذلك موصوفة في دليل الإدارة تخزين.

بعد إجراء الإعدادات المذكورة أعلاه ، نحتاج فقط إلى القيام ببعض الأشياء:

  1. تكوين معرفات منفذ FC للمضيف - معرفات منفذ المضيف.
  2. إنشاء مجموعة مضيفة - المجموعة المضيفة وإضافة مضيفي Dell إليها.
  3. قم بإنشاء مجموعة أقراص وأقراص افتراضية (أو LUNs) فيها ، والتي سيتم تقديمها إلى المضيفين.
  4. تكوين العرض التقديمي للأقراص الافتراضية (أو LUNs) للمضيفين.

تتم إضافة مضيفات جديدة ومعرفات ربط لمنافذ FC المضيف بها من خلال القائمة - تعيينات المضيف -> حدد -> المضيفون ...
يمكن العثور على عناوين WWPN لمضيفي FC HBA ، على سبيل المثال ، في iDRAC الخاص بالخادم.

نتيجة لذلك ، يجب أن نحصل على شيء مثل هذه الصورة:

إنشاء بنية تحتية لتكنولوجيا المعلومات تتسامح مع الأخطاء. الجزء 1 - التحضير لنشر مجموعة oVirt 4.3

تتم إضافة مجموعة مضيفة جديدة وربط المضيفين بها من خلال القائمة - تعيينات المضيف -> حدد -> المجموعة المضيفة ...
للمضيفين ، حدد نوع نظام التشغيل - لينكس (DM-MP).

بعد إنشاء مجموعة مضيفة ، من خلال علامة التبويب خدمات التخزين والنسخ، قم بإنشاء مجموعة أقراص - مجموعة الأقراص، مع نوع يعتمد على متطلبات التسامح مع الخطأ ، على سبيل المثال ، RAID10 ، وفيه أقراص افتراضية بالحجم المطلوب:

إنشاء بنية تحتية لتكنولوجيا المعلومات تتسامح مع الأخطاء. الجزء 1 - التحضير لنشر مجموعة oVirt 4.3

وأخيرًا ، المرحلة النهائية هي تقديم الأقراص الافتراضية (أو LUNs) للمضيفين.
للقيام بذلك ، من خلال القائمة - تعيينات المضيف -> رسم الخرائط القمرية -> إضافة ... نربط الأقراص الافتراضية بالمضيفين من خلال تخصيص أرقام لهم.

يجب أن يبدو كل شيء مثل لقطة الشاشة هذه:

إنشاء بنية تحتية لتكنولوجيا المعلومات تتسامح مع الأخطاء. الجزء 1 - التحضير لنشر مجموعة oVirt 4.3

هذا هو المكان الذي ننتهي فيه من إعداد التخزين ، وإذا تم كل شيء بشكل صحيح ، فيجب على المضيفين رؤية LUNs المقدمة لهم من خلال FC HBAs.
دعنا نجبر النظام على تحديث المعلومات حول محركات الأقراص المتصلة:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

دعونا نرى ما هي الأجهزة المرئية على خوادمنا:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

على المضيفين ، يمكنك أيضًا تكوين ملفات تعدد المسارات، وعلى الرغم من أنه يمكنه القيام بذلك بنفسه عند تثبيت oVirt ، فمن الأفضل التحقق من صحة MP مسبقًا.

تثبيت وتكوين DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

اضبط خدمة MP على التشغيل التلقائي وبدء تشغيلها:

systemctl enable multipathd && systemctl restart multipathd

التحقق من المعلومات حول الوحدات المحملة لتشغيل MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

عرض ملخص لتكوين متعدد المسارات الحالي:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

بعد إضافة LUN جديد إلى نظام التخزين وتقديمه إلى المضيف ، تحتاج إلى مسح HBAs المتصلة بالمضيف الموجود عليه. 

systemctl reload multipathd
multipath -v2

وأخيرًا ، نتحقق مما إذا كان قد تم تقديم جميع LUNs على نظام التخزين للمضيفين ، وما إذا كان هناك مساران للجميع.

فحص عملية MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

كما ترى ، يمكن رؤية الأقراص الافتراضية الثلاثة الموجودة على نظام التخزين بطريقتين. وبالتالي ، تم الانتهاء من جميع الأعمال التحضيرية ، مما يعني أنه يمكنك المتابعة إلى الجزء الرئيسي - إعداد مجموعة oVirt ، والتي ستتم مناقشتها في المقالة التالية.

المصدر: www.habr.com

إضافة تعليق