ProHoster > وبلاگ > اداره > ایجاد زیرساخت فناوری اطلاعات مقاوم در برابر خطا. قسمت 1 - آماده سازی برای استقرار یک خوشه oVirt 4.3

ایجاد زیرساخت فناوری اطلاعات مقاوم در برابر خطا. قسمت 1 - آماده سازی برای استقرار یک خوشه oVirt 4.3

از خوانندگان دعوت می شود تا با اصول ایجاد یک زیرساخت مقاوم در برابر خطا برای یک شرکت کوچک در یک مرکز داده واحد آشنا شوند، که در یک سری مقالات به تفصیل مورد بحث قرار خواهد گرفت.

پرولوگ

تحت مرکز اطلاعات (مرکز پردازش داده) را می توان به صورت زیر درک کرد:

  • دارای رک در "اتاق سرور" خود در قلمرو شرکت است که حداقل شرایط لازم برای تامین برق و تجهیزات خنک کننده را برآورده می کند و همچنین از طریق دو ارائه دهنده مستقل به اینترنت دسترسی دارد.
  • یک قفسه اجاره ای با تجهیزات خاص خود، واقع در یک مرکز داده واقعی - به اصطلاح. هم‌آهنگی سطح III یا IV که برق قابل‌اعتماد، خنک‌کننده و دسترسی ناقص به اینترنت را تضمین می‌کند.
  • تجهیزات به طور کامل اجاره شده در مرکز داده Tier III یا IV.

کدام گزینه محل اقامت را انتخاب کنید - در هر مورد، همه چیز فردی است و معمولاً به چندین عامل اصلی بستگی دارد:

  • چرا یک شرکت اصلاً به زیرساخت فناوری اطلاعات خود نیاز دارد؟
  • شرکت دقیقاً از زیرساخت فناوری اطلاعات چه می خواهد (قابلیت اطمینان، مقیاس پذیری، مدیریت پذیری و غیره)؛
  • میزان سرمایه گذاری اولیه در زیرساخت های فناوری اطلاعات و همچنین نوع هزینه های آن - سرمایه (به معنای خرید تجهیزات خود) یا عملیات (تجهیزات معمولاً اجاره ای)؛
  • افق برنامه ریزی خود شرکت

شما می توانید در مورد عوامل موثر بر تصمیم یک شرکت برای ایجاد و استفاده از زیرساخت فناوری اطلاعات خود مطالب زیادی بنویسید، اما هدف ما این است که در عمل نشان دهیم که چگونه این زیرساخت را ایجاد کنیم تا هم خطاپذیر باشد و هم بتوانید پس انداز کنید - هزینه خرید نرم افزارهای تجاری را کاهش دهید یا به طور کلی از آنها اجتناب کنید.

همانطور که تمرین طولانی نشان می دهد، ارزش صرفه جویی در آهن را ندارد، زیرا خسیس دو بار و حتی خیلی بیشتر می پردازد. اما باز هم - سخت افزار خوب، این فقط یک توصیه است، و در پایان دقیقاً چه چیزی و به چه قیمتی باید بخرید به توانایی های شرکت و "طمع" مدیریت آن بستگی دارد. علاوه بر این ، کلمه "طمع" را باید به معنای خوب کلمه فهمید ، زیرا بهتر است در مرحله اولیه روی سخت افزار سرمایه گذاری کنید تا بعداً با پشتیبانی و مقیاس بندی بیشتر آن مشکل جدی نداشته باشید ، زیرا در ابتدا نادرست است. برنامه ریزی و صرفه جویی بیش از حد می تواند منجر به هزینه های بالاتری نسبت به شروع یک پروژه شود.

بنابراین، داده های اولیه برای پروژه:

  • شرکتی وجود دارد که تصمیم گرفته است پورتال وب خود را ایجاد کند و فعالیت های خود را به اینترنت بیاورد.
  • این شرکت تصمیم گرفت یک قفسه اجاره کند تا تجهیزات خود را در یک مرکز داده خوب با گواهی استاندارد Tier III قرار دهد.
  • این شرکت تصمیم گرفت در سخت افزار صرفه جویی زیادی نداشته باشد و بنابراین تجهیزات زیر را با ضمانت و پشتیبانی طولانی خریداری کرد:

لیست تجهیزات

  • دو سرور فیزیکی Dell PowerEdge R640 به شرح زیر:
  • دو پردازنده Intel Xeon Gold 5120
  • 512 گیگابایت RAM
  • دو دیسک SAS در RAID1، برای نصب سیستم عامل
  • کارت شبکه 4 پورت داخلی 1G
  • دو کارت شبکه 2 پورت 10G
  • یک FC HBA 2G 16 پورت.
  • ذخیره سازی کنترلر Dell MD2f 3820 از طریق FC 16G مستقیماً به هاست Dell متصل می شود.
  • دو سوئیچ سطح دوم - Cisco WS-C2960RX-48FPS-L انباشته.
  • دو سوئیچ سطح سوم - Cisco WS-C3850-24T-E، ترکیب شده در یک پشته.
  • Rack، UPS، PDU، سرورهای کنسول - ارائه شده توسط مرکز داده.

همانطور که می بینیم، تجهیزات موجود چشم انداز خوبی برای مقیاس افقی و عمودی دارند، در صورتی که شرکت بتواند با سایر شرکت های مشابه در اینترنت رقابت کند و شروع به کسب سود کند که می تواند در گسترش منابع برای رقابت بیشتر سرمایه گذاری کند. رشد سود

اگر شرکت تصمیم به افزایش عملکرد خوشه محاسباتی ما بگیرد، چه تجهیزاتی را می توانیم اضافه کنیم:

  • ما ذخیره بزرگی از نظر تعداد پورت های سوئیچ های 2960X داریم که به این معنی است که می توانیم سرورهای سخت افزاری بیشتری اضافه کنیم.
  • خرید دو سوئیچ FC برای اتصال سیستم های ذخیره سازی و سرورهای اضافی به آنها.
  • سرورهای موجود را می توان ارتقا داد - اضافه کردن حافظه، جایگزینی پردازنده ها با پردازنده های کارآمدتر، اتصال به شبکه 10G با آداپتورهای شبکه موجود.
  • بسته به بار برنامه ریزی شده می توانید قفسه های دیسک اضافی را با نوع مورد نیاز دیسک - SAS، SATA یا SSD به سیستم ذخیره سازی اضافه کنید.
  • پس از افزودن سوئیچ‌های FC، می‌توانید یک سیستم ذخیره‌سازی دیگر را خریداری کنید تا ظرفیت دیسک بیشتری را اضافه کنید، و اگر یک گزینه Remote Replication ویژه برای آن خریداری کنید، می‌توانید همانندسازی داده‌ها را بین سیستم‌های ذخیره‌سازی هم در محدوده یک مرکز داده و هم بین مراکز داده پیکربندی کنید. (اما این قبلاً خارج از محدوده مقاله است)؛
  • سوئیچ های سطح سوم نیز وجود دارد - Cisco 3850، که می تواند به عنوان یک هسته شبکه مقاوم در برابر خطا برای مسیریابی با سرعت بالا بین شبکه های داخلی استفاده شود. این امر در آینده کمک زیادی خواهد کرد، زیرا زیرساخت های داخلی رشد می کند. 3850 همچنین دارای پورت های 10G است که می تواند بعداً هنگام ارتقاء تجهیزات شبکه به سرعت 10G مورد استفاده قرار گیرد.

از آنجایی که اکنون هیچ جایی بدون مجازی سازی وجود ندارد، ما مطمئناً در روند خواهیم بود، به خصوص که این یک راه عالی برای کاهش هزینه های به دست آوردن سرورهای گران قیمت برای عناصر زیرساخت فردی (سرورهای وب، پایگاه های داده و غیره) است که همیشه بهینه نیستند. در صورت بار کم استفاده می شود و این دقیقا همان چیزی است که در ابتدای راه اندازی پروژه خواهد بود.

علاوه بر این، مجازی‌سازی مزایای بسیار دیگری دارد که می‌تواند برای ما بسیار مفید باشد: تحمل خطای VM از خرابی سرور سخت‌افزار، مهاجرت زنده بین گره‌های سخت‌افزار کلاستر برای نگهداری آنها، توزیع دستی یا خودکار بار بین گره‌های خوشه و غیره.

برای سخت افزار خریداری شده توسط شرکت، استقرار یک کلاستر VMware vSphere بسیار در دسترس خود را نشان می دهد، اما از آنجایی که هر نرم افزاری از VMware به دلیل برچسب قیمت "اسب" خود شناخته شده است، ما از نرم افزار مدیریت مجازی سازی کاملا رایگان استفاده خواهیم کرد - o مجله، بر اساس آن یک محصول شناخته شده، اما در حال حاضر تجاری ایجاد شده است - rhev.

نرم افزار o مجله لازم است همه عناصر زیرساخت را در یک کل ترکیب کنید تا بتوانید به راحتی با ماشین های مجازی بسیار در دسترس کار کنید - اینها پایگاه داده ها، برنامه های کاربردی وب، سرورهای پروکسی، متعادل کننده ها، سرورهایی برای جمع آوری گزارش ها و تجزیه و تحلیل ها و غیره هستند. ، پورتال وب شرکت ما از چه چیزی تشکیل شده است.

با جمع بندی این مقدمه، مقالات زیر در انتظار ما هستند که در عمل دقیقا نحوه استقرار کل زیرساخت سخت افزاری و نرم افزاری یک شرکت را نشان می دهند:

فهرست مقالات

  • قسمت 1. آماده سازی برای استقرار خوشه oVirt 4.3.
  • قسمت 2. نصب و پیکربندی خوشه oVirt 4.3.
  • قسمت 3. راه اندازی یک کلاستر VyOS، سازماندهی مسیریابی خارجی مقاوم در برابر خطا.
  • قسمت 4. راه اندازی پشته سیسکو 3850، سازماندهی مسیریابی اینترانت.

بخش 1. آماده سازی برای استقرار یک خوشه oVirt 4.3

راه اندازی هاست اصلی

نصب و پیکربندی سیستم عامل ساده ترین مرحله است. مقالات زیادی در مورد نحوه نصب و پیکربندی صحیح سیستم عامل وجود دارد، بنابراین بی معنی است که سعی کنید چیزی منحصر به فرد در این مورد ارائه دهید.

بنابراین، ما دو هاست Dell PowerEdge R640 داریم که باید سیستم عامل را روی آنها نصب کنیم و تنظیمات اولیه را انجام دهیم تا از آنها به عنوان هایپروایزر برای اجرای ماشین های مجازی در یک کلاستر oVirt 4.3 استفاده کنیم.

از آنجایی که قصد داریم از نرم افزار رایگان غیرتجاری oVirt استفاده کنیم، سیستم عامل را برای استقرار هاست انتخاب کردیم. CentOS 7.7، اگرچه امکان نصب سیستم عامل های دیگر روی هاست برای oVirt وجود دارد:

  • ساخت ویژه بر اساس RHEL، به اصطلاح. oVirt Node;
  • سیستم عامل اوراکل لینوکس تابستان 2019 اعلام شد در مورد اجرای oVirt روی آن.

قبل از نصب سیستم عامل، توصیه می شود:

  • رابط شبکه iDRAC را در هر دو هاست پیکربندی کنید.
  • به روز رسانی سیستم عامل برای BIOS و iDRAC به آخرین نسخه.
  • پیکربندی نمایه سیستم سرور، ترجیحاً در حالت عملکرد؛
  • RAID را از دیسک های محلی پیکربندی کنید (RAID1 توصیه می شود) برای نصب سیستم عامل روی سرور.

سپس سیستم عامل را روی دیسکی که قبلاً از طریق iDRAC ایجاد شده است نصب می کنیم - فرآیند نصب عادی است، هیچ لحظه خاصی در آن وجود ندارد. همچنین می توانید برای شروع نصب سیستم عامل از طریق iDRAC به کنسول سرور دسترسی داشته باشید، اگرچه هیچ چیز مانع از اتصال مانیتور، صفحه کلید و ماوس به طور مستقیم به سرور و نصب سیستم عامل از درایو فلش نمی شود.

پس از نصب سیستم عامل، تنظیمات اولیه آن را انجام می دهیم:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

نصب مجموعه اولیه نرم افزار

برای راه اندازی اولیه سیستم عامل، باید هر رابط شبکه را روی سرور پیکربندی کنید تا بتوانید برای به روز رسانی سیستم عامل و نصب بسته های نرم افزاری لازم به اینترنت دسترسی داشته باشید. این را می توان هم در طول فرآیند نصب سیستم عامل و هم بعد از آن انجام داد.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

تمامی تنظیمات و مجموعه نرم افزارهای فوق به سلیقه شخصی می باشد و این مجموعه تنها یک توصیه می باشد.

از آنجایی که هاست ما نقش هایپروایزر را بازی می کند، پروفایل عملکرد مورد نظر را فعال می کنیم:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

در اینجا می توانید اطلاعات بیشتری در مورد مشخصات عملکرد بخوانید:فصل 4".

پس از نصب سیستم عامل، به قسمت بعدی می رویم - پیکربندی رابط های شبکه بر روی هاست ها و مجموعه ای از سوئیچ های Cisco 2960X.

پیکربندی یک پشته سوئیچ سیسکو 2960X

در پروژه ما، از شماره های VLAN زیر استفاده می شود - یا دامنه های پخش جدا شده از یکدیگر، به منظور جداسازی انواع مختلف ترافیک:

VLAN 10 - اینترنت
VLAN 17 – مدیریت (iDRAC، ذخیره سازی، مدیریت سوئیچ ها)
VLAN 32 – شبکه تولید VM
VLAN 33 – شبکه اتصال (به پیمانکاران خارجی)
VLAN 34 – شبکه تست VM
VLAN 35 – شبکه توسعه دهنده VM
VLAN 40 - شبکه مانیتورینگ

قبل از شروع کار، بیایید یک نمودار در سطح L2 ارائه دهیم که در نهایت باید به آن برسیم:

ایجاد زیرساخت فناوری اطلاعات مقاوم در برابر خطا. قسمت 1 - آماده سازی برای استقرار یک خوشه oVirt 4.3

برای تعامل شبکه هاست های oVirt و ماشین های مجازی با یکدیگر و همچنین برای مدیریت سیستم ذخیره سازی ما، لازم است مجموعه ای از سوئیچ های Cisco 2960X را پیکربندی کنیم.

هاست های Dell دارای کارت های شبکه 4 پورت داخلی هستند، بنابراین، توصیه می شود اتصال خود را به Cisco 2960X با استفاده از یک اتصال شبکه تحمل کننده خطا، با استفاده از گروه بندی پورت های شبکه فیزیکی در یک رابط منطقی و LACP (802.3) سازماندهی کنید. آگهی) پروتکل:

  • دو پورت اول روی هاست در حالت اتصال پیکربندی شده و به سوئیچ 2960X متصل می شوند - این رابط منطقی پیکربندی می شود پل با آدرسی برای مدیریت میزبان، مانیتورینگ، ارتباط با میزبان های دیگر در خوشه oVirt، برای انتقال زنده ماشین های مجازی نیز استفاده خواهد شد.
  • دو پورت دوم روی هاست نیز در حالت پیوند پیکربندی شده و به 2960X متصل می شوند - در این رابط منطقی با استفاده از oVirt، پل هایی بعدا (در VLAN های مربوطه) ایجاد می شود که ماشین های مجازی به آنها متصل می شوند.
  • هر دو پورت شبکه در یک رابط منطقی یکسان فعال خواهند بود، به عنوان مثال. ترافیک روی آنها می تواند به طور همزمان در حالت تعادل منتقل شود.
  • تنظیمات شبکه در گره های خوشه باید دقیقاً یکسان باشد، به جز آدرس های IP.

راه اندازی پایه سوئیچ پشته 2960X و بنادر آن

قبلاً سوئیچ های ما باید اینگونه باشند:

  • قفسه نصب شده؛
  • توسط دو کابل ویژه با طول مورد نیاز متصل می شود، به عنوان مثال، CAB-STK-E-1M؛
  • متصل به منبع تغذیه؛
  • برای پیکربندی اولیه از طریق پورت کنسول به ایستگاه کاری مدیر متصل می شود.

راهنمایی لازم برای این امر در آدرس موجود است صفحه رسمی سازنده.

پس از انجام مراحل بالا، سوئیچ ها را پیکربندی می کنیم.
قرار نیست هر دستور به چه معناست در چارچوب این مقاله رمزگشایی شود، در صورت لزوم، می توان تمام اطلاعات را به طور مستقل پیدا کرد.
هدف ما راه اندازی سریع یک دسته سوئیچ و اتصال هاست و رابط های مدیریت ذخیره سازی به آن است.

1) به سوئیچ اصلی وصل می شویم، به حالت امتیاز می رویم، سپس به حالت پیکربندی می رویم و تنظیمات اولیه را انجام می دهیم.

پیکربندی اصلی سوئیچ:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

با دستور " پیکربندی را ذخیره کنیدwr میم"و با دستور "Switch Stack" را مجددا راه اندازی کنید.بارگذاری» روی کلید اصلی 1.

2) پورت های شبکه سوئیچ را در حالت دسترسی (دسترسی) در VLAN 17 برای اتصال رابط های کنترلی سیستم های ذخیره سازی و سرورهای iDRAC پیکربندی می کنیم.

پیکربندی پورت های مدیریتی:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) پس از بارگیری مجدد پشته، بررسی کنید که درست کار می کند:

بررسی عملکرد پشته:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) راه اندازی دسترسی SSH به پشته 2960X

برای مدیریت پشته از راه دور از طریق SSH، از IP 172.20.1.10 پیکربندی شده در SVI (واسط مجازی سوئیچ) استفاده خواهیم کرد. VLAN17.

اگرچه استفاده از یک پورت اختصاصی روی سوئیچ برای اهداف مدیریتی مطلوب است، اما این یک اولویت و فرصت شخصی است.

تنظیم دسترسی SSH به پشته سوئیچ:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

یک رمز عبور برای ورود به حالت ممتاز تنظیم کنید:

enable secret *myenablepassword*
service password-encryption

راه اندازی NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) رابط های منطقی Etherchannel و پورت های فیزیکی متصل به هاست را تنظیم کنید. برای سهولت در پیکربندی، تمام VLAN های موجود در تمام رابط های منطقی مجاز خواهند بود، اما به طور کلی توصیه می شود فقط موارد مورد نیاز را پیکربندی کنید:

پیکربندی رابط های Etherchannel:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

پیکربندی اولیه رابط های شبکه برای ماشین های مجازی، در هاست میزبان 1 и میزبان 2

ما وجود ماژول های لازم برای عملکرد اتصال در سیستم را بررسی می کنیم، ماژول را برای مدیریت پل ها نصب می کنیم:

modinfo bonding
modinfo 8021q
yum install bridge-utils

پیکربندی رابط منطقی BOND1 برای ماشین های مجازی و رابط های فیزیکی آن در هاست:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

پس از تکمیل تنظیمات روی پشته 2960X و هاست ها، شبکه را روی هاست ها مجددا راه اندازی کنید و عملکرد رابط منطقی را بررسی کنید.

  • در میزبان:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • روی پشته سوئیچ 2960X:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

پیکربندی اولیه رابط های شبکه برای مدیریت منابع خوشه، در هاست میزبان 1 и میزبان 2

پیکربندی رابط منطقی BOND1 برای مدیریت بر روی هاست و رابط های فیزیکی آن:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

پس از تکمیل تنظیمات روی پشته 2960X و هاست ها، شبکه را روی هاست ها مجددا راه اندازی کنید و عملکرد رابط منطقی را بررسی کنید.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

یک رابط شبکه مدیریتی را در هر میزبان در داخل راه اندازی کنید VLAN 17و آن را به رابط منطقی BOND1 متصل کنید:

پیکربندی VLAN17 در Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

پیکربندی VLAN17 در Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

شبکه را روی هاست ها مجددا راه اندازی می کنیم و نمایان بودن آنها را برای یکدیگر بررسی می کنیم.

این کار پیکربندی پشته سوییچ سیسکو 2960X را تکمیل می کند و اگر همه چیز به درستی انجام شود، اکنون اتصال شبکه همه عناصر زیرساخت به یکدیگر در سطح L2 داریم.

راه اندازی ذخیره سازی Dell MD3820f

قبل از شروع کار بر روی پیکربندی سیستم ذخیره سازی، باید از قبل به پشته سوئیچ سیسکو متصل شده باشد 2960X رابط های مدیریتی و همچنین هاست ها میزبان 1 и میزبان 2 از طریق FC

طرح کلی نحوه اتصال سیستم ذخیره سازی به پشته سوئیچ در فصل قبل ارائه شد.

طرح اتصال فضای ذخیره سازی از طریق FC به هاست باید به شکل زیر باشد:

ایجاد زیرساخت فناوری اطلاعات مقاوم در برابر خطا. قسمت 1 - آماده سازی برای استقرار یک خوشه oVirt 4.3

در طول اتصال، لازم است آدرس‌های WWPN را برای میزبان‌های FC HBA متصل به پورت‌های FC در سیستم ذخیره‌سازی یادداشت کنید - این برای پیکربندی بعدی اتصال میزبان به LUN در سیستم ذخیره‌سازی ضروری است.

ابزار مدیریت فضای ذخیره سازی Dell MD3820f را در ایستگاه کاری مدیر بارگیری و نصب کنید - مدیریت ذخیره سازی دیسک مدولار PowerVault (MDSM).
ما از طریق آدرس های IP پیش فرض او به او متصل می شویم و سپس آدرس های خود را از آن پیکربندی می کنیم VLAN17، برای مدیریت کنترلرها از طریق TCP/IP:

ذخیره سازی 1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

پس از تنظیم آدرس ها، به رابط مدیریت ذخیره سازی می رویم و رمز عبور تنظیم می کنیم، زمان را تنظیم می کنیم، در صورت لزوم، سیستم عامل کنترلرها و دیسک ها را به روز می کنیم و غیره.
نحوه انجام این کار در شرح داده شده است راهنمای مدیریت ذخیره سازی.

پس از انجام تنظیمات فوق، فقط باید چند کار را انجام دهیم:

  1. پیکربندی شناسه‌های پورت FC میزبان - شناسه های پورت میزبان.
  2. یک گروه میزبان ایجاد کنید - گروه میزبان و دو هاست دل خود را به آن اضافه کنید.
  3. یک گروه دیسک و دیسک های مجازی (یا LUN) در آن ایجاد کنید که به هاست ارائه می شود.
  4. پیکربندی ارائه دیسک های مجازی (یا LUN) برای هاست.

افزودن هاست های جدید و شناسه های اتصال پورت های FC میزبان به آنها از طریق منو انجام می شود - نقشه برداری میزبان -> تعریف کردن -> میزبانان…
آدرس‌های WWPN میزبان‌های FC HBA را می‌توان برای مثال در iDRAC سرور یافت.

در نتیجه، باید چیزی شبیه به این تصویر دریافت کنیم:

ایجاد زیرساخت فناوری اطلاعات مقاوم در برابر خطا. قسمت 1 - آماده سازی برای استقرار یک خوشه oVirt 4.3

افزودن یک گروه میزبان جدید و اتصال هاست به آن از طریق منو انجام می شود - نقشه برداری میزبان -> تعریف کردن -> گروه میزبان…
برای هاست ها، نوع سیستم عامل را انتخاب کنید - لینوکس (DM-MP).

پس از ایجاد یک گروه میزبان، از طریق تب خدمات ذخیره سازی و کپی، یک گروه دیسک ایجاد کنید - گروه دیسک، با یک نوع بسته به الزامات برای تحمل خطا، به عنوان مثال، RAID10، و در آن دیسک های مجازی با اندازه مورد نیاز:

ایجاد زیرساخت فناوری اطلاعات مقاوم در برابر خطا. قسمت 1 - آماده سازی برای استقرار یک خوشه oVirt 4.3

و در نهایت مرحله نهایی ارائه دیسک های مجازی (یا LUN) برای هاست است.
برای انجام این کار، از طریق منو - نقشه برداری میزبان -> نقشه برداری Lun -> اضافه کردن… ما دیسک های مجازی را با اختصاص اعداد به هاست ها به آنها متصل می کنیم.

همه چیز باید شبیه این اسکرین شات باشد:

ایجاد زیرساخت فناوری اطلاعات مقاوم در برابر خطا. قسمت 1 - آماده سازی برای استقرار یک خوشه oVirt 4.3

اینجاست که ما با تنظیمات ذخیره سازی پایان می دهیم، و اگر همه چیز به درستی انجام شده باشد، میزبان ها باید LUN هایی را که از طریق FC HBA به آنها ارائه شده است ببینند.
بیایید سیستم را مجبور کنیم اطلاعات درایوهای متصل را به روز کند:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

بیایید ببینیم چه دستگاه هایی در سرورهای ما قابل مشاهده هستند:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

در هاست ها نیز می توانید پیکربندی کنید چندتاییو اگرچه در هنگام نصب oVirt خودش می تواند این کار را انجام دهد، بهتر است قبل از آن صحت MP را بررسی کنید.

نصب و پیکربندی DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

سرویس MP را روی راه اندازی خودکار تنظیم کنید و آن را راه اندازی کنید:

systemctl enable multipathd && systemctl restart multipathd

بررسی اطلاعات ماژول های بارگذاری شده برای عملکرد MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

مشاهده خلاصه ای از پیکربندی چند مسیری موجود:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

پس از افزودن یک LUN جدید به سیستم ذخیره سازی و ارائه آن به هاست، باید HBA های متصل به هاست روی آن را اسکن کنید. 

systemctl reload multipathd
multipath -v2

و در نهایت، بررسی می کنیم که آیا تمام LUN ها در سیستم ذخیره سازی هاست ارائه شده اند یا خیر و آیا دو مسیر برای همه وجود دارد یا خیر.

بررسی عملکرد MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

همانطور که مشاهده می کنید، هر سه دیسک مجازی موجود در سیستم ذخیره سازی به دو صورت قابل مشاهده هستند. بنابراین، تمام کارهای مقدماتی تکمیل شده است، به این معنی که می توانید به قسمت اصلی بروید - راه اندازی خوشه oVirt، که در مقاله بعدی مورد بحث قرار خواهد گرفت.

منبع: www.habr.com

اضافه کردن نظر