🥇יצירת תשתית IT סובלנית לתקלות. חלק 1 - הכנה לפריסת אשכול oVirt 4.3

הקוראים מוזמנים להכיר את העקרונות של בניית תשתית עמידה לתקלות עבור ארגון קטן בתוך מרכז נתונים אחד, עליהם יידונו בהרחבה בסדרת מאמרים קצרה.

חלק מבוא

תחת מרכז הנתונים (מרכז עיבוד נתונים) ניתן להבין כ:

מתלה משלו ב"חדר שרתים" משלו בשטח הארגון, העומד בדרישות המינימום לאספקת ציוד חשמל וקירור, ויש לו גם גישה לאינטרנט דרך שני ספקים עצמאיים;
מתלה שכור עם ציוד משלו, הממוקם במרכז נתונים אמיתי - מה שנקרא. שילוב של Tier III או IV המבטיח כוח אמין, קירור וגישה לאינטרנט כשל;
ציוד מושכר במלואו במרכז נתונים Tier III או IV.

באיזו אפשרות לינה לבחור - בכל מקרה, הכל אינדיבידואלי, ובדרך כלל תלוי במספר גורמים עיקריים:

מדוע ארגון צריך בכלל תשתית IT משלו;
מה בדיוק רוצה הארגון מתשתית ה-IT (אמינות, מדרגיות, יכולת ניהול וכו');
סכום ההשקעה הראשונית בתשתית IT, כמו גם איזה סוג של עלויות עבורה - הון (שמשמעותו קניית ציוד משלך), או תפעול (בדרך כלל ציוד מושכר);
אופק התכנון של המיזם עצמו.

אתה יכול לכתוב הרבה על הגורמים המשפיעים על ההחלטה של מיזם ליצור ולהשתמש בתשתית ה-IT שלו, אבל המטרה שלנו היא להראות הלכה למעשה איך ליצור את התשתית הזו כך שהיא גם סובלנית לתקלות ועדיין תוכל לחסוך - להפחית את העלות של רכישת תוכנות מסחריות, או להימנע מהן לחלוטין.

כפי שמראה תרגול ארוך, לא כדאי לחסוך בברזל, מכיוון שהקמצן משלם פעמיים, ואפילו הרבה יותר. אבל שוב - חומרה טובה, זו רק המלצה, ובסופו של דבר מה בדיוק לקנות ובכמה תלוי ביכולות של המיזם, וב"חמדנות" של ההנהלה שלו. יתרה מכך, יש להבין את המילה "חמדנות" במובן הטוב של המילה, שכן עדיף כבר בשלב הראשוני להשקיע בחומרה, כדי שבהמשך לא תיתקל בבעיות רציניות בתמיכה ובקנה מידה נוסף שלה, שכן בתחילה שגוי תכנון וחסכון מופרז עלולים להוביל לעלויות גבוהות יותר מאשר בעת תחילת פרויקט.

אז, הנתונים הראשוניים עבור הפרויקט:

יש מיזם שהחליט ליצור פורטל אינטרנט משלו ולהביא את פעילותו לאינטרנט;
החברה החליטה לשכור מתלה כדי להכיל את הציוד שלה במרכז נתונים טוב המאושר על פי תקן Tier III;
החברה החליטה לא לחסוך הרבה בחומרה, ולכן קנתה את הציוד הבא עם אחריות מורחבת ותמיכה:

רשימת ציוד

שני שרתי Dell PowerEdge R640 פיזיים כדלקמן:

שני מעבדי Intel Xeon Gold 5120

512 GB זיכרון RAM

שני דיסקי SAS ב-RAID1, להתקנת מערכת ההפעלה

כרטיס רשת 4G מובנה עם 1 יציאות

שני כרטיסי רשת 2G עם 10 יציאות

FC HBA 2G עם 16 יציאות.

אחסון בקר Dell MD2f 3820 מחובר דרך FC 16G ישירות למארחים של Dell;

שני מתגים מהרמה השנייה - Cisco WS-C2960RX-48FPS-L מוערמים;

שני מתגים מהרמה השלישית - Cisco WS-C3850-24T-E, משולבים לערימה;

שרתי Rack, UPS, PDU, קונסולות - מסופק על ידי מרכז הנתונים.

כפי שאנו יכולים לראות, לציוד הקיים יש סיכויים טובים לקנה מידה אופקי ואנכי, אם המיזם יכול להתחרות עם חברות אחרות בעלות פרופיל דומה באינטרנט, ומתחיל להרוויח רווח שניתן להשקיע בהרחבת משאבים לתחרות נוספת. צמיחה ברווח.

איזה ציוד נוכל להוסיף אם הארגון מחליט להגביר את הביצועים של אשכול המחשוב שלנו:

יש לנו רזרבה גדולה מבחינת מספר היציאות במתגי 2960X, מה שאומר שאנחנו יכולים להוסיף שרתי חומרה נוספים;
לקנות שני מתגי FC כדי לחבר אליהם מערכות אחסון ושרתים נוספים;
ניתן לשדרג שרתים קיימים - להוסיף זיכרון, להחליף מעבדים באלה יעילים יותר, להתחבר לרשת 10G עם מתאמי רשת קיימים;
אתה יכול להוסיף מדפי דיסקים נוספים למערכת האחסון עם סוג הדיסקים הנדרש - SAS, SATA או SSD, בהתאם לעומס המתוכנן;
לאחר הוספת מתגי FC, אתה יכול לרכוש מערכת אחסון נוספת כדי להוסיף עוד יותר קיבולת דיסק, ואם אתה רוכש אפשרות מיוחדת לשכפול מרחוק לה, אתה יכול להגדיר שכפול נתונים בין מערכות אחסון הן בגבולות של מרכז נתונים אחד והן בין מרכזי נתונים (אבל זה כבר מעבר לתחום המאמר);
ישנם גם מתגים ברמה שלישית - Cisco 3850, שיכולים לשמש כלבת רשת סובלנית לתקלות לניתוב מהיר בין רשתות פנימיות. זה יעזור מאוד בעתיד, ככל שהתשתית הפנימית תגדל. ל-3850 יש גם יציאות 10G שניתן להשתמש בהן מאוחר יותר בעת שדרוג ציוד רשת למהירות 10G.

מכיוון שכעת אין מקום ללא וירטואליזציה, אנחנו בהחלט נהיה במגמה, במיוחד שזו דרך מצוינת להוזיל את עלות רכישת השרתים היקרים עבור רכיבי תשתית בודדים (שרתי אינטרנט, מסדי נתונים וכו'), שאינם תמיד אופטימליים. משמשים במקרה של עומס נמוך, וזה בדיוק מה שיהיה בתחילת השקת הפרויקט.

בנוסף, לווירטואליזציה יש יתרונות רבים נוספים שיכולים להועיל לנו מאוד: סבילות לתקלות VM מתקלת שרת חומרה, הגירה חיה בין צמתי חומרה של אשכול לתחזוקה שלהם, חלוקת עומסים ידנית או אוטומטית בין צמתי אשכול וכו'.

עבור החומרה שנרכשה על ידי הארגון, הפריסה של אשכול VMware vSphere זמין במיוחד מציעה את עצמה, אך מכיוון שכל תוכנה מ-VMware ידועה בתגי המחיר ה"סוס" שלה, נשתמש בתוכנת ניהול וירטואליזציה חינמית לחלוטין - oVirt, שעל בסיסו נוצר מוצר ידוע, אך כבר מסחרי - rhev.

תוכנה oVirt יש צורך לשלב את כל מרכיבי התשתית לכדי שלם אחד על מנת להיות מסוגל לעבוד בצורה נוחה עם מכונות וירטואליות זמינות במיוחד - אלו הם מסדי נתונים, יישומי אינטרנט, שרתי פרוקסי, מאזנים, שרתים לאיסוף יומנים וניתוחים וכו', כלומר , ממה מורכב פורטל האינטרנט של הארגון שלנו.

לסיכום הקדמה זו, מחכים לנו המאמרים הבאים, אשר יראו הלכה למעשה כיצד ניתן לפרוס את כל תשתית החומרה והתוכנה של ארגון:

רשימת מאמרים

חלק מ- 1. הכנה לפריסת oVirt Cluster 4.3.
חלק מ- 2. התקנה והגדרה של אשכול oVirt 4.3.
חלק מ- 3. הגדרת אשכול VyOS, ארגון ניתוב חיצוני עמיד בפני תקלות.
חלק מ- 4. הגדרת מחסנית Cisco 3850, ארגון ניתוב אינטרא-נט.

חלק 1. הכנה לפריסת אשכול oVirt 4.3

הגדרת מארח בסיסית

התקנה והגדרה של מערכת ההפעלה היא הצעד הקל ביותר. יש הרבה מאמרים על איך להתקין ולהגדיר כראוי את מערכת ההפעלה, אז זה לא הגיוני לנסות למסור משהו בלעדי על זה.

אז, יש לנו שני מארחים של Dell PowerEdge R640 שעליהם אנחנו צריכים להתקין את מערכת ההפעלה ולבצע הגדרות ראשוניות כדי להשתמש בהם כ-Hypervisors כדי להפעיל מכונות וירטואליות באשכול oVirt 4.3.

מכיוון שאנו מתכננים להשתמש בתוכנה החינמית הלא מסחרית oVirt, בחרנו במערכת ההפעלה לפריסת מארחים CentOS 7.7, למרות שניתן להתקין מערכות הפעלה אחרות על מארחים עבור oVirt:

מבנה מיוחד המבוסס על RHEL, מה שנקרא. oVirt Node;
מערכת הפעלה אורקל לינוקס קיץ 2019 הוכרז לגבי השארת oVirt פועלת עליו.

לפני התקנת מערכת ההפעלה, מומלץ:

הגדר את ממשק הרשת iDRAC בשני המארחים;
עדכן קושחה עבור BIOS ו-iDRAC לגרסאות האחרונות;
הגדר את פרופיל המערכת של השרת, רצוי במצב ביצועים;
הגדר RAID מדיסקים מקומיים (מומלץ RAID1) להתקנת מערכת ההפעלה בשרת.

לאחר מכן אנו מתקינים את מערכת ההפעלה על הדיסק שנוצר קודם לכן דרך iDRAC - תהליך ההתקנה נורמלי, אין בו רגעים מיוחדים. אתה יכול גם לגשת למסוף השרת כדי להתחיל בהתקנת מערכת ההפעלה דרך iDRAC, אם כי שום דבר לא מונע ממך לחבר צג, מקלדת ועכבר ישירות לשרת ולהתקין את מערכת ההפעלה מכונן הבזק.

לאחר התקנת מערכת ההפעלה, אנו מבצעים את ההגדרות הראשוניות שלה:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

התקנת ערכת התוכנה הבסיסית

עבור ההגדרה הראשונית של מערכת ההפעלה, עליך להגדיר כל ממשק רשת בשרת כך שתוכל לגשת לאינטרנט כדי לעדכן את מערכת ההפעלה ולהתקין את חבילות התוכנה הדרושות. ניתן לעשות זאת גם במהלך תהליך התקנת מערכת ההפעלה וגם לאחריו.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

כל ההגדרות וסט התוכנה לעיל הם עניין של העדפה אישית, והסט הזה הוא בגדר המלצה בלבד.

מכיוון שהמארח שלנו ישחק את התפקיד של hypervisor, אנו נאפשר את פרופיל הביצועים הרצוי:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned

tuned-adm profile 
tuned-adm profile virtual-host

תוכל לקרוא עוד על פרופיל הביצועים כאן:פרק 4".

לאחר התקנת מערכת ההפעלה, אנו עוברים לחלק הבא - הגדרת ממשקי רשת במארחים, וערימה של מתגים של Cisco 2960X.

הגדרת ערימת מתגים של Cisco 2960X

בפרויקט שלנו, ישמשו מספרי ה-VLAN הבאים - או ישדרו דומיינים מבודדים זה מזה, על מנת להפריד בין סוגי תעבורה שונים:

VLAN 10 - מרשתת
VLAN 17 - ניהול (iDRAC, אחסון, ניהול מתגים)
VLAN 32 – רשת ייצור VM
VLAN 33 - רשת קישורים (לקבלנים חיצוניים)
VLAN 34 – רשת בדיקות VM
VLAN 35 – רשת מפתחי VM
VLAN 40 - רשת ניטור

לפני תחילת העבודה, בואו ניתן תרשים ברמת L2, שאליו אנחנו צריכים להגיע בסופו של דבר:

לאינטראקציה ברשת של מארחי oVirt ומכונות וירטואליות זה עם זה, כמו גם לניהול מערכת האחסון שלנו, יש צורך להגדיר ערימה של מתגי Cisco 2960X.

למארחים של Dell יש כרטיסי רשת מובנים עם 4 יציאות, לכן, מומלץ לארגן את החיבור שלהם ל-Cisco 2960X באמצעות חיבור רשת עמיד לתקלות, תוך שימוש בקיבוץ של יציאות רשת פיזיות לממשק לוגי, ו-LACP (802.3 ad) פרוטוקול:

שתי היציאות הראשונות במארח מוגדרות במצב חיבור ומחוברות למתג 2960X - הממשק הלוגי הזה יוגדר גשר עם כתובת לניהול מארח, ניטור, תקשורת עם מארחים אחרים באשכול oVirt, הוא ישמש גם עבור הגירה חיה של מכונות וירטואליות;
שתי היציאות השניות במארח מוגדרות גם הן במצב bonding ומחוברות ל-2960X - בממשק לוגי זה באמצעות oVirt, ייווצרו גשרים מאוחר יותר (ב-VLANs המתאימים) שאליהם יתחברו מכונות וירטואליות.
שתי יציאות הרשת בתוך אותו ממשק לוגי יהיו פעילות, כלומר. תנועה עליהם יכולה להיות מועברת בו זמנית, במצב איזון.
הגדרות הרשת בצמתי אשכול חייבות להיות זהות לחלוטין, למעט כתובות IP.

הגדרת מחסנית מתגים בסיסית 2960X והיציאות שלו

בעבר, המתגים שלנו צריכים להיות:

מתלה רכוב;
מחובר באמצעות שני כבלים מיוחדים באורך הנדרש, למשל, CAB-STK-E-1M;
מחובר לאספקת החשמל;
מחובר לתחנת העבודה של מנהל המערכת דרך יציאת המסוף לצורך התצורה הראשונית שלהם.

ההדרכה הדרושה לכך זמינה בכתובת עמוד רשמי יצרן.

לאחר השלמת השלבים לעיל, אנו מגדירים את המתגים.
מה המשמעות של כל פקודה לא אמור להיות מפוענח במסגרת מאמר זה, במידת הצורך ניתן למצוא את כל המידע באופן עצמאי.
המטרה שלנו היא להגדיר במהירות מחסנית מתג ולחבר אליה מארחים וממשקי ניהול אחסון.

1) אנו מתחברים למתג הראשי, עוברים למצב הפריבילגי, ואז עוברים למצב התצורה ומבצעים את ההגדרות הבסיסיות.

תצורת מתג בסיסית:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

שמור את התצורה עם הפקודה "wr mem"והפעל מחדש את ערימת הבורר עם הפקודה"לטעון מחדש» במתג הראשי 1.

2) אנו מגדירים את יציאות הרשת של המתג במצב גישה (גישה) ב-VLAN 17, כדי לחבר את ממשקי הבקרה של מערכות אחסון ושרתי iDRAC.

הגדרת יציאות ניהול:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) לאחר טעינת הערימה מחדש, בדוק שהיא פועלת כהלכה:

בדיקת תפקוד המחסנית:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.ХХХХ
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.ХХХХ    15     4       Ready
 2       Member 0029.c251.ХХХХ     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) הגדרת גישת SSH לערימת 2960X

כדי לנהל את המחסנית מרחוק באמצעות SSH, נשתמש ב-IP 172.20.1.10 המוגדר ב-SVI (החלף ממשק וירטואלי) VLAN17.

למרות שרצוי להשתמש בפורט ייעודי על הסוויץ' לצורכי ניהול, זה עניין של העדפה אישית והזדמנות.

הגדרת גישת SSH לערימת המתגים:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

הגדר סיסמה כדי להיכנס למצב מיוחס:

enable secret *myenablepassword*
service password-encryption

הגדר NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) הגדר ממשקי Etherchannel לוגיים ויציאות פיזיות המחוברות למארחים. כדי להקל על התצורה, כל רשתות ה-VLAN הזמינות יתאפשרו בכל הממשקים הלוגיים, אך בדרך כלל מומלץ להגדיר רק את הדרוש:

הגדרת ממשקי Etherchannel:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

תצורה ראשונית של ממשקי רשת עבור מכונות וירטואליות, במארחים מארח1 и מארח2

אנו בודקים את נוכחותם של המודולים הדרושים להפעלת ההתקשרות במערכת, מתקינים את המודול לניהול גשרים:

modinfo bonding
modinfo 8021q
yum install bridge-utils

הגדרת הממשק הלוגי של BOND1 עבור מכונות וירטואליות והממשקים הפיזיים שלו במארחים:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

לאחר השלמת ההגדרות בערימה 2960X ומארחים, הפעל מחדש את הרשת במארחים, ובדוק את יכולת הפעולה של הממשק הלוגי.

על המארח:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

על ערימת המתגים 2960X:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

תצורה ראשונית של ממשקי רשת לניהול משאבי אשכול, במארחים מארח1 и מארח2

הגדרת הממשק הלוגי של BOND1 לניהול במארחים, והממשקים הפיזיים שלו:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

לאחר השלמת ההגדרות בערימה 2960X ומארחים, הפעל מחדש את הרשת במארחים, ובדוק את יכולת הפעולה של הממשק הלוגי.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

הגדר ממשק רשת ניהול בכל מארח ב VLAN 17, ואגד אותו לממשק הלוגי BOND1:

הגדרת VLAN17 ב- Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

הגדרת VLAN17 ב- Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

אנו מפעילים מחדש את הרשת על המארחים ובודקים את הנראות שלהם זה לזה.

זה משלים את התצורה של ערימת המתגים של Cisco 2960X, ואם הכל נעשה נכון, כעת יש לנו קישוריות רשת של כל רכיבי התשתית זה לזה ברמת L2.

הגדרת אחסון של Dell MD3820f

לפני תחילת העבודה על קביעת התצורה של מערכת האחסון, היא כבר חייבת להיות מחוברת למחסנית המתגים של Cisco 2960X ממשקי ניהול, כמו גם למארחים מארח1 и מארח2 דרך FC.

הסכימה הכללית של אופן חיבור מערכת האחסון לערימת המתגים ניתנה בפרק הקודם.

הסכימה לחיבור אחסון דרך FC למארחים אמורה להיראות כך:

במהלך החיבור, יש צורך לרשום את כתובות ה-WWPN עבור המארחים של FC HBA המחוברים ליציאות FC במערכת האחסון - זה יהיה הכרחי עבור התצורה הבאה של קשירת מארח ל-LUNs במערכת האחסון.

הורד והתקן את תוכנית השירות לניהול האחסון של Dell MD3820f בתחנת העבודה של מנהל המערכת - מנהל אחסון דיסקים מודולרי של PowerVault (MDSM).
אנחנו מתחברים אליה באמצעות כתובות ה-IP המוגדרות כברירת מחדל, ואז מגדירים את הכתובות שלנו מ VLAN17, לניהול בקרים באמצעות TCP/IP:

StorageXNX:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

לאחר הגדרת הכתובות, ניגשים לממשק ניהול האחסון וקובעים סיסמה, מגדירים את השעה, מעדכנים את הקושחה לבקרים ודיסקים במידת הצורך וכו'.
כיצד זה נעשה מתואר ב מדריך ניהול אִחסוּן.

לאחר ביצוע ההגדרות שלעיל, עלינו לעשות רק כמה דברים:

הגדר מזהי יציאות FC המארח - מזהי יציאות מארח.
צור קבוצה מארחת - קבוצה מארחת ולהוסיף לזה את שני המארחים שלנו של Dell.
צור בה קבוצת דיסקים ודיסקים וירטואליים (או LUNs), שיוצגו למארחים.
הגדר את המצגת של דיסקים וירטואליים (או LUNs) עבור מארחים.

הוספת מארחים חדשים ומזהים מחייבים של יציאות FC המארח אליהם מתבצעת דרך התפריט - מיפוי מארחים -> לְהַגדִיר -> מארחים…
ניתן למצוא את כתובות ה-WWPN של מארחי FC HBA, למשל, ב-iDRAC של השרת.

כתוצאה מכך, אנו אמורים לקבל משהו כמו תמונה זו:

הוספת קבוצת מארחים חדשה וקשירת מארחים אליה מתבצעת דרך התפריט - מיפוי מארחים -> לְהַגדִיר -> קבוצת מארח...
עבור מארחים, בחר את סוג מערכת ההפעלה - לינוקס (DM-MP).

לאחר יצירת קבוצה מארחת, דרך הכרטיסייה שירותי אחסון והעתקה, צור קבוצת דיסקים - קבוצת דיסקים, עם סוג בהתאם לדרישות לסובלנות תקלות, למשל, RAID10, ובו דיסקים וירטואליים בגודל הנדרש:

ולבסוף, השלב האחרון הוא הצגת דיסקים וירטואליים (או LUNs) למארחים.
לשם כך, דרך התפריט - מיפוי מארחים -> מיפוי ירח -> הוסף ... אנו קושרים דיסקים וירטואליים למארחים על ידי הקצאת מספרים להם.

הכל אמור להיראות כמו צילום המסך הזה:

זה המקום שבו אנו מסיימים עם הגדרת האחסון, ואם הכל נעשה כהלכה, המארחים צריכים לראות את ה-LUNs המוצגים להם דרך ה-FC HBAs שלהם.
בואו נאלץ את המערכת לעדכן מידע על כוננים מחוברים:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

בוא נראה אילו מכשירים גלויים בשרתים שלנו:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

במארחים, אתה יכול גם להגדיר בנוסף ריבוי מסלולים, ולמרות שהוא יכול לעשות זאת בעצמו בעת התקנת oVirt, עדיף לבדוק את תקינות ה-MP לפני כן.

התקנה והגדרה של DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

הגדר את שירות MP להפעלה אוטומטית והפעל אותו:

systemctl enable multipathd && systemctl restart multipathd

בדיקת מידע על מודולים טעונים עבור פעולת MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

הצגת סיכום של תצורת ריבוי הנתיבים הקיימת:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

לאחר הוספת LUN חדש למערכת האחסון והצגתו למארח, עליך לסרוק את ה-HBAs המחוברים למארח שעליו.

systemctl reload multipathd
multipath -v2

ולבסוף, אנו בודקים האם כל ה-LUNs הוצגו במערכת האחסון עבור מארחים, והאם יש שני נתיבים לכולם.

בדיקת פעולת MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

כפי שאתה יכול לראות, כל שלושת הדיסקים הווירטואליים במערכת האחסון גלויים בשתי דרכים. כך, כל עבודת ההכנה הסתיימה, מה שאומר שניתן להמשיך לחלק העיקרי - הקמת אשכול oVirt, עליו נדון במאמר הבא.

מקור: www.habr.com

יצירת תשתית IT עמידה בפני תקלות. חלק 1 - הכנה לפריסת אשכול oVirt 4.3

חלק מבוא

חלק 1. הכנה לפריסת אשכול oVirt 4.3

הגדרת מארח בסיסית

הגדרת ערימת מתגים של Cisco 2960X

הגדרת אחסון של Dell MD3820f

הוספת תגובה ביטול תגובה