ProHoster > Blogs > Administrācija > Kļūmju izturÄ«gas IT infrastruktÅ«ras izveide. 1. daļa ā€” gatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai

Kļūmju izturÄ«gas IT infrastruktÅ«ras izveide. 1. daļa ā€” gatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai

Lasītāji tiek aicināti iepazīties ar principiem, kā izveidot kļūmju tolerantu infrastruktūru mazam uzņēmumam viena datu centra ietvaros, kas tiks detalizēti apspriests īsā rakstu sērijā.

Ievads

Saskaņā ar Datu centrs (Datu apstrādes centrs) var saprast kā:

  • savs plaukts savā ā€œservera telpāā€ uzņēmuma telpās, kas atbilst minimālajām prasÄ«bām iekārtu baroÅ”anas un dzesÄ“Å”anas nodroÅ”ināŔanai, kā arÄ« ir pieejams internetam caur diviem neatkarÄ«giem pakalpojumu sniedzējiem;
  • Ä«rēts statÄ«vs ar savu aprÄ«kojumu, kas atrodas Ä«stā datu centrā - t.s. izvietoÅ”ana, kas atbilst Tier III vai IV standartam un kas garantē droÅ”u baroÅ”anu, dzesÄ“Å”anu un kļūdu izturÄ«gu piekļuvi internetam;
  • pilnÄ«bā iznomāts aprÄ«kojums III vai IV lÄ«meņa datu centrā.

Kuru izmitināŔanas iespēju izvēlēties katrā gadÄ«jumā ir individuāla un parasti ir atkarÄ«ga no vairākiem galvenajiem faktoriem:

  • Kāpēc uzņēmumam ir nepiecieÅ”ama sava IT infrastruktÅ«ra?
  • ko tieÅ”i uzņēmums vēlas no IT infrastruktÅ«ras (uzticamÄ«bu, mērogojamÄ«bu, vadāmÄ«bu utt.);
  • sākotnējo investÄ«ciju apjoms IT infrastruktÅ«rā, kā arÄ« kāda veida izmaksas par to - kapitāls (tas nozÄ«mē, ka pērkat savu aprÄ«kojumu), vai ekspluatācijas (iekārtas parasti tiek nomātas);
  • paÅ”a uzņēmuma plānoÅ”anas horizonts.

Var daudz rakstÄ«t par faktoriem, kas ietekmē uzņēmuma lēmumu izveidot un izmantot savu IT infrastruktÅ«ru, taču mÅ«su mērÄ·is ir praksē parādÄ«t, kā tieÅ”i Å”o infrastruktÅ«ru izveidot tā, lai tā bÅ«tu gan defektu izturÄ«ga, gan arÄ« varētu ietaupÄ«t naudu. komerciālās programmatÅ«ras iegādes izmaksas vai vispār no tām izvairÄ«ties.

Kā liecina ilgtermiņa prakse, nav vērts taupÄ«t uz aparatÅ«ru, jo skopais maksā divreiz un pat daudz vairāk. Bet atkal laba aparatÅ«ra ir tikai ieteikums, un galu galā tas, ko tieÅ”i pirkt un par cik, ir atkarÄ«gs no uzņēmuma iespējām un tā vadÄ«bas ā€œalkatÄ«basā€. Turklāt vārds ā€œalkatÄ«baā€ ir jāsaprot Ŕī vārda labajā nozÄ«mē, jo labāk ir ieguldÄ«t aparatÅ«rā sākotnējā posmā, lai nerastos nopietnas problēmas ar tās turpmāku atbalstu un mērogoÅ”anu, jo sākotnēji nepareiza plānoÅ”ana un pārmērÄ«gi ietaupÄ«jumi var radÄ«t lielākas izmaksas nekā uzsākot projektu.

Tātad, sākotnējie dati par projektu:

  • ir kāds uzņēmums, kas nolēmis izveidot savu interneta portālu un ieviest savu darbÄ«bu internetā;
  • uzņēmums nolēma iznomāt plauktu, lai novietotu savu aprÄ«kojumu labā datu centrā, kas sertificēts atbilstoÅ”i Tier III standartam;
  • uzņēmums nolēma neekonomēt daudz uz aparatÅ«ru, tāpēc iegādājās Ŕādu aprÄ«kojumu ar pagarinātām garantijām un atbalstu:

Aprīkojuma saraksts

  • divi fiziski Dell PowerEdge R640 serveri:
  • divi Intel Xeon Gold 5120 procesori
  • 512 Gb RAM
  • divi SAS diski RAID1 OS instalÄ“Å”anai
  • iebÅ«vēta 4 portu 1G tÄ«kla karte
  • divas 2-portu 10G tÄ«kla kartes
  • viens 2-portu FC HBA 16G.
  • 2 kontrolieru uzglabāŔanas sistēma Dell MD3820f, kas savienota ar FC 16G tieÅ”i ar Dell saimniekdatoriem;
  • divi otrā lÄ«meņa slēdži - Cisco WS-C2960RX-48FPS-L stacked;
  • divi treŔā lÄ«meņa slēdži - Cisco WS-C3850-24T-E, sakrauti;
  • Rack, UPS, PDU, konsoles serverus nodroÅ”ina datu centrs.

Kā redzam, esoÅ”ajām iekārtām ir labas horizontālās un vertikālās mērogoÅ”anas perspektÄ«vas, ja uzņēmums spēj konkurēt ar citiem lÄ«dzÄ«ga profila uzņēmumiem internetā un sāk gÅ«t peļņu, ko var ieguldÄ«t resursu paplaÅ”ināŔanā tālākai konkurencei. un peļņas pieaugums.

Kādu aprÄ«kojumu mēs varam pievienot, ja uzņēmums nolemj palielināt mÅ«su skaitļoÅ”anas klastera veiktspēju:

  • mums ir liela 2960X slēdžu portu skaita rezerve, kas nozÄ«mē, ka varam pievienot vairāk aparatÅ«ras serveru;
  • iegādājieties divus papildu FC slēdžus, lai savienotu ar tiem uzglabāŔanas sistēmas un papildu serverus;
  • esoÅ”os serverus var uzlabot ā€“ papildināt atmiņu, nomainÄ«t procesorus pret jaudÄ«gākiem, pieslēgties 10G tÄ«klam, izmantojot esoÅ”os tÄ«kla adapterus;
  • Krātuves sistēmai var pievienot papildu disku plauktus ar nepiecieÅ”amo disku tipu - SAS, SATA vai SSD, atkarÄ«bā no plānotās slodzes;
  • pēc FC slēdžu pievienoÅ”anas varat iegādāties citu uzglabāŔanas sistēmu, lai palielinātu diska ietilpÄ«bu, un, iegādājoties Ä«paÅ”u attālās replikācijas iespēju, varat iestatÄ«t datu replikāciju starp uzglabāŔanas sistēmām gan vienā datu centrā, gan starp datu centriem ( bet tas jau ir ārpus raksta darbÄ«bas jomas);
  • Ir arÄ« treŔā lÄ«meņa slēdži ā€“ Cisco 3850, ko var izmantot kā kļūdu izturÄ«gu tÄ«kla kodolu ātrdarbÄ«gai marÅ”rutÄ“Å”anai starp iekŔējiem tÄ«kliem. Tas ļoti noderēs nākotnē, attÄ«stoties iekŔējai infrastruktÅ«rai. 3850 ir arÄ« 10G porti, kurus var izmantot vēlāk, jauninot tÄ«kla aprÄ«kojumu lÄ«dz 10G ātrumam.

Tā kā tagad nekur bez virtualizācijas, mēs, protams, bÅ«sim tendencē, jo Ä«paÅ”i tāpēc, ka tas ir lielisks veids, kā samazināt dārgu serveru iegādes izmaksas atseviŔķiem infrastruktÅ«ras elementiem (tÄ«mekļa serveriem, datu bāzēm utt.), kas ne vienmēr ir Optimāli tiek izmantoti zemas slodzes gadÄ«jumā, un tieÅ”i tas notiks projekta uzsākÅ”anas sākumā.

Turklāt virtualizācijai ir daudz citu priekÅ”rocÄ«bu, kas mums var bÅ«t ļoti noderÄ«gas: VM kļūdu tolerance pret aparatÅ«ras servera kļūmēm, Live migrācija starp aparatÅ«ras klasteru mezgliem to uzturÄ“Å”anai, manuāla vai automātiska slodzes sadale starp klastera mezgliem utt.

Uzņēmuma iegādātajai aparatÅ«rai par sevi liecina augsti pieejamā VMware vSphere klastera izvietoÅ”ana, taču, tā kā jebkura VMware programmatÅ«ra ir pazÄ«stama ar savām ā€œzirguā€ cenu zÄ«mēm, mēs izmantosim pilnÄ«gi bezmaksas programmatÅ«ru virtualizācijas pārvaldÄ«Å”anai - oVirts, uz kura pamata tiek radÄ«ts pazÄ«stams, bet jau komerciāls produkts - rhev.

ProgrammatÅ«ra oVirts nepiecieÅ”ams apvienot visus infrastruktÅ«ras elementus vienā veselumā, lai varētu ērti strādāt ar augsti pieejamām virtuālajām maŔīnām - tās ir datu bāzes, tÄ«mekļa lietojumprogrammas, starpniekserveri, balansētāji, serveri žurnālu un analÄ«tikas apkopoÅ”anai utt., tas ir, kas mÅ«su uzņēmuma interneta portāls sastāv no.

Apkopojot Å”o ievadu, mēs varam gaidÄ«t Ŕādus rakstus, kas praksē parādÄ«s, kā precÄ«zi izvietot visu uzņēmuma aparatÅ«ras un programmatÅ«ras infrastruktÅ«ru:

Rakstu saraksts

  • Daļa 1. SagatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai.
  • Daļa 2. oVirt 4.3 klastera instalÄ“Å”ana un konfigurÄ“Å”ana.
  • Daļa 3. VyOS klastera iestatÄ«Å”ana, kļūdu izturÄ«gas ārējās marÅ”rutÄ“Å”anas organizÄ“Å”ana.
  • Daļa 4. Cisco 3850 steka iestatÄ«Å”ana, iekÅ”tÄ«kla marÅ”rutÄ“Å”anas organizÄ“Å”ana.

1. daļa. SagatavoŔanās oVirt 4.3 klastera izvietoŔanai

Pamata saimniekdatora iestatīŔana

OS instalÄ“Å”ana un konfigurÄ“Å”ana ir vienkārŔākais solis. Ir ļoti daudz rakstu par to, kā pareizi instalēt un konfigurēt OS, tāpēc nav jēgas mēģināt sniegt kaut ko ekskluzÄ«vu par to.

Tātad mums ir divi Dell PowerEdge R640 resursdatori, kuros mums ir jāinstalē OS un jāveic sākotnējie iestatÄ«jumi, lai tos izmantotu kā hipervizorus, lai darbinātu virtuālās maŔīnas oVirt 4.3 klasterÄ«.

Tā kā mēs plānojam izmantot bezmaksas nekomerciālo oVirt programmatÅ«ru, OS tika izvēlēta resursdatoru izvietoÅ”anai 7.7 CentOS, lai gan oVirt resursdatoros var instalēt citas OS:

  • Ä«paÅ”a bÅ«ve, kuras pamatā ir RHEL, tā sauktā. oVirt Node;
  • OS Oracle Linux, 2019. gada vasara tas tika paziņots par atbalstu oVirt darbam pie tā.

Pirms OS instalēŔanas ieteicams:

  • konfigurēt iDRAC tÄ«kla saskarni abos saimniekdatoros;
  • atjauniniet BIOS un iDRAC programmaparatÅ«ru uz jaunākajām versijām;
  • konfigurēt servera sistēmas profilu, vēlams veiktspējas režīmā;
  • konfigurējiet RAID no vietējiem diskiem (ieteicams RAID1), lai instalētu OS serverÄ«.

Pēc tam mēs instalējam OS uz diska, kas tika izveidots agrāk, izmantojot iDRAC - instalÄ“Å”anas process ir normāls, tajā nav Ä«paÅ”u momentu. Piekļuvi servera konsolei, lai sāktu OS instalÄ“Å”anu, var iegÅ«t arÄ«, izmantojot iDRAC, lai gan nekas neliedz pievienot monitoru, tastatÅ«ru un peli tieÅ”i serverim un instalēt OS no zibatmiņas diska.

Pēc OS instalÄ“Å”anas mēs veicam tās sākotnējos iestatÄ«jumus:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Programmatūras pamata komplekta instalēŔana

Lai sākotnēji konfigurētu OS, ir jākonfigurē jebkurÅ” servera tÄ«kla interfeiss, lai varētu piekļūt internetam, lai atjauninātu OS un instalētu nepiecieÅ”amās programmatÅ«ras pakotnes. To var izdarÄ«t gan OS instalÄ“Å”anas procesā, gan pēc tā.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

Visi iepriekÅ” minētie iestatÄ«jumi un programmatÅ«ras komplekts ir personÄ«gās izvēles jautājums, un Å”is komplekts ir tikai ieteikums.

Tā kā mÅ«su saimnieks spēlēs hipervizora lomu, mēs iespējosim nepiecieÅ”amo veiktspējas profilu:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Vairāk par snieguma profilu varat lasÄ«t Å”eit: ā€œNodaļa 4. tuned un tuned-adm".

Pēc OS instalÄ“Å”anas mēs pārejam pie nākamās daļas - tÄ«kla saskarņu iestatÄ«Å”ana saimniekiem un Cisco 2960X slēdžu kaudze.

Cisco 2960X Switch Stack konfigurēŔana

MÅ«su projekts izmantos Ŕādus VLAN vai apraides domēnus, kas ir izolēti viens no otra, lai nodalÄ«tu dažādu veidu trafiku:

10. VLAN - Internets
17. VLAN - PārvaldÄ«ba (iDRAC, uzglabāŔanas sistēma, slēdžu pārvaldÄ«ba)
32. VLAN ā€“ VM ražoÅ”anas tÄ«kls
33. VLAN - starpsavienojumu tīkls (ārējiem darbuzņēmējiem)
34. VLAN ā€“ VM testa tÄ«kls
35. VLAN ā€“ VM izstrādātāju tÄ«kls
40. VLAN ā€“ UzraudzÄ«bas tÄ«kls

Pirms darba sākŔanas Ŕeit ir diagramma L2 līmenī, kas mums galu galā jānonāk:

Kļūmju izturÄ«gas IT infrastruktÅ«ras izveide. 1. daļa ā€” gatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai

Lai oVirt saimniekdatori un virtuālās maŔīnas savstarpēji mijiedarbotos tÄ«klā, kā arÄ« pārvaldÄ«tu mÅ«su krātuves sistēmu, ir jākonfigurē Cisco 2960X slēdžu kaudze.

Dell saimniekiem ir iebÅ«vētas 4 portu tÄ«kla kartes, tāpēc to savienojumu ar Cisco 2960X ieteicams organizēt, izmantojot kļūmju izturÄ«gu tÄ«kla savienojumu, izmantojot fizisko tÄ«kla portu grupÄ“Å”anu loÄ£iskā interfeisā un LACP protokolu ( 802.3ad):

  • pirmie divi resursdatora porti ir konfigurēti savienoÅ”anas režīmā un savienoti ar slēdzi 2960X - Å”is loÄ£iskais interfeiss tiks konfigurēts tilts ar adresi resursdatora pārvaldÄ«bai, uzraudzÄ«bai, saziņai ar citiem saimniekiem oVirt klasterÄ«, tā tiks izmantota arÄ« virtuālo maŔīnu Live migrācijai;
  • otrie divi resursdatora porti arÄ« ir konfigurēti savienoÅ”anas režīmā un savienoti ar 2960X - Å”ajā loÄ£iskajā saskarnē, izmantojot oVirt, nākotnē tiks izveidoti tilti (attiecÄ«gajos VLAN), kuriem tiks pievienotas virtuālās maŔīnas.
  • abi tÄ«kla porti vienā loÄ£iskajā saskarnē bÅ«s aktÄ«vi, t.i. satiksmi pār tiem var pārraidÄ«t vienlaicÄ«gi, balansÄ“Å”anas režīmā.
  • tÄ«kla iestatÄ«jumiem klastera mezglos ir jābÅ«t pilnÄ«gi VIENĀDIEM, izņemot IP adreses.

Slēdžu kaudzes pamata iestatÄ«Å”ana 2960X un tās ostas

Mūsu slēdžiem vispirms jābūt:

  • uzstādÄ«ts uz plaukta;
  • savienots ar diviem speciāliem vajadzÄ«gā garuma kabeļiem, piemēram, CAB-STK-E-1M;
  • savienots ar strāvas padevi;
  • sākotnējai konfigurācijai ir savienoti ar administratora darbstaciju, izmantojot konsoles portu.

Tam nepiecieÅ”amie norādÄ«jumi ir pieejami vietnē oficiālā lapa ražotājs.

Pēc iepriekÅ” minēto darbÄ«bu veikÅ”anas mēs konfigurējam slēdžus.
Ko nozÄ«mē katra komanda, Ŕī raksta ietvaros nav paredzēts atÅ”ifrēt, ja nepiecieÅ”ams, visu informāciju var atrast neatkarÄ«gi.
Mūsu mērķis ir pēc iespējas ātrāk konfigurēt slēdžu steku un savienot ar to saimniekdatorus un krātuves pārvaldības saskarnes.

1) Pievienojieties galvenajam slēdzim, dodieties uz priviliģēto režīmu, pēc tam pārejiet uz konfigurācijas režīmu un veiciet pamata iestatījumus.

Slēdža pamata konfigurācija:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
  vtp mode transparent
  ip subnet-zero

 vlan 17
  name Management

 vlan 32
  name PROD 

 vlan 33
  name Interconnect

 vlan 34
  name Test

 vlan 35
  name Dev

 vlan 40
  name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

Mēs saglabājam konfigurāciju ar komandu "wr memun restartējiet slēdžu steku ar komandu "pārlādēĀ» uz galvenā slēdža 1.

2) Slēdža tÄ«kla portus konfigurējam piekļuves režīmā VLAN 17, lai savienotu uzglabāŔanas sistēmu un iDRAC serveru pārvaldÄ«bas saskarnes.

Pārvaldības portu iestatīŔana:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 ā€“ Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Pēc kaudzes atkārtotas ielādÄ“Å”anas pārbaudiet, vai tā darbojas pareizi:

Stenda funkcionalitātes pārbaude:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.Š„Š„Š„Š„
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.Š„Š„Š„Š„    15     4       Ready
 2       Member 0029.c251.Š„Š„Š„Š„     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) SSH piekļuves iestatīŔana 2960X stekam

Lai attālināti pārvaldÄ«tu steku, izmantojot SSH, mēs izmantosim IP 172.20.1.10, kas konfigurēts SVI (virtuālajam interfeisam). VLAN17.

Lai gan pārvaldÄ«bas nolÅ«kos ir ieteicams izmantot Ä«paÅ”u slēdža pieslēgvietu, tas ir atkarÄ«gs no personÄ«gās izvēles un iespējām.

SSH piekļuves konfigurÄ“Å”ana slēdžu kaudzÄ«tei:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Iestatiet paroli, lai pārietu uz priviliģēto režīmu:

enable secret *myenablepassword*
service password-encryption

NTP iestatīŔana:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Konfigurējiet loÄ£iskās Etherchannel saskarnes un fiziskos portus, kas savienoti ar saimniekdatoriem. Lai atvieglotu konfigurÄ“Å”anu, visās loÄ£iskajās saskarnēs tiks iespējoti visi pieejamie VLAN, taču parasti ir ieteicams konfigurēt tikai nepiecieÅ”amo:

Etherchannel saskarņu konfigurÄ“Å”ana:

interface Port-channel1
 description EtherChannel with Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel with Host2-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel with Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel with Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-management
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-management
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

TÄ«kla saskarņu sākotnējā konfigurācija virtuālajām maŔīnām uz saimniekdatoriem Saimniekdators1 Šø Saimniekdators2

Mēs pārbaudām moduļu klātbÅ«tni, kas nepiecieÅ”ami savienoÅ”anai, lai strādātu sistēmā, uzstādām moduli tiltu vadÄ«Å”anai:

modinfo bonding
modinfo 8021q
yum install bridge-utils

BOND1 loÄ£iskā interfeisa konfigurÄ“Å”ana virtuālajām maŔīnām un tās fiziskās saskarnes resursdatoros:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - management
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - management
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - management
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Pēc kaudzes iestatÄ«jumu pabeigÅ”anas 2960 un saimniekiem, mēs restartējam tÄ«klu saimniekdatoros un pārbaudām loÄ£iskā interfeisa funkcionalitāti.

  • saimniekdatorā:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • uz slēdžu kaudzes 2960:

2960X#show lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG

Number of channel-groups in use: 11
Number of aggregators:           11

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

TÄ«kla saskarņu sākotnējā konfigurācija, lai pārvaldÄ«tu klasteru resursus resursdatoros Saimniekdators1 Šø Saimniekdators2

BOND1 loÄ£iskās saskarnes konfigurÄ“Å”ana pārvaldÄ«bai un tās fiziskās saskarnes resursdatoros:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#DESCRIPTION - management
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#DESCRIPTION - management
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#DESCRIPTION - management
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Pēc kaudzes iestatÄ«jumu pabeigÅ”anas 2960 un saimniekiem, mēs restartējam tÄ«klu saimniekdatoros un pārbaudām loÄ£iskā interfeisa funkcionalitāti.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Mēs konfigurējam vadības tīkla interfeisu katrā resursdatorā 17. VLAN, un saistiet to ar loģisko interfeisu BOND1:

VLAN17 konfigurēŔana uz Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

VLAN17 konfigurēŔana uz Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Mēs restartējam tīklu saimniekdatoros un pārbaudām to redzamību viens otram.

Tādējādi tiek pabeigta Cisco 2960X slēdžu kaudzes konfigurÄ“Å”ana, un, ja viss tika izdarÄ«ts pareizi, tad tagad mums ir visu infrastruktÅ«ras elementu tÄ«kla savienojamÄ«ba savā starpā L2 lÄ«menÄ«.

Dell MD3820f uzglabāŔanas sistēmas iestatÄ«Å”ana

Pirms sākt darbu pie uzglabāŔanas sistēmas iestatÄ«Å”anas, tai jau jābÅ«t savienotai ar Cisco slēdžu kaudzi 2960 vadÄ«bas saskarnēm, kā arÄ« saimniekiem Saimniekdators1 Šø Saimniekdators2 caur FC.

Vispārējā diagramma par to, kā uzglabāŔanas sistēmas jāsavieno ar slēdžu kaudzi, tika sniegta iepriekŔējā nodaļā.

Diagrammai uzglabāŔanas sistēmas pievienoÅ”anai, izmantojot FC, ar saimniekdatoriem vajadzētu izskatÄ«ties Ŕādi:

Kļūmju izturÄ«gas IT infrastruktÅ«ras izveide. 1. daļa ā€” gatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai

Savienojuma laikā jums ir jāpieraksta WWPN adreses FC HBA saimniekiem, kas savienoti ar FC portiem krātuves sistēmā - tas bÅ«s nepiecieÅ”ams, lai vēlāk iestatÄ«tu saimniekdatoru saistÄ«Å”anu ar LUN krātuves sistēmā.

Administratora darbstacijā lejupielādējiet un instalējiet utilÄ«tu Dell MD3820f uzglabāŔanas sistēmas pārvaldÄ«bai ā€“ PowerVault moduļu diska krātuves pārvaldnieks (MDSM).
Mēs izveidojam savienojumu ar to, izmantojot noklusējuma IP adreses, un pēc tam konfigurējam savas adreses no VLAN17, lai pārvaldītu kontrolierus, izmantojot TCP/IP:

Krātuve1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Pēc adreÅ”u iestatÄ«Å”anas dodieties uz krātuves pārvaldÄ«bas saskarni un iestatiet paroli, iestatiet laiku, atjauniniet kontrolieru un disku programmaparatÅ«ru, ja nepiecieÅ”ams utt.
Kā tas tiek darÄ«ts, ir aprakstÄ«ts administrÄ“Å”anas rokasgrāmata UzglabāŔanas sistēma

Pēc iepriekÅ” minēto iestatÄ«jumu pabeigÅ”anas mums bÅ«s jāveic tikai dažas darbÄ«bas:

  1. Konfigurēt saimniekdatora FC porta ID ā€” Resursdatora porta identifikatori.
  2. Izveidojiet uzņēmēja grupu - Uzņēmēja grupa un pievienojiet tam mūsu divus Dell saimniekus.
  3. Izveidojiet disku grupu un tajā esoÅ”os virtuālos diskus (vai LUN), kas tiks prezentēti saimniekiem.
  4. Konfigurējiet resursdatoriem paredzēto virtuālo disku (vai LUN) prezentāciju.

Jaunu saimniekdatoru pievienoÅ”ana un resursdatora FC porta identifikatoru saistÄ«Å”ana tiem tiek veikta, izmantojot izvēlni - Saimniekdatora kartējumi -> Definēt -> Saimniekiā€¦
FC HBA saimniekdatoru WWPN adreses var atrast, piemēram, iDRAC serveros.

Rezultātā mums vajadzētu iegūt kaut ko līdzīgu:

Kļūmju izturÄ«gas IT infrastruktÅ«ras izveide. 1. daļa ā€” gatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai

Jaunas saimniekdatoru grupas pievienoÅ”ana un saimniekdatoru saistÄ«Å”ana tai tiek veikta, izmantojot izvēlni - Saimniekdatora kartējumi -> Definēt -> Uzņēmēja grupaā€¦
Saimniekiem atlasiet OS veidu - Linux (DM-MP).

Pēc saimniekgrupas izveides, izmantojot cilni GlabāŔanas un kopÄ“Å”anas pakalpojumi, izveidojiet disku grupu - Disku grupa, ar tipu atkarÄ«bā no kļūdu tolerances prasÄ«bām, piemēram, RAID10, un tajā vajadzÄ«gā izmēra virtuālie diski:

Kļūmju izturÄ«gas IT infrastruktÅ«ras izveide. 1. daļa ā€” gatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai

Visbeidzot, pēdējais posms ir virtuālo disku (vai LUN) prezentÄ“Å”ana saimniekiem.
Lai to izdarÄ«tu, izvēlnē - Saimniekdatora kartējumi -> Mēness kartÄ“Å”ana -> Pievienot ... Mēs saistām virtuālos diskus ar saimniekiem, pieŔķirot tiem numurus.

Visam vajadzētu izskatÄ«ties Ŕādi:

Kļūmju izturÄ«gas IT infrastruktÅ«ras izveide. 1. daļa ā€” gatavoÅ”anās oVirt 4.3 klastera izvietoÅ”anai

Å eit mēs pabeidzam glabāŔanas sistēmas iestatÄ«Å”anu, un, ja viss tika izdarÄ«ts pareizi, saimniekiem vajadzētu redzēt viņiem iesniegtos LUN, izmantojot FC HBA.
Piespiedīsim sistēmu atjaunināt informāciju par pievienotajiem diskiem:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Apskatīsim, kādas ierīces ir redzamas mūsu serveros:

cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H330 Mini   Rev: 4.29
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Vendor: DELL     Model: MD38xxf          Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Vendor: DELL     Model: Universal Xport  Rev: 0825
  Type:   Direct-Access                    ANSI  SCSI revision: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Uz saimniekiem varat arÄ« papildus konfigurēt daudzceļŔ, un, lai gan, instalējot oVirt, tas to var izdarÄ«t pats, labāk ir iepriekÅ” paÅ”am pārbaudÄ«t MP darbÄ«bu.

DM Multipath uzstādÄ«Å”ana un konfigurÄ“Å”ana

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Iestatiet MP pakalpojuma automātisko palaiŔanu un palaidiet to:

systemctl enable multipathd && systemctl restart multipathd

Informācijas pārbaude par ielādētajiem moduļiem MP darbībai:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software <[email protected]>
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Apskatīsim kopsavilkuma informāciju par esoŔo daudzceļu konfigurāciju:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Pēc jauna LUN pievienoÅ”anas krātuves sistēmai un uzrādÄ«Å”anas resursdatoram, jums ir jāskenē HBA, kas ir savienoti ar resursdatoru tajā. 

systemctl reload multipathd
multipath -v2

Visbeidzot, mēs pārbaudām, vai visi LUN tika parādÄ«ti saimniekdatoru glabāŔanas sistēmā un vai uz tiem visiem ir divi ceļi.

MP darbības pārbaude:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Kā redzat, visi trÄ«s virtuālie diski uzglabāŔanas sistēmā ir redzami pa diviem ceļiem. Tādējādi visi sagatavoÅ”anās darbi ir pabeigti, kas nozÄ«mē, ka varat pāriet uz galveno daļu - oVirt klastera iestatÄ«Å”anu, kas tiks apspriests nākamajā rakstā.

Avots: www.habr.com

Pievieno komentāru