Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Tento článok je pokračovaním predchádzajúceho - “Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 1 - príprava na nasadenie klastra oVirt 4.3".

Bude pokrývať proces základnej inštalácie a konfigurácie klastra oVirt 4.3 na hosťovanie vysoko dostupných virtuálnych strojov, berúc do úvahy skutočnosť, že všetky predbežné kroky na prípravu infraštruktúry už boli dokončené.

prodrome

Hlavným účelom článku je poskytnúť podrobné pokyny, ako napríklad „ďalšie -> Áno -> úprava"ako zobraziť niektoré funkcie pri inštalácii a konfigurácii. Proces nasadenia vášho klastra sa nemusí vždy zhodovať s tým, ktorý je v ňom popísaný, vzhľadom na vlastnosti infraštruktúry a prostredia, ale všeobecné princípy budú rovnaké.

Zo subjektívneho hľadiska oVirt 4.3 jeho funkcionalita je podobná ako VMware vSphere verzie 5.x, ale samozrejme s vlastnými konfiguračnými a prevádzkovými funkciami.

Pre záujemcov, všetky rozdiely medzi RHEV (alias oVirt) a VMware vSphere nájdete na internete napr. tu, ale aj tak si občas v priebehu článku všimnem nejaké ich vzájomné rozdiely alebo podobnosti.

Samostatne by som chcel trochu porovnať prácu so sieťami pre virtuálne stroje. oVirt implementuje podobný princíp správy siete pre virtuálne stroje (ďalej len VM), ako vo VMware vSphere:

  • pomocou štandardného Linuxového mosta (vo VMware - Štandardný vSwitch), ktorý beží na hostiteľoch virtualizácie;
  • pomocou Open vSwitch (OVS) (vo VMware - Distribuovaný vSwitch) je distribuovaný virtuálny prepínač pozostávajúci z dvoch hlavných komponentov: centrálny server OVN a ovládače OVN na spravovaných hostiteľoch.

Je potrebné poznamenať, že vzhľadom na jednoduchosť implementácie bude článok popisovať nastavenie sietí v oVirt pre VM pomocou štandardného linuxového mosta, ktorý je štandardnou voľbou pri použití hypervízora KVM.

V tejto súvislosti existuje niekoľko základných pravidiel pre prácu so sieťou v klastri, ktoré je najlepšie neporušovať:

  • Všetky nastavenia siete na hostiteľoch pred ich pridaním do oVirt musia byť identické, s výnimkou adries IP.
  • Po prevzatí hostiteľa pod kontrolu oVirt sa dôrazne neodporúča meniť čokoľvek manuálne v nastaveniach siete bez úplnej dôvery vo vaše akcie, pretože agent oVirt ich jednoducho vráti späť na predchádzajúce po reštartovaní hostiteľa alebo agent.
  • Pridanie novej siete pre VM, ako aj prácu s ňou, by ste mali vykonávať iba z konzoly na správu oVirt.

Ešte jeden dôležitá poznámka — pre veľmi kritické prostredie (veľmi citlivé na peňažné straty) by sa stále odporúčalo využívať platenú podporu a používanie Virtualizácia Red Hat 4.3. Počas prevádzky klastra oVirt sa môžu vyskytnúť problémy, pre ktoré je vhodné čo najskôr získať kvalifikovanú pomoc, než ich riešiť sami.

A nakoniec odporúča Pred nasadením klastra oVirt sa oboznámte s oficiálna dokumentácia, aby ste si boli vedomí aspoň základných pojmov a definícií, inak sa vám bude trochu ťažko čítať zvyšok článku.

Základom pre pochopenie článku a princípov fungovania klastra oVirt sú tieto usmerňovacie dokumenty:

Objem tam nie je príliš veľký, za hodinu-dve sa dajú celkom zvládnuť základné princípy, no pre tých, ktorí majú radi detaily, sa odporúča prečítať Produktová dokumentácia pre Red Hat Virtualization 4.3 — RHEV a oVirt sú v podstate to isté.

Ak sú teda dokončené všetky základné nastavenia na hostiteľoch, prepínačoch a úložných systémoch, pristúpime priamo k nasadeniu oVirt.

Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Pre uľahčenie orientácie uvediem v tomto článku hlavné časti, ktoré je potrebné vyplniť jeden po druhom:

  1. Inštalácia riadiaceho servera oVirt
  2. Vytvorenie nového dátového centra
  3. Vytvorenie nového klastra
  4. Inštalácia ďalších hostiteľov v prostredí s vlastným hosťovaním
  5. Vytvorenie úložného priestoru alebo úložných domén
  6. Vytváranie a konfigurácia sietí pre virtuálne stroje
  7. Vytvorenie inštalačného obrazu na nasadenie virtuálneho počítača
  8. Vytvorte virtuálny stroj

Inštalácia riadiaceho servera oVirt

oVirt server pre správu - toto je najdôležitejší prvok v infraštruktúre oVirt vo forme virtuálneho počítača, hostiteľa alebo virtuálneho zariadenia, ktoré spravuje celú infraštruktúru oVirt.

Jeho blízke analógy zo sveta virtualizácie sú:

  • VMware vSphere - server vCenter
  • Microsoft Hyper-V – System Center Virtual Machine Manager (VMM).

Ak chcete nainštalovať server na správu oVirt, máme dve možnosti:

Možnosť 1
Nasadenie servera vo forme špecializovaného VM alebo hostiteľa.

Táto možnosť funguje celkom dobre, ale za predpokladu, že takýto VM funguje nezávisle od klastra, t.j. nebeží na žiadnom hostiteľovi klastra ako bežný virtuálny stroj so systémom KVM.

Prečo sa takýto VM nedá nasadiť na hostiteľoch klastra?

Na úplnom začiatku procesu nasadzovania manažérskeho servera oVirt máme dilemu - potrebujeme nainštalovať manažérsky VM, ale v skutočnosti ešte neexistuje samotný klaster, a preto čo môžeme vymyslieť za behu? Presne tak - nainštalujte KVM na budúci uzol klastra, potom na ňom vytvorte virtuálny stroj, napríklad s OS CentOS a nasaďte do neho engine oVirt. Zvyčajne sa to dá urobiť z dôvodov úplnej kontroly nad takýmto VM, ale je to chybný zámer, pretože v tomto prípade sa v budúcnosti na 100% vyskytnú problémy s takýmto riadiacim VM:

  • nedá sa migrovať v konzole oVirt medzi hostiteľmi (uzlami) klastra;
  • pri migrácii pomocou KVM cez virsh migrovať, tento VM nebude dostupný na správu z konzoly oVirt.
  • hostitelia klastra sa nedajú zobraziť v Režim údržby (režim údržby), ak migrujete tento VM z hostiteľa na hostiteľa pomocou virsh migrovať.

Takže urobte všetko podľa pravidiel - použite buď samostatný hostiteľ pre server na správu oVirt, alebo nezávislý VM, ktorý na ňom beží, alebo ešte lepšie, urobte tak, ako je napísané v druhej možnosti.

Možnosť 2
Inštalácia oVirt Engine Appliance na hostiteľa klastra, ktorý spravuje.

Práve táto možnosť bude v našom prípade ďalej považovaná za správnejšiu a vhodnejšiu.
Požiadavky na takýto VM sú popísané nižšie, len dodám, že v infraštruktúre sa odporúča mať aspoň dvoch hostiteľov, na ktorých je možné riadiaci VM spustiť, aby bol odolný voči chybám. Tu by som rád dodal, že ako som už písal v komentároch v predchádzajúcom článku, nikdy sa mi nepodarilo zohnať splitbrain na klastri oVirt dvoch hostiteľov s možnosťou spúšťať na nich virtuálne počítače s hostiteľským systémom.

Inštalácia oVirt Engine Appliance na prvom hostiteľovi klastra

Odkaz na oficiálnu dokumentáciu - oVirt Self-hosted Engine Guide, kapitola "Nasadenie samoobslužného nástroja pomocou príkazového riadka»

Dokument špecifikuje predpoklady, ktoré musia byť splnené pred nasadením virtuálneho počítača s hostiteľským modulom, a tiež podrobne popisuje samotný proces inštalácie, takže nemá zmysel ho doslovne opakovať, preto sa zameriame na niektoré dôležité detaily.

  • Pred spustením všetkých akcií nezabudnite povoliť podporu virtualizácie v nastaveniach systému BIOS na hostiteľovi.
  • Nainštalujte balík pre inštalačný program hostovaného motora na hostiteľovi:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm 
yum -y install epel-release
yum install screen ovirt-hosted-engine-setup

  • Procedúru nasadenia oVirt Hosted Engine začneme na obrazovke na hostiteľovi (môžete ju ukončiť pomocou Ctrl-A + D, zatvoriť pomocou Ctrl-D):

screen
hosted-engine --deploy

Ak chcete, môžete spustiť inštaláciu s vopred pripraveným súborom odpovedí:

hosted-engine --deploy --config-append=/var/lib/ovirt-hosted-engine-setup/answers/answers-ohe.conf

  • Pri nasadzovaní hostovaného motora špecifikujeme všetky potrebné parametre:

- имя кластера
- количество vCPU и vRAM (рекомендуется 4 vCPU и 16 Гб)
- пароли
- тип хранилища для hosted engine ВМ – в нашем случае FC
- номер LUN для установки hosted engine
- где будет находиться база данных для hosted engine – рекомендую для простоты выбрать Local (это БД PostgreSQL работающая внутри этой ВМ)
и др. параметры. 

  • Na inštaláciu vysoko dostupného VM s hostovaným motorom sme predtým vytvorili špeciálnu LUN na úložnom systéme, číslo 4 a veľkosť 150 GB, ktorá bola potom prezentovaná hostiteľom klastra – pozri predchádzajúci článok.

Predtým sme tiež skontrolovali jeho viditeľnosť na hostiteľoch:

multipath -ll
…
3600a098000e4b4b3000003c95d171065 dm-3 DELL    , MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

  • Samotný proces nasadenia hostovaného motora nie je zložitý; na konci by sme mali dostať niečo takéto:

[ INFO  ] Generating answer file '/var/lib/ovirt-hosted-engine-setup/answers/answers-20191129131846.conf'
[ INFO  ] Generating answer file '/etc/ovirt-hosted-engine/answers.conf'
[ INFO  ] Stage: Pre-termination
[ INFO  ] Stage: Termination
[ INFO  ] Hosted Engine successfully deployed

Kontrolujeme prítomnosť služieb oVirt na hostiteľovi:

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Ak bolo všetko vykonané správne, po dokončení inštalácie prejdite na webový prehliadač https://ovirt_hostname/ovirt-engine z počítača správcu a kliknite na [Administračný portál].

Snímka obrazovky „Administračný portál“

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Zadaním prihlasovacieho mena a hesla (nastaveného počas procesu inštalácie) do okna ako na obrázku sa dostaneme do ovládacieho panela Open Virtualization Manager, v ktorom môžete vykonávať všetky akcie s virtuálnou infraštruktúrou:

  1. pridať dátové centrum
  2. pridať a nakonfigurovať klaster
  3. pridávať a spravovať hostiteľov
  4. pridať úložné oblasti alebo úložné domény pre disky virtuálnych strojov
  5. pridávať a konfigurovať siete pre virtuálne stroje
  6. pridávať a spravovať virtuálne stroje, inštalačné obrazy, šablóny VM

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

O všetkých týchto akciách sa bude ďalej diskutovať, niektoré vo veľkých bunkách, iné podrobnejšie a s nuansami.
Najprv by som však odporučil prečítať si tento doplnok, ktorý sa pravdepodobne mnohým bude hodiť.

Pridanie

1) V zásade, ak existuje takáto potreba, nič vám nebráni nainštalovať hypervízor KVM na uzly klastra vopred pomocou balíkov libvirt и qemu-kvm (Alebo qemu-kvm-ev) požadovanej verzie, hoci pri nasadzovaní uzla klastra oVirt to môže urobiť sám.

Ale ak libvirt и qemu-kvm Ak ste nenainštalovali najnovšiu verziu, pri nasadzovaní hostovaného nástroja sa môže zobraziť nasledujúca chyba:

error: unsupported configuration: unknown CPU feature: md-clear

Tie. musieť mať aktualizovaná verzia libvirt s ochranou pred MDS, ktorá podporuje túto politiku:

<feature policy='require' name='md-clear'/>

Nainštalujte libvirt v.4.5.0-10.el7_6.12 s podporou md-clear:

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

Skontrolujte podporu 'md-clear':

virsh domcapabilities kvm | grep require
      <feature policy='require' name='ss'/>
      <feature policy='require' name='hypervisor'/>
      <feature policy='require' name='tsc_adjust'/>
      <feature policy='require' name='clflushopt'/>
      <feature policy='require' name='pku'/>
      <feature policy='require' name='md-clear'/>
      <feature policy='require' name='stibp'/>
      <feature policy='require' name='ssbd'/>
      <feature policy='require' name='invtsc'/>

Potom môžete pokračovať v inštalácii hosteného motora.

2) V oVirt 4.3 prítomnosť a používanie brány firewall firewalld je povinná požiadavka.

Ak sa počas nasadenia virtuálneho počítača pre hostovaný stroj zobrazí nasledujúca chyba:

[ ERROR ] fatal: [localhost]: FAILED! => {"changed": false, "msg": "firewalld is required to be enabled and active in order to correctly deploy hosted-engine. Please check, fix accordingly and re-deploy.n"}
[ ERROR ] Failed to execute stage 'Closing up': Failed executing ansible-playbook
[https://bugzilla.redhat.com/show_bug.cgi?id=1608467

Potom musíte vypnúť ďalší firewall (ak sa používa) a nainštalovať a spustiť firewalld:

yum install firewalld
systemctl enable firewalld
systemctl start firewalld

firewall-cmd --state
firewall-cmd --get-default-zone
firewall-cmd --get-active-zones
firewall-cmd --get-zones

Neskôr, pri inštalácii ovirt agenta na nového hostiteľa pre klaster, nakonfiguruje požadované porty firewalld automaticky.

3) Reštartovanie hostiteľa, na ktorom je spustený VM s hostovaným motorom.

Ako zvyčajne, odkaz 1 и odkaz 2 k riadiacim dokumentom.

Celá správa hostovaného VM motora sa vykonáva LEN pomocou príkazu hostovaný motor na hostiteľovi, kde beží, o Virsh musíme zabudnúť, ako aj na to, že sa k tomuto VM môžete pripojiť cez SSH a spustiť príkaz “zastavenie".

Postup uvedenia VM do režimu údržby:

hosted-engine --set-maintenance --mode=global

hosted-engine --vm-status
!! Cluster is in GLOBAL MAINTENANCE mode !!
--== Host host1.test.local (id: 1) status ==--
conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : dee1a774
local_conf_timestamp               : 1821
Host timestamp                     : 1821
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=1821 (Sat Nov 29 14:25:19 2019)
        host-id=1
        score=3400
        vm_conf_refresh_time=1821 (Sat Nov 29 14:25:19 2019)
        conf_on_shared_storage=True
        maintenance=False
        state=GlobalMaintenance
        stopped=False

hosted-engine --vm-shutdown

Reštartujeme hostiteľa pomocou hostovaného agenta motora a urobíme s ním, čo potrebujeme.

Po reštarte skontrolujte stav VM s hostovaným motorom:

hosted-engine --vm-status

Ak sa náš VM s hostovaným motorom nespustí a ak v protokole služby vidíme podobné chyby:

Chyba v servisnom denníku:

journalctl -u ovirt-ha-agent
...
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine ERROR Failed to start necessary monitors
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Traceback (most recent call last):#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 131, in _run_agent#012    return action(he)#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 55, in action_proper#012    return he.start_monitoring()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 413, in start_monitoring#012    self._initialize_broker()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 537, in _initialize_broker#012    m.get('options', {}))#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py", line 86, in start_monitor#012    ).format(t=type, o=options, e=e)#012RequestError: brokerlink - failed to start monitor via ovirt-ha-broker: [Errno 2] No such file or directory, [monitor: 'ping', options: {'addr': '172.20.32.32'}]
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Trying to restart agent

Potom pripojíme úložisko a reštartujeme agenta:

hosted-engine --connect-storage
systemctl restart ovirt-ha-agent
systemctl status ovirt-ha-agent

hosted-engine --vm-start
hosted-engine --vm-status

Po spustení VM s hostovaným motorom ho vyradíme z režimu údržby:

Postup na odstránenie VM z režimu údržby:

hosted-engine --check-liveliness
hosted-engine --set-maintenance --mode=none
hosted-engine --vm-status

--== Host host1.test.local (id: 1) status ==--

conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : 6d1eb25f
local_conf_timestamp               : 6222296
Host timestamp                     : 6222296
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=6222296 (Fri Jan 17 11:40:43 2020)
        host-id=1
        score=3400
        vm_conf_refresh_time=6222296 (Fri Jan 17 11:40:43 2020)
        conf_on_shared_storage=True
        maintenance=False
        state=EngineUp
        stopped=False

4) Odstránenie hostovaného enginu a všetkého s ním spojeného.

Niekedy je potrebné správne odstrániť predtým nainštalovaný hostovaný motor - odkaz k dokumentu s usmerneniami.

Stačí spustiť príkaz na hostiteľovi:

/usr/sbin/ovirt-hosted-engine-cleanup

Ďalej odstránime nepotrebné balíky a v prípade potreby pred tým zálohujeme niektoré konfigurácie:

yum autoremove ovirt* qemu* virt* libvirt* libguestfs 

Vytvorenie nového dátového centra

Referenčná dokumentácia – oVirt Administration Guide. Kapitola 4: Dátové centrá

Najprv si definujme, čo to je dátové centrum (citujem z pomocníka) je logická entita, ktorá definuje množinu zdrojov používaných v konkrétnom prostredí.

Dátové centrum je druh kontajnera, ktorý pozostáva z:

  • logické zdroje vo forme klastrov a hostiteľov
  • klastrové sieťové prostriedky vo forme logických sietí a fyzických adaptérov na hostiteľoch,
  • úložné prostriedky (pre disky VM, šablóny, obrázky) vo forme úložných oblastí (Storage Domains).

Dátové centrum môže zahŕňať viacero klastrov pozostávajúcich z viacerých hostiteľov s virtuálnymi strojmi, ktoré sú na nich spustené, a môže mať priradených viacero úložných oblastí.
Dátových centier môže byť niekoľko, fungujú nezávisle od seba. Ovirt má oddelenie právomocí podľa roly a oprávnenia môžete nakonfigurovať individuálne, a to na úrovni dátového centra aj na jeho jednotlivých logických prvkoch.

Dátové centrum alebo dátové centrá, ak ich existuje niekoľko, sú riadené z jednej administratívnej konzoly alebo portálu.

Ak chcete vytvoriť dátové centrum, prejdite na administratívny portál a vytvorte nové dátové centrum:
Vypočítať >> dátové centrá >> Nový

Keďže v úložnom systéme používame zdieľané úložisko, typ úložiska by mal byť Zdieľaný:

Snímka obrazovky Sprievodcu vytvorením dátového centra

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Pri inštalácii virtuálneho stroja s hostovaným motorom sa predvolene vytvorí dátové centrum - Dátové centrum1a potom, ak je to potrebné, môžete zmeniť typ úložiska na iný.

Vytvorenie dátového centra je jednoduchá úloha bez akýchkoľvek zložitých nuancií a všetky ďalšie akcie s ním sú popísané v dokumentácii. Jediná vec, ktorú si všimnem, je, že jednotliví hostitelia, ktorí majú iba lokálne úložisko (disk) pre VM, sa nebudú môcť dostať do dátového centra s typom úložiska - zdieľané (nedajú sa tam pridať) a pre nich musíte vytvoriť samostatné dátové centrum – t.j. Každý jednotlivý hostiteľ s lokálnym úložiskom potrebuje svoje samostatné dátové centrum.

Vytvorenie nového klastra

Odkaz na dokumentáciu – oVirt Administration Guide. Kapitola 5: Klastre

Bez zbytočných detailov, zhluk – ide o logické zoskupenie hostiteľov, ktorí majú spoločný úložný priestor (vo forme zdieľaných diskov na úložnom systéme, ako v našom prípade). Je tiež žiaduce, aby hostitelia v klastri boli hardvérovo identickí a mali rovnaký typ procesora (Intel alebo AMD). Najlepšie je, samozrejme, aby servery v klastri boli úplne identické.

Klaster je súčasťou dátového centra (so špecifickým typom úložiska - Miestne alebo Zdieľané) a všetci hostitelia musia patriť do nejakého klastra v závislosti od toho, či majú zdieľané úložisko alebo nie.

Pri inštalácii virtuálneho počítača s hostiteľským strojom na hostiteľovi sa štandardne vytvorí dátové centrum - Dátové centrum1, spolu s klastrom – Skupina 1a v budúcnosti môžete nakonfigurovať jeho parametre, povoliť ďalšie možnosti, pridať k nemu hostiteľov atď.

Ako obvykle, podrobnosti o všetkých nastaveniach klastra je vhodné pozrieť si v oficiálnej dokumentácii. Z niektorých funkcií nastavenia klastra len dodám, že pri jeho vytváraní stačí na karte nakonfigurovať len základné parametre všeobecný.

Uvediem najdôležitejšie parametre:

  • Typ procesora — sa vyberá na základe toho, ktoré procesory sú nainštalované na hostiteľoch klastra, od akého výrobcu sú a ktorý procesor na hostiteľoch je najstarší, takže v závislosti od toho sa použijú všetky dostupné inštrukcie procesora v klastri.
  • Typ prepínača – v našom klastri používame iba Linux bridge, preto sme si ho vybrali.
  • Typ brány firewall – tu je všetko jasné, ide o firewall, ktorý musí byť povolený a nakonfigurovaný na hostiteľoch.

Snímka obrazovky s parametrami klastra

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Inštalácia ďalších hostiteľov v prostredí s vlastným hosťovaním

Odkaz pre dokumentáciu.

Ďalší hostitelia pre prostredie s vlastným hosťovaním sa pridávajú rovnakým spôsobom ako bežný hostiteľ s ďalším krokom nasadenia virtuálneho počítača s hosteným motorom – Vyberte akciu nasadenia hostovaného motora >> rozmiestniť. Keďže dodatočnému hostiteľovi musí byť poskytnutá aj LUN pre VM s hosťovaným motorom, znamená to, že tohto hostiteľa možno v prípade potreby použiť na hosťovanie VM s hosťovaným motorom.
Na účely odolnosti voči chybám sa dôrazne odporúča, aby existovali aspoň dvaja hostitelia, na ktorých je možné umiestniť VM hostovaného motora.

Na ďalšom hostiteľovi zakážte iptables (ak sú povolené), povoľte firewalld

systemctl stop iptables
systemctl disable iptables

systemctl enable firewalld
systemctl start firewalld

Nainštalujte požadovanú verziu KVM (ak je to potrebné):

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

virsh domcapabilities kvm | grep md-clear

Nainštalujte potrebné úložiská a inštalačný program hosteného motora:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
yum -y install epel-release
yum update
yum install screen ovirt-hosted-engine-setup

Ďalej prejdite na konzolu Otvorte Správcu virtualizácie, pridajte nového hostiteľa a robte všetko krok za krokom, ako je napísané v dokumentáciu.

V dôsledku toho by sme po pridaní ďalšieho hostiteľa mali dostať niečo ako obrázok v administratívnej konzole, ako na snímke obrazovky.

Snímka obrazovky administratívneho portálu - hostitelia

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Hostiteľ, na ktorom je momentálne aktívny VM s hostiteľským modulom, má zlatú korunu a nápis „Spustenie hostovaného stroja VM", hostiteľ, na ktorom je možné v prípade potreby spustiť tento VM - nápis "Môže spustiť hostovaný stroj VM".

V prípade zlyhania hostiteľa, na ktorom "Spustenie hostovaného stroja VM“, automaticky sa reštartuje na druhom hostiteľovi. Tento VM možno tiež migrovať z aktívneho hostiteľa do pohotovostného hostiteľa kvôli jeho údržbe.

Nastavenie správy napájania / oplotenia na hostiteľoch oVirt

Odkazy na dokumentáciu:

Aj keď sa môže zdať, že ste dokončili pridávanie a konfiguráciu hostiteľa, nie je to úplne pravda.
Na normálnu prevádzku hostiteľov a na identifikáciu/riešenie porúch ktoréhokoľvek z nich sú potrebné nastavenia správy napájania / oplotenia.

Oplotenie, alebo oplotenie, je proces dočasného vylúčenia chybného alebo neúspešného hostiteľa z klastra, počas ktorého sa reštartujú buď služby oVirt na ňom alebo samotný hostiteľ.

Všetky podrobnosti o definíciách a parametroch správy napájania / oplotenia sú ako obvykle uvedené v dokumentácii; Uvediem iba príklad, ako nakonfigurovať tento dôležitý parameter, ako je aplikovaný na servery Dell R640 s iDRAC 9.

  1. Prejdite na administratívny portál, kliknite Vypočítať >> hostitelia vyberte hostiteľa.
  2. Kliknite editovať.
  3. Kliknite na kartu Power Management.
  4. Začiarknite políčko vedľa možnosti Povoliť správu napájania.
  5. Začiarknite políčko vedľa možnosti Integrácia Kdumpaby sa zabránilo prechodu hostiteľa do režimu oplotenia počas zaznamenávania výpisu zrútenia jadra.

Poznámka.

Po povolení integrácie Kdump na už spustenom hostiteľovi ho treba preinštalovať podľa postupu v oVirt Administration Guide -> Kapitola 7: Hostitelia -> Preinštalovanie hostiteľov.

  1. Voliteľne môžete začiarknuť políčko Zakázať kontrolu politiky správy napájania, ak nechceme, aby bola správa napájania hostiteľa riadená politikou plánovania klastra.
  2. Kliknite na tlačidlo (+), ak chcete pridať nové zariadenie na správu napájania, otvorí sa okno na úpravu vlastností agenta.
    Pre iDRAC9 vyplňte polia:

    • adresa – adresa iDRAC9
    • Používateľské meno / heslo – prihlasovacie meno a heslo na prihlásenie do iDRAC9, resp
    • Typ —drac5
    • značka bezpečne
    • pridajte nasledujúce možnosti: cmd_prompt=>,login_timeout=30

Snímka obrazovky s parametrami „Správa napájania“ vo vlastnostiach hostiteľa

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytvorenie úložného priestoru alebo úložných domén

Odkaz na dokumentáciu – oVirt Administration Guide, Kapitola 8: Skladovanie.

Úložná doména, alebo úložná oblasť, je centralizované miesto na ukladanie diskov virtuálnych strojov, inštalačných obrazov, šablón a snímok.

Úložné priestory môžu byť pripojené k dátovému centru pomocou rôznych protokolov, klastrových a sieťových súborových systémov.

oVirt má tri typy úložných priestorov:

  • Doména údajov – na ukladanie všetkých údajov spojených s virtuálnymi strojmi (disky, šablóny). Dátovú doménu nemožno zdieľať medzi rôznymi dátovými centrami.
  • ISO doména (zastaraný typ úložného priestoru) – na ukladanie inštalačných obrazov OS. Doménu ISO je možné zdieľať medzi rôznymi dátovými centrami.
  • Exportovať doménu (zastaraný typ úložného priestoru) – na dočasné ukladanie obrázkov presúvaných medzi dátovými centrami.

V našom konkrétnom prípade úložná oblasť typu Data Domain používa na pripojenie k LUN v úložnom systéme protokol Fibre Channel Protocol (FCP).

Z pohľadu oVirt je pri použití úložných systémov (FC alebo iSCSI) každý virtuálny disk, snímka alebo šablóna logickým diskom.
Blokové zariadenia sú zostavené do jednej jednotky (na hostiteľoch klastra) pomocou skupiny zväzkov a potom rozdelené pomocou LVM na logické zväzky, ktoré sa používajú ako virtuálne disky pre virtuálne počítače.

Všetky tieto skupiny a mnoho zväzkov LVM je možné vidieť na hostiteľovi klastra pomocou príkazov atď и lvs. Prirodzene, všetky akcie s takýmito diskami by sa mali vykonávať iba z konzoly oVirt, s výnimkou špeciálnych prípadov.

Virtuálne disky pre VM môžu byť dvoch typov – QCOW2 alebo RAW. Disky môžu byť "tenký"alebo"hustý". Snímky sa vždy vytvárajú ako "tenký".

Spôsob správy úložných domén alebo úložných oblastí, ku ktorým sa pristupuje cez FC, je celkom logický – pre každý virtuálny disk VM existuje samostatný logický zväzok, do ktorého môže zapisovať iba jeden hostiteľ. Pre FC pripojenia používa oVirt niečo ako klastrovaný LVM.

Virtuálne počítače umiestnené na rovnakej úložnej oblasti možno migrovať medzi hostiteľmi patriacimi do rovnakého klastra.

Ako vidíme z popisu, klaster v oVirt, podobne ako klaster vo VMware vSphere alebo Hyper-V, v podstate znamená to isté – ide o logické zoskupenie hostiteľov, pokiaľ možno identických v hardvérovom zložení, so spoločným úložiskom pre virtuálne strojové disky.

Prejdime priamo k vytvoreniu úložného priestoru pre dáta (VM disky), keďže bez neho nebude dátové centrum inicializované.
Dovoľte mi pripomenúť, že všetky LUN prezentované hostiteľom klastra na úložnom systéme musia byť na nich viditeľné pomocou príkazu “viaccestný -ll".

Podľa dokumentáciu, prejdite na portál prejdite na Uskladnenie >> domény -> Nová doména a postupujte podľa pokynov v časti „Pridanie úložiska FCP“.

Po spustení sprievodcu vyplňte povinné polia:

  • Meno — nastavte názov klastra
  • Funkcia domény — Údaje
  • Typ úložiska — Fibre Channel
  • Hostiteľ na použitie — vyberte hostiteľa, na ktorom je dostupná LUN, ktorú požadujeme

V zozname LUN označíme ten, ktorý potrebujeme, klikneme pridať a potom ОК. V prípade potreby si kliknutím na upravíte ďalšie parametre úložného priestoru Rozšírené parametre.

Snímka obrazovky sprievodcu pridaním „domény úložiska“

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Na základe výsledkov sprievodcu by sme mali dostať nový úložný priestor a naše dátové centrum by sa malo presunúť do stavu UPalebo inicializované:

Snímky obrazovky dátového centra a úložných priestorov v ňom:

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytváranie a konfigurácia sietí pre virtuálne stroje

Odkaz na dokumentáciu – oVirt Administration Guide, Kapitola 6: Logické siete

Siete alebo siete slúžia na zoskupenie logických sietí používaných vo virtuálnej infraštruktúre oVirt.

Na interakciu medzi sieťovým adaptérom na virtuálnom počítači a fyzickým adaptérom na hostiteľovi sa používajú logické rozhrania, ako napríklad most Linux.

Na zoskupenie a rozdelenie prevádzky medzi sieťami sú na prepínačoch nakonfigurované siete VLAN.

Pri vytváraní logickej siete pre virtuálne stroje v oVirt jej treba priradiť identifikátor zodpovedajúci číslu VLAN na prepínači, aby mohli VM medzi sebou komunikovať, aj keď bežia na rôznych uzloch klastra.

Predbežné nastavenia sieťových adaptérov na hostiteľoch pre pripojenie virtuálnych strojov bolo potrebné vykonať v predchádzajúci článok – nakonfigurované logické rozhranie väzba1, potom by sa všetky sieťové nastavenia mali vykonávať iba cez administratívny portál oVirt.

Po vytvorení VM s hostovaným motorom sa okrem automatického vytvorenia dátového centra a klastra automaticky vytvorila aj logická sieť na správu nášho klastra - ovritmgmt, ku ktorému bol tento VM pripojený.

V prípade potreby si môžete pozrieť nastavenia logickej siete ovritmgmt a upravte ich, ale musíte byť opatrní, aby ste nestratili kontrolu nad infraštruktúrou oVirt.

Nastavenia logickej siete ovritmgmt

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Ak chcete vytvoriť novú logickú sieť pre bežné virtuálne počítače, prejdite na administračnom portáli na sieť >> Siete >> Novýa na karte všeobecný pridajte sieť s požadovaným VLAN ID a tiež začiarknite políčko vedľa „Sieť VM“, to znamená, že ho možno použiť na priradenie k VM.

Snímka obrazovky novej logickej siete VLAN32

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

V záložke Zhluk, pripojíme túto sieť k nášmu klastru Skupina 1.

Po tomto ideme do Vypočítať >> hostitelia, prejdite postupne na každého hostiteľa na kartu Sieťové rozhraniaa spustite sprievodcu Nastavte hostiteľské siete, aby sa naviazali na hostiteľov novej logickej siete.

Snímka obrazovky sprievodcu „Nastavenie hostiteľských sietí“.

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Agent oVirt automaticky vykoná všetky potrebné nastavenia siete na hostiteľovi – vytvorí VLAN a BRIDGE.

Príklady konfiguračných súborov pre nové siete na hostiteľovi:

cat ifcfg-bond1
# Generated by VDSM version 4.30.17.1
DEVICE=bond1
BONDING_OPTS='mode=1 miimon=100'
MACADDR=00:50:56:82:57:52
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-bond1.432
# Generated by VDSM version 4.30.17.1
DEVICE=bond1.432
VLAN=yes
BRIDGE=ovirtvm-vlan432
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-ovirtvm-vlan432
# Generated by VDSM version 4.30.17.1
DEVICE=ovirtvm-vlan432
TYPE=Bridge
DELAY=0
STP=off
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

Dovoľte mi ešte raz pripomenúť, že na hostiteľovi klastra NETREBA vytvorte sieťové rozhrania ručne vopred ifcfg-bond1.432 и ifcfg-ovirtvm-vlan432.

Po pridaní logickej siete a skontrolovaní spojenia medzi hostiteľom a hostovaným motorom VM ju možno použiť vo virtuálnom stroji.

Vytvorenie inštalačného obrazu na nasadenie virtuálneho počítača

Odkaz na dokumentáciu – oVirt Administration Guide, Kapitola 8: Skladovanie, časť Nahrávanie obrázkov do domény na ukladanie údajov.

Bez inštalačného obrazu OS nebude možné nainštalovať virtuálny stroj, aj keď to samozrejme nie je problém, ak je nainštalovaný napr. koktail s vopred vytvorenými obrázkami.

V našom prípade to nie je možné, takže tento obrázok budete musieť importovať do oVirtu sami. Predtým to vyžadovalo vytvorenie domény ISO, ale v novej verzii oVirt bola táto podpora zastaraná, a preto teraz môžete nahrávať obrázky priamo do domény Storage z administratívneho portálu.

V administratívnom portáli prejdite na Uskladnenie >> Disky >> nahrať >> štart
Pridáme náš obrázok OS ako súbor ISO, vyplníme všetky polia vo formulári a klikneme na tlačidlo „Otestujte pripojenie".

Snímka obrazovky Sprievodcu pridaním obrázka inštalácie

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Ak dostaneme takúto chybu:

Unable to upload image to disk d6d8fd10-c1e0-4f2d-af15-90f8e636dadc due to a network error. Ensure that ovirt-imageio-proxy service is installed and configured and that ovirt-engine's CA certificate is registered as a trusted CA in the browser. The certificate can be fetched from https://ovirt.test.local/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA`

Potom musíte pridať certifikát oVirt do „Dôveryhodné koreňové CA"(Trusted Root CA) na riadiacej stanici správcu, odkiaľ sa pokúšame stiahnuť obrázok.

Po pridaní certifikátu do dôveryhodnej koreňovej CA znova kliknite na „Otestujte pripojenie", mal by dostať:

Connection to ovirt-imageio-proxy was successful.

Po dokončení akcie pridania certifikátu môžete skúsiť znova nahrať obraz ISO do úložnej domény.

V zásade môžete vytvoriť samostatnú úložnú doménu s typom údajov na ukladanie obrázkov a šablón oddelene od diskov VM, alebo ich dokonca uložiť v úložnej doméne pre hostovaný engine, je to však na rozhodnutí správcu.

Snímka obrazovky s obrázkami ISO v úložnej doméne pre hostovaný nástroj

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytvorte virtuálny stroj

Odkaz na dokumentáciu:
oVirt Sprievodca správou virtuálneho počítača –> Kapitola 2: Inštalácia virtuálnych počítačov Linux
Zdroje klientov konzoly

Po načítaní inštalačného obrazu s OS do oVirt môžete prejsť priamo k vytvoreniu virtuálneho počítača. Urobilo sa veľa práce, ale už sme v konečnej fáze, kvôli ktorej sa to všetko začalo - získanie infraštruktúry odolnej voči chybám na hosťovanie vysoko dostupných virtuálnych strojov. A to všetko je úplne zadarmo – na nákup akýchkoľvek softvérových licencií sa neminul ani cent.

Ak chcete vytvoriť virtuálny počítač s CentOS 7, musíte si stiahnuť inštalačný obraz z operačného systému.

Ideme na administratívny portál, prejdite na Vypočítať >> Virtuálne strojea spustite sprievodcu vytvorením VM. Vyplňte všetky parametre a polia a kliknite ОК. Všetko je veľmi jednoduché, ak budete postupovať podľa dokumentácie.

Ako príklad uvediem základné a dodatočné nastavenia vysoko dostupného VM s vytvoreným diskom, pripojeným k sieti a zavádzaním z inštalačného obrazu:

Snímky obrazovky s vysoko dostupnými nastaveniami VM

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Po dokončení práce so sprievodcom ho zatvorte, spustite nový VM a nainštalujte naň OS.
Ak to chcete urobiť, prejdite do konzoly tohto virtuálneho počítača cez administratívny portál:

Snímka obrazovky nastavení administračného portálu na pripojenie ku konzole VM

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Ak sa chcete pripojiť ku konzole VM, musíte najprv nakonfigurovať konzolu vo vlastnostiach virtuálneho počítača.

Snímka obrazovky nastavení VM, karta „Konzola“.

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Na pripojenie ku konzole VM môžete použiť napr. Prehliadač virtuálnych strojov.

Ak sa chcete pripojiť ku konzole VM priamo v okne prehliadača, nastavenia pripojenia cez konzolu by mali byť nasledovné:

Vytvorenie IT infraštruktúry odolnej voči chybám. Časť 2. Inštalácia a konfigurácia klastra oVirt 4.3

Po inštalácii OS na VM je vhodné nainštalovať hosťujúceho agenta oVirt:

yum -y install epel-release
yum install -y ovirt-guest-agent-common
systemctl enable ovirt-guest-agent.service && systemctl restart ovirt-guest-agent.service
systemctl status ovirt-guest-agent.service

V dôsledku nášho konania bude teda vytvorený VM vysoko dostupný, t.j. ak zlyhá uzol klastra, na ktorom beží, oVirt ho automaticky reštartuje na druhom uzle. Tento VM je možné migrovať aj medzi hostiteľmi klastra na ich údržbu alebo iné účely.

Záver

Dúfam, že sa týmto článkom podarilo sprostredkovať, že oVirt je úplne bežný nástroj na správu virtuálnej infraštruktúry, ktorý nie je až taký náročný na nasadenie – hlavné je dodržiavať určité pravidlá a požiadavky popísané v článku aj v dokumentácii.

Kvôli veľkému objemu článku do neho nebolo možné zahrnúť veľa vecí, ako napríklad postupné vykonávanie rôznych sprievodcov so všetkými podrobnými vysvetleniami a screenshotmi, dlhé závery niektorých príkazov atď. V skutočnosti by to vyžadovalo napísanie celej knihy, čo nedáva veľký zmysel, pretože nové verzie softvéru sa neustále objavujú s inováciami a zmenami. Najdôležitejšie je pochopiť princíp toho, ako to všetko spolu funguje, a získať všeobecný algoritmus na vytvorenie platformy odolnej voči chybám na správu virtuálnych strojov.

Aj keď sme vytvorili virtuálnu infraštruktúru, teraz ju musíme naučiť interagovať medzi jej jednotlivými prvkami: hostiteľmi, virtuálnymi strojmi, internými sieťami a vonkajším svetom.

Tento proces je jednou z hlavných úloh správcu systému alebo siete, ktorej sa budeme venovať v nasledujúcom článku - o použití virtuálnych smerovačov VyOS v infraštruktúre odolnej voči chybám nášho podniku (ako ste uhádli, budú fungovať ako virtuálne stroje v našom klastri oVirt).

Zdroj: hab.com

Pridať komentár