🥇Erstellung einer fehlertoleranten IT-Infrastruktur. Teil 2. Installation und Konfiguration des oVirt 4.3-Clusters

Dieser Artikel ist eine Fortsetzung des vorherigen – „Schaffung einer fehlertoleranten IT-Infrastruktur. Teil 1 – Vorbereiten der Bereitstellung eines oVirt 4.3-Clusters".

Dabei wird der Prozess der grundlegenden Installation und Konfiguration eines oVirt 4.3-Clusters zum Hosten hochverfügbarer virtueller Maschinen behandelt, wobei berücksichtigt wird, dass alle vorbereitenden Schritte zur Vorbereitung der Infrastruktur bereits zuvor abgeschlossen wurden.

Вводная часть

Der Hauptzweck des Artikels besteht darin, Schritt-für-Schritt-Anleitungen bereitzustellen wie „Weiter -> Ja -> Endziel„Wie man einige Funktionen bei der Installation und Konfiguration anzeigt. Der Prozess zur Bereitstellung Ihres Clusters stimmt aufgrund der Merkmale der Infrastruktur und Umgebung möglicherweise nicht immer mit dem darin beschriebenen überein, die allgemeinen Prinzipien sind jedoch dieselben.

Aus subjektiver Sicht oVirt 4.3 Die Funktionalität ähnelt der von VMware vSphere Version 5.x, verfügt jedoch natürlich über eigene Konfigurations- und Betriebsfunktionen.

Alle Unterschiede zwischen RHEV (auch bekannt als oVirt) und VMware vSphere finden Interessenten beispielsweise im Internet hier, aber ich werde im Verlauf des Artikels immer noch gelegentlich einige ihrer Unterschiede oder Ähnlichkeiten feststellen.

Unabhängig davon möchte ich die Arbeit mit Netzwerken für virtuelle Maschinen ein wenig vergleichen. oVirt implementiert ein ähnliches Prinzip der Netzwerkverwaltung für virtuelle Maschinen (im Folgenden VMs genannt), wie in VMware vSphere:

Verwendung einer Standard-Linux-Bridge (in VMware - Standard-vSwitch), läuft auf Virtualisierungshosts;
mit Open vSwitch (OVS) (in VMware - Verteilter vSwitch) ist ein verteilter virtueller Switch, der aus zwei Hauptkomponenten besteht: einem zentralen OVN-Server und OVN-Controllern auf verwalteten Hosts.

Es ist zu beachten, dass der Artikel aufgrund der einfachen Implementierung die Einrichtung von Netzwerken in oVirt für eine VM unter Verwendung einer Standard-Linux-Bridge beschreibt, die bei Verwendung des KVM-Hypervisors die Standardwahl ist.

In diesem Zusammenhang gibt es mehrere Grundregeln für die Arbeit mit dem Netzwerk in einem Cluster, gegen die man am besten nicht verstoßen sollte:

Alle Netzwerkeinstellungen auf Hosts müssen vor dem Hinzufügen zu oVirt identisch sein, mit Ausnahme der IP-Adressen.
Sobald ein Host unter die Kontrolle von oVirt genommen wurde, wird dringend davon abgeraten, manuell etwas an den Netzwerkeinstellungen darauf zu ändern, ohne volles Vertrauen in Ihre Aktionen zu haben, da der oVirt-Agent sie nach dem Neustart einfach auf die vorherigen zurücksetzt Gastgeber oder Agent.
Das Hinzufügen eines neuen Netzwerks für eine VM sowie die Arbeit damit sollten nur über die oVirt-Verwaltungskonsole erfolgen.

Ein weiterer wichtiger hinweis — Für ein sehr kritisches Umfeld (sehr empfindlich gegenüber finanziellen Verlusten) wäre es dennoch empfehlenswert, kostenpflichtigen Support und Nutzung zu nutzen Red Hat Virtualisierung 4.3. Während des Betriebs des oVirt-Clusters können einige Probleme auftreten, bei denen es ratsam ist, so schnell wie möglich qualifizierte Hilfe in Anspruch zu nehmen, anstatt sich selbst darum zu kümmern.

Und endlich, empfohlen Machen Sie sich vor der Bereitstellung eines oVirt-Clusters damit vertraut offizielle Dokumentation, um zumindest die grundlegenden Konzepte und Definitionen zu kennen, sonst wird es etwas schwierig, den Rest des Artikels zu lesen.

Grundlegend für das Verständnis des Artikels und der Funktionsprinzipien des oVirt-Clusters sind die folgenden Leitfäden:

Der Umfang dort ist nicht sehr groß, in ein oder zwei Stunden kann man die Grundprinzipien durchaus beherrschen, aber wer sich für Details interessiert, dem sei die Lektüre empfohlen Produktdokumentation für Red Hat Virtualization 4.3 — RHEV und oVirt sind im Wesentlichen dasselbe.

Sind also alle Grundeinstellungen an den Hosts, Switches und Storage-Systemen abgeschlossen, geht es direkt mit der Bereitstellung von oVirt weiter.

Teil 2. Installation und Konfiguration des oVirt 4.3-Clusters

Zur leichteren Orientierung liste ich die Hauptabschnitte dieses Artikels auf, die einzeln ausgefüllt werden müssen:

Installation des oVirt-Verwaltungsservers
Schaffung eines neuen Rechenzentrums
Erstellen eines neuen Clusters
Installieren zusätzlicher Hosts in einer selbstgehosteten Umgebung
Erstellen eines Speicherbereichs oder von Speicherdomänen
Erstellen und Konfigurieren von Netzwerken für virtuelle Maschinen
Erstellen eines Installationsimages zum Bereitstellen einer virtuellen Maschine
Erstellen Sie eine virtuelle Maschine

Installation des oVirt-Verwaltungsservers

oVirt-Verwaltungsserver ist das wichtigste Element der oVirt-Infrastruktur in Form einer virtuellen Maschine, eines Hosts oder eines virtuellen Geräts, das die gesamte oVirt-Infrastruktur verwaltet.

Seine engen Analogien aus der Welt der Virtualisierung sind:

VMware vSphere – vCenter Server
Microsoft Hyper-V – System Center Virtual Machine Manager (VMM).

Um den oVirt-Managementserver zu installieren, haben wir zwei Möglichkeiten:

Option 1
Bereitstellung eines Servers in Form einer spezialisierten VM oder eines Hosts.

Diese Option funktioniert ganz gut, vorausgesetzt jedoch, dass eine solche VM unabhängig vom Cluster arbeitet, d. h. läuft auf keinem Cluster-Host als normale virtuelle Maschine, auf der KVM ausgeführt wird.

Warum kann eine solche VM nicht auf Cluster-Hosts bereitgestellt werden?

Ganz am Anfang des Prozesses der Bereitstellung des oVirt-Verwaltungsservers stehen wir vor einem Dilemma: Wir müssen eine Verwaltungs-VM installieren, aber tatsächlich gibt es noch keinen Cluster selbst, und was können wir uns daher spontan einfallen lassen? Das ist richtig: Installieren Sie KVM auf einem zukünftigen Clusterknoten, erstellen Sie darauf eine virtuelle Maschine, beispielsweise mit CentOS OS, und stellen Sie darin die oVirt-Engine bereit. Dies kann in der Regel aus Gründen der vollständigen Kontrolle über eine solche VM erfolgen, ist jedoch eine Fehlabsicht, denn in diesem Fall wird es in Zukunft zu 100 % zu Problemen mit einer solchen Kontroll-VM kommen:

es kann nicht in der oVirt-Konsole zwischen Hosts (Knoten) des Clusters migriert werden;
bei der Migration mit KVM über Virsh migrieren, steht diese VM nicht für die Verwaltung über die oVirt-Konsole zur Verfügung.
Cluster-Hosts können nicht angezeigt werden Wartungsmodus (Wartungsmodus), wenn Sie diese VM von Host zu Host migrieren Virsh migrieren.

Machen Sie also alles gemäß den Regeln – verwenden Sie entweder einen separaten Host für den oVirt-Verwaltungsserver oder eine darauf laufende unabhängige VM, oder noch besser, gehen Sie wie in der zweiten Option beschrieben vor.

Option 2
Installieren der oVirt Engine Appliance auf einem von ihr verwalteten Cluster-Host.

Diese Option wird in unserem Fall weiter als richtiger und geeigneter angesehen.
Im Folgenden werden die Anforderungen an eine solche VM beschrieben; ich möchte nur hinzufügen, dass es empfehlenswert ist, mindestens zwei Hosts in der Infrastruktur zu haben, auf denen die Steuerungs-VM ausgeführt werden kann, um sie fehlertolerant zu machen. Hier möchte ich hinzufügen, dass ich, wie ich bereits in den Kommentaren im vorherigen Artikel geschrieben habe, nie dazu in der Lage war geteiltes Gehirn auf einem oVirt-Cluster aus zwei Hosts, mit der Möglichkeit, darauf gehostete Engine-VMs auszuführen.

Installieren der oVirt Engine Appliance auf dem ersten Host des Clusters

Link zur offiziellen Dokumentation - oVirt Self-Hosted Engine-Leitfaden, Kapitel "Bereitstellen der selbstgehosteten Engine über die Befehlszeile»

Das Dokument spezifiziert die Voraussetzungen, die vor der Bereitstellung einer gehosteten Engine-VM erfüllt sein müssen, und beschreibt auch detailliert den Installationsprozess selbst, sodass es wenig Sinn macht, ihn wörtlich zu wiederholen, daher werden wir uns auf einige wichtige Details konzentrieren.

Bevor Sie alle Aktionen starten, stellen Sie sicher, dass die Virtualisierungsunterstützung in den BIOS-Einstellungen auf dem Host aktiviert ist.
Installieren Sie das Paket für das Hosted-Engine-Installationsprogramm auf dem Host:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm 
yum -y install epel-release
yum install screen ovirt-hosted-engine-setup

Wir starten den Vorgang zur Bereitstellung der oVirt Hosted Engine im Bildschirm auf dem Host (Sie können ihn über Strg-A + D verlassen, schließen über Strg-D):

screen
hosted-engine --deploy

Wenn Sie möchten, können Sie die Installation mit einer vorgefertigten Antwortdatei ausführen:

hosted-engine --deploy --config-append=/var/lib/ovirt-hosted-engine-setup/answers/answers-ohe.conf

Bei der Bereitstellung der gehosteten Engine geben wir alle erforderlichen Parameter an:

- имя кластера
- количество vCPU и vRAM (рекомендуется 4 vCPU и 16 Гб)
- пароли
- тип хранилища для hosted engine ВМ – в нашем случае FC
- номер LUN для установки hosted engine
- где будет находиться база данных для hosted engine – рекомендую для простоты выбрать Local (это БД PostgreSQL работающая внутри этой ВМ)
и др. параметры.

Um eine hochverfügbare VM mit einer gehosteten Engine zu installieren, haben wir zuvor eine spezielle LUN auf dem Speichersystem erstellt, Nummer 4 und 150 GB groß, die dann den Cluster-Hosts präsentiert wurde – siehe vorheriger Artikel.

Zuvor haben wir auch die Sichtbarkeit auf Hosts überprüft:

multipath -ll
…
3600a098000e4b4b3000003c95d171065 dm-3 DELL    , MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Der Bereitstellungsprozess der gehosteten Engine selbst ist nicht kompliziert; am Ende sollten wir etwa Folgendes erhalten:

[ INFO  ] Generating answer file '/var/lib/ovirt-hosted-engine-setup/answers/answers-20191129131846.conf'
[ INFO  ] Generating answer file '/etc/ovirt-hosted-engine/answers.conf'
[ INFO  ] Stage: Pre-termination
[ INFO  ] Stage: Termination
[ INFO  ] Hosted Engine successfully deployed

Wir prüfen das Vorhandensein von oVirt-Diensten auf dem Host:

Wenn alles richtig gemacht wurde, können Sie nach Abschluss der Installation über einen Webbrowser darauf zugreifen https://ovirt_hostname/ovirt-engine vom Computer des Administrators aus und klicken Sie auf [Verwaltungsportal].

Screenshot von „Verwaltungsportal“

Durch die Eingabe des Logins und des Passworts (während des Installationsvorgangs festgelegt) in das Fenster wie im Screenshot gelangen wir zum Open Virtualization Manager-Kontrollfeld, in dem Sie alle Aktionen mit der virtuellen Infrastruktur durchführen können:

Rechenzentrum hinzufügen
Einen Cluster hinzufügen und konfigurieren
Hosts hinzufügen und verwalten
Fügen Sie Speicherbereiche oder Speicherdomänen für Festplatten virtueller Maschinen hinzu
Netzwerke für virtuelle Maschinen hinzufügen und konfigurieren
Fügen Sie virtuelle Maschinen, Installationsimages und VM-Vorlagen hinzu und verwalten Sie sie

Alle diese Aktionen werden weiter besprochen, einige in großen Zellen, andere detaillierter und mit Nuancen.
Aber zuerst würde ich empfehlen, dieses Add-on zu lesen, das wahrscheinlich für viele nützlich sein wird.

Zusatz

1) Wenn ein solcher Bedarf besteht, hindert Sie im Prinzip nichts daran, den KVM-Hypervisor vorab mithilfe von Paketen auf den Clusterknoten zu installieren libvirt и qemu-kvm (oder qemu-kvm-ev) der gewünschten Version, obwohl er dies bei der Bereitstellung eines oVirt-Clusterknotens selbst tun kann.

Aber wenn die libvirt и qemu-kvm Wenn Sie nicht die neueste Version installiert haben, erhalten Sie beim Bereitstellen einer gehosteten Engine möglicherweise die folgende Fehlermeldung:

error: unsupported configuration: unknown CPU feature: md-clear

Diese. haben müssen aktualisierte Version libvirt mit Schutz vor MDS, die diese Richtlinie unterstützt:

<feature policy='require' name='md-clear'/>

Installieren Sie libvirt v.4.5.0-10.el7_6.12 mit MD-Clear-Unterstützung:

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

Überprüfen Sie, ob „md-clear“ unterstützt wird:

virsh domcapabilities kvm | grep require
      <feature policy='require' name='ss'/>
      <feature policy='require' name='hypervisor'/>
      <feature policy='require' name='tsc_adjust'/>
      <feature policy='require' name='clflushopt'/>
      <feature policy='require' name='pku'/>
      <feature policy='require' name='md-clear'/>
      <feature policy='require' name='stibp'/>
      <feature policy='require' name='ssbd'/>
      <feature policy='require' name='invtsc'/>

Danach können Sie mit der Installation der gehosteten Engine fortfahren.

2) In oVirt 4.3 das Vorhandensein und die Verwendung einer Firewall Feuerland ist eine zwingende Voraussetzung.

Wenn wir während der Bereitstellung einer VM für die gehostete Engine die folgende Fehlermeldung erhalten:

[ ERROR ] fatal: [localhost]: FAILED! => {"changed": false, "msg": "firewalld is required to be enabled and active in order to correctly deploy hosted-engine. Please check, fix accordingly and re-deploy.n"}
[ ERROR ] Failed to execute stage 'Closing up': Failed executing ansible-playbook
[https://bugzilla.redhat.com/show_bug.cgi?id=1608467

Dann müssen Sie eine andere Firewall deaktivieren (falls verwendet) und installieren und ausführen Feuerland:

yum install firewalld
systemctl enable firewalld
systemctl start firewalld

firewall-cmd --state
firewall-cmd --get-default-zone
firewall-cmd --get-active-zones
firewall-cmd --get-zones

Wenn der Ovirt-Agent später auf einem neuen Host für den Cluster installiert wird, werden die erforderlichen Ports konfiguriert Feuerland automatisch.

3) Neustart eines Hosts, auf dem eine VM mit einer gehosteten Engine ausgeführt wird.

Wie gewöhnlich, 1-Verknüpfung и 2-Verknüpfung zu maßgeblichen Dokumenten.

Die gesamte Verwaltung der gehosteten Engine-VM erfolgt NUR über den Befehl gehostete-Engine auf dem Host, auf dem es läuft, ungefähr virsch Wir müssen vergessen, ebenso wie die Tatsache, dass Sie über SSH eine Verbindung zu dieser VM herstellen und den Befehl „Schließung".

Vorgehensweise zum Versetzen einer VM in den Wartungsmodus:

hosted-engine --set-maintenance --mode=global

hosted-engine --vm-status
!! Cluster is in GLOBAL MAINTENANCE mode !!
--== Host host1.test.local (id: 1) status ==--
conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : dee1a774
local_conf_timestamp               : 1821
Host timestamp                     : 1821
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=1821 (Sat Nov 29 14:25:19 2019)
        host-id=1
        score=3400
        vm_conf_refresh_time=1821 (Sat Nov 29 14:25:19 2019)
        conf_on_shared_storage=True
        maintenance=False
        state=GlobalMaintenance
        stopped=False

hosted-engine --vm-shutdown

Wir starten den Host mit dem gehosteten Engine-Agenten neu und machen damit, was wir brauchen.

Überprüfen Sie nach dem Neustart den Status der VM mit der gehosteten Engine:

hosted-engine --vm-status

Wenn unsere VM mit der gehosteten Engine nicht startet und wir ähnliche Fehler im Serviceprotokoll sehen:

Fehler im Serviceprotokoll:

journalctl -u ovirt-ha-agent
...
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine ERROR Failed to start necessary monitors
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Traceback (most recent call last):#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 131, in _run_agent#012    return action(he)#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 55, in action_proper#012    return he.start_monitoring()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 413, in start_monitoring#012    self._initialize_broker()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 537, in _initialize_broker#012    m.get('options', {}))#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py", line 86, in start_monitor#012    ).format(t=type, o=options, e=e)#012RequestError: brokerlink - failed to start monitor via ovirt-ha-broker: [Errno 2] No such file or directory, [monitor: 'ping', options: {'addr': '172.20.32.32'}]
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Trying to restart agent

Dann verbinden wir den Speicher und starten den Agenten neu:

hosted-engine --connect-storage
systemctl restart ovirt-ha-agent
systemctl status ovirt-ha-agent

hosted-engine --vm-start
hosted-engine --vm-status

Nachdem wir die VM mit der Hosted-Engine gestartet haben, verlassen wir den Wartungsmodus:

Vorgehensweise zum Entfernen einer VM aus dem Wartungsmodus:

hosted-engine --check-liveliness
hosted-engine --set-maintenance --mode=none
hosted-engine --vm-status

--== Host host1.test.local (id: 1) status ==--

conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : 6d1eb25f
local_conf_timestamp               : 6222296
Host timestamp                     : 6222296
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=6222296 (Fri Jan 17 11:40:43 2020)
        host-id=1
        score=3400
        vm_conf_refresh_time=6222296 (Fri Jan 17 11:40:43 2020)
        conf_on_shared_storage=True
        maintenance=False
        state=EngineUp
        stopped=False

4) Entfernen der gehosteten Engine und aller damit verbundenen Elemente.

Manchmal ist es notwendig, eine zuvor installierte gehostete Engine ordnungsgemäß zu entfernen – Link zum Leitfaden.

Führen Sie einfach den Befehl auf dem Host aus:

/usr/sbin/ovirt-hosted-engine-cleanup

Als nächstes entfernen wir unnötige Pakete und sichern bei Bedarf vorher einige Konfigurationen:

yum autoremove ovirt* qemu* virt* libvirt* libguestfs

Schaffung eines neuen Rechenzentrums

Referenzdokumentation – oVirt Administration Guide. Kapitel 4: Rechenzentren

Lassen Sie uns zunächst definieren, was es ist Rechenzentrum (Ich zitiere aus der Hilfe) ist eine logische Entität, die eine Reihe von Ressourcen definiert, die in einer bestimmten Umgebung verwendet werden.

Ein Rechenzentrum ist eine Art Container bestehend aus:

logische Ressourcen in Form von Clustern und Hosts
Cluster-Netzwerkressourcen in Form von logischen Netzwerken und physischen Adaptern auf Hosts,
Speicherressourcen (für VM-Festplatten, Vorlagen, Bilder) in Form von Speicherbereichen (Storage Domains).

Ein Rechenzentrum kann mehrere Cluster umfassen, die aus mehreren Hosts bestehen, auf denen virtuelle Maschinen ausgeführt werden, und ihm können auch mehrere Speicherbereiche zugeordnet sein.
Es können mehrere Rechenzentren vorhanden sein, diese arbeiten unabhängig voneinander. Ovirt verfügt über eine Gewaltenteilung nach Rollen und Sie können Berechtigungen individuell konfigurieren, sowohl auf der Ebene des Rechenzentrums als auch für die einzelnen logischen Elemente.

Das Rechenzentrum oder die Rechenzentren, wenn es mehrere davon gibt, werden von einer einzigen Verwaltungskonsole oder einem einzigen Portal aus verwaltet.

Um ein Rechenzentrum zu erstellen, gehen Sie zum Verwaltungsportal und erstellen Sie ein neues Rechenzentrum:
Berechnen >> Daten Center >> Neu

Da wir gemeinsam genutzten Speicher auf dem Speichersystem verwenden, sollte der Speichertyp „Freigegeben“ lauten:

Screenshot des Assistenten zum Erstellen eines Rechenzentrums

Bei der Installation einer virtuellen Maschine mit Hosted-Engine wird standardmäßig ein Rechenzentrum erstellt – Rechenzentrum1, und dann können Sie bei Bedarf den Speichertyp in einen anderen ändern.

Die Erstellung eines Rechenzentrums ist eine einfache Aufgabe, ohne knifflige Nuancen, und alle weiteren damit verbundenen Aktionen werden in der Dokumentation beschrieben. Das Einzige, was mir auffällt, ist, dass einzelne Hosts, die nur über lokalen Speicher (Festplatte) für VMs verfügen, nicht in ein Rechenzentrum mit Speichertyp „Freigegeben“ gelangen können (sie können dort nicht hinzugefügt werden) und für sie müssen Sie sie erstellen ein separates Rechenzentrum - d.h. Jeder einzelne Host mit lokalem Speicher benötigt ein eigenes Rechenzentrum.

Erstellen eines neuen Clusters

Link zur Dokumentation – oVirt Administration Guide. Kapitel 5: Cluster

Ohne unnötige Details, Cluster – Dies ist eine logische Gruppierung von Hosts, die über einen gemeinsamen Speicherbereich verfügen (in Form von gemeinsam genutzten Festplatten auf einem Speichersystem, wie in unserem Fall). Es ist außerdem wünschenswert, dass die Hosts im Cluster hinsichtlich der Hardware identisch sind und über denselben Prozessortyp (Intel oder AMD) verfügen. Am besten ist es natürlich, wenn die Server im Cluster völlig identisch sind.

Der Cluster ist Teil eines Rechenzentrums (mit einem bestimmten Speichertyp – Lokale oder Gemeinsam genutzt), und alle Hosts müssen zu einer Art Cluster gehören, je nachdem, ob sie über gemeinsamen Speicher verfügen oder nicht.

Bei der Installation einer virtuellen Maschine mit einer gehosteten Engine auf einem Host wird standardmäßig ein Datencenter erstellt – Rechenzentrum1, zusammen mit dem Cluster – Cluster1, und in Zukunft können Sie seine Parameter konfigurieren, zusätzliche Optionen aktivieren, Hosts hinzufügen usw.

Für Details zu allen Cluster-Einstellungen empfiehlt es sich wie üblich, die offizielle Dokumentation zu konsultieren. Von einigen Funktionen beim Einrichten eines Clusters möchte ich nur hinzufügen, dass es beim Erstellen ausreicht, nur die grundlegenden Parameter auf der Registerkarte zu konfigurieren Allgemeines.

Ich werde die wichtigsten Parameter notieren:

Prozessortyp – wird basierend darauf ausgewählt, welche Prozessoren auf den Cluster-Hosts installiert sind, von welchem Hersteller sie stammen und welcher Prozessor auf den Hosts der älteste ist, sodass abhängig davon alle verfügbaren Prozessoranweisungen im Cluster verwendet werden.
Schaltertyp – In unserem Cluster verwenden wir nur Linux Bridge, deshalb haben wir uns dafür entschieden.
Firewall-Typ – hier ist alles klar, das ist firewalld, das auf den Hosts aktiviert und konfiguriert werden muss.

Screenshot mit Cluster-Parametern

Installieren zusätzlicher Hosts in einer selbst gehosteten Umgebung

Link zur Dokumentation.

Zusätzliche Hosts für eine selbstgehostete Umgebung werden auf die gleiche Weise wie ein normaler Host hinzugefügt, mit dem zusätzlichen Schritt der Bereitstellung einer VM mit einer gehosteten Engine – Wählen Sie die Aktion „Bereitstellung der gehosteten Engine“ aus >> Deploy. Da der zusätzliche Host auch über eine LUN für eine VM mit gehosteter Engine verfügen muss, bedeutet dies, dass dieser Host bei Bedarf zum Hosten einer VM mit gehosteter Engine verwendet werden kann.
Aus Gründen der Fehlertoleranz wird dringend empfohlen, dass mindestens zwei Hosts vorhanden sind, auf denen eine gehostete Engine-VM platziert werden kann.

Deaktivieren Sie auf dem zusätzlichen Host iptables (falls aktiviert) und aktivieren Sie firewalld

systemctl stop iptables
systemctl disable iptables

systemctl enable firewalld
systemctl start firewalld

Installieren Sie die erforderliche KVM-Version (falls erforderlich):

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

virsh domcapabilities kvm | grep md-clear

Installieren Sie die erforderlichen Repositorys und das gehostete Engine-Installationsprogramm:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
yum -y install epel-release
yum update
yum install screen ovirt-hosted-engine-setup

Gehen Sie als Nächstes zur Konsole Öffnen Sie den Virtualisierungsmanager, fügen Sie einen neuen Host hinzu und führen Sie alles Schritt für Schritt aus, wie beschrieben Dokumentation.

Als Ergebnis sollten wir nach dem Hinzufügen eines zusätzlichen Hosts in der Verwaltungskonsole etwa das Bild wie im Screenshot erhalten.

Screenshot des Verwaltungsportals – Hosts

Der Host, auf dem die gehostete Engine-VM derzeit aktiv ist, hat eine goldene Krone und die Aufschrift „Ausführen der gehosteten Engine-VM„, der Host, auf dem diese VM bei Bedarf gestartet werden kann – die Aufschrift „Kann die gehostete Engine-VM ausführen".

Im Falle eines Hostausfalls, bei dem „Ausführen der gehosteten Engine-VM", wird es automatisch auf dem zweiten Host neu gestartet. Diese VM kann zu Wartungszwecken auch vom aktiven Host auf den Standby-Host migriert werden.

Einrichten von Power Management/Fencing auf oVirt-Hosts

Dokumentationslinks:

Red Hat Virtualization 4.3 –> Technische Referenz -> Kapitel 4. Energieverwaltung
oVirt-Administrationshandbuch -> Kapitel 7: Gastgeber

Auch wenn es den Anschein hat, als wären Sie mit dem Hinzufügen und Konfigurieren eines Hosts fertig, stimmt das nicht ganz.
Für den normalen Betrieb von Hosts und zur Identifizierung/Behebung von Fehlern bei jedem von ihnen sind Energieverwaltungs-/Fencing-Einstellungen erforderlich.

Fechtenoder Fencing ist der Prozess des vorübergehenden Ausschlusses eines fehlerhaften oder ausgefallenen Hosts aus dem Cluster, bei dem entweder die oVirt-Dienste darauf oder der Host selbst neu gestartet werden.

Alle Details zu den Definitionen und Parametern von Power Management / Fencing finden Sie wie üblich in der Dokumentation; ich gebe nur ein Beispiel für die Konfiguration dieses wichtigen Parameters, angewendet auf Dell R640-Server mit iDRAC 9.

Gehen Sie zum Verwaltungsportal und klicken Sie auf Berechnen >> Hosts Wählen Sie einen Host aus.
Klicken Bearbeiten.
Klicken Sie auf die Registerkarte Power Management.
Aktivieren Sie das Kontrollkästchen neben der Option Aktivieren Sie die Energieverwaltung.
Aktivieren Sie das Kontrollkästchen neben der Option Kdump-Integrationum zu verhindern, dass der Host in den Fencing-Modus wechselt, während er einen Kernel-Crash-Dump aufzeichnet.

Hinweis.

Nachdem die Kdump-Integration auf einem bereits laufenden Host aktiviert wurde, muss sie gemäß dem Verfahren im oVirt-Administrationshandbuch -> neu installiert werden Kapitel 7: Gastgeber -> Hosts neu installieren.

Optional können Sie das Kontrollkästchen aktivieren Deaktivieren Sie die Richtliniensteuerung der Energieverwaltung, wenn wir nicht möchten, dass die Host-Energieverwaltung durch die Planungsrichtlinie des Clusters gesteuert wird.
Drück den Knopf (+), um ein neues Energieverwaltungsgerät hinzuzufügen, wird das Fenster zum Bearbeiten der Agent-Eigenschaften geöffnet.
Füllen Sie für iDRAC9 die Felder aus:
- Adresse – iDRAC9-Adresse
- Benutzername Passwort – Login und Passwort für die Anmeldung bei iDRAC9
- Typ —drac5
- Markierung Security
- Fügen Sie die folgenden Optionen hinzu: cmd_prompt=>,login_timeout=30

Screenshot mit „Power Management“-Parametern in den Host-Eigenschaften

Erstellen eines Speicherbereichs oder von Speicherdomänen

Link zur Dokumentation – oVirt Administration Guide, Kapitel 8: Lagerung.

Speicherdomäneoder Speicherbereich ist ein zentraler Ort zum Speichern von Festplatten virtueller Maschinen, Installationsimages, Vorlagen und Snapshots.

Speicherbereiche können über verschiedene Protokolle, Cluster- und Netzwerkdateisysteme mit dem Rechenzentrum verbunden werden.

oVirt verfügt über drei Arten von Speicherbereichen:

Datendomäne – zum Speichern aller mit virtuellen Maschinen verbundenen Daten (Festplatten, Vorlagen). Data Domain kann nicht zwischen verschiedenen Rechenzentren geteilt werden.
ISO-Domäne (veralteter Speicherbereich) – zum Speichern von Betriebssysteminstallationsimages. Die ISO-Domäne kann von verschiedenen Rechenzentren gemeinsam genutzt werden.
Domäne exportieren (veralteter Speicherbereich) – zur temporären Speicherung von Bildern, die zwischen Rechenzentren verschoben werden.

In unserem speziellen Fall verwendet ein Speicherbereich vom Typ Data Domain das Fibre Channel Protocol (FCP), um eine Verbindung zu LUNs im Speichersystem herzustellen.

Aus Sicht von oVirt ist bei der Verwendung von Speichersystemen (FC oder iSCSI) jede virtuelle Festplatte, jeder Snapshot oder jede Vorlage eine logische Festplatte.
Blockgeräte werden mithilfe von Volume Group zu einer einzigen Einheit (auf Cluster-Hosts) zusammengefasst und dann mithilfe von LVM in logische Volumes unterteilt, die als virtuelle Festplatten für VMs verwendet werden.

Alle diese Gruppen und viele LVM-Volumes können mit den Befehlen auf dem Cluster-Host angezeigt werden etc и Ich gegen. Natürlich sollten alle Aktionen mit solchen Festplatten außer in Sonderfällen nur über die oVirt-Konsole ausgeführt werden.

Es gibt zwei Arten virtueller Festplatten für VMs: QCOW2 oder RAW. Discs können „dünn"Oder"dick". Snapshots werden immer als " erstellt.dünn".

Die Art und Weise, Speicherdomänen oder Speicherbereiche, auf die über FC zugegriffen wird, zu verwalten, ist recht logisch: Für jede virtuelle VM-Festplatte gibt es ein separates logisches Volume, das nur von einem Host beschrieben werden kann. Für FC-Verbindungen verwendet oVirt so etwas wie Clustered LVM.

Virtuelle Maschinen, die sich im selben Speicherbereich befinden, können zwischen Hosts migriert werden, die zum selben Cluster gehören.

Wie wir aus der Beschreibung ersehen können, bedeutet ein Cluster in oVirt, wie ein Cluster in VMware vSphere oder Hyper-V, im Wesentlichen dasselbe – es handelt sich um eine logische Gruppierung von Hosts, die vorzugsweise in der Hardwarezusammensetzung identisch sind und über gemeinsamen Speicher für virtuelle Hosts verfügen Maschinenscheiben.

Fahren wir direkt mit der Erstellung eines Speicherbereichs für Daten (VM-Festplatten) fort, da das Rechenzentrum ohne ihn nicht initialisiert wird.
Ich möchte Sie daran erinnern, dass alle LUNs, die den Cluster-Hosts auf dem Speichersystem präsentiert werden, auf ihnen sichtbar sein müssen, indem Sie den Befehl „Mehrwege -ll".

Согласно Dokumentation, gehen Sie zum Portal gehen Sie zu Lagerung >> Domains -> Neue Domäne und befolgen Sie die Anweisungen im Abschnitt „Hinzufügen von FCP-Speicher“.

Füllen Sie nach dem Starten des Assistenten die erforderlichen Felder aus:

Name und Vorname – Legen Sie den Clusternamen fest
Domänenfunktion -Daten
Speichertyp — Fibre Channel
Host zur Nutzung — Wählen Sie einen Host aus, auf dem die benötigte LUN verfügbar ist

Markieren Sie in der Liste der LUNs die benötigte LUNs und klicken Sie auf Speichern und werfen OK. Bei Bedarf können Sie durch Klicken auf weitere Parameter des Speicherbereichs anpassen Erweiterte Parameter.

Screenshot des Assistenten zum Hinzufügen von „Storage Domain“

Basierend auf den Ergebnissen des Assistenten sollten wir einen neuen Speicherbereich erhalten und unser Rechenzentrum sollte in den Status wechseln UP, oder initialisiert:

Screenshots des Rechenzentrums und der darin befindlichen Lagerbereiche:

Erstellen und Konfigurieren von Netzwerken für virtuelle Maschinen

Link zur Dokumentation – oVirt Administration Guide, Kapitel 6: Logische Netzwerke

Netzwerke oder Netzwerke dienen der Gruppierung logischer Netzwerke, die in der virtuellen Infrastruktur von oVirt verwendet werden.

Für die Interaktion zwischen dem Netzwerkadapter auf der virtuellen Maschine und dem physischen Adapter auf dem Host werden logische Schnittstellen wie die Linux-Bridge verwendet.

Um den Datenverkehr zwischen Netzwerken zu gruppieren und aufzuteilen, werden VLANs auf den Switches konfiguriert.

Beim Erstellen eines logischen Netzwerks für virtuelle Maschinen in oVirt muss diesem eine der VLAN-Nummer entsprechende Kennung auf dem Switch zugewiesen werden, damit die VMs miteinander kommunizieren können, auch wenn sie auf verschiedenen Knoten des Clusters laufen.

Vorläufige Einstellungen der Netzwerkadapter auf Hosts zum Anschluss virtueller Maschinen mussten vorgenommen werden vorheriger Artikel – Logische Schnittstelle konfiguriert bond1, dann sollten alle Netzwerkeinstellungen nur über das oVirt-Verwaltungsportal vorgenommen werden.

Nach der Erstellung einer VM mit Hosted-Engine wurde neben der automatischen Erstellung eines Rechenzentrums und Clusters auch automatisch ein logisches Netzwerk zur Verwaltung unseres Clusters erstellt – ovritmgmt, mit dem diese VM verbunden war.

Bei Bedarf können Sie die logischen Netzwerkeinstellungen einsehen ovritmgmt und passen Sie sie an, aber Sie müssen darauf achten, nicht die Kontrolle über die oVirt-Infrastruktur zu verlieren.

Logische Netzwerkeinstellungen ovritmgmt

Um ein neues logisches Netzwerk für reguläre VMs zu erstellen, gehen Sie im Verwaltungsportal zu Netzwerk >> Netzwerke >> Neu, und auf der Registerkarte Allgemeines Fügen Sie ein Netzwerk mit der gewünschten VLAN-ID hinzu und aktivieren Sie außerdem das Kontrollkästchen neben „VM-Netzwerk", das bedeutet, dass es zur Zuordnung zu einer VM verwendet werden kann.

Screenshot des neuen logischen VLAN32-Netzwerks

Auf der Registerkarte Erweitert Cluster, fügen wir dieses Netzwerk unserem Cluster hinzu Cluster1.

Danach gehen wir zu Berechnen >> Hosts, gehen Sie nacheinander zu jedem Host, zur Registerkarte Netzwerk Schnittstellen, und starten Sie den Assistenten Richten Sie Host-Netzwerke ein, um eine Verbindung zu Hosts eines neuen logischen Netzwerks herzustellen.

Screenshot des Assistenten „Hostnetzwerke einrichten“.

Der oVirt-Agent nimmt automatisch alle notwendigen Netzwerkeinstellungen auf dem Host vor – erstellt ein VLAN und eine BRIDGE.

Beispielkonfigurationsdateien für neue Netzwerke auf dem Host:

cat ifcfg-bond1
# Generated by VDSM version 4.30.17.1
DEVICE=bond1
BONDING_OPTS='mode=1 miimon=100'
MACADDR=00:50:56:82:57:52
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-bond1.432
# Generated by VDSM version 4.30.17.1
DEVICE=bond1.432
VLAN=yes
BRIDGE=ovirtvm-vlan432
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-ovirtvm-vlan432
# Generated by VDSM version 4.30.17.1
DEVICE=ovirtvm-vlan432
TYPE=Bridge
DELAY=0
STP=off
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

Ich möchte Sie noch einmal daran erinnern, dass es sich um den Cluster-Host handelt NICHT NÖTIG Erstellen Sie Netzwerkschnittstellen vorab manuell ifcfg-bond1.432 и ifcfg-ovirtvm-vlan432.

Nachdem Sie ein logisches Netzwerk hinzugefügt und die Verbindung zwischen dem Host und der gehosteten Engine-VM überprüft haben, kann es in der virtuellen Maschine verwendet werden.

Erstellen eines Installationsimages zum Bereitstellen einer virtuellen Maschine

Link zur Dokumentation – oVirt Administration Guide, Kapitel 8: Lagerung, Abschnitt Hochladen von Bildern in eine Datenspeicherdomäne.

Ohne ein OS-Installationsimage ist die Installation einer virtuellen Maschine nicht möglich, was aber natürlich kein Problem darstellt, wenn sie beispielsweise im Netzwerk installiert wird Cobbler mit vorgefertigten Bildern.

In unserem Fall ist dies nicht möglich, daher müssen Sie dieses Bild selbst in oVirt importieren. Früher war hierfür die Erstellung einer ISO-Domäne erforderlich, aber in der neuen Version von oVirt ist dies veraltet, und daher können Sie Bilder jetzt vom Verwaltungsportal aus direkt in die Speicherdomäne hochladen.

Gehen Sie im Verwaltungsportal zu Lagerung >> Disks >> Hochladen >> Startseite
Wir fügen unser Betriebssystem-Image als ISO-Datei hinzu, füllen alle Felder im Formular aus und klicken auf die Schaltfläche „Testverbindung".

Screenshot des Assistenten zum Hinzufügen eines Installationsimages

Wenn wir eine Fehlermeldung wie diese erhalten:

Unable to upload image to disk d6d8fd10-c1e0-4f2d-af15-90f8e636dadc due to a network error. Ensure that ovirt-imageio-proxy service is installed and configured and that ovirt-engine's CA certificate is registered as a trusted CA in the browser. The certificate can be fetched from https://ovirt.test.local/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA`

Dann müssen Sie das oVirt-Zertifikat zu „ hinzufügenVertrauenswürdige Root-CAs„(Vertrauenswürdige Root-CA) auf der Kontrollstation des Administrators, von wo aus wir versuchen, das Image herunterzuladen.

Nachdem Sie das Zertifikat zur vertrauenswürdigen Stammzertifizierungsstelle hinzugefügt haben, klicken Sie erneut auf „Testverbindung", sollte bekommen:

Connection to ovirt-imageio-proxy was successful.

Nachdem Sie das Hinzufügen des Zertifikats abgeschlossen haben, können Sie erneut versuchen, das ISO-Image in die Speicherdomäne hochzuladen.

Im Prinzip können Sie eine separate Speicherdomäne mit dem Datentyp erstellen, um Bilder und Vorlagen getrennt von VM-Festplatten zu speichern, oder sie sogar in einer Speicherdomäne für die gehostete Engine speichern, aber dies liegt im Ermessen des Administrators.

Screenshot mit ISO-Images in der Speicherdomäne für die gehostete Engine

Erstellen Sie eine virtuelle Maschine

Link zur Dokumentation:
oVirt Virtual Machine Management Guide –> Kapitel 2: Installieren von virtuellen Linux-Maschinen
Ressourcen für Konsolen-Clients

Nachdem Sie das Installationsimage mit dem Betriebssystem in oVirt geladen haben, können Sie direkt mit der Erstellung einer virtuellen Maschine fortfahren. Es wurde viel Arbeit geleistet, aber wir befinden uns bereits in der Endphase, für die all dies begonnen wurde – der Erhalt einer fehlertoleranten Infrastruktur für das Hosten hochverfügbarer virtueller Maschinen. Und das alles völlig kostenlos – es wurde kein einziger Cent für den Kauf von Softwarelizenzen ausgegeben.

Um eine virtuelle Maschine mit CentOS 7 zu erstellen, muss das Installationsimage vom Betriebssystem heruntergeladen werden.

Wir gehen zum Verwaltungsportal, gehen Sie zu Berechnen >> Virtuelle Maschinenund starten Sie den VM-Erstellungsassistenten. Füllen Sie alle Parameter und Felder aus und klicken Sie OK. Alles ist sehr einfach, wenn Sie der Dokumentation folgen.

Als Beispiel nenne ich die Grund- und Zusatzeinstellungen einer hochverfügbaren VM mit erstellter Festplatte, Verbindung zum Netzwerk und Booten von einem Installationsimage:

Screenshots mit hochverfügbaren VM-Einstellungen

Nachdem Sie die Arbeit mit dem Assistenten abgeschlossen haben, schließen Sie ihn, starten Sie eine neue VM und installieren Sie das Betriebssystem darauf.
Gehen Sie dazu über das Verwaltungsportal zur Konsole dieser VM:

Screenshot der Verwaltungsportaleinstellungen für die Verbindung zur VM-Konsole

Um eine Verbindung zur VM-Konsole herzustellen, müssen Sie zunächst die Konsole in den Eigenschaften der virtuellen Maschine konfigurieren.

Screenshot der VM-Einstellungen, Registerkarte „Konsole“.

Um eine Verbindung zur VM-Konsole herzustellen, können Sie beispielsweise Folgendes verwenden: Viewer für virtuelle Maschinen.

Um direkt im Browserfenster eine Verbindung zur VM-Konsole herzustellen, sollten die Verbindungseinstellungen über die Konsole wie folgt lauten:

Nach der Installation des Betriebssystems auf der VM empfiehlt es sich, den oVirt-Gastagenten zu installieren:

yum -y install epel-release
yum install -y ovirt-guest-agent-common
systemctl enable ovirt-guest-agent.service && systemctl restart ovirt-guest-agent.service
systemctl status ovirt-guest-agent.service

Somit wird die erstellte VM als Ergebnis unserer Aktionen hochverfügbar sein, d. h. Wenn der Cluster-Knoten, auf dem es ausgeführt wird, ausfällt, startet oVirt ihn automatisch auf dem zweiten Knoten neu. Diese VM kann zu Wartungs- oder anderen Zwecken auch zwischen Cluster-Hosts migriert werden.

Abschluss

Ich hoffe, dass es mir in diesem Artikel gelungen ist zu vermitteln, dass oVirt ein ganz normales Tool zur Verwaltung virtueller Infrastruktur ist, das nicht so schwer zu implementieren ist – die Hauptsache ist, bestimmte Regeln und Anforderungen zu befolgen, die sowohl im Artikel als auch in der Dokumentation beschrieben sind.

Aufgrund des großen Umfangs des Artikels war es nicht möglich, viele Dinge darin aufzunehmen, wie z. B. die schrittweise Ausführung verschiedener Assistenten mit allen detaillierten Erklärungen und Screenshots, lange Schlussfolgerungen einiger Befehle usw. Tatsächlich müsste dafür ein ganzes Buch geschrieben werden, was angesichts der Tatsache, dass ständig neue Softwareversionen mit Innovationen und Änderungen auftauchen, wenig Sinn macht. Das Wichtigste ist, das Prinzip zu verstehen, wie alles zusammenwirkt, und einen allgemeinen Algorithmus zum Erstellen einer fehlertoleranten Plattform für die Verwaltung virtueller Maschinen zu erhalten.

Obwohl wir eine virtuelle Infrastruktur geschaffen haben, müssen wir ihr nun beibringen, sowohl zwischen ihren einzelnen Elementen zu interagieren: Hosts, virtuellen Maschinen, internen Netzwerken als auch mit der Außenwelt.

Dieser Prozess ist eine der Hauptaufgaben eines System- oder Netzwerkadministrators, die im nächsten Artikel behandelt wird – über die Verwendung virtueller VyOS-Router in der fehlertoleranten Infrastruktur unseres Unternehmens (wie Sie vermutet haben, werden sie als virtuelle Router funktionieren). Maschinen auf unserem oVirt-Cluster).

Source: habr.com

Schaffung einer fehlertoleranten IT-Infrastruktur. Teil 2. Installation und Konfiguration des oVirt 4.3-Clusters