🥇Abuuritaanka kaabayaasha IT-ga ee u dulqaadan kara cilladaha. Qaybta 2. Rakibaadda iyo habaynta oVirt 4.3 cluster

Эта статья является продолжением предыдущей – «Abuuritaanka kaabayaasha IT-ga khalad u-dulqaadan karo. Qaybta 1 - diyaarinta in la geeyo kooxda oVirt 4.3".

Waxay dabooli doontaa habka rakibidda aasaasiga ah iyo qaabeynta kooxda oVirt 4.3 ee martigelinta mashiinnada farsamada gacanta ee aadka loo heli karo, iyadoo la tixgelinayo xaqiiqda ah in dhammaan tillaabooyinka hordhaca ah ee diyaarinta kaabayaasha horay loo dhammaystiray.

Hordhac

Ujeedada ugu weyn ee maqaalku waa in la bixiyo tilmaamo tallaabo-tallaabo ah sida "Next -> Haa -> Finish», сколько показать некоторые особенности при его установке и настройке. Процесс по развёртыванию вашего кластера, не всегда может совпадать с описанным в ней, из-за особенностей инфраструктуры и окружения, но общие принципы будут одинаковыми.

Marka laga eego dhinaca aragtida, oVirt 4.3 по своему функционалу похож на VMware vSphere версии 5.х, но конечно же со своими особенностями настройки и работы.

Kuwa xiiseynaya, dhammaan farqiga u dhexeeya RHEV (loo yaqaan oVirt) iyo VMware vSphere waxaa laga heli karaa internetka, tusaale ahaan. halkan, laakiin waxaan wali mararka qaarkood xusi doonaa qaar ay ku kala duwan yihiin ama ay iskaga mid yihiin marka maqaalku sii socdo.

Отдельно хотелось бы немного сравнить работу с сетями для виртуальных машин. В oVirt реализован похожий принцип управления сетями для виртуальных машин (далее ВМ), как и в VMware vSphere:

iyadoo la isticmaalayo buundada Linux caadiga ah (VMware - Heerka vSwitch), ku shaqeeya martigaliyayaasha virtualization;
Adigoo isticmaalaya Open vSwitch (OVS) ( gudaha VMware - Distributed vSwitch) waa beddelaad toos ah oo la qaybiyey oo ka kooban laba qaybood oo waaweyn: server-ka dhexe ee OVN iyo kontaroolayaasha OVN ee martigeliyayaasha la maareeyey.

Необходимо отметить, что из-за простоты реализации, в статье будет описана настройка сетей в oVirt’е для ВМ с помощью стандартного Linux bridge, который является стандартным выбором, при использовании гипервизора KVM.

Marka tan la eego, waxaa jira dhowr xeerar oo aasaasi ah oo loogu talagalay la shaqeynta shabakadda ee koox-kooxeed, kuwaas oo ugu wanaagsan inaan lagu xadgudbin:

Все сетевые настройки на хостах перед добавлением их в oVirt, должны быть идентичными, кроме IP адресов.
После того, как хост взят под управление oVirt’ом, на нём крайне не рекомендуется что-то менять руками в сетевых настройках, без полной уверенности в своих действиях, так как агент oVirt просто откатит их на предыдущие, после рестарта хоста или агента.
Ku darista shabakad cusub oo loogu talagalay VM, iyo sidoo kale la shaqayntiisa, waa in laga sameeyaa oo keliya qalabka maaraynta oVirt.

Mid kale важное замечание — для очень критичного окружения (весьма чувствительного к денежным потерям), всё-таки рекомендовалось бы использовать платную поддержку и использовать Soo Bandhigista Koofiyada Cas 4.3. В процессе эксплуатации кластера oVirt, могут возникать некоторые моменты, по которым желательно как можно скорее получить квалифицированную помощь, а не разбираться с ними самостоятельно.

Iyo ugu dambeyntii waxaa lagu talinayaa Kahor intaadan geynin kooxda oVirt, is baro dukumeenti rasmi ah, чтобы быть в курсе хотя бы основных понятий и определений, иначе далее статью читать будет немного трудно.

Базовыми для понимания статьи и принципов работы кластера oVirt, являются эти руководящие документы:

Объём там не очень большой, за час-два вполне можно осилить основные принципы, а для любителей подробностей рекомендуется почитать Product Documentation for Red Hat Virtualization 4.3 - RHEV iyo oVirt asal ahaan waa isku shay.

Итак, если все базовые настройки на хостах, коммутаторах и СХД выполнены, переходим непосредственно к развёртыванию oVirt.

Qaybta 2. Rakibaadda iyo habaynta kooxda oVirt 4.3

Si loo fududeeyo hanuuninta, waxaan maqaalkan ku tixi doonaa qaybaha ugu muhiimsan, kuwaas oo ay tahay in mid mid loo dhammaystiro:

Ku rakibida server-ka maaraynta oVirt
Создание нового датацентра
Abuuritaanka koox cusub
Ku rakibida martigaliyayaasha dheeraadka ah ee jawi is-martigeliyay
Создание области хранения или Storage Domains
Создание и настройка сетей для виртуальных машин
Abuuritaanka sawirka rakibaadda si loo geeyo mashiinka farsamada
Samee mashiinka farsamada

Ku rakibida server-ka maaraynta oVirt

Maaraynta oVirt – это самый главный элемент в инфраструктуре oVirt, в виде виртуальной машины, хоста, или виртуального устройства, управляющего всей инфраструктурой oVirt.

Analoogyada u dhow ee ka imanaya adduunka wax-ku-oolka ah waa:

VMware vSphere - vCenter Server
Microsoft Hyper-V - Xarunta Nidaamka Maareynta Mashiinnada Farshaxanka (VMM).

Si loo rakibo server-ka maaraynta oVirt, waxaanu haynaa laba ikhtiyaar:

Doorashada 1
Soo dejinta server qaab VM gaar ah ama martigeliyaha.

Этот вариант вполне работает, но при условии, что такая ВМ работает независимо от кластера, т.е. не запущена на каком-либо хосте кластера в виде обычной виртуальной машины под управлением KVM.

Waa maxay sababta VM noocan oo kale ah loo dayn karin kooxda martida loo yahay?

Bilawga bilawga habka loo daadgureynayo server-ka maaraynta oVirt, waxaan leenahay laba daran - waxaan u baahanahay inaan ku rakibno maamulka VM, laakiin dhab ahaantii ma jiraan koox lafteeda weli, sidaas darteed maxaan la imaan karnaa duulista? Taasi waa sax - ku rakib KVM node mustaqbalka, ka dibna ku samee mashiinka farsamada, tusaale ahaan, CentOS OS oo geli mashiinka oVirt. Tan badanaa waxaa loo samayn karaa sababo la xidhiidha xakamaynta buuxda ee VM, laakiin tani waa ujeedo khaldan, sababtoo ah kiiskan, mustaqbalka waxaa jiri doona 100% dhibaatooyinka VM kantaroolka:

laguma guuri karo oVirt console inta u dhaxaysa martigaliyayaasha (nodes) ee kooxda;
marka loo guurayo iyadoo la isticmaalayo KVM virsh migrate, эта ВМ будет недоступна к управлению из консоли oVirt.
хосты кластера нельзя будет вывести в Qaabka dayactirka (qaabka dayactirka), haddii aad ka guurto VM-gan martigeliyaha adigoo isticmaalaya virsh migrate.

Так что делайте всё по правилам — используйте для управляющего сервера oVirt или отдельный хост, или независимую ВМ, запущенную на нём, а лучше делайте как написано во втором варианте.

Doorashada 2
Установка oVirt Engine Appliance на управляемый им же хост кластера.

Именно этот вариант будет рассмотрен далее, как более правильный и подходящий в нашем случае.
Требования к такой ВМ описаны ниже, добавлю лишь, что рекомендуется иметь минимум два хоста в инфраструктуре, на которых может быть запущена управляющая ВМ, чтобы сделать её отказоустойчивой. Здесь хотелось бы добавить, что как писал уже в комментариях в предыдущей статье, мне так и не удалось получить maskaxda kala go'a kutlada oVirt oo ka kooban laba martigaliyayaasha, oo awood u leh in ay ku socodsiiyaan matoorada VM-yada la habeeyay.

Ku Rakibaadda Qalabka Matoorka OVirt ee martigeliyaha ugu horreeya ee kooxda

Xidhiidhka dukumentiyada rasmiga ah - oVirt Hagaha Matoorka Is-Hogaamiyay, cutubka "Gelida Matoorka Is-Hogaamiyay Isticmaalka khadka taliska»

Dukumeentigu wuxuu qeexayaa shuruudaha ay tahay in la buuxiyo ka hor inta aan la dirin VM-matoorka la martigeliyay, sidoo kale wuxuu si faahfaahsan u qeexayaa habka rakibidda laftiisa, sidaas darteed waxaa jira dhibco yar oo lagu soo celinayo hadal ahaan, sidaas darteed waxaan diiradda saari doonaa faahfaahin muhiim ah.

Kahor intaadan bilaabin dhammaan ficilada, hubso inaad karti u siiso taageerada farsamada ee goobaha BIOS ee martida loo yahay.
Ku rakib xirmada rakibaha matoorka-matoorka ee martigeliyaha:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm 
yum -y install epel-release
yum install screen ovirt-hosted-engine-setup

Waxaan bilaabeynaa habka loo geynayo oVirt Hosted Engine shaashadda martida loo yahay (waxaad ka bixi kartaa adigoo isticmaalaya Ctrl-A + D, ku dhow Ctrl-D):

screen
hosted-engine --deploy

При желании можно запустить установку с заранее подготовленным файлом ответов:

hosted-engine --deploy --config-append=/var/lib/ovirt-hosted-engine-setup/answers/answers-ohe.conf

Marka aan direyno matoorka-matoorka, waxaan qeexnaa dhammaan xuduudaha lagama maarmaanka ah:

- имя кластера
- количество vCPU и vRAM (рекомендуется 4 vCPU и 16 Гб)
- пароли
- тип хранилища для hosted engine ВМ – в нашем случае FC
- номер LUN для установки hosted engine
- где будет находиться база данных для hosted engine – рекомендую для простоты выбрать Local (это БД PostgreSQL работающая внутри этой ВМ)
и др. параметры.

Si loo rakibo VM si heer sare ah loo heli karo oo leh mishiin la martigeliyay, waxaanu hore u abuurnay LUN gaar ah oo ku saabsan nidaamka kaydinta, tirada 4 iyo 150 GB ee cabbirka, ka dibna loo soo bandhigay kooxda martida loo yahay - eeg maqaal hore.

Markii hore waxaan sidoo kale hubinnay muuqaalkeeda martida loo yahay:

multipath -ll
…
3600a098000e4b4b3000003c95d171065 dm-3 DELL    , MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Habka keenista matoorka-matoorka laftiisa ma aha mid adag; dhamaadka waa in aan helno wax sidan oo kale ah:

[ INFO  ] Generating answer file '/var/lib/ovirt-hosted-engine-setup/answers/answers-20191129131846.conf'
[ INFO  ] Generating answer file '/etc/ovirt-hosted-engine/answers.conf'
[ INFO  ] Stage: Pre-termination
[ INFO  ] Stage: Termination
[ INFO  ] Hosted Engine successfully deployed

Проверяем наличие сервисов oVirt на хосте:

Haddii wax walba si sax ah loo sameeyay, ka dib markii rakibidda la dhammeeyo, isticmaal browserka shabakada si aad u tagto https://ovirt_hostname/ovirt-engine ka kombayutarka maamulka, oo guji [Xariirka Maamulka].

Sawirka sawirka "Xiriirka Maamulka"

Markaad geliso gelitaanka iyo erayga sirta ah (la dhigay inta lagu jiro habka rakibidda) daaqadda sida shaashadda, waxaan helnaa guddiga kontoroolka Furan ee Maareynta Virtualization, kaas oo aad ku fulin karto dhammaan tallaabooyinka kaabayaasha farsamada:

ku dar xarunta xogta
добавлять и настраивать кластер
добавлять хосты и управлять ими
добавлять области хранения или Storage Domains, для дисков виртуальных машин
ku dar oo habee shabakadaha mashiinada farsamada
добавлять виртуальные машины, установочные образы, шаблоны ВМ и управлять ими

Все эти действия будут рассмотрены далее, что-то в крупную клетку, что-то более подробно и с нюансами.
Laakiin marka hore waxaan kugula talin lahaa inaad akhrido wax-ku-darkan, taas oo laga yaabo inay faa'iido u leedahay qaar badan.

Isku dar

1) В принципе, если есть такая необходимость, то ничего не мешает заранее установить гипервизор KVM на узлы кластера, используя пакеты libvirt и qemu-kvm (ama qemu-kvm-ev) желаемой версии, хотя при развёртывании узла кластера oVirt, он может это сделать и сам.

Laakiin haddii libvirt и qemu-kvm Haddii aadan rakibin nuqulkii ugu dambeeyay, waxaa laga yaabaa inaad hesho qaladka soo socda marka aad dirayso mishiinka la marti galiyay:

error: unsupported configuration: unknown CPU feature: md-clear

Т.е. необходимо иметь обновлённую версию libvirt с защитой от MDS, kaas oo taageeraya siyaasaddan:

<feature policy='require' name='md-clear'/>

Ku rakib libvirt v.4.5.0-10.el7_6.12, oo leh taageero md-cade:

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

Проверяем наличие поддержки 'md-clear':

virsh domcapabilities kvm | grep require
      <feature policy='require' name='ss'/>
      <feature policy='require' name='hypervisor'/>
      <feature policy='require' name='tsc_adjust'/>
      <feature policy='require' name='clflushopt'/>
      <feature policy='require' name='pku'/>
      <feature policy='require' name='md-clear'/>
      <feature policy='require' name='stibp'/>
      <feature policy='require' name='ssbd'/>
      <feature policy='require' name='invtsc'/>

Taas ka dib, waxaad sii wadi kartaa rakibidda mishiinka la martigeliyay.

2) В oVirt 4.3 наличие и использование файервола dab-damis waa shuruud waajib ah.

Haddii inta lagu jiro daabulidda VM ee matoorka la-qabtay waxaan helnaa qaladka soo socda:

[ ERROR ] fatal: [localhost]: FAILED! => {"changed": false, "msg": "firewalld is required to be enabled and active in order to correctly deploy hosted-engine. Please check, fix accordingly and re-deploy.n"}
[ ERROR ] Failed to execute stage 'Closing up': Failed executing ansible-playbook
[https://bugzilla.redhat.com/show_bug.cgi?id=1608467

То необходимо выключить другой файервол (если он используется), и установить и запустить dab-damis:

yum install firewalld
systemctl enable firewalld
systemctl start firewalld

firewall-cmd --state
firewall-cmd --get-default-zone
firewall-cmd --get-active-zones
firewall-cmd --get-zones

Ka dib, marka lagu rakibo wakiilka ovirt martigeliyaha cusub ee kooxda, waxay habayn doontaa dekedaha loo baahan yahay dab-damis si toos ah.

3) Перезагрузка хоста с работающей на нём ВМ с hosted engine.

Sida caadiga, isku xirka 1 и isku xirka 2 dukumentiyada maamulka.

Dhammaan maaraynta mishiinka VM ee la martigeliyay waxaa la sameeyaa oo keliya iyadoo la adeegsanayo amarka hosted-engine on martida loo yahay meesha ay ku socoto, ku saabsan barato waa in aan iloobin, iyo sidoo kale xaqiiqda ah in aad ku xiri karto VM-kan adigoo isticmaalaya SSH oo aad maamuli karto amarka "xiritaanka".

Habka gelinta VM qaabka dayactirka:

hosted-engine --set-maintenance --mode=global

hosted-engine --vm-status
!! Cluster is in GLOBAL MAINTENANCE mode !!
--== Host host1.test.local (id: 1) status ==--
conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : dee1a774
local_conf_timestamp               : 1821
Host timestamp                     : 1821
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=1821 (Sat Nov 29 14:25:19 2019)
        host-id=1
        score=3400
        vm_conf_refresh_time=1821 (Sat Nov 29 14:25:19 2019)
        conf_on_shared_storage=True
        maintenance=False
        state=GlobalMaintenance
        stopped=False

hosted-engine --vm-shutdown

Перезагружаем хост с hosted engine agent и делаем с ним что нам нужно.

После перезагрузки проверяем статус ВМ с hosted engine:

hosted-engine --vm-status

Haddii VM-kayaga leh mishiinka-matoorka aanu bilaabmin iyo haddii aanu ku aragno khaladaad la mid ah diiwaanka adeegga:

Cilad ku jirta diiwaanka adeega:

journalctl -u ovirt-ha-agent
...
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine ERROR Failed to start necessary monitors
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Traceback (most recent call last):#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 131, in _run_agent#012    return action(he)#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 55, in action_proper#012    return he.start_monitoring()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 413, in start_monitoring#012    self._initialize_broker()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 537, in _initialize_broker#012    m.get('options', {}))#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py", line 86, in start_monitor#012    ).format(t=type, o=options, e=e)#012RequestError: brokerlink - failed to start monitor via ovirt-ha-broker: [Errno 2] No such file or directory, [monitor: 'ping', options: {'addr': '172.20.32.32'}]
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Trying to restart agent

Kadibna waxaan isku xireynaa kaydinta oo dib u bilownay wakiilka:

hosted-engine --connect-storage
systemctl restart ovirt-ha-agent
systemctl status ovirt-ha-agent

hosted-engine --vm-start
hosted-engine --vm-status

Ka dib markii aan ku bilownay VM-ka matoorka la-qabtay, waxaan ka saareynaa habka dayactirka:

Habka looga saarayo VM qaabka dayactirka:

hosted-engine --check-liveliness
hosted-engine --set-maintenance --mode=none
hosted-engine --vm-status

--== Host host1.test.local (id: 1) status ==--

conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : 6d1eb25f
local_conf_timestamp               : 6222296
Host timestamp                     : 6222296
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=6222296 (Fri Jan 17 11:40:43 2020)
        host-id=1
        score=3400
        vm_conf_refresh_time=6222296 (Fri Jan 17 11:40:43 2020)
        conf_on_shared_storage=True
        maintenance=False
        state=EngineUp
        stopped=False

4) Ka saarida mishiinka la marti galiyay iyo wax kasta oo la xidhiidha.

Mararka qaarkood waxaa lagama maarmaan ah in si sax ah meesha looga saaro mishiin hore loo rakibay - ссылка на руководящий документ.

Kaliya ku socodsii amarka martida loo yahay:

/usr/sbin/ovirt-hosted-engine-cleanup

Marka xigta, waxaanu ka saarnaa baakadaha aan loo baahnayn, anagoo xoojinayna qaar ka mid ah qaababka tan ka hor, haddii loo baahdo:

yum autoremove ovirt* qemu* virt* libvirt* libguestfs

Создание нового датацентра

Dukumentiga tixraaca - Hagaha Maamulka oVirt. Cutubka 4aad: Xarumaha Xogta

Marka hore aan qeexno waxa ay tahay датацентр (цитирую из справки) — это логическая сущность, которая определяет набор ресурсов, используемых в специфическом окружении.

Xarunta xogtu waa nooc weel oo ka kooban:

ilo macquul ah oo ah qaab kooxeedyo iyo martigeliyayaal
Ilaha shabakada kooxda ee qaabka shabakadaha macquulka ah iyo adapters jirka ee martida loo yahay,
agabka kaydinta (loogu talagalay saxanadaha VM-ka, moodooyinka, sawirada) ee qaabka meelaha kaydinta (Domains Kaydinta).

Xarunta xogta waxaa ku jiri kara rucubyo badan oo ka kooban martigeliyayaal badan oo leh mashiinno farsamo oo ku shaqeeya, waxayna sidoo kale yeelan kartaa meelo badan oo kaydin ah oo la xidhiidha.
Waxaa jiri kara dhowr xarumood oo xog ah; waxay u shaqeeyaan si madaxbannaan midba midka kale. Ovirt waxay leedahay kala soocida awoodaha door ahaan, waxaadna u habeyn kartaa rukhsadaha shaqsi ahaan, labadaba heerka xarunta xogta iyo walxaha macquulka ah ee shaqsiyadeed.

Датацентр, или датацентры если их несколько, управляются из единой административной консоли или портала.

Si aad u abuurto xarun xog, aad bogga maamulka oo samee xarun xogeed cusub:
Xisaabi >> Xarumaha xogta >> New

Maadaama aan u isticmaalno kaydinta la wadaago nidaamka kaydinta, Nooca Kaydinta waa in la wadaagaa:

Sawir-qaadista Wizard Abuurista Xarunta Xogta

При установке виртуальной машины с hosted-engine, по умолчанию создаётся датацентр – Xarunta Xogta1, ka dibna, haddii loo baahdo, waxaad bedeli kartaa Nooca Kaydinta mid kale.

Создание датацентра — это несложная задача, без каких-то хитрых нюансов, и все дополнительные действия с ним описаны в документации. Единственно замечу, что одиночные хосты имеющие только локальное хранилище (диск) для ВМ, в датацентр c Storage Type — Shared попасть не смогут (нельзя будет их туда добавить), и для них нужно создавать отдельный датацентр – т.е. каждому отдельному хосту с локальным хранилищем, нужен свой отдельный датацентр.

Abuuritaanka koox cusub

Isku xirka dukumentiyada - Hagaha Maamulka oVirt. Cutubka 5aad: Kooxaha

Без излишних подробностей, kooxdu – это логическая группировка хостов, имеющих общую область хранения (в виде общих дисков на СХД, как в нашем случае). Также желательно, чтобы хосты в кластере были идентичны по железу, и имели бы одинаковый тип процессора (Intel или AMD). Лучше всего конечно, чтобы сервера в кластере были полностью одинаковыми.

Kooxdu waa qayb ka mid ah xarunta xogta (oo leh nooc gaar ah oo kaydinta - Maxaliga ah ama la wadaago), oo dhammaan martigaliyayaasha waa in ay ka tirsan yihiin nooc ka mid ah kutlada, iyada oo ku xidhan haddii ay kaydiyeen la wadaago iyo in kale.

Markaad ku rakiban tahay mashiinka farsamada gacanta oo leh matoor-matoorka martigeliyaha, xarun xogeed ayaa loo abuuray si caadi ah - Xarunta Xogta1, oo ay la socdaan kooxda - Kooxda1, и в дальнейшем можно настроить его параметры, включить дополнительные опции, добавить в него хосты и т.п.

Sida caadiga ah, faahfaahinta ku saabsan dhammaan goobaha kooxda, waxaa lagu talinayaa in la tixraaco dukumentiyada rasmiga ah. Qaar ka mid ah sifooyinka dejinta koox-kooxeed, waxaan kaliya ku dari doonaa marka la abuurayo, waa ku filan tahay in la habeeyo oo kaliya xuduudaha aasaasiga ah ee tabka General.

Отмечу наиболее важные параметры:

Nooca Processor -ka — выбирается, исходя из того, какие процессоры установлены на хостах кластера, от какого они производителя, и какой процессор на хостах самый старый, чтобы в зависимости от этого, использовать все доступные процессорные инструкции в кластере.
Nooca wareejinta – у нас в кластере используется только Linux bridge, поэтому его и выбираем.
Firewall type - Wax walba halkan waa ku cad yihiin, kani waa dab-damis, kaas oo ay tahay in la awoodsiiyo oo lagu habeeyo martida loo yahay.

Sawir-qaadasho leh cabbirro kooxeed

Ku rakibida martigaliyayaasha dheeraadka ah ee jawi is-martigeliyay

link dukumentiyada.

Martigeliye dheeri ah oo loogu talagalay deegaanka is-martigeliyay ayaa lagu daraa si la mid ah martigeliyaha caadiga ah, iyadoo la raacayo tallaabada dheeriga ah ee geynta VM oo leh matoor la martigeliyay - Dooro ficil geynta mishiinka la marti galiyay >> diraysa. Maadaama martigeliyaha dheeraadka ah ay tahay in sidoo kale lagu soo bandhigo LUN loogu talagalay VM oo leh mishiinka la martigeliyay, tani waxay ka dhigan tahay in martida loo yahay, haddii loo baahdo, loo isticmaali karo in lagu martigeliyo VM oo leh mishiinka la martigeliyay.
В целях отказоустойчивости весьма рекомендуется, чтобы было минимум два хоста, на которых может быть размещена ВМ с hosted engine.

Martigeliyaha dheeraadka ah, dami iptables (haddii la kartiyeeyo), awood u geli firewalld

systemctl stop iptables
systemctl disable iptables

systemctl enable firewalld
systemctl start firewalld

Устанавливаем требуемую версию KVM (по необходимости):

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

virsh domcapabilities kvm | grep md-clear

Ku rakib bakhaarrada lagama maarmaanka ah iyo rakibaha mishiinka la marti galiyay:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
yum -y install epel-release
yum update
yum install screen ovirt-hosted-engine-setup

Marka xigta, tag console-ka Open Virtualization Manager, ku dar martigeliyaha cusub, oo wax walba u samee talaabo talaabo, sida ku qoran dukumentiyo.

Natiijo ahaan, ka dib marka lagu daro martigeliyaha dheeraadka ah, waa inaan helnaa wax la mid ah sawirka konsole maamulka, sida shaashadda.

Скриншот административного портала — хосты

Хост, на котором ВМ с hosted-engine в данный момент активна, имеет золотую корону и надпись «Ku socodsiinta Matoorka Hosted VM», хост, на котором эта ВМ может быть запущена при необходимости – надпись «Can run the Hosted Engine VM".

В случае сбоя хоста на котором «Ku socodsiinta Matoorka Hosted VM», она автоматически перезапустится на втором хосте. Также эту ВМ можно мигрировать с активного хоста на резервный, для его обслуживания.

Dejinta Maareynta Korontada / dayrka martigeliyayaasha oVirt

Xiriirinta dukumeentiyada:

Red Hat Virtualization 4.3 –> Technical Reference -> Cutubka 4. Maaraynta Awoodda
oVirt Administration Guide -> Cutubka 7aad: Martigaliyayaasha

In kasta oo ay u ekaan karto inaad dhammaysay ku darista iyo habaynta martigeliyaha, taasi gabi ahaanba run maaha.
Hawlgalka caadiga ah ee martida loo yahay, iyo si loo aqoonsado/xalliyo guul-darrooyinka mid kasta oo iyaga ka mid ah, dejinta Maareynta Awoodda / daynta ayaa loo baahan yahay.

dayrka, ama dayrka, waa habka si ku meel gaadh ah looga saarayo martigaliyaha khaldan ama guuldaraystay kooxda, inta lagu guda jiro adeega oVirt ee ku yaal ama martigeliyaha laftiisa ayaa dib loo bilaabayaa.

Dhammaan faahfaahinta ku saabsan qeexitaannada iyo cabbirrada Maareynta Awoodda / deyrka ayaa lagu bixiyaa, sida caadiga ah, dukumeentiyada; Waxaan kaliya ku siin doonaa tusaale sida loo habeeyo cabbirkan muhiimka ah, sida lagu dabaqay server-yada Dell R640 ee leh iDRAC 9.

Aad bogga maamulka, guji Xisaabi >> Hawlwadeennada dooro martigeliyaha.
Waxaan riixnaa Edit.
Guji tab Maaraynta Awoodda.
Calaamadee sanduuqa ku xiga doorashada Daar Maamulka Korontada.
Calaamadee sanduuqa ku xiga doorashada Isku dhafka Kdump, чтобы хост не перешёл в режим огораживания (fencing), во время записи аварийного дампа ядра.

Fiiro gaar ah.

После включения Kdump integration на уже работающем хосте, он должен быть переустановлен в соответствии с процедурой в oVirt Administration Guide -> Cutubka 7aad: Martigaliyayaasha -> Dib-u-soo-celinta Martigeliyayaasha.

Опционально можно отметить флажок Disable policy control of power management, haddii aynaan doonayn in maamulka awoodda martida loo yahay ay maamusho Siyaasadda Jadwalka kooxda.
Кликаем кнопку (+) si loogu daro qalab cusub oo maamulka awooda, daaqada wax ka beddelka guryaha wakiilka ayaa furmi doonta.
Wixii iDRAC9 ah, buuxi meelaha:
- Cinwaanka – адрес iDRAC9
- Magaca isticmaale / Password Login iyo erayga sirta ah si aad u gasho iDRAC9, siday u kala horreeyaan
- nooca -dar5
- Calaamadee Aamin
- добавить следующие опции: cmd_prompt=>, login_timeout=30

Скриншот с параметрами «Power Management» в свойствах хоста

Создание области хранения или Storage Domains

Ссылка на документацию — oVirt Administration Guide, Cutubka 8: Kaydinta.

Kaydinta Domain, ama aagga kaydinta, waa meel dhexe oo lagu kaydiyo saxanadaha mashiinka farsamada, sawirada rakibaadda, qaab-dhismeedka, iyo sawir-qaadista.

Области хранения могут подключаться к датацентру, используя различные протоколы, кластерные и сетевые файловые системы.

oVirt waxay leedahay saddex nooc oo aagga kaydinta ah:

Xogta Domain - si loo kaydiyo dhammaan xogta la xidhiidha mashiinnada farsamada (disks, templates). Domain-ka xogta lama wadaagi karo xarumaha xogta ee kala duwan.
ISO Domain (устаревший тип области хранения) – для хранения установочных образов ОС. ISO Domain может разделяться между разными датацентрами.
Export Domain (устаревший тип области хранения) – для временного хранения образов, перемещаемых между датацентрами.

В нашем частном случае область хранения с типом Data Domain, использует Fibre Channel Protocol (FCP), для подключения к LUN’ам на СХД.

Marka la eego aragtida oVirt, marka la isticmaalayo nidaamyada kaydinta (FC ama iSCSI), disk kasta oo sawir leh, sawir ama template waa disk macquul ah.
Блочные устройства собираются в одно целое (на хостах кластера) с помощью Volume Group и затем разделяются с помощью LVM на логические тома, используемые как виртуальные диски для ВМ.

Все эти группы и множество томов LVM, можно увидеть на хосте кластера, с помощью команд iwm и lvs. Dabcan, dhammaan ficillada leh saxanadaha noocan oo kale ah waa in lagu sameeyaa oo keliya oVirt console, marka laga reebo xaalado gaar ah.

Saxannada Virtual-ka ee VM-yadu waxay noqon karaan laba nooc - QCOW2 ama RAW. discs waxaa laga yaabaa inay "dhuuban"ama"qaro weyn". Снэпшоты всегда создаются как "dhuuban".

Habka loo maareeyo xayndaabka Kaydinta, ama meelaha kaydinta ee laga galo FC, waa arrin macquul ah - disk kasta oo VM ah waxaa jira mug macquul ah oo gooni ah oo uu qori karo hal marti-geliyaha kaliya. Xidhiidhada FC, oVirt waxay isticmaashaa wax la mid ah LVM kooxaysan.

Виртуальные машины, расположенные на одной области хранения, можно мигрировать между хостами, принадлежащими одному и тому же кластеру.

Sida aan ka arki karno sharraxaadda, koox ku jirta oVirt, sida kutlada ku jirta VMware vSphere ama Hyper-V, asal ahaan waxay ka dhigan tahay isla shay - waa koox-kooxeed macquul ah oo martigeliyayaal ah, oo doorbidaya isku mid ah halabuurka qalabka, iyo haysashada kaydinta guud ee farsamada casriga ah. saxanadaha mashiinka.

Aynu si toos ah ugu socono abuurista aag kaydinta xogta (VM disks), maadaama la'aanteed xarunta xogta aan la bilaabi doonin.
Напомню, что все презентованные хостам кластера LUN’ы на СХД, должны быть на них видны с помощью команды «multipath -ll".

Sida laga soo xigtay dukumentiyo, идём в портале заходим в kaydinta >> domains -> Domain Cusub и выполняем инструкции из раздела "Adding FCP Storage".

Ka dib markaad bilowdo saaxir, buuxi meelaha loo baahan yahay:

magaca — задаём имя кластера
Domain Function -Xogta
Nooca Kaydinta — Fibre Channel
Martigeliyaha loo Isticmaalo - dooro martigeliyaha kaas oo LUN aanu u baahanahay uu diyaar yahay

Liiska LUN-yada, calaamadee midka aan u baahanahay, guji Add ka dibna OK. При необходимости можно скорректировать дополнительные параметры области хранения, кликнув на Heerka Sare.

Shaashadda saaxir ee ku darista "Deegaanka Kaydinta"

Iyada oo ku saleysan natiijooyinka saaxirku, waa in aan helnaa meel kaydinta cusub, xarunteena xogta waa in ay u gudubtaa heerka UP, ama la bilaabay:

Sawirada xarunta xogta iyo meelaha lagu kaydiyo:

Создание и настройка сетей для виртуальных машин

Ссылка на документацию — oVirt Administration Guide, Cutubka 6: Shabakadaha macquulka ah

Shabakadaha, ama shabakadaha, waxay u adeegaan kooxda shabakadaha macquulka ah ee loo isticmaalo kaabayaasha farsamada ee oVirt.

Для взаимодействия сетевого адаптера на виртуальной машине, с физическим адаптером на хосте, используются логические интерфейсы типа Linux bridge.

Для группировки и разделения трафика между сетями, на коммутаторах настроены VLAN’ы.

Marka la abuurayo shabakad macquul ah oo loogu talagalay mashiinnada farsamada ee oVirt, waa in loo qoondeeyaa aqoonsi u dhigma lambarka VLAN ee furaha si VM-yadu ay ula xiriiraan midba midka kale, xitaa haddii ay ku socdaan qanjidhada kala duwan ee kutlada.

Dejinta horudhaca ah ee adabtarada shabakada ee martigeliyayaasha ee isku xirka mashiinada farsamada waa in lagu sameeyaa gudaha maqaal hore - interface macquul ah habaysan dammaanad1, далее все сетевые настройки должны производиться только через административный портал oVirt.

Ka dib markii la abuuray VM leh matoor la-qabtay, marka lagu daro abuurista tooska ah ee xarun xogeed iyo koox, shabakad macquul ah ayaa sidoo kale si toos ah loo abuuray si loo maareeyo kutladayada - ovritmgmt, к которой была подключена эта ВМ.

Haddii loo baahdo, waxaad arki kartaa goobaha shabakada macquulka ah ovritmgmt oo hagaaji iyaga, laakiin waa inaad ka taxadartaa inaadan lumin xakamaynta kaabayaasha oVirt.

Dejinta shabakada macquulka ah ovritmgmt

Для создания новой логической сети для обычных ВМ, в административном портале переходим в Network >> Shabakadaha >> New, и на вкладке General ku dar shabakad leh aqoonsiga VLAN ee la rabo, sidoo kale calaamadee sanduuqa ku xiga"Shabakadda VM», это означает что её можно использовать для назначения на ВМ.

Shaashada shabkada cusub ee VLAN32 ee macquulka ah

In tab Kooxda, прикрепляем эту сеть к нашему кластеру Kooxda1.

После этого переходим в Xisaabi >> Hawlwadeennada, u tag martida kasta markeeda, tab Isku xirka shabakada, и запускаем мастер Dejinta shabakadaha martida loo yahay, in lagu xidho martigaliyayaasha shabakad macquul ah oo cusub.

Скриншот мастера «Setup host networks»

Агент oVirt автоматически сделает все необходимые сетевые настройки на хосте – создаст VLAN и BRIDGE.

Пример конфигурационных файлов для новых сетей на хосте:

cat ifcfg-bond1
# Generated by VDSM version 4.30.17.1
DEVICE=bond1
BONDING_OPTS='mode=1 miimon=100'
MACADDR=00:50:56:82:57:52
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-bond1.432
# Generated by VDSM version 4.30.17.1
DEVICE=bond1.432
VLAN=yes
BRIDGE=ovirtvm-vlan432
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-ovirtvm-vlan432
# Generated by VDSM version 4.30.17.1
DEVICE=ovirtvm-vlan432
TYPE=Bridge
DELAY=0
STP=off
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

Ещё раз напомню, что на хосте кластера LOOMA BAAHNA заранее создавать руками сетевые интерфейсы ifcfg-bond1.432 и ifcfg-ovirtvm-vlan432.

Ka dib marka lagu daro shabakad macquul ah iyo hubinta xiriirka ka dhexeeya martigeliyaha iyo mashiinka la martigeliyay ee VM, waxaa loo isticmaali karaa mashiinka farsamada.

Abuuritaanka sawirka rakibaadda si loo geeyo mashiinka farsamada

Ссылка на документацию — oVirt Administration Guide, Cutubka 8: Kaydinta, раздел Uploading Images to a Data Storage Domain.

Без установочного образа ОС, не удастся установить виртуальную машину, хотя это конечно и не является проблемой, если в сети установлен, например, Kabare с заранее созданными образами.

Xaaladeena, tani suurtogal maaha, markaa waa inaad sawirkan soo gelisaa oVirt laftaadu. Markii hore, tani waxay u baahan tahay abuurista Domain ISO, laakiin nooca cusub ee oVirt waa laga saaray, sidaa darteed waxaad hadda si toos ah sawirrada ugu dhejin kartaa goobta Kaydinta ee marinka maamulka.

In portal maamulka tag kaydinta >> saxannada >> Upload >> Start
Waxaan ku darnaa sawirkayaga OS sida faylka ISO, buuxi dhammaan goobaha foomka, oo guji badhanka "Isku xirka tijaabi".

Shaashada Sawirka Wizard Rakibaadda

Haddii aan helno qalad sidan oo kale ah:

Unable to upload image to disk d6d8fd10-c1e0-4f2d-af15-90f8e636dadc due to a network error. Ensure that ovirt-imageio-proxy service is installed and configured and that ovirt-engine's CA certificate is registered as a trusted CA in the browser. The certificate can be fetched from https://ovirt.test.local/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA`

Markaa waxaad u baahan tahay inaad ku darto shahaadada oVirt "Доверенные корневые ЦС"(Trusted Root CA) oo ku taal xarunta kantaroolka ee maamulka, meesha aan isku dayeyno inaan soo dejino sawirka.

Kadib markaad ku darto shahaadadda Root-ka Aaminsan ee CA, mar kale dhagsii"Isku xirka tijaabi", waa in la helaa:

Connection to ovirt-imageio-proxy was successful.

Выполнив действие по добавлению сертификата, можно попробовать опять загрузить образ ISO в Storage Domain.

Mabda 'ahaan, waxaad samayn kartaa Domain Kaydinta gaar ah oo leh nooca Xogta si aad u kaydiso sawirada iyo qaab-dhismeedka si gooni gooni ah saxannada VM-ga, ama xitaa waxaad ku kaydin kartaa Kaydinta Domain-ka matoorka martida loo yahay, laakiin tani waa go'aanka maamulaha.

Sawirka sawirada ISO ee ku jira Kaydinta Domain ee mishiinka la marti galiyay

Samee mashiinka farsamada

Xiriirinta dukumeentiyada:
oVirt Virtual Machine Management Guide –> Chapter 2: Installing Linux Virtual Machines
Ilaha Macaamiisha Console

Ka dib markaad ku dhejiso sawirka rakibaadda OS-ga oVirt, waxaad si toos ah ugu socon kartaa abuurista mashiinka farsamada. Shaqooyin badan ayaa la qabtay, laakiin waxaan mar hore joognay heerkii ugu dambeeyay, taas aawadood waxaas oo dhan la bilaabay - helitaanka kaabayaal u dulqaadasho leh oo loogu talagalay martigelinta mashiinnada farsamada gacanta ee aadka loo heli karo. Oo waxaas oo dhami gabi ahaanba waa bilaash - hal dinaar laguma kharash garaynin iibsashada shatiyada software-ka.

Для создания виртуальной машины с CentOS 7, должен быть загружен установочный образ с ОС.

Заходим в административный портал, идём в Xisaabi >> Mashiinnada Virtual, и запускаем мастер создания ВМ. Заполняем все параметры и поля, и кликаем OK. Всё очень просто, если следовать документации.

Tusaale ahaan, waxaan ku siin doonaa saldhigyada aasaasiga ah iyo kuwa dheeraadka ah ee VM aadka loo heli karo, oo leh disk la abuuray, oo ku xiran shabakada, iyo ka-bixitaanka sawirka rakibaadda:

Скриншоты с настройками высокодоступной ВМ

Kadib marka aad dhammayso shaqada saaxirka, xidh, fur VM cusub oo ku rakib OS-ka.
Для этого заходим в консоль этой ВМ через административный портал:

Скриншот настроек административного портала для подключения к консоли ВМ

Чтобы подключиться к консоли ВМ, предварительно надо настроить консоль в свойствах виртуальной машины.

Скриншот настроек ВМ, вкладка «Console»

Для подключения к консоли ВМ можно использовать, например, Daawiyaha Mashiinka Farshaxan.

Si aad si toos ah ugu xidho konsole VM daaqada browserka, goobaha isku xidhka ee loo maro konsole waa inay ahaadaan sida soo socota:

После установки ОС на ВМ, желательно установить oVirt guest agent:

yum -y install epel-release
yum install -y ovirt-guest-agent-common
systemctl enable ovirt-guest-agent.service && systemctl restart ovirt-guest-agent.service
systemctl status ovirt-guest-agent.service

Markaa, natiijada ficiladeena, VM-ga la abuuray ayaa si heersare ah loo heli doonaa, i.e. haddii qanjirada kooxda ee ay ku shaqaynayso ay guuldarreysato, oVirt waxay si toos ah dib ugu bilaabi doontaa noodhka labaad. VM-gan waxa kale oo loo haajiray inta u dhaxaysa kooxda martida loo yahay dayactirkooda ama ujeedooyin kale.

gunaanad

Надеюсь, что этой статьёй удалось донести, что oVirt – вполне нормальный инструмент по управлению виртуальной инфраструктурой, который развернуть не так и сложно — главное соблюдать определённые правила и требования, описанные как в статье, так и в документации.

Из-за большого объёма статьи в неё не удалось поместить многие вещи, типа пошагового выполнения различных мастеров со всеми подробными пояснениями и скриншотами, длинные выводы каких-то команд, и т.п. На самом деле для этого потребовалось бы написать целую книгу, что не имеет особого смысла, из-за постоянно появляющихся новых версий ПО с нововведениями и изменениями. Самое главное – это понять принцип, как оно всё вместе работает, и получить общий алгоритм действий по созданию отказоустойчивой платформы по управлению виртуальными машинами.

Хотя виртуальную инфраструктуру мы создали, но теперь надо научить её взаимодействовать как между своими отдельными элементами: хостами, виртуальными машинами, внутренними сетями, так и с внешним миром.

Nidaamkani waa mid ka mid ah hawlaha ugu muhiimsan ee nidaamka ama maamulaha shabakada, kaas oo lagu dabooli doono maqaalka soo socda - oo ku saabsan isticmaalka VyOS router-yada farsamada ee kaabayaasha u dulqaadashada cilladaha ee ganacsigeena (sida aad qiyaastay, waxay u shaqeyn doonaan sidii wax-ku-ool ah. mishiinada ku jira kooxdayada oVirt).

Source: www.habr.com

Abuuritaanka kaabayaasha IT-ga khalad u-dulqaadan karo. Qaybta 2. Rakibaadda iyo habaynta kooxda oVirt 4.3