Xây dựng cơ sở hạ tầng CNTT có khả năng chịu lỗi. Phần 2. Cài đặt và cấu hình cụm oVirt 4.3

Bài viết này là sự tiếp nối của bài trước - “Xây dựng cơ sở hạ tầng CNTT có khả năng chịu lỗi. Phần 1 - chuẩn bị triển khai cụm oVirt 4.3'.

Nó sẽ đề cập đến quá trình cài đặt và cấu hình cơ bản của cụm oVirt 4.3 để lưu trữ các máy ảo có tính sẵn sàng cao, có tính đến thực tế là tất cả các bước sơ bộ để chuẩn bị cơ sở hạ tầng đã được hoàn thành trước đó.

Mở đầu

Mục đích chính của bài viết là cung cấp hướng dẫn từng bước như “Sau -> Có -> Kết thúc"cách hiển thị một số tính năng khi cài đặt và cấu hình nó. Quá trình triển khai cụm của bạn có thể không phải lúc nào cũng trùng với quy trình được mô tả trong đó, do đặc điểm của cơ sở hạ tầng và môi trường, nhưng các nguyên tắc chung sẽ giống nhau.

Xét về mặt chủ quan, oVirt 4.3 chức năng của nó tương tự như VMware vSphere phiên bản 5.x, nhưng tất nhiên có các tính năng vận hành và cấu hình riêng.

Đối với những người quan tâm, chẳng hạn, tất cả sự khác biệt giữa RHEV (còn gọi là oVirt) và VMware vSphere có thể được tìm thấy trên Internet đây, nhưng thỉnh thoảng tôi vẫn sẽ lưu ý một số điểm khác biệt hoặc tương đồng giữa chúng khi bài viết tiến triển.

Riêng biệt, tôi muốn so sánh một chút công việc với mạng dành cho máy ảo. oVirt thực hiện nguyên tắc quản lý mạng tương tự cho các máy ảo (sau đây gọi là VM), như trong VMware vSphere:

• sử dụng cầu Linux tiêu chuẩn (trong VMware - vSwitch tiêu chuẩn), chạy trên máy chủ ảo hóa;
• sử dụng Open vSwitch (OVS) (trong VMware - vSwitch phân phối) là một switch ảo phân tán bao gồm hai thành phần chính: máy chủ OVN trung tâm và bộ điều khiển OVN trên các máy chủ được quản lý.

Cần lưu ý rằng do tính dễ thực hiện, bài viết sẽ mô tả việc thiết lập mạng trong oVirt cho máy ảo sử dụng cầu nối Linux tiêu chuẩn, đây là lựa chọn tiêu chuẩn khi sử dụng bộ ảo hóa KVM.

Về vấn đề này, có một số quy tắc cơ bản để làm việc với mạng trong một cụm, tốt nhất là không nên vi phạm:

• Tất cả cài đặt mạng trên máy chủ trước khi thêm chúng vào oVirt phải giống hệt nhau, ngoại trừ địa chỉ IP.
• Khi máy chủ đã được oVirt kiểm soát, bạn không nên thay đổi bất cứ điều gì theo cách thủ công trong cài đặt mạng trên đó mà không hoàn toàn tin tưởng vào hành động của mình, vì tác nhân oVirt sẽ chỉ đưa chúng trở lại cài đặt trước đó sau khi khởi động lại máy chủ. máy chủ hoặc đại lý.
• Việc thêm mạng mới cho máy ảo cũng như làm việc với nó chỉ nên được thực hiện từ bảng điều khiển quản lý oVirt.

Một lần nữa lưu ý quan trọng — đối với một môi trường rất quan trọng (rất nhạy cảm với tổn thất tiền tệ), vẫn nên sử dụng hỗ trợ và sử dụng trả phí Ảo hóa Red Hat 4.3. Trong quá trình vận hành cụm oVirt, một số vấn đề có thể phát sinh mà bạn nên nhận trợ giúp đủ điều kiện càng sớm càng tốt thay vì tự mình giải quyết chúng.

Cuối cùng, đề nghị Trước khi triển khai cụm oVirt, hãy tự làm quen với tài liệu chính thức, để nắm được ít nhất những khái niệm và định nghĩa cơ bản, nếu không sẽ hơi khó đọc phần còn lại của bài viết.

Cơ bản để hiểu bài viết và nguyên tắc hoạt động của cụm oVirt là các tài liệu hướng dẫn sau:

• Hướng dẫn cài đặt oVirt
• Hướng dẫn công cụ tự lưu trữ oVirt
• Hướng dẫn quản trị oVirt
  

Khối lượng ở đó không lớn lắm, trong một hoặc hai giờ bạn có thể nắm vững các nguyên tắc cơ bản, nhưng đối với những người thích chi tiết thì nên đọc Tài liệu sản phẩm dành cho ảo hóa Red Hat 4.3 — RHEV và oVirt về cơ bản là giống nhau.

Vì vậy, nếu tất cả các cài đặt cơ bản trên máy chủ, thiết bị chuyển mạch và hệ thống lưu trữ đã được hoàn thành, chúng tôi sẽ tiến hành trực tiếp đến việc triển khai oVirt.

Phần 2. Cài đặt và cấu hình cụm oVirt 4.3

Để dễ định hướng, tôi sẽ liệt kê các phần chính trong bài viết này, phải hoàn thành từng phần một:

1. Cài đặt máy chủ quản lý oVirt
2. Tạo một trung tâm dữ liệu mới
3. Tạo một cụm mới
4. Cài đặt máy chủ bổ sung trong môi trường Tự lưu trữ
5. Tạo vùng lưu trữ hoặc Miền lưu trữ
6. Tạo và cấu hình mạng cho máy ảo
7. Tạo image cài đặt để triển khai máy ảo
8. Tạo một máy ảo

Cài đặt máy chủ quản lý oVirt

Máy chủ quản lý oVirt - đây là thành phần quan trọng nhất trong cơ sở hạ tầng oVirt, dưới dạng máy ảo, máy chủ hoặc thiết bị ảo quản lý toàn bộ cơ sở hạ tầng oVirt.

Điểm tương đồng gần gũi của nó với thế giới ảo hóa là:

• VMware vSphere - Máy chủ vCenter
• Microsoft Hyper-V - Trình quản lý máy ảo trung tâm hệ thống (VMM).

Để cài đặt máy chủ quản lý oVirt, chúng ta có hai lựa chọn:

Tùy chọn 1
Triển khai máy chủ dưới dạng máy ảo hoặc máy chủ chuyên dụng.

Tùy chọn này hoạt động khá tốt, nhưng với điều kiện là máy ảo đó hoạt động độc lập với cụm, tức là. không chạy trên bất kỳ máy chủ cụm nào như một máy ảo thông thường chạy KVM.

Tại sao một máy ảo như vậy không thể được triển khai trên các máy chủ cụm?

Khi bắt đầu quá trình triển khai máy chủ quản lý oVirt, chúng tôi gặp phải một vấn đề nan giải - chúng tôi cần cài đặt VM quản lý, nhưng trên thực tế vẫn chưa có cụm nào và do đó chúng tôi có thể nghĩ ra điều gì ngay lập tức? Đúng vậy - cài đặt KVM trên nút cụm trong tương lai, sau đó tạo một máy ảo trên đó, chẳng hạn như với CentOS OS và triển khai công cụ oVirt trong đó. Điều này thường có thể được thực hiện vì lý do kiểm soát hoàn toàn một VM như vậy, nhưng đây là một ý định sai lầm, vì trong trường hợp này, trong tương lai 100% sẽ có vấn đề với một VM điều khiển như vậy:

• nó không thể được di chuyển trong bảng điều khiển oVirt giữa các máy chủ (nút) của cụm;
• khi di chuyển bằng KVM qua di cư đầm lầy, VM này sẽ không có sẵn để quản lý từ bảng điều khiển oVirt.
• máy chủ cụm không thể được hiển thị trong Chế độ bảo trì (chế độ bảo trì), nếu bạn di chuyển VM này từ máy chủ này sang máy chủ khác bằng cách sử dụng di cư đầm lầy.

Vì vậy, hãy thực hiện mọi thứ theo quy tắc - sử dụng máy chủ riêng cho máy chủ quản lý oVirt hoặc máy ảo độc lập chạy trên đó hoặc tốt hơn là thực hiện như được viết trong tùy chọn thứ hai.

Tùy chọn 2
Cài đặt Công cụ oVirt Engine trên máy chủ cụm do nó quản lý.

Tùy chọn này sẽ được xem xét thêm vì nó đúng và phù hợp hơn trong trường hợp của chúng tôi.
Các yêu cầu đối với một máy ảo như vậy được mô tả bên dưới; tôi sẽ chỉ nói thêm rằng nên có ít nhất hai máy chủ trong cơ sở hạ tầng mà máy ảo điều khiển có thể chạy trên đó để làm cho nó có khả năng chịu lỗi. Ở đây tôi muốn nói thêm rằng, như tôi đã viết trong phần bình luận ở bài viết trước, tôi chưa bao giờ có được não phân chia trên một cụm oVirt gồm hai máy chủ, với khả năng chạy các máy ảo được lưu trữ trên chúng.

Cài đặt Công cụ oVirt Engine trên máy chủ đầu tiên của cụm

Liên kết đến tài liệu chính thức - Hướng dẫn công cụ tự lưu trữ oVirt, chương "Triển khai Công cụ tự lưu trữ bằng dòng lệnh»

Tài liệu này nêu rõ các điều kiện tiên quyết phải được đáp ứng trước khi triển khai máy ảo được lưu trữ trên máy chủ và cũng mô tả chi tiết về chính quá trình cài đặt, do đó, việc lặp lại nguyên văn sẽ không có ý nghĩa gì, vì vậy chúng tôi sẽ tập trung vào một số chi tiết quan trọng.

• Trước khi bắt đầu mọi hành động, hãy đảm bảo bật hỗ trợ ảo hóa trong cài đặt BIOS trên máy chủ.
• Cài đặt gói cho trình cài đặt công cụ được lưu trữ trên máy chủ:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm 
yum -y install epel-release
yum install screen ovirt-hosted-engine-setup

• Chúng ta bắt đầu quy trình triển khai oVirt Hosted Engine trong màn hình trên máy chủ (bạn có thể thoát nó bằng Ctrl-A + D, đóng bằng Ctrl-D):

screen
hosted-engine --deploy

Nếu muốn, bạn có thể chạy cài đặt với tệp trả lời được chuẩn bị trước:

hosted-engine --deploy --config-append=/var/lib/ovirt-hosted-engine-setup/answers/answers-ohe.conf

• Khi triển khai công cụ lưu trữ, chúng tôi chỉ định tất cả các tham số cần thiết:

- имя кластера
- количество vCPU и vRAM (рекомендуется 4 vCPU и 16 Гб)
- пароли
- тип хранилища для hosted engine ВМ – в нашем случае FC
- номер LUN для установки hosted engine
- где будет находиться база данных для hosted engine – рекомендую для простоты выбрать Local (это БД PostgreSQL работающая внутри этой ВМ)
и др. параметры. 

• Để cài đặt một máy ảo có tính khả dụng cao với công cụ được lưu trữ, trước đây chúng tôi đã tạo một LUN đặc biệt trên hệ thống lưu trữ, kích thước số 4 và 150 GB, sau đó được trình bày cho các máy chủ cụm - xem bài viết trước.

Trước đây chúng tôi cũng đã kiểm tra khả năng hiển thị của nó trên máy chủ:

multipath -ll
…
3600a098000e4b4b3000003c95d171065 dm-3 DELL    , MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

• Bản thân quá trình triển khai công cụ được lưu trữ không phức tạp; cuối cùng chúng ta sẽ nhận được kết quả như thế này:

[ INFO  ] Generating answer file '/var/lib/ovirt-hosted-engine-setup/answers/answers-20191129131846.conf'
[ INFO  ] Generating answer file '/etc/ovirt-hosted-engine/answers.conf'
[ INFO  ] Stage: Pre-termination
[ INFO  ] Stage: Termination
[ INFO  ] Hosted Engine successfully deployed

Chúng tôi kiểm tra sự hiện diện của dịch vụ oVirt trên máy chủ:

Nếu mọi thứ đã được thực hiện chính xác thì sau khi cài đặt hoàn tất, hãy sử dụng trình duyệt web để truy cập https://ovirt_hostname/ovirt-engine từ máy tính của quản trị viên và nhấp vào [Cổng thông tin hành chính].

Ảnh chụp màn hình của “Cổng quản trị”

Bằng cách nhập thông tin đăng nhập và mật khẩu (được đặt trong quá trình cài đặt) vào cửa sổ như trong ảnh chụp màn hình, chúng ta sẽ đến bảng điều khiển Open Virtualization Manager, trong đó bạn có thể thực hiện mọi hành động với cơ sở hạ tầng ảo:

1. thêm trung tâm dữ liệu
2. thêm và cấu hình một cụm
3. thêm và quản lý máy chủ
4. thêm vùng lưu trữ hoặc Miền lưu trữ cho đĩa máy ảo
5. thêm và cấu hình mạng cho máy ảo
6. thêm và quản lý máy ảo, image cài đặt, mẫu VM

Tất cả những hành động này sẽ được thảo luận thêm, một số trong các ô lớn, một số khác chi tiết hơn và có nhiều sắc thái.
Nhưng trước tiên tôi khuyên bạn nên đọc tiện ích bổ sung này, nó có thể sẽ hữu ích với nhiều người.

Ngoài ra

1) Về nguyên tắc, nếu có nhu cầu như vậy thì không có gì ngăn cản bạn cài đặt trước bộ ảo hóa KVM trên các nút cụm bằng cách sử dụng các gói sinh nhật и qemu-kvm (hoặc qemu-kvm-ev) của phiên bản mong muốn, mặc dù khi triển khai nút cụm oVirt, nó có thể tự thực hiện việc này.

Nhưng nếu sinh nhật и qemu-kvm Nếu chưa cài đặt phiên bản mới nhất, bạn có thể gặp lỗi sau khi triển khai công cụ được lưu trữ:

error: unsupported configuration: unknown CPU feature: md-clear

Những thứ kia. phải có phiên bản cập nhật sinh nhật với sự bảo vệ khỏi MDS, hỗ trợ chính sách này:

<feature policy='require' name='md-clear'/>

Cài đặt libvirt v.4.5.0-10.el7_6.12, có hỗ trợ md-clear:

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

Kiểm tra hỗ trợ 'md-clear':

virsh domcapabilities kvm | grep require
      <feature policy='require' name='ss'/>
      <feature policy='require' name='hypervisor'/>
      <feature policy='require' name='tsc_adjust'/>
      <feature policy='require' name='clflushopt'/>
      <feature policy='require' name='pku'/>
      <feature policy='require' name='md-clear'/>
      <feature policy='require' name='stibp'/>
      <feature policy='require' name='ssbd'/>
      <feature policy='require' name='invtsc'/>

Sau đó, bạn có thể tiếp tục cài đặt công cụ được lưu trữ.

2) Trong oVirt 4.3, sự hiện diện và sử dụng tường lửa tường lửa là một yêu cầu bắt buộc.

Nếu trong quá trình triển khai VM cho công cụ lưu trữ, chúng tôi nhận được lỗi sau:

[ ERROR ] fatal: [localhost]: FAILED! => {"changed": false, "msg": "firewalld is required to be enabled and active in order to correctly deploy hosted-engine. Please check, fix accordingly and re-deploy.n"}
[ ERROR ] Failed to execute stage 'Closing up': Failed executing ansible-playbook
[https://bugzilla.redhat.com/show_bug.cgi?id=1608467

Sau đó, bạn cần tắt tường lửa khác (nếu nó được sử dụng), cài đặt và chạy tường lửa:

yum install firewalld
systemctl enable firewalld
systemctl start firewalld

firewall-cmd --state
firewall-cmd --get-default-zone
firewall-cmd --get-active-zones
firewall-cmd --get-zones

Sau này, khi cài đặt tác nhân ovirt trên máy chủ mới cho cụm, nó sẽ cấu hình các cổng cần thiết trong tường lửa tự động.

3) Khởi động lại máy chủ có VM chạy trên đó bằng công cụ được lưu trữ.

Như thường lệ, liên kết 1 и liên kết 2 đến các văn bản quản lý.

Tất cả việc quản lý VM công cụ được lưu trữ CHỈ được thực hiện bằng lệnh công cụ lưu trữ trên máy chủ nơi nó chạy, khoảng đầm lầy chúng ta phải quên đi, cũng như thực tế là bạn có thể kết nối với VM này thông qua SSH và chạy lệnh “tắt máy'.

Quy trình đưa VM vào chế độ bảo trì:

hosted-engine --set-maintenance --mode=global

hosted-engine --vm-status
!! Cluster is in GLOBAL MAINTENANCE mode !!
--== Host host1.test.local (id: 1) status ==--
conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : dee1a774
local_conf_timestamp               : 1821
Host timestamp                     : 1821
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=1821 (Sat Nov 29 14:25:19 2019)
        host-id=1
        score=3400
        vm_conf_refresh_time=1821 (Sat Nov 29 14:25:19 2019)
        conf_on_shared_storage=True
        maintenance=False
        state=GlobalMaintenance
        stopped=False

hosted-engine --vm-shutdown

Chúng tôi khởi động lại máy chủ bằng tác nhân công cụ được lưu trữ và thực hiện những gì chúng tôi cần với nó.

Sau khi khởi động lại, hãy kiểm tra trạng thái của VM bằng công cụ được lưu trữ:

hosted-engine --vm-status

Nếu máy ảo với công cụ lưu trữ của chúng tôi không khởi động và nếu chúng tôi thấy các lỗi tương tự trong nhật ký dịch vụ:

Lỗi trong nhật ký dịch vụ:

journalctl -u ovirt-ha-agent
...
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine ERROR Failed to start necessary monitors
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Traceback (most recent call last):#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 131, in _run_agent#012    return action(he)#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/agent.py", line 55, in action_proper#012    return he.start_monitoring()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 413, in start_monitoring#012    self._initialize_broker()#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py", line 537, in _initialize_broker#012    m.get('options', {}))#012  File "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py", line 86, in start_monitor#012    ).format(t=type, o=options, e=e)#012RequestError: brokerlink - failed to start monitor via ovirt-ha-broker: [Errno 2] No such file or directory, [monitor: 'ping', options: {'addr': '172.20.32.32'}]
Jun 29 14:34:44 host1 journal: ovirt-ha-agent ovirt_hosted_engine_ha.agent.agent.Agent ERROR Trying to restart agent

Sau đó, chúng tôi kết nối bộ lưu trữ và khởi động lại tác nhân:

hosted-engine --connect-storage
systemctl restart ovirt-ha-agent
systemctl status ovirt-ha-agent

hosted-engine --vm-start
hosted-engine --vm-status

Sau khi khởi động VM với công cụ lưu trữ, chúng tôi đưa nó ra khỏi chế độ bảo trì:

Quy trình xóa VM khỏi chế độ bảo trì:

hosted-engine --check-liveliness
hosted-engine --set-maintenance --mode=none
hosted-engine --vm-status

--== Host host1.test.local (id: 1) status ==--

conf_on_shared_storage             : True
Status up-to-date                  : True
Hostname                           : host1.test.local
Host ID                            : 1
Engine status                      : {"health": "good", "vm": "up", "detail": "Up"}
Score                              : 3400
stopped                            : False
Local maintenance                  : False
crc32                              : 6d1eb25f
local_conf_timestamp               : 6222296
Host timestamp                     : 6222296
Extra metadata (valid at timestamp):
        metadata_parse_version=1
        metadata_feature_version=1
        timestamp=6222296 (Fri Jan 17 11:40:43 2020)
        host-id=1
        score=3400
        vm_conf_refresh_time=6222296 (Fri Jan 17 11:40:43 2020)
        conf_on_shared_storage=True
        maintenance=False
        state=EngineUp
        stopped=False

4) Xóa công cụ được lưu trữ và mọi thứ liên quan đến nó.

Đôi khi cần phải loại bỏ đúng cách công cụ được lưu trữ đã cài đặt trước đó - liên kết vào tài liệu hướng dẫn.

Chỉ cần chạy lệnh trên máy chủ:

/usr/sbin/ovirt-hosted-engine-cleanup

Tiếp theo, chúng tôi xóa các gói không cần thiết, sao lưu một số cấu hình trước đó, nếu cần:

yum autoremove ovirt* qemu* virt* libvirt* libguestfs 

Tạo một trung tâm dữ liệu mới

Tài liệu tham khảo - Hướng dẫn quản trị oVirt. Chương 4: Trung tâm dữ liệu

Đầu tiên hãy xác định nó là gì trung tâm dữ liệu (Tôi trích dẫn từ trợ giúp) là một thực thể logic xác định một tập hợp tài nguyên được sử dụng trong một môi trường cụ thể.

Trung tâm dữ liệu là một loại container bao gồm:

• tài nguyên logic ở dạng cụm và máy chủ
• tài nguyên mạng cụm dưới dạng mạng logic và bộ điều hợp vật lý trên máy chủ,
• tài nguyên lưu trữ (đối với đĩa VM, mẫu, hình ảnh) dưới dạng vùng lưu trữ (Storage Domains).

Một trung tâm dữ liệu có thể bao gồm nhiều cụm gồm nhiều máy chủ có máy ảo chạy trên đó và cũng có thể có nhiều vùng lưu trữ được liên kết với nó.
Có thể có một số trung tâm dữ liệu; chúng hoạt động độc lập với nhau. Ovirt có sự phân chia quyền hạn theo vai trò và bạn có thể định cấu hình các quyền riêng lẻ, cả ở cấp trung tâm dữ liệu và trên các thành phần logic riêng lẻ của nó.

Trung tâm dữ liệu hoặc các trung tâm dữ liệu nếu có một vài trong số đó, được quản lý từ một bảng điều khiển hoặc cổng thông tin quản trị duy nhất.

Để tạo trung tâm dữ liệu, hãy truy cập cổng quản trị và tạo trung tâm dữ liệu mới:
Tính >> Các trung tâm dữ liệu >> Mới

Vì chúng tôi sử dụng bộ nhớ dùng chung trên hệ thống lưu trữ nên Loại bộ nhớ phải được Chia sẻ:

Ảnh chụp màn hình của Trình hướng dẫn tạo trung tâm dữ liệu

Khi cài đặt máy ảo với công cụ lưu trữ, trung tâm dữ liệu được tạo theo mặc định - Trung tâm dữ liệu1, sau đó, nếu cần, bạn có thể thay đổi Loại lưu trữ của nó thành Loại lưu trữ khác.

Tạo một trung tâm dữ liệu là một nhiệm vụ đơn giản, không có bất kỳ sắc thái phức tạp nào và tất cả các hành động bổ sung với nó đều được mô tả trong tài liệu. Điều duy nhất tôi sẽ lưu ý là các máy chủ đơn lẻ chỉ có bộ nhớ cục bộ (đĩa) cho máy ảo sẽ không thể truy cập vào trung tâm dữ liệu với Loại lưu trữ - Dùng chung (không thể thêm chúng vào đó) và đối với chúng, bạn cần tạo một trung tâm dữ liệu riêng biệt - tức là Mỗi máy chủ riêng lẻ có bộ nhớ cục bộ cần có trung tâm dữ liệu riêng.

Tạo một cụm mới

Liên kết tới tài liệu - Hướng dẫn quản trị oVirt. Chương 5: Cụm

Không có chi tiết không cần thiết, cụm – đây là một nhóm hợp lý các máy chủ có vùng lưu trữ chung (ở dạng đĩa chia sẻ trên hệ thống lưu trữ, như trong trường hợp của chúng tôi). Điều mong muốn là các máy chủ trong cụm giống hệt nhau về phần cứng và có cùng loại bộ xử lý (Intel hoặc AMD). Tất nhiên, điều tốt nhất là các máy chủ trong cụm hoàn toàn giống nhau.

Cụm là một phần của trung tâm dữ liệu (với một loại lưu trữ cụ thể - Địa phương hoặc Chia sẻ) và tất cả các máy chủ phải thuộc về một số loại cụm, tùy thuộc vào việc chúng có bộ nhớ dùng chung hay không.

Khi cài đặt máy ảo có công cụ lưu trữ trên máy chủ, trung tâm dữ liệu được tạo theo mặc định - Trung tâm dữ liệu1, cùng với cụm – Cụm1và trong tương lai, bạn có thể định cấu hình các tham số của nó, bật các tùy chọn bổ sung, thêm máy chủ vào đó, v.v.

Như thường lệ, để biết chi tiết về tất cả các cài đặt cụm, bạn nên tham khảo tài liệu chính thức. Trong số một số tính năng của việc thiết lập cụm, tôi sẽ chỉ thêm tính năng đó khi tạo cụm, chỉ cần cấu hình các tham số cơ bản trên tab là đủ Tổng Quát.

Tôi sẽ lưu ý các thông số quan trọng nhất:

• Loại bộ xử lý — được chọn dựa trên bộ xử lý nào được cài đặt trên máy chủ cụm, chúng đến từ nhà sản xuất nào và bộ xử lý nào trên máy chủ là cũ nhất, do đó, tùy thuộc vào điều này, tất cả các hướng dẫn bộ xử lý có sẵn trong cụm đều được sử dụng.
• Loại chuyển đổi – trong cụm của chúng tôi, chúng tôi chỉ sử dụng cầu nối Linux, đó là lý do tại sao chúng tôi chọn nó.
• Loại tường lửa – mọi thứ đều rõ ràng ở đây, đây là tường lửa, phải được kích hoạt và định cấu hình trên máy chủ.

Ảnh chụp màn hình với thông số cụm

Cài đặt máy chủ bổ sung trong môi trường Tự lưu trữ

Liên kết cho tài liệu.

Các máy chủ bổ sung cho môi trường Tự lưu trữ được thêm vào theo cách tương tự như máy chủ thông thường, với bước bổ sung là triển khai VM với công cụ được lưu trữ - Chọn hành động triển khai công cụ được lưu trữ >> Triển khai. Vì máy chủ bổ sung cũng phải được cung cấp LUN cho máy ảo có công cụ được lưu trữ, điều này có nghĩa là máy chủ này có thể, nếu cần, được sử dụng để lưu trữ một máy ảo có công cụ được lưu trữ trên đó.
Vì mục đích giảm thiểu lỗi, chúng tôi khuyên bạn nên có ít nhất hai máy chủ có thể đặt máy ảo công cụ được lưu trữ trên đó.

Trên máy chủ bổ sung, tắt iptables (nếu được bật), bật tường lửa

systemctl stop iptables
systemctl disable iptables

systemctl enable firewalld
systemctl start firewalld

Cài đặt phiên bản KVM cần thiết (nếu cần):

yum-config-manager --disable mirror.centos.org_centos-7_7_virt_x86_64_libvirt-latest_

yum install centos-release-qemu-ev
yum update
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer libguestfs libguestfs-tools dejavu-lgc-sans-fonts virt-top libvirt libvirt-python libvirt-client

systemctl enable libvirtd
systemctl restart libvirtd && systemctl status libvirtd

virsh domcapabilities kvm | grep md-clear

Cài đặt các kho lưu trữ cần thiết và trình cài đặt công cụ được lưu trữ:

yum -y install http://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
yum -y install epel-release
yum update
yum install screen ovirt-hosted-engine-setup

Tiếp theo, đi tới bảng điều khiển Mở Trình quản lý ảo hóa, thêm máy chủ mới và thực hiện mọi thứ từng bước, như được viết trong tài liệu.

Kết quả là, sau khi thêm máy chủ bổ sung, chúng ta sẽ nhận được nội dung giống như hình ảnh trong bảng điều khiển quản trị, như trong ảnh chụp màn hình.

Ảnh chụp màn hình cổng thông tin quản trị - máy chủ

Máy chủ mà máy ảo được lưu trữ hiện đang hoạt động có vương miện vàng và dòng chữ “Chạy máy ảo được lưu trữ trên máy chủ", máy chủ mà máy ảo này có thể được khởi chạy nếu cần thiết - dòng chữ "Có thể chạy Hosted Engine VM'.

Trong trường hợp máy chủ bị lỗi mà "Chạy máy ảo được lưu trữ trên máy chủ", nó sẽ tự động khởi động lại trên máy chủ thứ hai. Máy ảo này cũng có thể được di chuyển từ máy chủ đang hoạt động sang máy chủ dự phòng để bảo trì.

Thiết lập Quản lý nguồn/hàng rào trên máy chủ oVirt

Liên kết tài liệu:

• Ảo hóa Red Hat 4.3 -> Tham khảo kỹ thuật -> Chương 4. Quản lý nguồn điện
• Hướng dẫn quản trị oVirt -> Chương 7: Ký chủ

Mặc dù có vẻ như bạn đã hoàn tất việc thêm và định cấu hình máy chủ nhưng điều đó không hoàn toàn đúng.
Để máy chủ hoạt động bình thường và để xác định/giải quyết lỗi với bất kỳ máy chủ nào, cần phải có cài đặt Quản lý nguồn/hàng rào.

Kiếm thuật, hoặc rào chắn, là quá trình tạm thời loại trừ một máy chủ bị lỗi hoặc bị lỗi khỏi cụm, trong đó các dịch vụ oVirt trên đó hoặc chính máy chủ đó được khởi động lại.

Như thường lệ, tất cả các chi tiết về định nghĩa và tham số của Quản lý nguồn / hàng rào đều được đưa ra trong tài liệu; Tôi sẽ chỉ đưa ra một ví dụ về cách định cấu hình tham số quan trọng này, như được áp dụng cho máy chủ Dell R640 với iDRAC 9.

1. Đi tới cổng quản trị, nhấp vào Tính >> Máy chủ chọn một máy chủ.
2. Nhấn vào đây Chỉnh sửa.
3. Nhấp vào tab Quản lý năng lượng.
4. Chọn hộp bên cạnh tùy chọn Kích hoạt quản lý nguồn.
5. Chọn hộp bên cạnh tùy chọn Tích hợp Kdumpđể ngăn máy chủ chuyển sang chế độ đấu kiếm trong khi ghi lại kết xuất lỗi kernel.

Lưu ý.

Sau khi kích hoạt tích hợp Kdump trên máy chủ đã chạy, nó phải được cài đặt lại theo quy trình trong Hướng dẫn quản trị oVirt -> Chương 7: Ký chủ -> Cài đặt lại máy chủ.

1. Tùy chọn, bạn có thể chọn hộp Vô hiệu hóa kiểm soát chính sách quản lý năng lượng, nếu chúng tôi không muốn việc quản lý nguồn điện của máy chủ bị kiểm soát bởi Chính sách lập lịch của cụm.
2. Nhấn vào nút (+) để thêm thiết bị quản lý nguồn mới, cửa sổ chỉnh sửa thuộc tính tác nhân sẽ mở ra.
   Đối với iDRAC9, hãy điền vào các trường:
   • Địa Chỉ – địa chỉ iDRAC9
   • Tên người dùng / Mật khẩu – đăng nhập và mật khẩu để đăng nhập vào iDRAC9 tương ứng
   • Kiểu —drac5
   • dấu Bảo mật
   • thêm các tùy chọn sau: cmd_prompt=>,login_timeout=30

Ảnh chụp màn hình với thông số “Quản lý nguồn” trong thuộc tính máy chủ

Tạo vùng lưu trữ hoặc Miền lưu trữ

Liên kết tới tài liệu - Hướng dẫn quản trị oVirt, Chương 8: Lưu trữ.

Miền lưu trữhoặc vùng lưu trữ, là một vị trí tập trung để lưu trữ đĩa máy ảo, hình ảnh cài đặt, mẫu và ảnh chụp nhanh.

Các khu vực lưu trữ có thể được kết nối với trung tâm dữ liệu bằng nhiều giao thức, cụm và hệ thống tệp mạng khác nhau.

oVirt có ba loại vùng lưu trữ:

• Miền dữ liệu – để lưu trữ tất cả dữ liệu được liên kết với máy ảo (đĩa, mẫu). Miền dữ liệu không thể được chia sẻ giữa các trung tâm dữ liệu khác nhau.
• Tên miền ISO (loại vùng lưu trữ lỗi thời) – để lưu trữ hình ảnh cài đặt hệ điều hành. Tên miền ISO có thể được chia sẻ giữa các trung tâm dữ liệu khác nhau.
• Xuất tên miền (loại vùng lưu trữ lỗi thời) – để lưu trữ tạm thời các hình ảnh được di chuyển giữa các trung tâm dữ liệu.

Trong trường hợp cụ thể của chúng tôi, vùng lưu trữ có loại Miền dữ liệu sử dụng Giao thức kênh sợi quang (FCP) để kết nối với LUN trên hệ thống lưu trữ.

Theo quan điểm của oVirt, khi sử dụng hệ thống lưu trữ (FC hoặc iSCSI), mỗi đĩa ảo, ảnh chụp nhanh hoặc mẫu là một đĩa logic.
Các thiết bị khối được tập hợp thành một đơn vị duy nhất (trên các máy chủ cụm) bằng cách sử dụng Volume Group và sau đó được chia bằng LVM thành các khối logic, được sử dụng làm đĩa ảo cho VM.

Tất cả các nhóm này và nhiều khối LVM có thể được nhìn thấy trên máy chủ cụm bằng cách sử dụng các lệnh vân vân и lv. Đương nhiên, tất cả các hành động với các đĩa như vậy chỉ nên được thực hiện từ bảng điều khiển oVirt, ngoại trừ những trường hợp đặc biệt.

Đĩa ảo cho máy ảo có thể có hai loại - QCOW2 hoặc RAW. Đĩa có thể là "gầy" hoặc là "đặc". Ảnh chụp nhanh luôn được tạo dưới dạng "mỏng".

Cách quản lý Miền lưu trữ hoặc vùng lưu trữ được truy cập thông qua FC khá logic - đối với mỗi đĩa ảo VM có một ổ đĩa logic riêng biệt mà chỉ một máy chủ có thể ghi. Đối với các kết nối FC, oVirt sử dụng thứ gì đó giống như LVM được nhóm.

Các máy ảo nằm trên cùng một vùng lưu trữ có thể được di chuyển giữa các máy chủ thuộc cùng một cụm.

Như chúng ta có thể thấy từ phần mô tả, một cụm trong oVirt, giống như một cụm trong VMware vSphere hoặc Hyper-V, về cơ bản có cùng ý nghĩa - đó là một nhóm máy chủ hợp lý, tốt nhất là giống hệt nhau về thành phần phần cứng và có bộ lưu trữ chung cho máy chủ ảo. đĩa máy.

Hãy trực tiếp tiến hành tạo vùng lưu trữ dữ liệu (đĩa VM), vì nếu không có nó, trung tâm dữ liệu sẽ không được khởi tạo.
Hãy để tôi nhắc bạn rằng tất cả các LUN được trình bày cho các máy chủ cụm trên hệ thống lưu trữ phải hiển thị trên chúng bằng lệnh “đa đường -ll'.

Theo tài liệu, đi tới cổng đi tới Kho >> Tên miền -> Tên miền mới và làm theo hướng dẫn từ phần "Thêm bộ nhớ FCP".

Sau khi khởi chạy trình hướng dẫn, hãy điền vào các trường bắt buộc:

• Họ tên - đặt tên cụm
• Chức năng miền -Dữ liệu
• Loại lưu trữ - Kênh sợi quang
• Máy chủ để sử dụng — chọn một máy chủ có sẵn LUN mà chúng tôi yêu cầu

Trong danh sách LUN, đánh dấu cái chúng ta cần, nhấp vào Thêm và sau đó ОК. Nếu cần, bạn có thể điều chỉnh thêm thông số của vùng lưu trữ bằng cách click vào Thông số nâng cao.

Ảnh chụp màn hình của trình hướng dẫn thêm “Miền lưu trữ”

Dựa trên kết quả của trình hướng dẫn, chúng tôi sẽ nhận được một vùng lưu trữ mới và trung tâm dữ liệu của chúng tôi sẽ chuyển sang trạng thái UP, hoặc khởi tạo:

Ảnh chụp màn hình trung tâm dữ liệu và các khu vực lưu trữ trong đó:

Tạo và cấu hình mạng cho máy ảo

Liên kết tới tài liệu - Hướng dẫn quản trị oVirt, Chương 6: Mạng logic

Mạng hoặc mạng phục vụ cho nhóm các mạng logic được sử dụng trong cơ sở hạ tầng ảo oVirt.

Để tương tác giữa bộ điều hợp mạng trên máy ảo và bộ điều hợp vật lý trên máy chủ, các giao diện logic như cầu nối Linux được sử dụng.

Để nhóm và phân chia lưu lượng giữa các mạng, Vlan được cấu hình trên các thiết bị chuyển mạch.

Khi tạo mạng logic cho các máy ảo trong oVirt, nó phải được gán một mã định danh tương ứng với số VLAN trên switch để các VM có thể giao tiếp với nhau, ngay cả khi chúng chạy trên các nút khác nhau của cụm.

Cài đặt sơ bộ của bộ điều hợp mạng trên máy chủ để kết nối máy ảo phải được thực hiện trong bài viết trước – cấu hình giao diện logic bondxnumx, thì tất cả cài đặt mạng chỉ được thực hiện thông qua cổng quản trị oVirt.

Sau khi tạo VM bằng công cụ lưu trữ, ngoài việc tự động tạo trung tâm dữ liệu và cụm, một mạng logic cũng được tạo tự động để quản lý cụm của chúng tôi - ovritmgmt, mà VM này đã được kết nối.

Nếu cần, bạn có thể xem cài đặt mạng logic ovritmgmt và điều chỉnh chúng, nhưng bạn phải cẩn thận để không mất quyền kiểm soát cơ sở hạ tầng oVirt.

Cài đặt mạng logic ovritmgmt

Để tạo mạng logic mới cho các máy ảo thông thường, trong cổng quản trị, hãy truy cập mạng >> Networks >> Mới, và trên tab Tổng Quát thêm mạng có ID Vlan mong muốn, đồng thời chọn hộp bên cạnh “Mạng VM", điều này có nghĩa là nó có thể được sử dụng để gán cho VM.

Ảnh chụp màn hình của mạng logic VLAN32 mới

Trong tab cụm, chúng tôi gắn mạng này vào cụm của chúng tôi Cụm1.

Sau này chúng ta đi đến Tính >> Máy chủ, lần lượt đi tới từng Host, tới tab Giao diện mạngvà khởi chạy trình hướng dẫn Thiết lập mạng máy chủ, để liên kết với các máy chủ của mạng logic mới.

Ảnh chụp màn hình của trình hướng dẫn “Thiết lập mạng máy chủ”

Tác nhân oVirt sẽ tự động thực hiện tất cả các cài đặt mạng cần thiết trên máy chủ - tạo Vlan và CẦU.

Tệp cấu hình ví dụ cho các mạng mới trên máy chủ:

cat ifcfg-bond1
# Generated by VDSM version 4.30.17.1
DEVICE=bond1
BONDING_OPTS='mode=1 miimon=100'
MACADDR=00:50:56:82:57:52
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-bond1.432
# Generated by VDSM version 4.30.17.1
DEVICE=bond1.432
VLAN=yes
BRIDGE=ovirtvm-vlan432
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

cat ifcfg-ovirtvm-vlan432
# Generated by VDSM version 4.30.17.1
DEVICE=ovirtvm-vlan432
TYPE=Bridge
DELAY=0
STP=off
ONBOOT=yes
MTU=1500
DEFROUTE=no
NM_CONTROLLED=no
IPV6INIT=no

Hãy để tôi nhắc bạn một lần nữa rằng trên máy chủ cụm KHÔNG CẦN tạo trước giao diện mạng theo cách thủ công ifcfg-bond1.432 и ifcfg-ovirtvm-vlan432.

Sau khi thêm mạng logic và kiểm tra kết nối giữa máy chủ và VM công cụ được lưu trữ, nó có thể được sử dụng trong máy ảo.

Tạo image cài đặt để triển khai máy ảo

Liên kết tới tài liệu - Hướng dẫn quản trị oVirt, Chương 8: Lưu trữ, phần Tải hình ảnh lên miền lưu trữ dữ liệu.

Nếu không có hình ảnh cài đặt hệ điều hành, sẽ không thể cài đặt máy ảo, mặc dù điều này tất nhiên không phải là vấn đề nếu chẳng hạn như được cài đặt trên mạng Người thổi với những hình ảnh được tạo sẵn.

Trong trường hợp của chúng tôi, điều này là không thể, vì vậy bạn sẽ phải tự nhập hình ảnh này vào oVirt. Trước đây, điều này yêu cầu tạo Miền ISO, nhưng trong phiên bản mới của oVirt, nó không được dùng nữa và do đó giờ đây bạn có thể tải hình ảnh trực tiếp lên Miền lưu trữ từ cổng quản trị.

Trong cổng hành chính đi tới Kho >> Đĩa >> Tải lên >> Bắt đầu
Chúng tôi thêm hình ảnh hệ điều hành của mình dưới dạng tệp ISO, điền vào tất cả các trường trong biểu mẫu và nhấp vào nút "Kiểm tra kết nối".

Ảnh chụp màn hình của Trình hướng dẫn Thêm Hình ảnh Cài đặt

Nếu chúng tôi gặp lỗi như thế này:

Unable to upload image to disk d6d8fd10-c1e0-4f2d-af15-90f8e636dadc due to a network error. Ensure that ovirt-imageio-proxy service is installed and configured and that ovirt-engine's CA certificate is registered as a trusted CA in the browser. The certificate can be fetched from https://ovirt.test.local/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA`

Sau đó, bạn cần thêm chứng chỉ oVirt vào “CA gốc đáng tin cậy"(Trusted Root CA) trên trạm điều khiển của quản trị viên, từ nơi chúng tôi đang cố tải xuống hình ảnh.

Sau khi thêm chứng chỉ vào CA gốc đáng tin cậy, hãy nhấp lại "Kiểm tra kết nối", sẽ nhận được:

Connection to ovirt-imageio-proxy was successful.

Sau khi hoàn tất hành động thêm chứng chỉ, bạn có thể thử tải lại ảnh ISO lên Miền lưu trữ.

Về nguyên tắc, bạn có thể tạo Miền lưu trữ riêng với loại Dữ liệu để lưu trữ hình ảnh và mẫu riêng biệt với đĩa VM hoặc thậm chí lưu trữ chúng trong Miền lưu trữ cho công cụ được lưu trữ, nhưng điều này tùy theo quyết định của quản trị viên.

Ảnh chụp màn hình với hình ảnh ISO trong Miền lưu trữ cho công cụ được lưu trữ

Tạo một máy ảo

Liên kết tài liệu:
Hướng dẫn quản lý máy ảo oVirt –> Chương 2: Cài đặt máy ảo Linux
Tài nguyên khách hàng của bảng điều khiển

Sau khi tải hình ảnh cài đặt với hệ điều hành vào oVirt, bạn có thể tiến hành trực tiếp việc tạo máy ảo. Rất nhiều công việc đã được thực hiện, nhưng chúng tôi đã ở giai đoạn cuối cùng, vì mục đích đó mà tất cả những điều này đã được bắt đầu - có được cơ sở hạ tầng có khả năng chịu lỗi để lưu trữ các máy ảo có tính sẵn sàng cao. Và tất cả những điều này hoàn toàn miễn phí - không tốn một xu nào để mua bất kỳ giấy phép phần mềm nào.

Để tạo máy ảo với CentOS 7, phải tải xuống image cài đặt từ HĐH.

Chúng tôi đi đến cổng hành chính, đi đến Tính >> Máy ảovà khởi chạy trình hướng dẫn tạo VM. Điền vào tất cả các tham số và trường và nhấp vào ОК. Mọi thứ đều rất đơn giản nếu bạn làm theo tài liệu.

Để làm ví dụ, tôi sẽ cung cấp các cài đặt cơ bản và bổ sung của một máy ảo có tính sẵn sàng cao, với một đĩa được tạo, được kết nối với mạng và khởi động từ hình ảnh cài đặt:

Ảnh chụp màn hình với cài đặt VM có tính khả dụng cao

Sau khi hoàn thành công việc với trình hướng dẫn, hãy đóng nó lại, khởi chạy một máy ảo mới và cài đặt hệ điều hành trên đó.
Để thực hiện việc này, hãy đi tới bảng điều khiển của máy ảo này thông qua cổng quản trị:

Ảnh chụp màn hình cài đặt cổng quản trị để kết nối với bảng điều khiển VM

Để kết nối với bảng điều khiển VM, trước tiên bạn phải định cấu hình bảng điều khiển trong thuộc tính của máy ảo.

Ảnh chụp màn hình cài đặt VM, tab “Bảng điều khiển”

Để kết nối với bảng điều khiển VM, bạn có thể sử dụng, ví dụ: Trình xem máy ảo.

Để kết nối trực tiếp với bảng điều khiển VM trong cửa sổ trình duyệt, cài đặt kết nối qua bảng điều khiển phải như sau:

Sau khi cài đặt HĐH trên VM, bạn nên cài đặt tác nhân khách oVirt:

yum -y install epel-release
yum install -y ovirt-guest-agent-common
systemctl enable ovirt-guest-agent.service && systemctl restart ovirt-guest-agent.service
systemctl status ovirt-guest-agent.service

Do đó, do hành động của chúng tôi, VM được tạo sẽ có tính sẵn sàng cao, tức là. nếu nút cụm mà nó đang chạy bị lỗi, oVirt sẽ tự động khởi động lại nó trên nút thứ hai. Máy ảo này cũng có thể được di chuyển giữa các máy chủ cụm để bảo trì hoặc cho các mục đích khác.

Kết luận

Tôi hy vọng rằng bài viết này đã truyền tải được rằng oVirt là một công cụ hoàn toàn bình thường để quản lý cơ sở hạ tầng ảo, không quá khó để triển khai - điều chính là tuân theo các quy tắc và yêu cầu nhất định được mô tả cả trong bài viết và trong tài liệu.

Do khối lượng bài viết quá lớn nên không thể đưa nhiều nội dung vào đó, chẳng hạn như thực hiện từng bước các trình hướng dẫn khác nhau với tất cả các giải thích chi tiết và ảnh chụp màn hình, kết luận dài dòng của một số lệnh, v.v. Trên thực tế, điều này đòi hỏi phải viết cả một cuốn sách, điều này không có nhiều ý nghĩa do các phiên bản phần mềm mới liên tục xuất hiện với những cải tiến và thay đổi. Điều quan trọng nhất là hiểu nguyên tắc hoạt động cùng nhau của tất cả và có được thuật toán chung để tạo nền tảng có khả năng chịu lỗi để quản lý máy ảo.

Mặc dù chúng ta đã tạo ra một cơ sở hạ tầng ảo nhưng bây giờ chúng ta cần dạy nó tương tác giữa các thành phần riêng lẻ: máy chủ, máy ảo, mạng nội bộ và với thế giới bên ngoài.

Quá trình này là một trong những nhiệm vụ chính của quản trị viên hệ thống hoặc mạng, sẽ được đề cập trong bài viết tiếp theo - về việc sử dụng bộ định tuyến ảo VyOS trong cơ sở hạ tầng có khả năng chịu lỗi của doanh nghiệp chúng ta (như bạn đoán, chúng sẽ hoạt động như ảo). máy trên cụm oVirt của chúng tôi).

Nguồn: www.habr.com