🥇 Kaugjuurdepääs GPU-ga VM-idele Citrixi kaudu

Selles juhendis on üksikasjalikult kirjeldatud samme, mida tuleks teha virtuaalsetele töölaudadele kaugpääsuks Citrixi tehnoloogia abil.

See on kasulik neile, kes on hiljuti tutvunud töölaudade virtualiseerimise tehnoloogiaga, kuna see on kogum kasulikke käske, mis on kogutud umbes 10 käsiraamatust, millest paljusid on saadaval Citrixi, Nvidia, Microsofti veebis, pärast sisselogimist.

Selle rakenduse puhul on etapid kaugpääsu ettevalmistamiseks Nvidia Tesla M60 graafikakiipidega virtuaalmasinatele (VM) ja operatsioonisüsteemile CentOS 7.

Nii et alustame.

Hüperviisori ettevalmistamine virtuaalmasinate majutamiseks

Kuidas alla laadida ja installida XenServer 7.4?
Kuidas lisada XenServer Citrix XenCenterisse?
Kuidas alla laadida ja installida Nvidia draiver?
Kuidas muuta Nvidia Tesla M60 režiimi?
Kuidas mountida salvestuskoht?

XenServer 7.4

Allalaadimise link XenServer 7.4 on saadaval pärast saidil sisselogimist Citrix.

Teeme XenServer.iso installatsiooni serverisse, millel on 4x NVIDIA Tesla M60, tavalise meetodi abil. Minu puhul mountitakse iso läbi IPMI. Dell serverite puhul kontrollitakse BMC kontrollerit IDRAC-i kaudu. Installatsiooni etapid kattuvad peaaegu täielikult Linuxi sarnaste operatsioonisüsteemide installatsiooniga.

Minu XenServer GPU aadress on 192.168.1.100

Installime XenCenter.msi kohaliku arvuti, millelt haldame hüperviisioreid ja virtuaalseid masinaid. Lisame sinna GPU ja XenServeri, klikates vahekaardil «Server», seejärel «Add». Sisestame installatsiooni käigus määratud root kasutajanime ja parooli.

XenCenteris, pärast lisatud hüperviisiore nimele klikkimist, on saadaval vahekaart «Console». Menüüst valime «Remote Service Configuration» ja lubame SSH autentimise — «Enable/Disable Remote Shell».

Nvidia draiver

Luban endal väljendada, et kogu vGPU kasutamise aja jooksul ei ole ma kunagi veebilehte avanud nvid.nvidia.com esimese korraga. Kui autentimine ei toimi, siis soovitan Internet Exploreri.

Laadime alla vGPU zip faili ning GPUMode Change Utility:

NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip
NVIDIA-gpumodeswitch-2020-01.zip

Jälgime versioone. Laaditud arhiivi nimes on märgitud sobivate NVIDIA draiverite versioon, mida saab hiljem installida virtuaalsetesse masinatesse. Minu puhul on see 390.72.

Kandke zip-failid XenServerisse ja pakkige need välja.

Muuda GPU režiimi ja installi vGPU draiver.

$ cd NVIDIA-gpumodeswitch-2020-01
$ gpumodeswitch --listgpumodes
$ gpumodeswitch --gpumode graphics
$ cd ../NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81
$ yum install NVIDIA-vGPU-xenserver-7.4-390.72.x86_64.rpm
$ reboot

Kinnita salvestus

Seame üles jagatud kausta NFS abil mis tahes arvutis võrgus.

$ yum install epel-release
$ yum install nfs-utils libnfs-utils
$ systemctl enable rpcbind
$ systemctl enable nfs-server
$ systemctl enable nfs-lock
$ systemctl enable nfs-idmap
$ systemctl start rpcbind
$ systemctl start nfs-server
$ systemctl start nfs-lock
$ systemctl start nfs-idmap
$ firewall-cmd --permanent --zone=public --add-service=nfs
$ firewall-cmd --permanent --zone=public --add-service=mountd
$ firewall-cmd --permanent --zone=public --add-service=rpc-bind
$ firewall-cmd --reload
$ mkdir -p /nfs/store1
$ chmod -R 777 /nfs/store1
$ touch /nfs/store1/forcheck
$ cat /etc/exports
  ...
  /nfs/store1 192.168.1.0/24(rw,async,crossmnt,no_root_squash,no_all_squash,no_subtree_check)
$ systemctl restart nfs-server

XenCenteris valige XenServer ja vahekaardil «Storage» valige «New SR». Määrake salvestustüübi — NFS ISO. Tee peab viitama jagatud NFS kaustale.

Citrixi põhikujutis CentOS 7 baasil

Kuidas luua virtuaalmasin CentOS 7-ga?

Kuidas ette valmistada virtuaalmasin katalooge loomiseks?

CentOS 7 pilt

XenCenteri abil loome virtuaalmasina GPU-ga. Vahekaardil «VM» valime «New VM».

Valige vajalikud parameetrid:

VM mall — Muud installimismedia
Nimi — mall
Install from ISO library — Centos 7 (lae alla), valime NFS ISO-monteeritud salvestusest.
vCPU-de arv — 4
Topoloogia — 1 sokkel, 4 tuuma sokli kohta
Mälu — 30 Gb
GPU tüüp — GRID M60-4Q
Kasutage seda virtuaalset ketast — 80 Gb
Võrk log /dev/log local0 log /dev/log local1 notice chroot /var/lib/haproxy stats timeout 30s user haproxy group haproxy daemondefaults log global mode http option httplog option dontlognull timeout connect 5000 timeout client 50000 timeout server 50000frontend http_front bind *:80 stats uri /haproxy?stats default_backend http_backbackend http_back balance roundrobin server server_name1 private_ip1:80 check server server_name2 private_ip2:80 check

Pärast loomist kuvatakse virtuaalne masin vasakus vertikaalses loendis. Klõpsake sellel ja minge vahekaardile „Console“. Oodake Centos 7 installeri laadimist ja täitke vajalikud sammud OS-i paigaldamiseks, kasutades GNOME'i liideseid.

Pildi ettevalmistamine

Centos 7 pildi ettevalmistamine võttis mul palju aega. Lõpuks valmistasin ma skriptide kogumi, mis lihtsustab Linuxi esialgset seadistamist ja võimaldab luua virtuaalmasinate katalooge Citrix Machine Creation Services (MCS) abil.

DHCP-server, mis on paigaldatud ws-ad-le, andis uuele virtuaalsele masinale IP-aadressi 192.168.1.129.

Järgmisena annan edasi põhinõuded.

$ hostnamectl set-hostname template
$ yum install -y epel-release
$ yum install -y lsb mc gcc
$ firewall-cmd --permanent --zone=dmz --remove-service=ssh
$ firewall-cmd --permanent --zone=external --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=mdns
$ firewall-cmd --permanent --zone=home --remove-service=samba-client
$ firewall-cmd --permanent --zone=home --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=samba-client
$ firewall-cmd --permanent --zone=internal --remove-service=mdns
$ firewall-cmd --permanent --zone=internal --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=ssh
$ firewall-cmd --permanent --zone=public --add-service=ssh
$ firewall-cmd --complete-reload

XenCenteris vahekaardil "Console" liidame guest-tools.iso virtuaalse masina DVD-draivi ja installime XenTools for Linux.

$ mount /dev/cdrom /mnt
$ /mnt/Linux/install.sh
$ reboot

XenServeri seadistamisel kasutasime arhiivi NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip, mille laadisime alla NVIDIA kodulehelt. See sisaldab muu hulgas NVIDIA draiverit XenServeri jaoks ja vajalikku NVIDIA draiverit vGPU klientidele. Laadime selle alla ja installime VM-ile.

$ cat /etc/default/grub
  GRUB_TIMEOUT=5
  GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
  GRUB_DEFAULT=saved
  GRUB_DISABLE_SUBMENU=true
  GRUB_TERMINAL_OUTPUT="console"
  GRUB_CMDLINE_LINUX="rhgb quiet modprobe.blacklist=nouveau"
  GRUB_DISABLE_RECOVERY="true"
$ grub2-mkconfig -o /boot/grub2/grub.cfg
$ wget http://vault.centos.org/7.6.1810/os/x86_64/Packages/kernel-devel-3.10.0-957.el7.x86_64.rpm
$ yum install kernel-devel-3.10.0-957.el7.x86_64.rpm
$ reboot
$ init 3
$ NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81/NVIDIA-Linux-x86_64-390.75-grid.run
$ cat /etc/nvidia/gridd.conf
  ServerAddress=192.168.1.111
  ServerPort=7070
  FeatureType=1
$ reboot

Laadime alla Linux Virtual Delivery Agent 1811 (VDA) Centos 7 jaoks. Laadimise link Linux VDA on saadaval pärast saidil sisselogimist Citrix.

$ yum install -y LinuxVDA-1811.el7_x.rpm
$ cat /var/xdl/mcs/mcs.conf
  #!/bin/bash
  dns1=192.168.1.110
  NTP_SERVER=some.ntp.ru
  AD_INTEGRATION=winbind
  SUPPORT_DDC_AS_CNAME=N
  VDA_PORT=80
  REGISTER_SERVICE=Y
  ADD_FIREWALL_RULES=Y
  HDX_3D_PRO=Y
  VDI_MODE=Y
  SITE_NAME=domain.ru
  LDAP_LIST=ws-ad.domain.ru
  SEARCH_BASE=DC=domain,DC=ru
  START_SERVICE=Y
$ /opt/Citrix/VDA/sbin/deploymcs.sh
$ echo "exclude=kernel* xorg*" >> /etc/yum.conf

Citrix Studios loome Machine Catalog'i ja Delivery group'i. Selleks tuleb eelnevalt installida ja seadistada Windows Server.

Windows Server koos Domain Controller'iga

Kuidas alla laadida ja installida Windows Server 2016?
Kuidas installida Windows Server'i komponente?
Kuidas seadistada Active Directory, DHCP ja DNS?

Windows Server 2016

Kuna Windows Serveriga virtuaalmasinal (VM) ei ole GPU-d vaja, kasutame hüperviisorina serverit, millel pole GPU-d. Nagu eespool kirjeldatud, installime veel ühe XenServeri süsteemide virtuaalmasinate hostimiseks.

Seejärel loome Windows Serveri virtuaalmasina Active Directoryga.

Laadime Windows Server 2016 alla veebisaidilt Microsoft. Parim on minna lingile Internet Exploreri kaudu.

XenCenter'i abil loome virtuaalmasina. Vahekaardil „VM” klõpsame „New VM”.

Valige vajalikud parameetrid:

VM mall — Windows Server 2016 (64-bit)
Nimi — ws-ad.domain.ru
Install from ISO library — WindowsServer2016.iso, valime NFS ISO monteeritud salvestusest.
vCPU-de arv — 4
Topoloogia — 1 sokkel, 4 tuuma sokli kohta
Mälu — 20 Gb
GPU tüüp — puudub
Kasutage seda virtuaalset ketast — 100 Gb
Võrk log /dev/log local0 log /dev/log local1 notice chroot /var/lib/haproxy stats timeout 30s user haproxy group haproxy daemondefaults log global mode http option httplog option dontlognull timeout connect 5000 timeout client 50000 timeout server 50000frontend http_front bind *:80 stats uri /haproxy?stats default_backend http_backbackend http_back balance roundrobin server server_name1 private_ip1:80 check server server_name2 private_ip2:80 check

Pärast loomist ilmub virtuaalmasin vasakpoolsesse vertikaalsesse loendisse. Klõpsame sellel ja läheme vahekaardile „Console”. Ootame Windows Serveri installija laadimist ja teeme vajalikud sammud operatsioonisüsteemi installimiseks.

Installime VM-s XenTools. Klõpsame virtuaalmasinal parema hiire nupuga, seejärel „Install Citrix VM Tools…”. Seejärel monteeritakse pilt, mille tuleb käivitada ja XenTools installida. Paigaldamise lõppedes on vajalik VM-i taaskäivitamine.

Seadistame võrkaatori:

IP-aadress — 192.168.1.110
Mask — 255.255.255.0
Lühiühendus — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Kui Windows Server ei ole aktiveeritud, teostame aktiveerimise. Võtme saab sealt, kust pilt alla laaditi.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Seame arvuti nime. Minu puhul on see ws-ad.

Komponentide paigaldamine

Serverihalduris valime „Lisa rolle ja komponente“. Märkime paigaldamiseks DHCP-serveri, DNC-serveri ja Active Directory domeeniteenused. Märkime kasti „Taaskäivita automaatselt“.

Active Directory seadistamine

Pärast VM-i taaskäivitamist klõpsame „Tõsta see server domeeninimekontrolleri tasemele“ ja lisame uue metsa domain.ru.

DHCP serveri seadistamine

Serverihalduri ülemisel paneelil klõpsame hüüumärgile, et salvestada muudatused DHCP-serveri paigaldamisel.

Liigume DHCP serveri seadistuste juurde.

Loome uue ala 192.168.1.120-130. Ülejäänut ei muuda. Valime „Seadistage DHCP parameetrid nüüd“ ja sisestame IP-aadressi ws-ad (192.168.1.110) lähteväravaks ja DNS-iks, mis kuvatakse virtuaalmasinate võrgukaartide seadistes.

DNS serveri seadistamine

Liigume DNS serveri seadistuste juurde.

Loome uue otsese vaatamise tsooni — primary zone, kõigi DNS serverite jaoks domeenis domain.ru. Rohkem mitte midagi ei muuda.

Loome uue tagasivaate tsooni, valides sarnased seaded.

DNS-serveri omadustes, vahekaardil „Täpsem“, paneme märke kasti „Keela rekursioon“.

Testkasutaja loomine

Liigume „Active Directory halduskeskkonda“

Jaotises „Kasutajad“ paremal vajutame „Loo“. Sisestame nime, näiteks test, ja allpool vajutame „OK“.

Valime loodud kasutaja ja vertikaalses menüüs paremal valime „Parooli lähtestamine“. Jätame märgitud kasti „Nõuda parooli muutmist järgmisel sisselogimisel“.

Windows Server Citrix Delivery Controlleriga

Kuidas alla laadida ja installida Windows Server 2016?
Kuidas alla laadida ja installida Citrix Delivery Controllerit?
Kuidas installida ja seadistada Citrix License Managerit?
Kuidas installida ja seadistada NVIDIA License Managerit?

Windows Server 2016

Kuna Windows Serveri virtuaalmasinal (VM) ei ole GPU vaja, kasutame hüperviisorina serverit, kus ei ole GPU-d.

Laadime Windows Server 2016 alla veebisaidilt Microsoft. Parim on minna lingile Internet Exploreri kaudu.

XenCenter'i abil loome virtuaalmasina. Vahekaardil „VM” klõpsame „New VM”.

Valige vajalikud parameetrid:

VM mall — Windows Server 2016 (64-bit)
Nimi — ws-dc
Install from ISO library — WindowsServer2016.iso, valime NFS ISO monteeritud salvestusest.
vCPU-de arv — 4
Topoloogia — 1 sokkel, 4 tuuma sokli kohta
Mälu — 20 Gb
GPU tüüp — puudub
Kasutage seda virtuaalset ketast — 100 Gb
Võrk log /dev/log local0 log /dev/log local1 notice chroot /var/lib/haproxy stats timeout 30s user haproxy group haproxy daemondefaults log global mode http option httplog option dontlognull timeout connect 5000 timeout client 50000 timeout server 50000frontend http_front bind *:80 stats uri /haproxy?stats default_backend http_backbackend http_back balance roundrobin server server_name1 private_ip1:80 check server server_name2 private_ip2:80 check

Pärast loomist ilmub virtuaalmasin vasakule vertikaalsesse loendisse. Klikkame sellel ja liigume vahekaardile „Konsol“. Ootame Windows Serveri installeri laadimist ja teeme vajalikud sammud operatsioonisüsteemi installimiseks.

Seadistame võrkaatori:

IP aadress — 192.168.1.111
Mask — 255.255.255.0
Lühiühendus — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Kui Windows Server ei ole aktiveeritud, teostame aktiveerimise. Võtme saab sealt, kust pilt alla laaditi.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Seame arvuti nime. Minu puhul on see ws-dc.

Lisame VM domeeni domen.ru, taaskäivitame ja logime sisse domeeni administraatori konto DOMENAdministrator all.

Citrixi edastamise kontroller

Laadige alla Citrix Virtual Apps and Desktops 1811 aadressilt ws-dc.domain.ru. Allalaadimise link Citrix Virtual Apps and Desktops on saadaval pärast saidil sisselogimist Citrix.

Mountige alla laaditud ISO ja käivitage see. Valige „Citrix Virtual Apps and Desktops 7“. Jätkake, klõpsates „Alustage“. Taaskäivitamine võib olla vajalik.

Minu puhul on piisav, et valida järgmised komponendid paigaldamiseks:

Edastuskontroller
Stuudio
Litsentsiserver
StoreFront

Rohkem midagi ei muuda ja vajutame „Installi“. Taaskäivitamine võib osutuda vajalikuks, pärast mida jätkub paigaldamine.

Niipea kui paigaldamine on lõpetatud, käivitub Citrix Studio - Citrixi haldamise keskkond.

Citrix Site'i seadistus

Valime kolme sektsiooni hulgast esimese - Site setup. Seadistamise käigus määrame Site Name - domain.

Sektsioonis „Ühendus“ sisestame hüperviisori GPU ühenduse andmed:

Ühenduse aadress - 192.168.1.100
Kasutajanimi - root
Parool - yourpassword
Ühenduse nimi - m60

Säilitus - Kasuta hüperviisorile kohalikke salvestusruume.

Nimi nende ressursside jaoks - m60.

Valige võrgud.

Valige GPU tüüp ja grupp - GRID M60-4Q.

Citrix Machine Catalogs seadistus

Teise sektsiooni seadistamisel - Machine Catalogs, valime Single-session OS (Desktop OS).

Master Image — valime ettevalmistatud virtuaalmasina pildi ja Citrix Virtual Apps and Desktops versiooni — 1811.

Valime virtuaalmasinate arvu kataloogis, näiteks 4.

Määrame skeemi, mille järgi virtuaalmasinatele antakse nimesid, minu jaoks on see desktop##. Sellisel juhul luuakse 4 VM-i nimedega desktop01-04.

Machine Catalog name — m60.

Machine Catalog description — m60.

Pärast Machine Catalogi loomist nelja VM-iga saab neid leida vasakpoolse XenCenteri vertikaalsest loendist.

Citrix Delivery Group

Kolmas jaotus algab virtuaalmasinate arvu valimisega, millele tuleb juurdepääs anda. Näitan kõiki nelja.

Jaotises 'Desktops' klõpsame 'Add', et lisada VM-rühm, millele anname juurdepääsu. Display name — m60.

Delivery group name — m60.

Pärast kolme põhijaotuse seadistamist näeb Citrix Studio peamine aken umbes selline välja

Citrix license manager

Laadime litsentsifaili alla oma isiklikust kabinetist veebilehel Citrix.

Vasakpoolse vertikaalse loendi all valime All Licensing Tools (Legacy). Liigume vahelehele 'Activate and Allocate Licenses'. Valime Citrix VDA litsentsid ja klikkime 'Continue'. Määrame meie Delivery Controllera nime — ws-dc.domain.ru ja litsentside arvu — 4. Klõpsame 'Continue'. Laadime alla genereeritud litsentsifaili ws-dc.domain.ru.

Vasakpoolses vertikaalses nimekirjas Citrix Studio valige jaotis „Licensing“. Parempoolses vertikaalses nimekirjas vajutage „License Management Console“. Avanenud brauseriaknas sisestage domeeni kasutaja DOMENAdministrator autentimisteated.

Citrix Licensing Manageris liikuge vahelehele „Install License“. Licentsifaili lisamiseks valige „Use downloaded license file“.

Citrixi komponentide installimine eeldab mitme virtuaalmasina kasutamist, üks komponent - üks VM. Minu juhul töötavad kõik Citrixi süsteemiteenused ühe VM-i piires. Seetõttu mainin ühte viga, mille parandamine osutus mulle eriti keeruliseks.

Kui pärast ws-dc taaskäivitamist tekib erinevaid probleeme, soovitan eelkõige kontrollida käivitatud teenuseid. Toon ära Citrixi teenuste nimekirja, mis peaksid VM-i taaskäivitamisel automaatselt käima minema:

SQL Server (SQLEXPRESS)
Citrix Configuration Service
Citrix Delegated Administration Service
Citrix Analytics
Citrix Broker Service
Citrix Configuration Logging Service
Citrix AD Identity Service
Citrix Host Service
Citrix App Library
Citrix Machine Creation Service
Citrix Monitor Service
Citrix Storefront Service
Citrix Trust Service
Citrix Environment Test Service
Citrix Orchestration Service
FlexNet License Server -nvidia

Olen kokku puutunud probleemiga, mis tekib erinevate Citrixi teenuste installimisel ühele virtuaalmasinale. Pärast taaskäivitamist ei käivitata kõiki teenuseid. Kõiki neid käsitsi käivitada polnud just mugav. Lahendust oli raske Googeldada, seega jagan seda siin – tuleb muuta registris kahte parameetrit:

HKEY_LOCAL_MACHINESYSTEMCurrentControlSetControl
Nimi: ServicesPipeTimeout
Väärtus: 240000

Nimi: WaitToKillServiceTimeout
Väärtus: 20000

Nvidia litsentsihaldur

Laadime alla NVIDIA litsentsihalduri Windowsi jaoks, oma isikliku konto kaudu veebisaidilt nvid.nvidia.com. Soovitav on siseneda läbi Internet Explorer'i.

Installime selle ws-dc-le. Selleks tuleb kõigepealt installida JAVA ja lisada keskkonnamuutuja JAVA_HOME. Pärast seda saab käivitada setup.exe NVIDIA License Manageri installimiseks.

Loome serveri, genereerime ja laadime alla litsentsifaili oma isiklikus kabinetis veebisaidil nvid.nvidia.com. Edastame litsentsifaili ws-dc-le.

Kasutades brauserit, autoriseerime end NVIDIA litsentsihalduri veebiliideses, mis on saadaval aadressil localhost:8080/licserver ja lisame litsentsifaili.