🥇Kaugtöötluse juurdepääs GPU-ga VM-idele Citrix'i kaudu

Selles juhendis on üksikasjalikult kirjeldatud samme, mida tuleb järgida virtuaalsetele töölauatele kaugjuurdepääsu valmistamiseks, kasutades Citrixi pakutavat tehnoloogiat.

See on kasulik neile, kes on hiljuti tutvunud töölaua virtualiseerimise tehnoloogiaga, kuna see on kogumik kasulikest käskudest, mis on kogutud umbes 10 manuaalist, millest paljusid on saadaval Citrixi, Nvidia ja Microsofti veebisaitidel pärast sisselogimist.

See lahendus sisaldab etappe kaugjuurdepääsu ettevalmistamiseks virtuaalmasinatele (VM) koos Nvidia Tesla M60 graafikakiirenditega ja Centos 7 opsüsteemiga.

Nii et alustame.

Hüperviisori ettevalmistamine virtuaalmasinate hostimiseks

Kuidas alla laadida ja installida XenServer 7.4?
Kuidas lisada XenServer Citrix XenCenterisse?
Kuidas alla laadida ja installida Nvidia draiver?
Kuidas muuta Nvidia Tesla M60 režiimi?
Kuidas mountida salvestus?

XenServer 7.4

Allalaadimislink XenServer 7.4 saadaval pärast sisselogimist saidile Citrix.

Teostame XenServer.iso installatsiooni serverisse, millel on 4x NVIDIA Tesla M60, tavapärasel viisil. Minu puhul monteeritakse iso läbi IPMI. Dell serverite puhul toimub BMC kontrolleri juhtimine läbi IDRACi. Installatsiooni etapid on peaaegu identsed Linuxi sarnaste opsüsteemide installimisega.

Minu aadress XenServer’ile koos GPU-ga — 192.168.1.100

Installime XenCenter.msi lokaalkomputerile, millega haldame hüperviisereid ja virtuaalmasinaid. Lisame sinna serveri koos GPU-ga ja XenServeri, klikkides vahelehele "Server" ja seejärel "Add". Sisestame rooti kasutajanime ja parooli, mille määrasime XenServeri installimise ajal.

XenCenteris, pärast sellele lisatud hüperviisori nimele klikkimist, on saadaval vahekaart "Console". Menüü kaudu valime "Remote Service Configuration" ja lülitame sisse SSH autoriseerimise – "Enable/Disable Remote Shell".

Nvidia draiver

Vabastan emotsioonid ja ütlen, et kogu oma vGPU tööaja jooksul ei ole ma kunagi sisenenud saidile nvid.nvidia.com esimesel katsel. Kui autoriseerimine ei õnnestu, soovitan Internet Explorerit.

Laadime alla zip vGPU ning GPUMode Change Utility:

NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip
NVIDIA-gpumodeswitch-2020-01.zip

Jälgime versioone. Laaditud arhiivi nimetus sisaldab sobivate NVIDIA draiverite versiooni, mida saab hiljem virtuaalmasinatesse installida. Minu puhul on see 390.72.

Kandame zip-id XenServerisse ja pakkime need lahti.

Muudame GPU režiimi ja installime vGPU draiveri

$ cd NVIDIA-gpumodeswitch-2020-01
$ gpumodeswitch --listgpumodes
$ gpumodeswitch --gpumode graphics
$ cd ../NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81
$ yum install NVIDIA-vGPU-xenserver-7.4-390.72.x86_64.rpm
$ reboot

Mount storage

Seame tulemusena NFS-i kaudu ühine kaust igasugusel arvutil võrgus.

$ yum install epel-release
$ yum install nfs-utils libnfs-utils
$ systemctl enable rpcbind
$ systemctl enable nfs-server
$ systemctl enable nfs-lock
$ systemctl enable nfs-idmap
$ systemctl start rpcbind
$ systemctl start nfs-server
$ systemctl start nfs-lock
$ systemctl start nfs-idmap
$ firewall-cmd --permanent --zone=public --add-service=nfs
$ firewall-cmd --permanent --zone=public --add-service=mountd
$ firewall-cmd --permanent --zone=public --add-service=rpc-bind
$ firewall-cmd --reload
$ mkdir -p /nfs/store1
$ chmod -R 777 /nfs/store1
$ touch /nfs/store1/forcheck
$ cat /etc/exports
  ...
  /nfs/store1 192.168.1.0/24(rw,async,crossmnt,no_root_squash,no_all_squash,no_subtree_check)
$ systemctl restart nfs-server

XenCenteris valime XenServeri ja vahekaardil „Storage” valime „New SR”. Määrame salvestustüübi - NFS ISO. Tee peab viitama ühisele NFS-kaustale.

Citrixi põhifoto Centos 7 põhjal

Kuidas luua virtuaalmasin Centos 7-ga?

Kuidas ette valmistada virtuaalmasin kausta loomiseks?

Centos 7 pilt

XenCenteris loome GPU-ga virtuaalmasina. Vahekaardil „VM” vajutame „New VM”.

Valime vajalikud seadistused:

VM mall — Other install media
Nimi — mall
Installeeri ISO raamatukogust — Centos 7 (alla laadida), valime NFS ISO-mälu kõigepealt.
VCPUs arvu — 4
Topoloogia — 1 pesa 4 tuumaga pesa kohta
Mälu — 30 Gb
GPU tüüp — GRID M60-4Q
Kasuta seda virtuaalset ketast — 80 Gb
Võrk

Pärast loomist ilmub virtuaalmasin vasakusse vertikaalsesse loendisse. Vajutame sellele ja läheme vahekaardile „Console”. Ootame Centos 7 installerit laadimist ja teeme vajalikud sammud OS-i installimiseks GNOME-iga.

Pildi ettevalmistamine

Centos 7 pildi ettevalmistamine võttis palju aega. Lõpuks jäid mulle rida skripte, mis lihtsustavad Linuxi algse seadistuse ja võimaldavad luua virtuaalmasinate katalooge Citrix Machine Creation Services (MCS) abil.

DHCP-server, mis on paigaldatud ws-ad, määras uuele virtuaalmasinale IP-aadressi 192.168.1.129.

Edasi toon välja põhiseaded.

$ hostnamectl set-hostname template
$ yum install -y epel-release
$ yum install -y lsb mc gcc
$ firewall-cmd --permanent --zone=dmz --remove-service=ssh
$ firewall-cmd --permanent --zone=external --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=mdns
$ firewall-cmd --permanent --zone=home --remove-service=samba-client
$ firewall-cmd --permanent --zone=home --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=samba-client
$ firewall-cmd --permanent --zone=internal --remove-service=mdns
$ firewall-cmd --permanent --zone=internal --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=ssh
$ firewall-cmd --permanent --zone=public --add-service=ssh
$ firewall-cmd --complete-reload

XenCenteri 'Konsol' vahekaardil mountime guest-tools.iso virtuaalse masina DVD-draivisse ja installime XenTools Linuxile.

$ mount /dev/cdrom /mnt
$ /mnt/Linux/install.sh
$ reboot

XenServeri seadistamisel kasutasime arhivati NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip, mille allalaadimine toimus NVIDIA kodulehelt. Seal on olemas vajalik NVIDIA draiver XenServerile ja vGPU klientidele. Laadime selle alla ja installime virtuaalses masinas.

$ cat /etc/default/grub
  GRUB_TIMEOUT=5
  GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
  GRUB_DEFAULT=saved
  GRUB_DISABLE_SUBMENU=true
  GRUB_TERMINAL_OUTPUT="console"
  GRUB_CMDLINE_LINUX="rhgb quiet modprobe.blacklist=nouveau"
  GRUB_DISABLE_RECOVERY="true"
$ grub2-mkconfig -o /boot/grub2/grub.cfg
$ wget http://vault.centos.org/7.6.1810/os/x86_64/Packages/kernel-devel-3.10.0-957.el7.x86_64.rpm
$ yum install kernel-devel-3.10.0-957.el7.x86_64.rpm
$ reboot
$ init 3
$ NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81/NVIDIA-Linux-x86_64-390.75-grid.run
$ cat /etc/nvidia/gridd.conf
  ServerAddress=192.168.1.111
  ServerPort=7070
  FeatureType=1
$ reboot

Laadime alla Linux Virtual Delivery Agent 1811 (VDA) Centos 7 jaoks. Allalaadimise link. Linux VDA saadaval pärast sisselogimist saidile Citrix.

$ yum install -y LinuxVDA-1811.el7_x.rpm
$ cat /var/xdl/mcs/mcs.conf
  #!/bin/bash
  dns1=192.168.1.110
  NTP_SERVER=some.ntp.ru
  AD_INTEGRATION=winbind
  SUPPORT_DDC_AS_CNAME=N
  VDA_PORT=80
  REGISTER_SERVICE=Y
  ADD_FIREWALL_RULES=Y
  HDX_3D_PRO=Y
  VDI_MODE=Y
  SITE_NAME=domain.ru
  LDAP_LIST=ws-ad.domain.ru
  SEARCH_BASE=DC=domain,DC=ru
  START_SERVICE=Y
$ /opt/Citrix/VDA/sbin/deploymcs.sh
$ echo "exclude=kernel* xorg*" >> /etc/yum.conf

Citrix Studios loome Machine Catalog ja Delivery group. Enne seda on vajalik installida ja seadistada Windows Server.

Windows Server koos Domain Controlleriga

Kuidas alla laadida ja installida Windows Server 2016?
Kuidas installida Windows Serveri komponente?
Kuidas seadistada Active Directory't, DHCP't ja DNS'i?

Windows server 2016

Kuna Windows Serveriga virtuaalsel masinal (VM) ei ole GPU-sid vaja, kasutame hüperviisorina serverit ilma GPU-deta. Sarnaselt ülaltoodud kirjeldusele installime veel ühe XenServeri süsteemsete virtuaalsete masinate majutamiseks.

Seejärel loome Windows Serveri virtuaalse masina Active Directoryga.

Laadime alla Windows Server 2016 veebilehelt. MicrosoftSoovitav on avada link Internet Exploreri kaudu.

XenCenter abil loome virtuaalse masina. Vahekaardil „VM” valime „Uus VM”.

Valime vajalikud seadistused:

VM mall — Windows Server 2016 (64-bit)
Nimi — ws-ad.domain.ru
Install from ISO library — WindowsServer2016.iso, valime NFS ISO siirdest.
VCPUs arvu — 4
Topoloogia — 1 pesa 4 tuumaga pesa kohta
Mälu — 20 Gb
GPU tüüp — puudub
Kasuta seda virtuaalset ketast — 100 Gb
Võrk

Pärast loomist kuvatakse virtuaalne masin vasakus pikas loendis. Klõpsame sellel ja läheme vahekaardile „Console”. Ootame Windows Serveri installitori laadimist ja järgime OS-i installimiseks vajalikke samme.

Installeerime VM-s XenTools. Paremklõps VM-l, seejärel „Install Citrix VM Tools…”. Pärast seda mountitakse pilt, mille tuleb käivitada ja XenTools installida. Pärast installatsiooni tuleb VM korduv käivitada.

Seame võrkaarturi:

IP aadress — 192.168.1.110
Mask — 255.255.255.0
Lüüs — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Kui Windows Server ei ole aktiveeritud, siis aktiveerime selle. Ava võti on saadaval sealt, kust pildi alla laadisite.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Seame arvuti nime. Minu puhul on see ws-ad.

Komponentide installimine

Serverihalduris valime „Lisa rolle ja komponente“. Märgime installimiseks DHCP-serveri, DNS-serveri ja Active Directory domeeniteenused. Märkige „Taaskäivita automaatselt“.

Active Directory seadistamine

Pärast VM taaskäivitamist vajutame „Tõsta see server domeeni juhtimiseni” ja lisame uue metsasarja domain.ru.

DHCP serveri seadistamine

Serverihalduri ülemisel paneelil vajutame hüüumärgile, et salvestada muudatused DHCP serveri seadistamisel.

Liigume DHCP serveri seadistuste juurde.

Loome uue vahemiku 192.168.1.120-130. Midagi muud ei muuda. Valime „Seadista DHCP parameetrid nüüd” ja sisestame IP aadressi ws-ad (192.168.1.110) lülitina ning DNS-i, mis peaks olema näidatud VM-i võrkaarturite seadetes.

DNS serveri seadistamine

Liigume DNS serveri seadistuste juurde.

Loome uue otsevaate tsooni — primaarne tsoon, kõigi DNS serverite jaoks domeenis domain.ru. Midagi muud ei muuda.

Loome uue tagurpidi vaate tsooni, valides sarnased seaded.

DNS serveri omadustes, vahekaardil „Täpsem”, märkige ruut „Keela rekursioon”.

Test kasutaja loomine

Liigume „Active Directory halduskeskusesse”

Jaotises „Kasutajad” paremal vajutame „Loo”. Sisestame nime, näiteks test, ja alt vajutame „OK”.

Valime loodud kasutaja ja parempoolsest vertikaalsest menüüst valime „Parooli lähtestamine”. Jätame märgitud kasti „Nõuda parooli vahetust järgmisel sisselogimisel”.

Windows Server koos Citrix Delivery Controlleriga

Kuidas alla laadida ja installida Windows Server 2016?
Kuidas alla laadida ja installida Citrix Delivery Controllerit?
Kuidas installida ja seadistada Citrix License Managerit?
Kuidas installida ja seadistada NVIDIA License Managerit?

Windows server 2016

Kuna Windows Serveriga virtuaalmachines (VM) ei ole GPU-d vajalikud, kasutame hüperviisorina serverit, kus puudub GPU.

Laadime alla Windows Server 2016 veebilehelt. MicrosoftSoovitav on avada link Internet Exploreri kaudu.

XenCenter abil loome virtuaalse masina. Vahekaardil „VM” valime „Uus VM”.

Valime vajalikud seadistused:

VM mall — Windows Server 2016 (64-bit)
Nimi — ws-dc
Install from ISO library — WindowsServer2016.iso, valime NFS ISO siirdest.
VCPUs arvu — 4
Topoloogia — 1 pesa 4 tuumaga pesa kohta
Mälu — 20 Gb
GPU tüüp — puudub
Kasuta seda virtuaalset ketast — 100 Gb
Võrk

Pärast loomist kuvatakse virtuaalmachine vasakul vertikaalses loendis. Klõpsame sellel ja läheme vahekaardile „Konsool”. Ootame Windows Serveri installija laadimist ja järgime vajalikud sammud operatsioonisüsteemi installimiseks.

Seame võrkaarturi:

IP aadress — 192.168.1.111
Mask — 255.255.255.0
Lüüs — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Kui Windows Server ei ole aktiveeritud, siis aktiveerime selle. Ava võti on saadaval sealt, kust pildi alla laadisite.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Seame arvuti nime. Minu puhul on see ws-dc.

Lisame VM domeeni domen.ru, taaskäivitusime ja logime sisse domeeni administraatori kontoga DOMENAdministrator.

Citrix Delivery Controller

Laadime Citrix Virtual Apps and Desktops 1811 alla ws-dc.domain.ru. Allalaadimise link Citrix Virtual Apps and Desktops saadaval pärast sisselogimist saidile Citrix.

Kandke alla laaditud iso ja käitage seda. Valige „Citrix Virtual Apps and Desktops 7”. Seejärel klõpsake „Alustage”. Võimalik, et on vaja taaskäivitada.

Minu puhul on piisav, kui valite installimiseks järgmised komponendid:

Delivery Controller
Studio
License Server
StoreFront

Läheme rohkemat mitte muudama ja vajutame „Installida”. Taaskäivitamine on vajalik mitmel korral, pärast mida jätkub installimine.

Kui installimine on lõppenud, käivitub Citrix Studio — keskkond, mis haldab kõike Citrixis.

Citrix Site seadistamine

Valige kolmelt osast esimene — Site setup. Seadistamisel määrake Site Name — domain.

Jaotises „Connection” määrame hüperviisori, millel on GPU, ühenduse andmed:

Connection address — 192.168.1.100
Kasutajanimi — root
Parool — yourpassword
Connection Name — m60

Store management — Kasutage hüperviisori kohalikke salvestusi.

Nimi nende ressursside jaoks — m60.

Valige võrgud.

Valige GPU tüüp ja grupp — GRID M60-4Q.

Citrix Machine Catalogs seadistamine

Teise jaotise seadistamisel — Machine Catalogs, valime Single-session OS (Desktop OS).

Master Image — valime ettevalmistatud virtuaalmachine pildi ja versiooni Citrix Virtual Apps and Desktops — 1811.

Valime virtuaalmachines kataloogis, näiteks 4.

Määrame skeemi, mille järgi virtuaalmachines saavad nimesid, minu puhul on see desktop##. Sellisel juhul luuakse 4 VM-i nimedega desktop01-04.

Machine Catalog name — m60.

Machine Catalog description — m60.

Pärast nelja VM-iga Machine Catalogi loomist saab neid leida vasakult vertikaalsest loendist XenCenteris.

Citrix Delivery Group

Kolmas jaotis algab valides VM-ide arvu, kellele juurdepääsu anda. Tootan kõik neli.

Jaotises „Desktops“ vajutame „Add“, et lisada VM-ide grupp, kellele juurdepääsu anname. Kuvanimi — m60.

Kohaletoimetamise grupi nimi — m60.

Pärast kolme põhijao seadistamist näeb Citrix Studio põhaken välja umbes selline

Citrixi litsentsihaldur

Laadime litsentsifaili alla isiklikust kabinetist veebisaidil Citrix.

Vasakul vertikaalses loendis valime All Licensing Tools (Legacy). Siirdume vahekaardile „Activate and Allocate Licenses“. Valime Citrix VDA litsentsid ja vajutame „Continue“. Sisestame meie Kohaletoimetamise Kontrolleri nime — ws-dc.domain.ru ja litsentside arvu — 4. Vajutame „Continue“. Laadime alla genereeritud litsentsifaili ws-dc.domain.ru.

Vasakus vertikaalses loendis Citrix Studios valime jaotise „Licensing“. Paremas vertikaalses loendis vajutame „License Management Console“. Avanenud brauseriaknas sisestame domeeni kasutaja autentimisandmed DOMENAdministrator.

Citrixi Litsentsihalduris liigume vahekaardile „Install License“. Litsentsifaili lisamiseks tuleb valida „Use downloaded license file“.

Citrixi komponentide installimine tähendab mitme virtuaalse masina kasutamist, üks komponent — üks VM. Minu puhul toimivad kõik Citrixi süsteemiteenused ühe VM-i piires. Seetõttu mainin ühte viga, mille parandamine oli eriliselt keeruline.

Kui pärast ws-dc taaskäivitamist ilmnevad erinevad probleemid, soovitan esmalt kontrollida käivitatud teenuseid. Jagan Citrixi teenuste nimekirja, mis peaksid pärast VM-i taaskäivitamist automaatselt käivituma:

SQL Server (SQLEXPRESS)
Citrix Configuration Service
Citrix Delegated Administration Service
Citrix Analytics
Citrix Broker Service
Citrix Configuration Logging Service
Citrix AD Identity Service
Citrix Host Service
Citrix App Library
Citrix Machine Creation Service
Citrix Monitor Service
Citrix Storefront Service
Citrix Trust Service
Citrix Environment Test Service
Citrix Orchestration Service
FlexNet License Server -nvidia

Olin silmitsi probleemiga, mis tekkis erinevate Citrixi teenuste installimisel ühele VM-ile. Pärast taaskäivitamist ei käivitu kõik teenused. Kogu ahelat ükshaaval käivitada oli tüütus. Lahendust oli raske Google'ist leida, seetõttu jagan seda siin - tuleb muuta kahte parameetrit registris:

HKEY_LOCAL_MACHINESYSTEMCurrentControlSetControl
Name : ServicesPipeTimeout
Value :240000

Name : WaitToKillServiceTimeout
Value : 20000

Nvidia litsentsihaldur

Laadime NVIDIA litsentsihalduri Windowsile alla, isiklikust kabinetist veebisaidil nvid.nvidia.com. Parim on kasutada Internet Explorerit.

Paigaldame selle ws-dc-le. Selleks peab esmalt paigaldama JAVA ja lisama keskkonnamuutujat JAVA_HOME. Pärast seda saab käivitada setup.exe NVIDIA License Manager'i paigaldamiseks.

Loome serveri, genereerime ja allalaadime litsentsifaili isiklikust kabinetist veebisaidil nvid.nvidia.com. Edastame litsentsifaili ws-dc-le.

Kasutades brauserit, logime sisse NVIDIA litsentsihalduri veebiliidesesse, mis on saadaval aadressil localhost:8080/licserver ja lisame litsentsifaili.