🥇Oddaljen dostop do VM s GPU z uporabo Citrix

V temle priročniku so podrobno opisani koraki, ki jih je treba izvesti pri pripravi oddaljenega dostopa do virtualnih delovnih nalog z uporabo tehnologije, ki jo ponuja podjetje Citrix.

Bilo bo koristno tistim, ki so se nedavno srečali s tehnologijo virtualizacije delovnih površin, saj predstavlja zbirko uporabnih ukazov, zbranih iz približno 10 priročnikov, pri čemer so številni od njih na voljo na spletnih mestih Citrix, Nvidia, Microsoft, po prijavi.

Ta izvedba vsebuje korake za pripravo oddaljenega dostopa do virtualnih naprav (VM) z grafičnimi pospeševalniki Nvidia Tesla M60 in operacijskim sistemom Centos 7.

Torej, začnimo.

Priprava hipervizorja za gostovanje virtualnih naprav

Kako prenesti in namestiti XenServer 7.4?
Kako dodati XenServer v Citrix XenCenter?
Kako prenesti in namestiti Nvidia gonilnik?
Kako spremeniti način Nvidia Tesla M60?
Kako pritrditi shranjevanje?

XenServer 7.4

Link za preuzimanje XenServer 7.4 na voljo, po prijavi na spletnem mestu Citrix.

Izvedli bomo namestitev XenServer.iso na strežnik s 4x NVIDIA Tesla M60 na običajen način. V mojem primeru se iso montira preko IPMI. Za Dellove strežnike se upravljanje s kontrolerjem BMC izvaja preko IDRAC-a. Koraki namestitve so skoraj enaki kot pri namestitvi Linux podobnih operacijskih sistemov.

Moj naslov XenServer s GPU je 192.168.1.100

Namestili bomo XenCenter.msi na lokalni računalnik, s katerega bomo upravljali hipervizorje in virtualne naprave. Dodali bomo strežnik z GPU in XenServer, tako da kliknemo na zavihek 'Server', nato 'Add'. Vnesemo uporabniško ime in geslo root, navedeno pri namestitvi XenServer.

V XenCenter po kliku na ime dodanega hipervizorja bo na voljo zavihek 'Console'. V meniju izberemo 'Remote Service Configuration' in omogočimo avtentikacijo po SSH - 'Enable/Disable Remote Shell'.

Nvidia gonilnik

Izrazim svoja čustva in povem, da ob vsej izkušnji z vGPU nikoli nisem obiskal spletne strani nvid.nvidia.com iz prvega poskusa. Če avtentikacija ne deluje, priporočam Internet Explorer.

Prenesimo zip z vGPU, pa tudi GPUMode Change Utility:

NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip
NVIDIA-gpumodeswitch-2020-01.zip

Spremljamo različice. V nazivih prenesenih arhivov je navedena različica ustreznih gonilnikov NVIDIA, ki jih je mogoče kasneje namestiti na virtualne naprave. V mojem primeru je to 390.72.

Prenesemo zip datoteke na XenServer in jih razpakiramo.

Spremenimo način GPU in namestimo gonilnik vGPU

$ cd NVIDIA-gpumodeswitch-2020-01
$ gpumodeswitch --listgpumodes
$ gpumodeswitch --gpumode graphics
$ cd ../NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81
$ yum install NVIDIA-vGPU-xenserver-7.4-390.72.x86_64.rpm
$ reboot

Pripni shranjevanje

Nastavimo skupno mapo s pomočjo NFS na katerem koli računalniku v omrežju.

$ yum install epel-release
$ yum install nfs-utils libnfs-utils
$ systemctl enable rpcbind
$ systemctl enable nfs-server
$ systemctl enable nfs-lock
$ systemctl enable nfs-idmap
$ systemctl start rpcbind
$ systemctl start nfs-server
$ systemctl start nfs-lock
$ systemctl start nfs-idmap
$ firewall-cmd --permanent --zone=public --add-service=nfs
$ firewall-cmd --permanent --zone=public --add-service=mountd
$ firewall-cmd --permanent --zone=public --add-service=rpc-bind
$ firewall-cmd --reload
$ mkdir -p /nfs/store1
$ chmod -R 777 /nfs/store1
$ touch /nfs/store1/forcheck
$ cat /etc/exports
  ...
  /nfs/store1 192.168.1.0/24(rw,async,crossmnt,no_root_squash,no_all_squash,no_subtree_check)
$ systemctl restart nfs-server

V XenCenter izberemo XenServer in na zavihku 'Storage' izberemo 'New SR'. Določimo vrsto shranjevanja — NFS ISO. Pot mora kazati na skupno mapo NFS.

Citrix Master Image na podlagi Centos 7

Kako ustvariti virtualni stroj s Centos 7?

Kako pripraviti virtualni stroj za ustvarjanje mape?

Slika Centos 7

S pomočjo XenCenter ustvarimo virtualni stroj z GPU. Na zavihku 'VM' kliknemo 'New VM'.

Izberemo potrebne parametre:

VM template — Other install media
Ime — template
Namestitev iz ISO knjižnice — Centos 7 (prenesti), izberemo iz pritrjenega shranjevanja NFS ISO.
Število vCPU-jev — 4
Topologija — 1 vtičnica s 4 jedri na vtičnico
Pomnilnik — 30 Gb
Vrsta GPU — GRID M60-4Q
Uporabite to virtualno disko — 80 Gb
Mreža

Po ustvarjanju se bo virtualni stroj pojavil v navpičnem seznamu levo. Kliknemo nanj in gremo na zavihek 'Console'. Počakamo na naložitev namestitvenega programa Centos 7 in izvedemo potrebne korake za namestitev OS z grafičnim vmesnikom GNOME.

Priprava slike

Priprava slike s Centos 7 mi je vzela veliko časa. V nadaljevanju je nastal nabor skript, ki olajša začetno nastavitev Linuxa in omogoča ustvarjanje mape virtualnih strojev s pomočjo Citrix Machine Creation Services (MCS).

DHCP strežnik, nameščen na ws-ad, je novi virtualni napravi dodelil IP naslov 192.168.1.129.

Nato bom predstavil osnovne nastavitve.

$ hostnamectl set-hostname template
$ yum install -y epel-release
$ yum install -y lsb mc gcc
$ firewall-cmd --permanent --zone=dmz --remove-service=ssh
$ firewall-cmd --permanent --zone=external --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=mdns
$ firewall-cmd --permanent --zone=home --remove-service=samba-client
$ firewall-cmd --permanent --zone=home --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=samba-client
$ firewall-cmd --permanent --zone=internal --remove-service=mdns
$ firewall-cmd --permanent --zone=internal --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=ssh
$ firewall-cmd --permanent --zone=public --add-service=ssh
$ firewall-cmd --complete-reload

V XenCenter, na zavihku „Console“, prikačimo guest-tools.iso na DVD pogon virtualne mašine i pokrenimo instalaciju XenTools za Linux.

$ mount /dev/cdrom /mnt
$ /mnt/Linux/install.sh
$ reboot

Pri postavljanju XenServera koristili smo arhivu NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip, preuzetu sa NVIDIA sajta, koja pored NVIDIA drajvera za XenServer sadrži i drajver NVIDIA za klijente vGPU. Preuzmemo i instaliramo ga na VM.

$ cat /etc/default/grub
  GRUB_TIMEOUT=5
  GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
  GRUB_DEFAULT=saved
  GRUB_DISABLE_SUBMENU=true
  GRUB_TERMINAL_OUTPUT="console"
  GRUB_CMDLINE_LINUX="rhgb quiet modprobe.blacklist=nouveau"
  GRUB_DISABLE_RECOVERY="true"
$ grub2-mkconfig -o /boot/grub2/grub.cfg
$ wget http://vault.centos.org/7.6.1810/os/x86_64/Packages/kernel-devel-3.10.0-957.el7.x86_64.rpm
$ yum install kernel-devel-3.10.0-957.el7.x86_64.rpm
$ reboot
$ init 3
$ NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81/NVIDIA-Linux-x86_64-390.75-grid.run
$ cat /etc/nvidia/gridd.conf
  ServerAddress=192.168.1.111
  ServerPort=7070
  FeatureType=1
$ reboot

Preuzmite Linux Virtual Delivery Agent 1811 (VDA) za Centos 7. Link za preuzimanje Linux VDA na voljo, po prijavi na spletnem mestu Citrix.

$ yum install -y LinuxVDA-1811.el7_x.rpm
$ cat /var/xdl/mcs/mcs.conf
  #!/bin/bash
  dns1=192.168.1.110
  NTP_SERVER=some.ntp.ru
  AD_INTEGRATION=winbind
  SUPPORT_DDC_AS_CNAME=N
  VDA_PORT=80
  REGISTER_SERVICE=Y
  ADD_FIREWALL_RULES=Y
  HDX_3D_PRO=Y
  VDI_MODE=Y
  SITE_NAME=domain.ru
  LDAP_LIST=ws-ad.domain.ru
  SEARCH_BASE=DC=domain,DC=ru
  START_SERVICE=Y
$ /opt/Citrix/VDA/sbin/deploymcs.sh
$ echo "exclude=kernel* xorg*" >> /etc/yum.conf

U Citrix Studiju kreiramo Machine Catalog i Delivery group. Pre toga je potrebno instalirati i konfigurirati Windows Server.

Windows Server s Domain Controller

Kako preuzeti i instalirati Windows Server 2016?
Kako instalirati komponente Windows Servera?
Kako konfigurisati Active Directory, DHCP i DNS?

Windows Server 2016

Budući da virtualnoj mašini (VM) sa Windows Serverom nisu potrebni GPU, koristićemo server bez GPU-a kao hipervizor. Na sličan način, kao u prethodnom opisu, instaliraćemo još jedan XenServer za hostovanje sistemskih virtuelnih mašina.

Nakon toga ćemo kreirati virtuelnu mašinu za Windows Server sa Active Directory.

Preuzmite Windows Server 2016 sa sajta MicrosoftNajbolje je da otvorite vezu koristeći Internet Explorer.

Kroz XenCenter ćemo kreirati virtualnu mašinu. Na kartici "VM" kliknemo na "New VM".

Izberemo potrebne parametre:

VM šablon — Windows Server 2016 (64-bit)
Ime — ws-ad.domain.ru
Install from ISO library — WindowsServer2016.iso, biramo iz montirane NFS ISO skladišta.
Število vCPU-jev — 4
Topologija — 1 vtičnica s 4 jedri na vtičnico
Memorija — 20 Gb
Tip GPU — nema
Koristi ovaj virtuelni disk — 100 Gb
Mreža

Nakon kreiranja, virtuelna mašina će se pojaviti u vertikalnom spisku levo. Kliknemo na nju i prelazimo na karticu "Console". Sačekamo da se učita instalacioni program Windows Server-a i izvršavamo potrebne korake za instalaciju OS-a.

Instaliraćemo XenTools u VM. Desnim klikom na VM, zatim "Install Citrix VM Tools...". Nakon toga, slika će biti montirana, koju treba pokrenuti i instalirati XenTools. Po završetku instalacije, biće potrebna ponovna pokretanja VM.

Konfigurišemo mrežni adapter:

IP adresa — 192.168.1.110
Maska — 255.255.255.0
Gateway — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Ako Windows Server nije aktiviran, izvršit ćemo aktivaciju. Ključ možete uzeti odatle odakle ste preuzeli sliku.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Konfigurišemo ime računara. U mom slučaju to je ws-ad.

Instalacija komponenti

U upravitelju servera izaberećemo "Dodaj uloge i komponente". Obeležićemo za instalaciju DHCP server, DNC server i Active Directory domenske usluge. Obeležićemo opciju "Automatski ponovo pokreni".

Podesite Active Directory

Nakon ponovnog pokretanja VM, kliknemo na "Povećaj ovaj server na nivo kontrolera domena" i dodajemo novu šumu domain.ru.

Podešavanje DHCP servera

Na gornjoj traci upravitelja servera kliknemo na uzvičnik kako bismo sačuvali promene prilikom instalacije DHCP servera.

Prelazimo na podešavanja DHCP servera.

Kreiramo novu oblast 192.168.1.120-130. Ostalo ne menjamo. Izabraćemo "Konfiguriši DHCP parametre sada" i unesemo IP adresu ws-ad (192.168.1.110) kao gateway i DNS, koji će biti navedeni u podešavanjima mrežnih adaptera virtuelnih mašina iz kataloga.

Podešavanje DNS servera

Prelazimo na podešavanja DNS servera.

Kreiramo novu zonu direktnog pregleda — primarna zona, za sve DNS servere u domenu domain.ru. Više ništa ne menjamo.

Kreiramo novu zonu obratnog pregleda, birajući slične parametre.

U svojstvima DNS servera, na kartici "Napredno", označićemo opciju "Onemogućiti rekurziju".

Kreiranje testnog korisnika

Prelazimo u "Centar za administraciju Active Directory"

U odeljku "Users" s desne strane kliknemo na "Kreiraj". Unosimo ime, na primer test, i na dnu kliknemo na "OK".

Izberemo ustvarjenega uporabnika in v vertikalnem meniju desno izberemo "Ponastavi geslo". Pustimo označeno "Zahtevaj spremembo gesla ob naslednjem prijavljanju v sistem".

Windows Server s Citrix Delivery Controller

Kako preuzeti i instalirati Windows Server 2016?
Kako prenesti in namestiti Citrix Delivery Controller?
Kako namestiti in nastaviti Citrix License Manager?
Kako namestiti in nastaviti NVIDIA License Manager?

Windows Server 2016

Ker virtualni stroj (VM) s Windows Serverjem ne potrebuje GPU, bomo kot hipervizor uporabljali strežnik brez GPU.

Preuzmite Windows Server 2016 sa sajta MicrosoftNajbolje je da otvorite vezu koristeći Internet Explorer.

Kroz XenCenter ćemo kreirati virtualnu mašinu. Na kartici "VM" kliknemo na "New VM".

Izberemo potrebne parametre:

VM šablon — Windows Server 2016 (64-bit)
Ime — ws-dc
Install from ISO library — WindowsServer2016.iso, biramo iz montirane NFS ISO skladišta.
Število vCPU-jev — 4
Topologija — 1 vtičnica s 4 jedri na vtičnico
Memorija — 20 Gb
Tip GPU — nema
Koristi ovaj virtuelni disk — 100 Gb
Mreža

Po ustvarjanju se bo virtualni stroj pojavil v vertikalnem seznamu na levi. Kliknemo nanj in preidemo na zavihek "Konzola". Počakamo na naložitev inštalaterja Windows Server in izvedemo potrebne korake za namestitev OS.

Konfigurišemo mrežni adapter:

IP naslov — 192.168.1.111
Maska — 255.255.255.0
Gateway — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Ako Windows Server nije aktiviran, izvršit ćemo aktivaciju. Ključ možete uzeti odatle odakle ste preuzeli sliku.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Nastavimo ime računalnika. V mojem primeru je to ws-dc.

Dodamo VM v domeno domena.ru, ponovno zagnamo in se prijavimo z domeno najvišje administratorjevega računa DOMENAdministrator.

Citrix delivery controller

Prenesemo Citrix Virtual Apps and Desktops 1811 na ws-dc.domain.ru. Povezava za prenos Citrix Virtual Apps and Desktops na voljo, po prijavi na spletnem mestu Citrix.

Priključimo prenesen iso in zagnemo. Izberemo "Citrix Virtual Apps and Desktops 7". Nato pritisnemo "Začnimo". Morda bo potrebna ponovna priprava.

V mojem primeru je dovolj izbrati za namestitev naslednje komponente:

Delivery Controller
Studio
License Server
StoreFront

Več nič ne spreminjamo in pritisnemo "Namesti". Večkrat bo potrebna ponovna priprava, po kateri se bo namestitev nadaljevala.

Ko bo namestitev zaključena, se bo zagnal Citrix Studio — okolje za upravljanje celotnega sistema Citrix.

Nastavitev Citrix Spletne strani

Izberemo prvi od treh razdelkov — Nastavitev spletne strani. Pri nastavitvi navedemo Ime spletne strani — domena.

V razdelku "Povezava" navedemo podatke za povezavo hipervizorja z GPU:

Povezovalni naslov — 192.168.1.100
Uporabniško ime — root
Geslo — yourpassword
Ime povezave — m60

Upravljanje skladišča — Uporabite lokalno skladišče hipervizorja.

Ime za te vire — m60.

Izberite omrežja.

Izberite vrsto in skupino GPU — GRID M60-4Q.

Nastavitev Citrix Machine Catalogs

Pri nastavitvi drugega razdelka — Katalogi strojev, izberemo Single-session OS (Desktop OS).

Master Image — izberemo pripravljen slikovni virtualni stroj in različico Citrix Virtual Apps and Desktops — 1811.

Izberemo število virtualnih strojev v katalogu, na primer 4.

Navedemo shemo, po kateri bodo virtualnim strojom dodeljena imena, v mojem primeru je to desktop##. V tem primeru bodo ustvarjeni 4 VM z imeni desktop01-04.

Ime kataloga strojev — m60.

Opis kataloga strojev — m60.

Po ustvarjanju kataloga strojev s štirimi VM jih bomo lahko našli v vertikalnem seznamu XenCenter na levi.

Citrix Delivery Group

Tretji razdelek se začne z izbiro števila VM-jev, na katere naj se dovoli dostop. Navedel bom vse štiri.

V razdelku „Desktops“ kliknite „Add“, da dodate skupino VM-jev, katerim bomo omogočili dostop. Prikazno ime — m60.

Ime dostavne skupine — m60.

Po nastavitev treh glavnih razdelkov bo glavno okno Citrix Studio izgledalo približno tako

Citrix licenčni upravitelj

Prenesemo datoteko licence prek osebnega računa na spletni strani Citrix.

V navpičnem seznamu na levi izberemo All Licensing Tools (Legacy). Pojdimo na zavihek „Activate and Allocate Licenses“. Izberemo licence Citrix VDA in kliknemo „Continue“. Vnesemo ime našega Delivery Controllerja — ws-dc.domain.ru in število licenc — 4. Kliknemo „Continue“. Prenesemo generirano datoteko licence na ws-dc.domain.ru.

V levem navpičnem seznamu Citrix Studio izberemo razdelek „Licensing“. V desnem navpičnem seznamu kliknemo „License Management Console“. V odprtem oknu brskalnika vnesemo podatke za prijavo domenskega uporabnika DOMENAdministrator.

V Citrix Licensing Manager pojdimo na zavihek „Install License“. Za dodajanje datoteke licence je treba izbrati „Use downloaded license file“.

Namestitev komponent Citrix vključuje uporabo več virtualnih strojev, en komponent — ena VM. V mojem primeru vsi sistemski servisi Citrix delujejo znotraj enega VM. Zaradi tega ugotavljam eno napako, katere odprava se je izkazala za še posebej zahtevno.

Če po ponovnem zagonu ws-dc nastanejo težave raznolikega značaja, priporočam, da najprej preverite zagnane storitve. Pripravljen je seznam storitev Citrix, ki bi se morale samodejno zagnati po ponovnem zagonu VM:

SQL Server (SQLEXPRESS)
Citrix Configuration Service
Citrix Delegated Administration Service
Citrix Analytics
Citrix Broker Service
Citrix Configuration Logging Service
Citrix AD Identity Service
Citrix Host Service
Citrix App Library
Citrix Machine Creation Service
Citrix Monitor Service
Citrix Storefront Service
Citrix Trust Service
Citrix Environment Test Service
Citrix Orchestration Service
FlexNet License Server -nvidia

Soočil sem se s težavo, ki se pojavi pri namestitvi različnih storitev Citrix na eno VM. Po ponovnem zagonu se ne zagnajo vse storitve. Bilo je precej dolgotrajno zagnati celotno verigo eno za drugo. Rešitev se je težko iskala, zato jo tukaj navajam — treba je spremeniti dva parametra v registru:

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control
Ime : ServicesPipeTimeout
Vrednost : 240000

Ime : WaitToKillServiceTimeout
Vrednost : 20000

Nvidia licenčni upravitelj

Prenesemo upravitelja licenc NVIDIA za Windows prek osebnega računa na spletni strani nvid.nvidia.com. Bolje je dostopati prek Internet Explorerja.

Namestimo ga na ws-dc. Za to bo najprej treba namestiti JAVA in dodati okoljsko spremenljivko JAVA_HOME. Nato lahko zaženemo setup.exe za namestitev NVIDIA License Managerja.

Ustvarili bomo strežnik, generirali in prenesli datoteko licence v osebni račun na spletni strani nvid.nvidia.com. Prenesemo datoteko licence na ws-dc.

Z uporabo brskalnika se prijavimo v spletno vmesnik NVIDIA License Managerja, dostopno na naslovu localhost:8080/licserver in dodamo datoteko licence.

Aktivne seje, ki uporabljajo vGPU, si lahko ogledamo v razdelku 'Licensed Clients'.

Oddaljen dostop do kataloga strojne opreme Citrix

Kako namestiti Citrix Receiver?
Kako se povezati z virtualnim namizjem?

Na delovnem računalniku odprite brskalnik, v mojem primeru je to Chrome, in pojdite na naslov spletnega vmesnika Citrix StoreWeb

http://192.168.1.111/Citrix/StoreWeb

Če Citrix Receiver še ni nameščen, pritisnite 'Odkrij Receiver'

Natančno preberemo licenčno pogodbo, prenesemo in namestimo Citrix Receiver

Po namestitvi se vrnemo v brskalnik in pritisnemo 'Nadaljuj'

Nato se v brskalniku Chrome prikaže obvestilo, pritisnite 'Odpri aplikacijo Citrix Receiver Launcher', nato izberite 'Odkrij ponovno' ali 'Že nameščeno'