🥇Vzdálený přístup k VM s GPU pomocí Citrix

Tato příručka podrobně popisuje kroky, které je třeba provést při přípravě vzdáleného přístupu k virtuálním pracovním plochám pomocí technologie nabízené společností Citrix.

Bude užitečná pro ty, kteří se nedávno seznámili s technologií virtualizace pracovních ploch, protože je to sbírka užitečných příkazů shromážděných z přibližně 10 manuálů, z nichž mnohé jsou dostupné na stránkách Citrix, Nvidia, Microsoft, po autorizaci.

Tato implementace obsahuje fáze přípravy vzdáleného přístupu k virtuálním strojům (VM) s grafickými akcelerátory Nvidia Tesla M60 a operačním systémem CentOS 7.

Takže, začněme.

Příprava hypervisoru pro hostování virtuálních strojů

Jak stáhnout a nainstalovat XenServer 7.4?
Jak přidat XenServer do Citrix XenCenter?
Jak stáhnout a nainstalovat ovladač Nvidia?
Jak změnit režim Nvidia Tesla M60?
Jak připojit úložiště?

XenServer 7.4

Odkaz pro stáhnutí XenServer 7.4 je dostupný po autorizaci na stránkách Citrix.

Nainstalujeme XenServer.iso na server s 4x NVIDIA Tesla M60 obvyklým způsobem. V mém případě je iso připojeno přes IPMI. Pro servery Dell je správa kontroleru BMC prováděna přes IDRAC. Krokové instalace se téměř shodují s instalací Linuxových podobných systémů.

Můj adresář XenServer s GPU — 192.168.1.100

Nainstalujeme XenCenter.msi na místní počítač, odkud budeme spravovat hypervisory a virtuální stroje. Přidáme tam server s GPU a XenServer kliknutím na kartu „Server“, poté „Přidat“. Zadejte uživatelské jméno a heslo root, které bylo uvedeno při instalaci XenServer.

V XenCenter, po kliknutí na název přidaného hypervisora, bude dostupná karta „Console“. V nabídce vybereme „Remote Service Configuration“ a povolíme autorizaci přes SSH — „Enable/Disable Remote Shell“.

Nvidia ovladač

Dám volnost emocím a řeknu, že za celou dobu práce s vGPU jsem se nikdy nedostal na web nvid.nvidia.com napoprvé. Pokud autorizace nebude fungovat, doporučuji Internet Explorer.

Stáhneme zip s vGPU, stejně jako GPUMode Change Utility:

NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip
NVIDIA-gpumodeswitch-2020-01.zip

Sledujeme verze. V názvu staženého archivu je uvedena verze odpovídajících ovladačů NVIDIA, které lze později instalovat na virtuální stroje. V mém případě je to 390.72.

Přeneseme zipy na XenServer a rozbalíme je.

Změníme režim GPU a nainstalujeme ovladač vGPU

$ cd NVIDIA-gpumodeswitch-2020-01
$ gpumodeswitch --listgpumodes
$ gpumodeswitch --gpumode graphics
$ cd ../NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81
$ yum install NVIDIA-vGPU-xenserver-7.4-390.72.x86_64.rpm
$ reboot

Připojit úložiště

Nastavíme sdílený adresář pomocí NFS na jakémkoli počítači v síti.

$ yum install epel-release
$ yum install nfs-utils libnfs-utils
$ systemctl enable rpcbind
$ systemctl enable nfs-server
$ systemctl enable nfs-lock
$ systemctl enable nfs-idmap
$ systemctl start rpcbind
$ systemctl start nfs-server
$ systemctl start nfs-lock
$ systemctl start nfs-idmap
$ firewall-cmd --permanent --zone=public --add-service=nfs
$ firewall-cmd --permanent --zone=public --add-service=mountd
$ firewall-cmd --permanent --zone=public --add-service=rpc-bind
$ firewall-cmd --reload
$ mkdir -p /nfs/store1
$ chmod -R 777 /nfs/store1
$ touch /nfs/store1/forcheck
$ cat /etc/exports
  ...
  /nfs/store1 192.168.1.0/24(rw,async,crossmnt,no_root_squash,no_all_squash,no_subtree_check)
$ systemctl restart nfs-server

V XenCenter vybereme XenServer a na kartě „Storage“ zvolíme „New SR“. Určíme typ úložiště — NFS ISO. Cesta musí odkazovat na sdílený adresář NFS.

Citrix Master Image založený na Centos 7

Jak vytvořit virtuální stroj s Centos 7?

Jak připravit virtuální stroj pro vytvoření adresáře?

Obrázek Centos 7

Pomocí XenCenter vytvoříme virtuální stroj s GPU. Na kartě „VM“ klikneme na „New VM“.

Vybereme potřebné parametry:

VM template — Other install media
Název — template
Instalovat z ISO knihovny — Centos 7 (stáhnout), vybíráme z připojeného úložiště NFS ISO.
Počet vCPU — 4
Topologie — 1 socket s 4 jádry na socket
Paměť — 30 Gb
Typ GPU — GRID M60-4Q
Použít tento virtuální disk — 80 Gb
Síť

Po vytvoření se virtuální stroj objeví v vertikálním seznamu vlevo. Klikneme na něj a přejdeme na kartu „Console“. Počkáme na načtení instalátoru Centos 7 a provedeme nezbytné kroky k instalaci OS s prostředím GNOME.

Příprava obrázku

Příprava obrázku s Centos 7 mi zabralo hodně času. Nakonec vznikla sada skriptů, která usnadňuje prvotní nastavení Linuxu a umožní vytvořit adresář virtuálních strojů pomocí Citrix Machine Creation Services (MCS).

DHCP server, nainstalovaný na ws-ad, přidělil novému virtuálnímu stroji IP adresu 192.168.1.129.

Nyní uvádím základní nastavení.

$ hostnamectl set-hostname template
$ yum install -y epel-release
$ yum install -y lsb mc gcc
$ firewall-cmd --permanent --zone=dmz --remove-service=ssh
$ firewall-cmd --permanent --zone=external --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=mdns
$ firewall-cmd --permanent --zone=home --remove-service=samba-client
$ firewall-cmd --permanent --zone=home --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=samba-client
$ firewall-cmd --permanent --zone=internal --remove-service=mdns
$ firewall-cmd --permanent --zone=internal --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=ssh
$ firewall-cmd --permanent --zone=public --add-service=ssh
$ firewall-cmd --complete-reload

Ve XenCenter v záložce „Console“ připojíme guest-tools.iso do DVD mechaniky virtuálního stroje a provedeme instalaci XenTools pro Linux.

$ mount /dev/cdrom /mnt
$ /mnt/Linux/install.sh
$ reboot

Při konfiguraci XenServeru jsme použili archiv NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip stažený z webu NVIDIA, který kromě NVIDIA ovladače pro XenServer obsahuje potřebný ovladač NVIDIA pro klienty vGPU. Stáhneme a nainstalujeme jej na VM.

$ cat /etc/default/grub
  GRUB_TIMEOUT=5
  GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
  GRUB_DEFAULT=saved
  GRUB_DISABLE_SUBMENU=true
  GRUB_TERMINAL_OUTPUT="console"
  GRUB_CMDLINE_LINUX="rhgb quiet modprobe.blacklist=nouveau"
  GRUB_DISABLE_RECOVERY="true"
$ grub2-mkconfig -o /boot/grub2/grub.cfg
$ wget http://vault.centos.org/7.6.1810/os/x86_64/Packages/kernel-devel-3.10.0-957.el7.x86_64.rpm
$ yum install kernel-devel-3.10.0-957.el7.x86_64.rpm
$ reboot
$ init 3
$ NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81/NVIDIA-Linux-x86_64-390.75-grid.run
$ cat /etc/nvidia/gridd.conf
  ServerAddress=192.168.1.111
  ServerPort=7070
  FeatureType=1
$ reboot

Stáhneme Linux Virtual Delivery Agent 1811 (VDA) pro Centos 7. Odkaz pro stažení Linux VDA je dostupný po autorizaci na stránkách Citrix.

$ yum install -y LinuxVDA-1811.el7_x.rpm
$ cat /var/xdl/mcs/mcs.conf
  #!/bin/bash
  dns1=192.168.1.110
  NTP_SERVER=some.ntp.ru
  AD_INTEGRATION=winbind
  SUPPORT_DDC_AS_CNAME=N
  VDA_PORT=80
  REGISTER_SERVICE=Y
  ADD_FIREWALL_RULES=Y
  HDX_3D_PRO=Y
  VDI_MODE=Y
  SITE_NAME=domain.ru
  LDAP_LIST=ws-ad.domain.ru
  SEARCH_BASE=DC=domain,DC=ru
  START_SERVICE=Y
$ /opt/Citrix/VDA/sbin/deploymcs.sh
$ echo "exclude=kernel* xorg*" >> /etc/yum.conf

Ve Citrix Studio vytvoříme strojový katalog a dodací skupinu. Předtím je nutné nainstalovat a nastavit Windows Server.

Windows Server s řadičem domény

Jak stáhnout a nainstalovat Windows Server 2016?
Jak nainstalovat komponenty Windows Server?
Jak nastavit Active Directory, DHCP a DNS?

Windows Server 2016

Jelikož virtuálnímu stroji (VM) s Windows Server nepotřebujeme GPU, použijeme jako hypervizor server bez GPU. Podobně jako v výše uvedeném popisu nainstalujeme další XenServer pro hosting systémových virtuálních strojů.

Po tomto kroku vytvoříme virtuální stroj pro Windows Server s Active Directory.

Stáhneme Windows Server 2016 z webu Microsoft. Raději navštivte odkaz pomocí Internet Exploreru.

Pomocí XenCenter vytvoříme virtuální stroj. Na kartě „VM“ klikneme na „Nový VM“.

Vybereme potřebné parametry:

VM šablona — Windows Server 2016 (64-bit)
Název — ws-ad.domain.ru
Instalace z ISO knihovny — WindowsServer2016.iso, vybíráme z připojené NFS ISO úložiště.
Počet vCPU — 4
Topologie — 1 socket s 4 jádry na socket
Paměť — 20 Gb
Typ GPU — žádný
Použít tento virtuální disk — 100 Gb
Síť

Po vytvoření se virtuální stroj objeví v vertikálním seznamu vlevo. Klikneme na něj a přejdeme na kartu „Konzole“. Počkáme na načtení instalačního programu Windows Server a provedeme potřebné kroky pro instalaci OS.

Nainstalujeme XenTools do VM. Pravým tlačítkem myši na VM, poté „Nainstalovat Citrix VM Tools...“. Po tomto bude připojen obraz, který je třeba spustit a nainstalovat XenTools. Po dokončení instalace bude třeba restartovat VM.

Nakonfigurujeme síťový adaptér:

IP adresa — 192.168.1.110
Maska — 255.255.255.0
Brána — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Pokud Windows Server není aktivován, provedeme aktivaci. Klíč lze získat tam, odkud byl stažen obraz.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Nakonfigurujeme název počítače. V mém případě je to ws-ad.

Instalace komponent

V Správci serveru vybereme „Přidat role a komponenty“. Označíme k instalaci DHCP server, DNS server a Služby Active Directory domény. Zaškrtneme políčko „Automaticky restartovat“.

Nastavení Active Directory

Po restartu VM klikneme na „Povýšit tento server na úroveň řadiče domény“ a přidáme nový les domain.ru.

Nastavení DHCP serveru

Na horním panelu Správce serveru klikneme na vykřičník, abychom uložili změny při instalaci DHCP serveru.

Přejdeme k nastavením DHCP serveru.

Vytvoříme novou oblast 192.168.1.120-130. Ostatní neměníme. Vybereme „Nastavit parametry DHCP nyní“ a zadáme IP adresu ws-ad (192.168.1.110) jako bránu a DNS, které budou uvedeny v nastaveních síťových adaptérů virtuálních strojů ze složky.

Nastavení DNS serveru

Přejdeme k nastavením DNS serveru.

Vytvoříme novou zónu přímého pohledu — primární zóna pro všechny DNS servery v doméně domain.ru. Více nic neměníme.

Vytvoříme novou zónu zpětného pohledu, výběrem stejných parametrů.

V vlastnostech DNS serveru na kartě „Pokročilé“ zaškrtneme políčko „Vypnout rekurzi“.

Vytvoření testovacího uživatele

Přejdeme do „Centra administrace Active Directory“

V sekci „Uživatelé“ vpravo klikneme na „Vytvořit“. Zadáme jméno, například test, a dole klikneme na „OK“.

Vybereme vytvořeného uživatele a v pravém vertikálním menu zvolíme „Obnovit heslo“. Necháme zaškrtnutou možnost „Požadovat změnu hesla při dalším přihlášení do systému“.

Windows Server s Citrix Delivery Controller

Jak stáhnout a nainstalovat Windows Server 2016?
Jak stáhnout a nainstalovat Citrix Delivery Controller?
Jak nainstalovat a nastavit Citrix License Manager?
Jak nainstalovat a nastavit NVIDIA License Manager?

Windows Server 2016

Jelikož virtuální stroj (VM) s Windows Server nepotřebuje GPU, použijeme jako hypervisor server bez GPU.

Stáhneme Windows Server 2016 z webu Microsoft. Raději navštivte odkaz pomocí Internet Exploreru.

Pomocí XenCenter vytvoříme virtuální stroj. Na kartě „VM“ klikneme na „Nový VM“.

Vybereme potřebné parametry:

VM šablona — Windows Server 2016 (64-bit)
Název — ws-dc
Instalace z ISO knihovny — WindowsServer2016.iso, vybíráme z připojené NFS ISO úložiště.
Počet vCPU — 4
Topologie — 1 socket s 4 jádry na socket
Paměť — 20 Gb
Typ GPU — žádný
Použít tento virtuální disk — 100 Gb
Síť

Po vytvoření se virtuální stroj objeví v levém vertikálním seznamu. Klikneme na něj a přejdeme na záložku „Konzole“. Počkáme na načtení instalátoru Windows Server a provedeme nezbytné kroky k instalaci OS.

Nakonfigurujeme síťový adaptér:

IP adresa — 192.168.1.111
Maska — 255.255.255.0
Brána — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Pokud Windows Server není aktivován, provedeme aktivaci. Klíč lze získat tam, odkud byl stažen obraz.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Nastavíme název počítače. V mém případě je to ws-dc.

Přidáme VM do domény domen.ru, restartujeme a přihlásíme se pod doménovým uživatelským účtem administrátora DOMENAdministrator.

Citrix delivery controller

Stáhneme Citrix Virtual Apps and Desktops 1811 na ws-dc.domain.ru. Odkaz pro stažení Citrix Virtual Apps and Desktops je dostupný po autorizaci na stránkách Citrix.

Připojíme stažený iso a spustíme ho. Zvolíme „Citrix Virtual Apps and Desktops 7“. Poté klikneme na „Začít“. Možná bude potřeba restart.

V mém případě stačí vybrat k instalaci následující komponenty:

Delivery Controller
Studio
License Server
StoreFront

Nic dalšího neměníme a klikneme na „Nainstalovat“. Možná bude potřeba restart několikrát, po kterém bude instalace pokračovat.

Jakmile bude instalace dokončena, spustí se Citrix Studio — prostředí pro správu celého zařízení Citrix.

Nastavení Citrix Site

Zvolíme první sekci ze tří — Nastavení stránky. Při nastavení uvedeme název stránky — domain.

V sekci „Připojení“ uvedeme údaje pro připojení hypervisoru s GPU:

Adresa připojení — 192.168.1.100
Uživatelské jméno — root
Heslo — vaše_heslo
Název připojení — m60

Správa úložišť — Použijte úložiště místní pro hypervisor.

Název těchto zdrojů — m60.

Vyberte sítě.

Vyberte typ a skupinu GPU — GRID M60-4Q.

Nastavení Citrix Machine Catalogs

Při nastavení druhé sekce — Catalogy strojů, vybereme Single-session OS (Desktop OS).

Hlavní obraz — vybereme připravený obraz virtuálního stroje a verzi Citrix Virtual Apps and Desktops — 1811.

Vybereme počet virtuálních strojů v katalogu, například 4.

Uvedeme schéma, podle kterého budou virtuálním strojům přidělována jména, v mém případě je to desktop##. V tomto případě budou vytvořeny 4 VM s názvy desktop01-04.

Název katalogu strojů — m60.

Popis katalogu strojů — m60.

Po vytvoření katalogu strojů se čtyřmi VM je bude možné najít v levém vertikálním seznamu XenCenter.

Citrix Delivery Group

Třetí sekce začíná výběrem počtu VM, ke kterým by měl být přístup poskytnut. Uvedu všechny čtyři.

V sekci „Desktops“ klikneme na „Add“, abychom přidali skupinu VM, ke kterým poskytneme přístup. Zobrazovaný název — m60.

Název dodací skupiny — m60.

Po nastavení tří hlavních sekcí bude hlavní okno Citrix Studio vypadat přibližně takto.

Správce licencí Citrix

Stáhneme licenční soubor přes osobní účet na webu. Citrix.

V vertikálním seznamu vlevo vybereme všechny licenční nástroje (Legacy). Přepneme na kartu „Aktivovat a přiřadit licence“. Vybereme licence Citrix VDA a klikneme na „Pokračovat“. Uvedeme jméno našeho Delivery Controller — ws-dc.domain.ru a počet licencí — 4. Klikneme na „Pokračovat“. Stáhneme vygenerovaný licenční soubor na ws-dc.domain.ru.

V levém vertikálním seznamu Citrix Studio vybereme sekci „Licensing“. V pravém vertikálním seznamu klikneme na „License Management Console“. V otevřeném okně prohlížeče zadáme údaje pro autentizaci doménového uživatele DOMENAdministrator.

V Citrix Licensing Manager přejdeme na kartu „Instalovat licenci“. Pro přidání licenčního souboru je třeba zvolit „Použít stažený licenční soubor“.

Instalace komponentů Citrix zahrnuje použití několika virtuálních strojů, jeden komponent — jedna VM. V mém případě fungují všechny systémové služby Citrix v rámci jedné VM. V této souvislosti upozorním na jeden bug, jehož oprava byla obzvlášť obtížná.

Pokud po restartování ws-dc nastanou problémy různých typů, doporučuji jako první zkontrolovat spuštěné služby. Zde je seznam služeb Citrix, které by se měly automaticky spustit po restartu VM:

SQL Server (SQLEXPRESS)
Citrix Configuration Service
Citrix Delegated Administration Service
Citrix Analytics
Citrix Broker Service
Citrix Configuration Logging Service
Citrix AD Identity Service
Citrix Host Service
Citrix App Library
Citrix Machine Creation Service
Citrix Monitor Service
Citrix Storefront Service
Citrix Trust Service
Citrix Environment Test Service
Citrix Orchestration Service
FlexNet License Server -nvidia

Narazil jsem na problém, který vzniká při instalaci různých služeb Citrix na jednu VM. Po restartu se nespustí všechny služby. Nebylo by mi líto je spouštět jednotlivě. Řešení se těžko hledalo, proto ho uvádím zde — je třeba změnit dva parametry v registru:

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control
Jméno : ServicesPipeTimeout
Hodnota : 240000

Jméno : WaitToKillServiceTimeout
Hodnota : 20000

Nvidia licence manager

Stáhneme správce licencí NVIDIA pro Windows přes osobní účet na webu. nvid.nvidia.com. Je lepší přistupovat přes Internet Explorer.

Nainstalujeme ho na ws-dc. Nejprve je potřeba nainstalovat JAVA a přidat proměnnou prostředí JAVA_HOME. Poté lze spustit setup.exe pro instalaci NVIDIA License Manageru.

Vytvoříme server, vygenerujeme a stáhneme licenční soubor v našem osobním účtu na webu nvid.nvidia.com. Přeneseme licenční soubor na ws-dc.

Pomocí prohlížeče se přihlásíme do webového rozhraní správce licencí NVIDIA, které je dostupné na adrese localhost:8080/licserver a přidáme licenční soubor.