🥇 Accès à distance aux VM avec GPU via Citrix

Ce guide décrit en détail les étapes nécessaires pour préparer l'accès à distance aux postes de travail virtuels à l'aide de la technologie proposée par Citrix.

Il sera utile à ceux qui découvrent récemment la technologie de virtualisation des postes de travail, car il constitue un recueil de commandes utiles, rassemblées à partir d'environ 10 manuels, dont beaucoup sont disponibles sur les sites de Citrix, Nvidia, Microsoft, après authentification.

Cette implémentation contient les étapes de préparation de l'accès à distance aux machines virtuelles (VM) avec des processeurs graphiques Nvidia Tesla M60 et le système d'exploitation CentOS 7.

Alors, commençons.

Préparation de l'hyperviseur pour l'hébergement des machines virtuelles

Comment télécharger et installer XenServer 7.4 ?
Comment ajouter XenServer dans Citrix XenCenter ?
Comment télécharger et installer le pilote Nvidia ?
Comment changer le mode Nvidia Tesla M60 ?
Comment monter le stockage ?

XenServer 7.4

Lien de téléchargement XenServer 7.4 disponible après authentification sur le site Citrix.

Nous allons installer XenServer.iso sur le serveur avec 4x NVIDIA Tesla M60 de manière standard. Dans mon cas, l'iso est monté via IPMI. Pour les serveurs Dell, la gestion du contrôleur BMC se fait via IDRAC. Les étapes d'installation coïncident pratiquement avec l'installation des systèmes d'exploitation Linux similaires.

Mon adresse XenServer avec GPU est 192.168.1.100

Nous allons installer XenCenter.msi sur l'ordinateur local à partir duquel nous gérerons les hyperviseurs et les machines virtuelles. Ajoutons le serveur avec GPU et XenServer en cliquant sur l'onglet « Serveur », puis « Ajouter ». Nous entrerons le nom d'utilisateur et le mot de passe root, spécifiés lors de l'installation de XenServer.

Dans XenCenter, après avoir cliqué sur le nom de l'hyperviseur ajouté, l'onglet « Console » sera accessible. Dans le menu, nous choisirons « Configuration du service à distance » et activerons l'authentification SSH - « Activer/Désactiver le shell à distance ».

Pilote Nvidia

Je vais laisser parler mes émotions et dire que durant tout mon temps de travail avec vGPU, je ne suis jamais allé sur le site nvid.nvidia.com du premier coup. Si l'authentification ne fonctionne pas, je recommande Internet Explorer.

Téléchargeons le zip avec vGPU, ainsi que l'outil de changement de mode GPU :

NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip
NVIDIA-gpumodeswitch-2020-01.zip

Nous devons surveiller les versions. Dans le nom de l'archive téléchargée se trouve la version des pilotes NVIDIA appropriés, qui peuvent ensuite être installés sur les machines virtuelles. Dans mon cas, il s'agit de 390.72.

Nous transférons les zip sur XenServer et les décompressons.

Nous changerons le mode GPU et installerons le pilote vGPU.

$ cd NVIDIA-gpumodeswitch-2020-01
$ gpumodeswitch --listgpumodes
$ gpumodeswitch --gpumode graphics
$ cd ../NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81
$ yum install NVIDIA-vGPU-xenserver-7.4-390.72.x86_64.rpm
$ reboot

Monter le stockage

Nous allons configurer un répertoire partagé avec NFS sur n'importe quel ordinateur du réseau.

$ yum install epel-release
$ yum install nfs-utils libnfs-utils
$ systemctl enable rpcbind
$ systemctl enable nfs-server
$ systemctl enable nfs-lock
$ systemctl enable nfs-idmap
$ systemctl start rpcbind
$ systemctl start nfs-server
$ systemctl start nfs-lock
$ systemctl start nfs-idmap
$ firewall-cmd --permanent --zone=public --add-service=nfs
$ firewall-cmd --permanent --zone=public --add-service=mountd
$ firewall-cmd --permanent --zone=public --add-service=rpc-bind
$ firewall-cmd --reload
$ mkdir -p /nfs/store1
$ chmod -R 777 /nfs/store1
$ touch /nfs/store1/forcheck
$ cat /etc/exports
  ...
  /nfs/store1 192.168.1.0/24(rw,async,crossmnt,no_root_squash,no_all_squash,no_subtree_check)
$ systemctl restart nfs-server

Dans XenCenter, sélectionnons XenServer et dans l'onglet « Stockage », choisissons « Nouveau SR ». Indiquons le type de stockage — NFS ISO. Le chemin doit pointer vers le répertoire partagé NFS.

Image maître Citrix basée sur Centos 7

Comment créer une machine virtuelle avec Centos 7 ?

Comment préparer une machine virtuelle pour créer un répertoire ?

Image Centos 7

Avec XenCenter, nous allons créer une machine virtuelle avec GPU. Dans l'onglet « VM », cliquons sur « Nouvelle VM ».

Choisissons les paramètres nécessaires :

Modèle VM — Autre média d'installation
Nom — modèle
Installer depuis la bibliothèque ISO — Centos 7 (télécharger), sélectionnons à partir du stockage monté NFS ISO.
Nombre de vCPUs — 4
Topologie — 1 socket avec 4 cœurs par socket
Mémoire — 30 Go
Type de GPU — GRID M60-4Q
Utiliser ce disque virtuel — 80 Go
Réseau

Après création, la machine virtuelle apparaîtra dans la liste verticale à gauche. Cliquons dessus et accédons à l'onglet « Console ». Attendez le chargement de l'installateur Centos 7 et réalisons les étapes nécessaires pour installer le système d'exploitation avec l'interface GNOME.

Préparation de l'image

La préparation de l'image avec Centos 7 m'a pris beaucoup de temps. Cela a abouti à un ensemble de scripts qui facilitent la configuration initiale de Linux et permettront de créer un répertoire de machines virtuelles avec les Citrix Machine Creation Services (MCS).

Le serveur DHCP, installé sur ws-ad, a attribué à la nouvelle machine virtuelle l'adresse IP 192.168.1.129.

Voici les principales configurations.

$ hostnamectl set-hostname template
$ yum install -y epel-release
$ yum install -y lsb mc gcc
$ firewall-cmd --permanent --zone=dmz --remove-service=ssh
$ firewall-cmd --permanent --zone=external --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=mdns
$ firewall-cmd --permanent --zone=home --remove-service=samba-client
$ firewall-cmd --permanent --zone=home --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=samba-client
$ firewall-cmd --permanent --zone=internal --remove-service=mdns
$ firewall-cmd --permanent --zone=internal --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=ssh
$ firewall-cmd --permanent --zone=public --add-service=ssh
$ firewall-cmd --complete-reload

Dans XenCenter, dans l'onglet « Console », montons guest-tools.iso dans le lecteur DVD de la machine virtuelle et effectuons l'installation de XenTools pour Linux.

$ mount /dev/cdrom /mnt
$ /mnt/Linux/install.sh
$ reboot

Lors de la configuration de XenServer, nous avons utilisé l'archive NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip, téléchargée depuis le site de NVIDIA, qui contient, en plus du pilote NVIDIA pour XenServer, le pilote NVIDIA nécessaire pour les clients vGPU. Nous allons le télécharger et l'installer sur la VM.

$ cat /etc/default/grub
  GRUB_TIMEOUT=5
  GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
  GRUB_DEFAULT=saved
  GRUB_DISABLE_SUBMENU=true
  GRUB_TERMINAL_OUTPUT="console"
  GRUB_CMDLINE_LINUX="rhgb quiet modprobe.blacklist=nouveau"
  GRUB_DISABLE_RECOVERY="true"
$ grub2-mkconfig -o /boot/grub2/grub.cfg
$ wget http://vault.centos.org/7.6.1810/os/x86_64/Packages/kernel-devel-3.10.0-957.el7.x86_64.rpm
$ yum install kernel-devel-3.10.0-957.el7.x86_64.rpm
$ reboot
$ init 3
$ NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81/NVIDIA-Linux-x86_64-390.75-grid.run
$ cat /etc/nvidia/gridd.conf
  ServerAddress=192.168.1.111
  ServerPort=7070
  FeatureType=1
$ reboot

Téléchargeons l'agent de livraison virtuelle Linux 1811 (VDA) pour Centos 7. Lien de téléchargement Linux VDA disponible après authentification sur le site Citrix.

$ yum install -y LinuxVDA-1811.el7_x.rpm
$ cat /var/xdl/mcs/mcs.conf
  #!/bin/bash
  dns1=192.168.1.110
  NTP_SERVER=some.ntp.ru
  AD_INTEGRATION=winbind
  SUPPORT_DDC_AS_CNAME=N
  VDA_PORT=80
  REGISTER_SERVICE=Y
  ADD_FIREWALL_RULES=Y
  HDX_3D_PRO=Y
  VDI_MODE=Y
  SITE_NAME=domain.ru
  LDAP_LIST=ws-ad.domain.ru
  SEARCH_BASE=DC=domain,DC=ru
  START_SERVICE=Y
$ /opt/Citrix/VDA/sbin/deploymcs.sh
$ echo "exclude=kernel* xorg*" >> /etc/yum.conf

Dans Citrix Studio, créons un catalogue de machines et un groupe de distribution. Avant cela, il est nécessaire d'installer et de configurer Windows Server.

Windows Server avec contrôleur de domaine

Comment télécharger et installer Windows Server 2016 ?
Comment installer les composants de Windows Server ?
Comment configurer Active Directory, DHCP et DNS ?

Windows Server 2016

Comme la machine virtuelle (VM) avec Windows Server n'a pas besoin de GPU, nous utiliserons un serveur sans GPU comme hyperviseur. De la même manière que précédemment, installons un autre XenServer pour l'hébergement des machines virtuelles système.

Après cela, créons une machine virtuelle pour Windows Server avec Active Directory.

Téléchargeons Windows Server 2016 depuis le site par Microsoft. Il est préférable de suivre le lien avec Internet Explorer.

Avec XenCenter, créons une machine virtuelle. Dans l'onglet « VM », cliquons sur « Nouvelle VM ».

Choisissons les paramètres nécessaires :

Modèle VM — Windows Server 2016 (64 bits)
Nom — ws-ad.domain.ru
Installer depuis la bibliothèque ISO — WindowsServer2016.iso, sélectionnant depuis le stockage NFS monté.
Nombre de vCPUs — 4
Topologie — 1 socket avec 4 cœurs par socket
Mémoire — 20 Go
Type de GPU — aucun
Utiliser ce disque virtuel — 100 Go
Réseau

Après la création, la machine virtuelle apparaîtra dans la liste verticale à gauche. Cliquons dessus et passons à l'onglet « Console ». Attendons le chargement de l'installateur de Windows Server et effectuons les étapes nécessaires pour installer le système d'exploitation.

Nous allons installer XenTools dans la VM. Cliquez avec le bouton droit sur la VM, puis sélectionnez « Installer Citrix VM Tools... ». Ensuite, une image sera montée, que vous devrez lancer pour installer XenTools. Après l'installation, un redémarrage de la VM sera nécessaire.

Configurons l'adaptateur réseau :

Adresse IP — 192.168.1.110
Masque — 255.255.255.0
Passerelle — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Si Windows Server n'est pas activé, nous procéderons à l'activation. La clé peut être obtenue là où vous avez téléchargé l'image.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Configurons le nom de l'ordinateur. Dans mon cas, c'est ws-ad.

Installation des composants

Dans le Gestionnaire de serveur, sélectionnez « Ajouter des rôles et des composants ». Indiquez l'installation du serveur DHCP, du serveur DNS et des services de domaine Active Directory. Cochez la case « Redémarrer automatiquement ».

Configuration d'Active Directory

Après le redémarrage de la VM, cliquez sur « Élever ce serveur au niveau de contrôleur de domaine » et ajoutez une nouvelle forêt domain.ru.

Configuration du serveur DHCP

Dans la barre supérieure du Gestionnaire de serveur, cliquez sur le point d'exclamation pour enregistrer les modifications lors de l'installation du serveur DHCP.

Passons à la configuration du serveur DHCP.

Créons une nouvelle plage 192.168.1.120-130. Ne changeons rien d'autre. Sélectionnons « Configurer les paramètres DHCP maintenant » et saisissons l'adresse IP ws-ad (192.168.1.110) comme passerelle et DNS, qui seront indiqués dans les paramètres des adaptateurs réseau des machines virtuelles du répertoire.

Configuration du serveur DNS

Passons à la configuration du serveur DNS.

Créons une nouvelle zone de diffusion directe — zone primaire, pour tous les serveurs DNS dans le domaine domain.ru. Ne changeons rien d'autre.

Créons une nouvelle zone de diffusion inverse, en choisissant des paramètres similaires.

Dans les propriétés du serveur DNS, dans l'onglet « Avancé », cochez la case « Désactiver la récursivité ».

Création d'un utilisateur test

Accédez au « Centre d'administration Active Directory »

Dans la section « Utilisateurs », cliquez sur « Créer ». Saisissez un nom, par exemple test, et cliquez sur « OK » en bas.

Sélectionnez l'utilisateur créé et dans le menu vertical à droite, choisissez « Réinitialiser le mot de passe ». Laissez la case « Exiger le changement de mot de passe lors de la prochaine connexion à la système » cochée.

Windows Server avec Citrix Delivery Controller

Comment télécharger et installer Windows Server 2016 ?
Comment télécharger et installer Citrix Delivery Controller ?
Comment installer et configurer Citrix License Manager ?
Comment installer et configurer NVIDIA License Manager ?

Windows Server 2016

Comme la machine virtuelle (VM) avec Windows Server n'a pas besoin de GPU, nous allons utiliser un serveur sans GPU comme hyperviseur.

Téléchargeons Windows Server 2016 depuis le site par Microsoft. Il est préférable de suivre le lien avec Internet Explorer.

Avec XenCenter, créons une machine virtuelle. Dans l'onglet « VM », cliquons sur « Nouvelle VM ».

Choisissons les paramètres nécessaires :

Modèle VM — Windows Server 2016 (64 bits)
Nom — ws-dc
Installer depuis la bibliothèque ISO — WindowsServer2016.iso, sélectionnant depuis le stockage NFS monté.
Nombre de vCPUs — 4
Topologie — 1 socket avec 4 cœurs par socket
Mémoire — 20 Go
Type de GPU — aucun
Utiliser ce disque virtuel — 100 Go
Réseau

Une fois créée, la machine virtuelle apparaîtra dans la liste verticale à gauche. Cliquez dessus et accédez à l'onglet « Console ». Attendez le chargement de l'installateur de Windows Server et suivez les étapes nécessaires pour installer le système d'exploitation.

Configurons l'adaptateur réseau :

Adresse IP — 192.168.1.111
Masque — 255.255.255.0
Passerelle — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4

Si Windows Server n'est pas activé, nous procéderons à l'activation. La clé peut être obtenue là où vous avez téléchargé l'image.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Configurons le nom de l'ordinateur. Dans mon cas, c'est ws-dc.

Ajoutons la VM au domaine domen.ru, redémarrons et authentifions-nous avec le compte d'administrateur de domaine DOMENAdministrator.

Citrix delivery controller

Téléchargez Citrix Virtual Apps and Desktops 1811 sur ws-dc.domain.ru. Lien de téléchargement Citrix Virtual Apps and Desktops disponible après authentification sur le site Citrix.

Montez l'iso téléchargé et lancez-le. Choisissez « Citrix Virtual Apps and Desktops 7 ». Ensuite, cliquez sur « Get started ». Un redémarrage peut être nécessaire.

Dans mon cas, il suffit de choisir les composants suivants pour l'installation :

Delivery Controller
Studio
License Server
StoreFront

Ne changeons rien d'autre et cliquons sur « Installer ». Un redémarrage sera parfois nécessaire, après quoi l'installation se poursuivra.

Une fois l'installation terminée, Citrix Studio se lancera — l'interface de gestion de tout l'infrastructure Citrix.

Configuration du site Citrix

Sélectionnez la première section des trois — Configuration du site. Lors de la configuration, indiquons le nom du site — domain.

Dans la section « Connexion », indiquons les informations pour se connecter à l'hyperviseur avec GPU :

Adresse de connexion — 192.168.1.100
Nom d'utilisateur — root
Mot de passe — yourpassword
Nom de connexion — m60

Gestion des stocks — Utiliser le stockage local à l'hyperviseur.

Nom de ces ressources — m60.

Sélectionnez des réseaux.

Sélectionnez un type de GPU et un groupe — GRID M60-4Q.

Configuration des catalogues de machines Citrix

Lors de la configuration de la deuxième section — Catalogues de machines, choisissons OS à session unique (Desktop OS).

Image maître — choisissons l'image préparée de la machine virtuelle et la version de Citrix Virtual Apps and Desktops — 1811.

Choisissez le nombre de machines virtuelles dans le catalogue, par exemple 4.

Indiquons le schéma selon lequel les machines virtuelles recevront des noms, dans mon cas, c'est desktop##. Ainsi, 4 VM avec les noms desktop01-04 seront créées.

Nom du catalogue de machines — m60.

Description du catalogue de machines — m60.

Une fois le catalogue de machines créé avec quatre VM, elles pourront être trouvées dans la liste verticale de XenCenter, à gauche.

Groupe de livraison Citrix

La troisième section commence par le choix du nombre de VM auxquelles l'accès doit être accordé. J'indiquerai les quatre.

Dans la section « Bureaux », cliquez sur « Ajouter » pour ajouter un groupe de VM auquel nous allons accorder l'accès. Nom d'affichage — m60.

Nom du groupe de livraison — m60.

Après la configuration des trois sections principales, la fenêtre principale de Citrix Studio ressemblera à peu près à cela.

Gestionnaire de licences Citrix

Téléchargez le fichier de licence via votre compte personnel sur le site. Citrix.

Dans la liste verticale à gauche, sélectionnons Tous les outils de licence (Legacy). Passons à l'onglet « Activer et allouer des licences ». Choisissons les licences Citrix VDA et cliquons sur « Continuer ». Indiquons le nom de notre Delivery Controller — ws-dc.domain.ru et le nombre de licences — 4. Cliquons sur « Continuer ». Téléchargeons le fichier de licence généré sur ws-dc.domain.ru.

Dans la liste verticale de gauche de Citrix Studio, sélectionnons la section « Licensing ». Dans la liste verticale de droite, cliquons sur « Console de gestion des licences ». Dans la fenêtre du navigateur qui s'ouvre, saisissons les données d'authentification de l'utilisateur de domaine DOMENAdministrator.

Dans Citrix Licensing Manager, passons à l'onglet « Installer la licence ». Pour ajouter un fichier de licence, il faut sélectionner « Utiliser le fichier de licence téléchargé ».

L'installation des composants Citrix nécessite l'utilisation de plusieurs machines virtuelles, un composant — une VM. Dans mon cas, tous les services système Citrix fonctionnent dans une seule VM. À ce sujet, je note un bug dont la correction m'a particulièrement compliqué la tâche.

Si, après le redémarrage de ws-dc, des problèmes de diverses natures surviennent, je vous recommande de vérifier d'abord les services en cours d'exécution. Voici la liste des services Citrix qui doivent se lancer automatiquement après le redémarrage de la VM :

SQL Server (SQLEXPRESS)
Service de configuration Citrix
Service d'administration déléguée Citrix
Analyseur Citrix
Service de courtage Citrix
Service de journalisation de configuration Citrix
Service d'identité AD Citrix
Service d'hôte Citrix
Bibliothèque d'applications Citrix
Service de création de machines Citrix
Service de monitoring Citrix
Service Storefront Citrix
Service de confiance Citrix
Service de test d'environnement Citrix
Service d'orchestration Citrix
FlexNet License Server -nvidia

J'ai rencontré un problème qui survient lors de l'installation de divers services Citrix sur une seule VM. Après le redémarrage, tous les services ne démarrent pas. Il était lassant de lancer toute la chaîne un par un. La solution était difficile à rechercher sur Google, donc je la partage ici — il faut modifier deux paramètres dans le registre :

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control
Nom : ServicesPipeTimeout
Valeur : 240000

Nom : WaitToKillServiceTimeout
Valeur : 20000

Gestionnaire de licences Nvidia

Téléchargeons le gestionnaire de licences NVIDIA pour Windows via le compte personnel sur le site nvid.nvidia.com. Il est préférable d'y accéder via Internet Explorer.

Installons-le sur ws-dc. Pour cela, il faudra d'abord installer JAVA et ajouter la variable d'environnement JAVA_HOME. Après cela, nous pouvons lancer setup.exe pour installer NVIDIA License Manager.

Créons un serveur, générons et téléchargeons le fichier de licence dans le compte personnel sur le site nvid.nvidia.com. Transférons le fichier de licence sur ws-dc.

En utilisant un navigateur, authentifions-nous dans l'interface Web du gestionnaire de licences NVIDIA, disponible à l'adresse localhost:8080/licserver et ajoutons le fichier de licence.

Les sessions actives utilisant le vGPU peuvent être consultées dans la section « Clients licenciés ».

Accès à distance au catalogue de machines Citrix

Comment installer Citrix Receiver ?
Comment se connecter à un bureau virtuel ?

Ouvrons un navigateur sur l'ordinateur de travail, dans mon cas c'est Chrome, et accédons à l'interface web de Citrix StoreWeb.

http://192.168.1.111/Citrix/StoreWeb

Si Citrix Receiver n'est pas encore installé, cliquez sur « Détecter Receiver ».

Veuillez lire attentivement le contrat de licence, télécharger et installer Citrix Receiver.

Après l'installation, revenons au navigateur et cliquons sur « Continuer ».

Ensuite, une notification s'ouvre dans le navigateur Chrome, cliquez sur « Ouvrir l'application Citrix Receiver Launcher », puis sur « Détecter à nouveau » ou « Déjà installé ».