Отдалечен достъп до GPU VM с помощта на Citrix

Това ръководство описва подробно стъпките, които трябва да предприемете, когато подготвяте отдалечен достъп до виртуални десктопи с помощта на технологията, предлагана от Citrix.

Ще бъде полезно за тези, които наскоро са се запознали с технологията за виртуализация на работния плот, тъй като е колекция от полезни команди, събрани от ~ 10 ръководства, много от които са достъпни на сайтовете на Citrix, Nvidia, Microsoft, след оторизация.

Тази реализация съдържа стъпките за подготовка на отдалечен достъп до виртуални машини (VM) с графични ускорители Nvidia Tesla M60 и операционна система Centos 7.

И така, нека започнем.

Подготовка на хипервайзор за хостване на виртуални машини

Как да изтегля и инсталирам XenServer 7.4?
Как да добавя XenServer към Citrix XenCenter?
Как да изтегля и инсталирам драйвер на Nvidia?
Как да променя режима на Nvidia Tesla M60?
Как да монтирам хранилище?

XenServer 7.4

Линк за изтегляне XenServer 7.4 наличен след влизане Citrix.

Отдалечен достъп до GPU VM с помощта на Citrix

Нека инсталираме XenServer.iso на сървър с 4x NVIDIA Tesla M60 по обичайния начин. В моя случай iso се монтира чрез IPMI. За сървърите на Dell BMC се управлява чрез IDRAC. Стъпките за инсталиране са почти същите като инсталирането на подобни на Linux операционни системи.

Моят адрес за XenServer с GPU е 192.168.1.100

Инсталирайте XenCenter.msi на локалния компютър, от който ще управляваме хипервайзори и виртуални машини. Нека добавим там сървър с графичен процесор и XenServer, като щракнете върху раздела „Сървър“, след това върху „Добавяне“. Въведете потребителското име и паролата root, посочени по време на инсталирането на XenServer.

Отдалечен достъп до GPU VM с помощта на Citrix

В XenCenter, след щракване върху името на добавения хипервизор, разделът "Конзола" ще бъде достъпен. В менюто изберете „Конфигуриране на отдалечена услуга“ и активирайте SSH оторизация - „Активиране / деактивиране на отдалечена обвивка“.

Драйвер на Nvidia

Ще дам воля на емоциите си и ще кажа, че за цялото време, откакто работя с vGPU, никога не съм посещавал сайта nvidia.com от първия опит. Ако оторизацията не работи, тогава препоръчвам Internet Explorer.

Изтеглете zip от vGPU, както и GPUMode Change Utility:

NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip
NVIDIA-gpumodeswitch-2020-01.zip

Отдалечен достъп до GPU VM с помощта на Citrix

Следим версиите. Името на изтегления архив показва версията на подходящите драйвери на NVIDIA, които могат да бъдат инсталирани на виртуални машини в бъдеще. В моя случай е 390.72.

Прехвърлете zip файлове в XenServer и разопаковайте.

Променете режима на GPU и инсталирайте драйвера vGPU

$ cd NVIDIA-gpumodeswitch-2020-01
$ gpumodeswitch --listgpumodes
$ gpumodeswitch --gpumode graphics
$ cd ../NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81
$ yum install NVIDIA-vGPU-xenserver-7.4-390.72.x86_64.rpm
$ reboot

Отдалечен достъп до GPU VM с помощта на Citrix

Монтирайте хранилището

Настройте споделена директория с помощта на NFS на всеки компютър в мрежата.

$ yum install epel-release
$ yum install nfs-utils libnfs-utils
$ systemctl enable rpcbind
$ systemctl enable nfs-server
$ systemctl enable nfs-lock
$ systemctl enable nfs-idmap
$ systemctl start rpcbind
$ systemctl start nfs-server
$ systemctl start nfs-lock
$ systemctl start nfs-idmap
$ firewall-cmd --permanent --zone=public --add-service=nfs
$ firewall-cmd --permanent --zone=public --add-service=mountd
$ firewall-cmd --permanent --zone=public --add-service=rpc-bind
$ firewall-cmd --reload
$ mkdir -p /nfs/store1
$ chmod -R 777 /nfs/store1
$ touch /nfs/store1/forcheck
$ cat /etc/exports
  ...
  /nfs/store1 192.168.1.0/24(rw,async,crossmnt,no_root_squash,no_all_squash,no_subtree_check)
$ systemctl restart nfs-server

В XenCenter изберете XenServer и в раздела „Съхранение“ изберете „Нов SR“. Посочете вида на хранилището - NFS ISO. Пътят трябва да сочи към NFS споделена директория.

Citrix Master Image, базиран на Centos 7

Как да създадете виртуална машина с Centos 7?

Как да подготвим виртуална машина за създаване на директория?

Изображение на Centos 7

Използвайки XenCenter, ще създадем виртуална машина с GPU. В раздела „VM“ щракнете върху „Нова виртуална машина“.

Отдалечен достъп до GPU VM с помощта на Citrix

Изберете необходимите опции:

VM шаблон – Друг инсталационен носител
Име-шаблон
Инсталирайте от ISO библиотека - Centos 7 (изтеглите), изберете от монтираното NFS ISO хранилище.
Брой vCPU - 4
Топология - 1 гнездо с 4 ядра на гнездо
Памет - 30 Gb
Тип GPU - GRID M60-4Q
Използвайте този виртуален диск - 80 Gb
мрежа

Веднъж създадена, виртуалната машина ще се появи във вертикалния списък вляво. Кликнете върху него и отидете в раздела "Конзола". Нека изчакаме инсталационната програма на Centos 7 да се зареди и да изпълним необходимите стъпки за инсталиране на операционната система с обвивката на GNOME.

Подготовка на изображението

Подготовката на изображението с Centos 7 ми отне доста време. Впоследствие беше получен набор от скриптове, който улеснява първоначалната конфигурация на Linux и ви позволява да създадете каталог от виртуални машини, използвайки Citrix Machine Creation Services (MCS).

DHCP сървърът, инсталиран на ws-ad, присвои на новата виртуална машина IP адрес 192.168.1.129.

По-долу са основните настройки.

$ hostnamectl set-hostname template
$ yum install -y epel-release
$ yum install -y lsb mc gcc
$ firewall-cmd --permanent --zone=dmz --remove-service=ssh
$ firewall-cmd --permanent --zone=external --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=ssh
$ firewall-cmd --permanent --zone=home --remove-service=mdns
$ firewall-cmd --permanent --zone=home --remove-service=samba-client
$ firewall-cmd --permanent --zone=home --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=internal --remove-service=samba-client
$ firewall-cmd --permanent --zone=internal --remove-service=mdns
$ firewall-cmd --permanent --zone=internal --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=ssh
$ firewall-cmd --permanent --zone=public --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=dhcpv6-client
$ firewall-cmd --permanent --zone=work --remove-service=ssh
$ firewall-cmd --permanent --zone=public --add-service=ssh
$ firewall-cmd --complete-reload

В XenCenter, в раздела „Конзола“, монтирайте guest-tools.iso към DVD устройството на виртуалната машина и инсталирайте XenTools за Linux.

$ mount /dev/cdrom /mnt
$ /mnt/Linux/install.sh
$ reboot

При настройката на XenServer използвахме архива NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip, изтеглен от уебсайта на NVIDIA, който в допълнение към NVIDIA драйвера за XenServer съдържа NVIDIA драйвера, от който се нуждаем за vGPU клиенти . Изтеглете и го инсталирайте на виртуалната машина.

$ cat /etc/default/grub
  GRUB_TIMEOUT=5
  GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
  GRUB_DEFAULT=saved
  GRUB_DISABLE_SUBMENU=true
  GRUB_TERMINAL_OUTPUT="console"
  GRUB_CMDLINE_LINUX="rhgb quiet modprobe.blacklist=nouveau"
  GRUB_DISABLE_RECOVERY="true"
$ grub2-mkconfig -o /boot/grub2/grub.cfg
$ wget http://vault.centos.org/7.6.1810/os/x86_64/Packages/kernel-devel-3.10.0-957.el7.x86_64.rpm
$ yum install kernel-devel-3.10.0-957.el7.x86_64.rpm
$ reboot
$ init 3
$ NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81/NVIDIA-Linux-x86_64-390.75-grid.run
$ cat /etc/nvidia/gridd.conf
  ServerAddress=192.168.1.111
  ServerPort=7070
  FeatureType=1
$ reboot

Изтеглете Linux Virtual Delivery Agent 1811 (VDA) за Centos 7. Връзка за изтегляне Linux VDA наличен след влизане Citrix.

$ yum install -y LinuxVDA-1811.el7_x.rpm
$ cat /var/xdl/mcs/mcs.conf
  #!/bin/bash
  dns1=192.168.1.110
  NTP_SERVER=some.ntp.ru
  AD_INTEGRATION=winbind
  SUPPORT_DDC_AS_CNAME=N
  VDA_PORT=80
  REGISTER_SERVICE=Y
  ADD_FIREWALL_RULES=Y
  HDX_3D_PRO=Y
  VDI_MODE=Y
  SITE_NAME=domain.ru
  LDAP_LIST=ws-ad.domain.ru
  SEARCH_BASE=DC=domain,DC=ru
  START_SERVICE=Y
$ /opt/Citrix/VDA/sbin/deploymcs.sh
$ echo "exclude=kernel* xorg*" >> /etc/yum.conf

Нека създадем машинен каталог и група за доставка в Citrix Studio. Преди да направите това, трябва да инсталирате и конфигурирате Windows Server.

Windows Server с домейн контролер

Как да изтегля и инсталирам Windows Server 2016?
Как да инсталирам компоненти на Windows Server?
Как да настроя Active Directory, DHCP и DNS?

Windows сървър 2016

Тъй като виртуалната машина на Windows Server (VM) не се нуждае от GPU, ние ще използваме сървър без GPU като хипервизор. По аналогия с описанието по-горе, ще инсталираме друг XenServer за хостване на системни виртуални машини.

След това ще създадем виртуална машина за Windows Server с Active Directory.

Изтеглете Windows Server 2016 от сайта Microsoft. По-добре е да следвате връзката с помощта на Internet Explorer.

Отдалечен достъп до GPU VM с помощта на Citrix

Нека създадем виртуална машина с помощта на XenCenter. В раздела „VM“ щракнете върху „Нова виртуална машина“.

Отдалечен достъп до GPU VM с помощта на Citrix

Изберете необходимите опции:

VM шаблон - Windows Server 2016 (64-битов)
Име - ws-ad.domain.ru
Инсталирайте от ISO библиотека - WindowsServer2016.iso, изберете от монтираното NFS ISO хранилище.
Брой vCPU - 4
Топология - 1 гнездо с 4 ядра на гнездо
Памет - 20 Gb
Тип GPU - няма
Използвайте този виртуален диск - 100 Gb
мрежа

Веднъж създадена, виртуалната машина ще се появи във вертикалния списък вляво. Кликнете върху него и отидете в раздела "Конзола". Нека изчакаме инсталатора на Windows Server да се зареди и да изпълним необходимите стъпки за инсталиране на ОС.

Инсталирайте XenTools във VM. Щракнете с десния бутон върху VM, след това върху „Инсталиране на Citrix VM Tools ...“. След това изображението ще бъде монтирано, което трябва да стартирате и инсталирате XenTools. В края на инсталацията ще трябва да рестартирате виртуалната машина.

Нека конфигурираме мрежовия адаптер:

IP адрес - 192.168.1.110
Маска - 255.255.255.0
Шлюз - 192.168.1.1
DNS1 - 8.8.8.8
DNS2 - 8.8.4.4

Ако Windows Server не е активиран, ние ще го активираме. Ключът може да бъде взет от същото място, откъдето е изтеглено изображението.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Нека зададем името на компютъра. В моя случай това е ws-ad.

Инсталиране на компоненти

В Server Manager изберете „Добавяне на роли и функции“. Обърнете внимание на DHCP сървъра, DNC сървъра и домейн услугите на Active Directory, които да инсталирате. Поставете отметка в квадратчето „Рестартирай автоматично“.

Отдалечен достъп до GPU VM с помощта на Citrix

Конфигуриране на Active Directory

След като рестартирате виртуалната машина, щракнете върху „Повишете този сървър до нивото на домейн контролер“ и добавете нова гора domain.ru.

Настройка на DHCP сървър

В горния панел на Server Manager щракнете върху удивителния знак, за да запазите промените, когато инсталирате DHCP сървъра.

Нека да преминем към настройките на DHCP сървъра.

Отдалечен достъп до GPU VM с помощта на Citrix

Нека създадем нова област 192.168.1.120-130. Останалото не го променяме. Изберете „Конфигуриране на DHCP настройки сега“ и въведете IP адреса ws-ad (192.168.1.110) като шлюз и DNS, които ще бъдат посочени в настройките на мрежовите адаптери на виртуалните машини от каталога.

Настройка на DNS сървър

Нека да преминем към настройките на DNS сървъра.

Отдалечен достъп до GPU VM с помощта на Citrix

Нека създадем нова зона за търсене напред - основна зона, за всички DNS сървъри в домейна domain.ru. Ние не променяме нищо друго.

Нека създадем нова зона за обратно търсене, като изберем подобни опции.

В свойствата на DNS сървъра, в раздела „Разширени“, поставете отметка в квадратчето „Деактивиране на рекурсията“.

Създайте тестов потребител

Да отидем в „Център за администриране на Active Directory“

Отдалечен достъп до GPU VM с помощта на Citrix

В секцията „Потребители“ вдясно щракнете върху „Създаване“. Въведете име, например тест, и щракнете върху „OK“ в долната част.

Отдалечен достъп до GPU VM с помощта на Citrix

Изберете създадения потребител и изберете „Нулиране на парола“ във вертикалното меню вдясно. Оставете отметката в квадратчето „Изискване на промяна на паролата при следващо влизане“.

Windows Server с Citrix Delivery Controller

Как да изтегля и инсталирам Windows Server 2016?
Как да изтегля и инсталирам Citrix Delivery Controller?
Как да инсталирам и конфигурирам Citrix License Manager?
Как да инсталирам и конфигурирам NVIDIA License Manager?

Windows сървър 2016

Тъй като виртуалната машина на Windows Server (VM) не се нуждае от GPU, ние ще използваме сървър без GPU като хипервизор.

Изтеглете Windows Server 2016 от сайта Microsoft. По-добре е да следвате връзката с помощта на Internet Explorer.

Отдалечен достъп до GPU VM с помощта на Citrix

Нека създадем виртуална машина с помощта на XenCenter. В раздела „VM“ щракнете върху „Нова виртуална машина“.

Отдалечен достъп до GPU VM с помощта на Citrix

Изберете необходимите опции:

VM шаблон - Windows Server 2016 (64-битов)
Име-ws-dc
Инсталирайте от ISO библиотека - WindowsServer2016.iso, изберете от монтираното NFS ISO хранилище.
Брой vCPU - 4
Топология - 1 гнездо с 4 ядра на гнездо
Памет - 20 Gb
Тип GPU - няма
Използвайте този виртуален диск - 100 Gb
мрежа

Веднъж създадена, виртуалната машина ще се появи във вертикалния списък вляво. Кликнете върху него и отидете в раздела "Конзола". Нека изчакаме инсталатора на Windows Server да се зареди и да изпълним необходимите стъпки за инсталиране на ОС.

Инсталирайте XenTools във VM. Щракнете с десния бутон върху VM, след това върху „Инсталиране на Citrix VM Tools ...“. След това изображението ще бъде монтирано, което трябва да стартирате и инсталирате XenTools. В края на инсталацията ще трябва да рестартирате виртуалната машина.

Нека конфигурираме мрежовия адаптер:

IP адрес - 192.168.1.111
Маска - 255.255.255.0
Шлюз - 192.168.1.1
DNS1 - 8.8.8.8
DNS2 - 8.8.4.4

Ако Windows Server не е активиран, ние ще го активираме. Ключът може да бъде взет от същото място, откъдето е изтеглено изображението.

[PowerShell]$ slmgr -ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx

Нека зададем името на компютъра. В моя случай е ws-dc.

Нека добавим виртуална машина към домейна domen.ru, рестартирайте и влезте под акаунта на администратор на домейн DOMENAdministrator.

Контролер за доставка Citrix

Изтеглете Citrix Virtual Apps and Desktops 1811 на ws-dc.domain.ru. Линк за изтегляне Виртуални приложения и настолни компютри на Citrix наличен след влизане Citrix.

Отдалечен достъп до GPU VM с помощта на Citrix

Монтирайте изтегленото iso и стартирайте. Изберете „Citrix Virtual Apps and Desktops 7“. След това щракнете върху „Първи стъпки“. Може да се наложи рестартиране.

Отдалечен достъп до GPU VM с помощта на Citrix

В моя случай е достатъчно да изберете следните компоненти за инсталиране:

Контролер по доставката
Студио
Лицензен сървър
StoreFront

Не променяме нищо друго и кликваме върху „Инсталиране“. Ще е необходимо рестартиране повече от веднъж, след което инсталацията ще продължи.

След като инсталацията приключи, Citrix Studio, Citrix Enterprise Management Environment, ще се стартира.

Отдалечен достъп до GPU VM с помощта на Citrix

Конфигуриране на сайта на Citrix

Нека изберем първия раздел от трите - Настройка на сайта. Когато конфигурирате, посочете Име на сайта - домейн.

В секцията „Свързване“ посочете данните за свързване на хипервайзор с GPU:

адрес за връзка - 192.168.1.100
Потребителско име - root
Парола - вашата парола
Име на връзката - m60

Управление на магазина - Използвайте хранилище, локално спрямо хипервайзора.

Името на тези ресурси е m60.

изберете мрежи.

Изберете тип GPU и група - GRID M60-4Q.

Конфигуриране на машинни каталози на Citrix

Когато настройвате втория раздел - Машинни каталози, изберете Едносесийна ОС (Настолна ОС).

Главно изображение - изберете подготвения образ на виртуалната машина и версията на Citrix Virtual Apps and Desktops - 1811.

Изберете броя на виртуалните машини в директорията, например 4.

Посочете схемата, по която ще се именуват виртуалните машини, в моя случай това е desktop##. В този случай ще бъдат създадени 4 виртуални машини с име desktop01-04.

Каталожно име на машината - m60.

Каталожно описание на машината - m60.

След като създадете машинен каталог с четири VM, те могат да бъдат намерени във вертикалния списък на XenCenter вляво.

Citrix Delivery Group

Третият раздел започва с избор на броя виртуални машини, до които да се предостави достъп. Ще изброя и четирите.

В секцията „Настолни компютри“ щракнете върху „Добавяне“, за да добавите група виртуални машини, до които ще предоставим достъп. Екранно име - m60.

Име на групата за доставка - m60.

След като настроите трите основни раздела, главният прозорец на Citrix Studio ще изглежда по следния начин

Отдалечен достъп до GPU VM с помощта на Citrix

Citrix мениджър на лицензи

Изтеглете файла с лиценза през личния си акаунт на сайта Citrix.

Във вертикалния списък вляво изберете Всички инструменти за лицензиране (наследени). Нека отидем в раздела „Активиране и разпределяне на лицензи“. Изберете Citrix VDA лицензи и щракнете върху Продължи. Нека посочим името на нашия контролер за доставка - ws-dc.domain.ru и броя на лицензите - 4. Кликнете върху "Продължи". Изтеглете генерирания файл с лиценз на ws-dc.domain.ru.

Отдалечен достъп до GPU VM с помощта на Citrix

В левия вертикален списък на Citrix Studio изберете секцията „Лицензиране“. В десния вертикален списък щракнете върху „Конзола за управление на лицензи“. В прозореца на браузъра, който се отваря, въведете данните за оторизация на потребителя на домейна DOMENAdministrator.

В Citrix Licensing Manager отидете на раздела „Инсталиране на лиценз“. За да добавите лицензен файл, изберете „Използване на изтегления лицензен файл“.

Отдалечен достъп до GPU VM с помощта на Citrix

Инсталирането на компоненти на Citrix включва използване на множество виртуални машини, по един компонент на VM. В моя случай всички системни услуги на Citrix работят в една и съща виртуална машина. В тази връзка ще отбележа един бъг, чиято корекция беше особено трудна за мен.

Ако след рестартиране на ws-dc има проблеми от различно естество, тогава препоръчвам първо да проверите работещите услуги. Ето списък на услугите на Citrix, които трябва да стартират автоматично след рестартиране на VM:

SQL Server (SQLEXPRESS)
Citrix Configuration Service
Citrix Delegated Administration Service
Citrix Analytics
Citrix Broker Service
Citrix Configuration Logging Service
Citrix AD Identity Service
Citrix Host Service
Citrix App Library
Citrix Machine Creation Service
Citrix Monitor Service
Citrix Storefront Service
Citrix Trust Service
Citrix Environment Test Service
Citrix Orchestration Service
FlexNet License Server -nvidia

Сблъсках се с проблем, който възниква при инсталиране на различни услуги на Citrix на една и съща виртуална машина. След рестартирането не всички услуги стартират. Беше твърде мързеливо да стартирам цялата верига един по един. Решението беше трудно за търсене в Google, затова го довеждам тук - трябва да промените два параметъра в системния регистър:

HKEY_LOCAL_MACHINESYSTEMCurrentControlSetControl
Name : ServicesPipeTimeout
Value :240000

Name : WaitToKillServiceTimeout
Value : 20000

Мениджър на лицензи на Nvidia

Изтеглете мениджъра на лицензи на NVIDIA за Windows през личния си акаунт на уебсайта nvidia.com. По-добре е да използвате Internet Explorer.

Отдалечен достъп до GPU VM с помощта на Citrix

Нека го инсталираме на ws-dc. За да направите това, първо трябва да инсталирате JAVA и добавете променливата на средата JAVA_HOME. След това можете да стартирате setup.exe, за да инсталирате NVIDIA License Manager.

Отдалечен достъп до GPU VM с помощта на Citrix

Ние ще създадем сървър, ще генерираме и изтеглим файл с лиценз във вашия личен акаунт на сайта nvidia.com. Нека прехвърлим лицензния файл в ws-dc.

Отдалечен достъп до GPU VM с помощта на Citrix

С помощта на браузър влезте в уеб интерфейса на мениджъра на лицензи на NVIDIA, достъпен на Localhost:8080/licserver и добавете лицензния файл.

Отдалечен достъп до GPU VM с помощта на Citrix

Активните сесии, използващи vGPU, могат да се видят в секцията „Лицензирани клиенти“.

Отдалечен достъп до машинния каталог на Citrix

Как да инсталирам Citrix Receiver?
Как да се свържа с виртуален работен плот?

На работещ компютър отворете браузър, в моя случай това е Chrome, и отидете на адреса на уеб интерфейса на Citrix StoreWeb

http://192.168.1.111/Citrix/StoreWeb

Ако Citrix Receiver все още не е инсталиран, щракнете върху „Откриване на приемник“

Отдалечен достъп до GPU VM с помощта на Citrix

Прочетете внимателно лицензионното споразумение, изтеглете и инсталирайте Citrix Receiver

Отдалечен достъп до GPU VM с помощта на Citrix

След инсталирането се върнете в браузъра и щракнете върху „Продължи“

Отдалечен достъп до GPU VM с помощта на Citrix

След това се отваря известие в браузъра Chrome, щракнете върху „Отваряне на Citrix Receiver Launcher“ и след това върху „Откриване отново“ или „Вече инсталирано“

Отдалечен достъп до GPU VM с помощта на Citrix

Когато се свързваме за първи път, ще използваме данните от тестовия потребителски тест. Променете временната парола на постоянна.

Отдалечен достъп до GPU VM с помощта на Citrix

След упълномощаване отидете в раздела "Приложения" и изберете директорията "M60".

Отдалечен достъп до GPU VM с помощта на Citrix

Изтеглете предложения файл с разширение .ica. След двукратно щракване върху него ще се отвори прозорец в Desktop Veiwer с работния плот на Centos 7

Отдалечен достъп до GPU VM с помощта на Citrix

Източник: www.habr.com

Добавяне на нов коментар