VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Müştəri VDI istəyirdi. SimpliVity + VDI Citrix Virtual Desktop birləşməsinə həqiqətən baxdım. Bütün operatorlar, şəhər ofisinin işçiləri və s. Təkcə miqrasiyanın ilk dalğasında beş min istifadəçi var və buna görə də yük testində israr etdilər. VDI yavaşlamağa başlaya bilər, sakitcə uzana bilər - və bu, həmişə kanalla bağlı problemlər səbəbindən baş vermir. Xüsusilə VDI üçün çox güclü sınaq paketi aldıq və infrastrukturu disklər və prosessorda çox ağır olana qədər yüklədik.

Beləliklə, mürəkkəb VDI testləri üçün bizə plastik şüşə və LoginVSI proqramı lazımdır. 300 istifadəçi üçün lisenziyamız var. Sonra biz server başına maksimum istifadəçi sıxlığı tapşırığına uyğun paketdə HPE SimpliVity 380 aparatını götürdük, yaxşı abunə ilə virtual maşınları kəsdik, onlara Win10-da ofis proqram təminatı quraşdırdıq və sınaqlara başladıq.

Gidelim!

Система

İki HPE SimpliVity 380 Gen10 qovşağı (server). Hər birində:

  • 2 x Intel Xeon Platinum 8170 26c 2.1Ghz.
  • RAM: 768GB, 12 x 64GB LRDIMMs DDR4 2666MHz.
  • Əsas disk nəzarətçisi: HPE Smart Array P816i-a SR Gen10.
  • Sərt disklər: 9 x 1.92 TB SATA 6Gb/s SSD (RAID6 7+2 konfiqurasiyasında, yəni bu HPE SimpliVity baxımından Orta modeldir).
  • Şəbəkə kartları: 4 x 1Gb Eth (istifadəçi məlumatları), 2 x 10Gb Eth (SimpliVity və vMotion backend).
  • Təkmilləşdirmə/sıxılma üçün hər bir qovşaqda xüsusi quraşdırılmış FPGA kartları.

Qovşaqlar SimpliVity backend kimi və NFS vasitəsilə virtual maşın məlumatlarını ötürmək üçün istifadə olunan xarici keçid olmadan birbaşa 10Gb Ethernet interconnect vasitəsilə bir-birinə qoşulur. Klasterdəki virtual maşın məlumatları həmişə iki qovşaq arasında əks olunur.

Qovşaqlar vCenter tərəfindən idarə olunan Vmware vSphere klasterində birləşdirilir.

Test üçün bir domen nəzarətçisi və Citrix əlaqə brokeri yerləşdirildi. Domen nəzarətçisi, broker və vCenter ayrıca klasterdə yerləşdirilib.
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri
Test infrastrukturu olaraq Dedicated – Full Copy konfiqurasiyasında 300 virtual masa üstü yerləşdirilib, yəni hər bir iş masası virtual maşının orijinal görüntüsünün tam surətidir və istifadəçilər tərəfindən edilən bütün dəyişiklikləri saxlayır.

Hər bir virtual maşında 2vCPU və 4GB RAM var:

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Virtual maşınlarda sınaq üçün tələb olunan aşağıdakı proqram təminatı quraşdırılmışdır:

  • Windows 10 (64-bit), versiya 1809.
  • Adobe Reader XI.
  • Citrix Virtual Çatdırılma Agenti 1811.1.
  • Doro PDF 1.82.
  • Java 7 yeniləmə 13.
  • Microsoft Office Professional Plus 2016.

Düyünlər arasında - sinxron təkrarlama. Klasterdəki hər bir məlumat blokunun iki nüsxəsi var. Yəni, indi qovşaqların hər biri üzrə tam məlumat dəsti var. Üç və ya daha çox qovşağın çoxluğu ilə blokların nüsxələri iki fərqli yerdədir. Yeni VM yaradarkən klaster qovşaqlarından birində əlavə surət yaradılır. Bir node uğursuz olduqda, əvvəllər üzərində işləyən bütün VM-lər avtomatik olaraq replikaları olan digər qovşaqlarda yenidən işə salınır. Əgər node uzun müddət uğursuz olarsa, onda artıqlığın tədricən bərpası başlayır və klaster N+1 artıqlığına qayıdır.

Məlumatların balanslaşdırılması və saxlanması SimpliVity-nin özünün proqram təminatı səviyyəsində baş verir.

Virtual maşınlar virtualizasiya klasterini idarə edir ki, bu da onları proqram təminatına yerləşdirir. Stolların özləri standart şablon üzrə götürülüb: imtahana maliyyəçilərin və əməliyyat məmurlarının masaları gəlib (bunlar iki fərqli şablondur).

Test

Test üçün LoginVSI 4.1 proqram test paketindən istifadə edilmişdir. Nəzarət serverindən və sınaq əlaqələri üçün 12 maşından ibarət LoginVSI kompleksi ayrıca fiziki hostda yerləşdirilib.
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Test üç rejimdə aparıldı:

Benchmark rejimi - yükləmə işi 300 Bilik işçisi və 300 Saxlama işçisi.

Standart rejim - yük qutusu 300 Güc işçisi.

Power işçilərinə işləmək və yük müxtəlifliyini artırmaq üçün əlavə Power Library faylları kitabxanası LoginVSI kompleksinə əlavə edildi. Nəticələrin təkrarlanmasını təmin etmək üçün bütün test dəzgahı parametrləri Defolt olaraq qaldı.

Bilik və Güc işçiləri testləri virtual iş stansiyalarında işləyən istifadəçilərin real iş yükünü simulyasiya edir.

Saxlama işçiləri testi məlumat saxlama sistemlərini sınaqdan keçirmək üçün xüsusi olaraq yaradılmışdır; o, real iş yüklərindən uzaqdır və əsasən istifadəçini müxtəlif ölçülü çoxlu sayda fayl ilə işləməyi əhatə edir.

Test zamanı istifadəçilər hər 48 saniyədə təxminən bir istifadəçi sürəti ilə 10 dəqiqə ərzində iş stansiyalarına daxil olurlar.

Tapıntılar

LoginVSI testinin əsas nəticəsi istifadəçi tərəfindən işə salınan müxtəlif tapşırıqların icra müddətindən tərtib edilən VSImax metrikasıdır. Məsələn: Notepad-da faylı açmaq vaxtı, 7-Zip-də faylı sıxışdırmaq vaxtı və s.

Metriklərin hesablanmasının ətraflı təsviri rəsmi sənədlərdə mövcuddur əlaqə.

Başqa sözlə, LoginVSI tipik yükləmə modelini təkrarlayır, ofis paketində istifadəçi hərəkətlərini simulyasiya edir, PDF oxuyur və s. və müxtəlif gecikmələri ölçür. "Hər şey yavaşlayır, işləmək mümkün deyil") kritik bir gecikmə səviyyəsi var), buna qədər istifadəçilərin maksimum sayına çatmadığı hesab olunur. Cavab müddəti bu "hər şey yavaş" vəziyyətindən 1 ms daha sürətli olarsa, sistem normal işləyir və daha çox istifadəçi əlavə edilə bilər.

Budur əsas göstəricilər:

Metriklər

Görülən tədbirlər

Ətraflı описание

Yüklənmiş komponentlər

N.S.L.D.

Mətnin açılış vaxtı
1 KB ağırlığında fayl

Notepad açılır və
hovuzdan kopyalanan təsadüfi 1 KB sənədi açır
resursları

CPU və I/O

NFO

Dialoqun açılış vaxtı
notepaddakı pəncərələr

VSI-Notepad faylının açılması [Ctrl+O]

CPU, RAM və I/O

 

ZHC*

Yüksək sıxılmış Zip faylı yaratmağın vaxtı gəldi

Yerli sıxılma
təsadüfi 5MB .pst faylı kopyalandı
resurs hovuzu

CPU və I/O

ZLC*

Zəif sıxılmış Zip faylı yaratmağın vaxtı gəldi

Yerli sıxılma
təsadüfi 5MB .pst faylı kopyalandı
resurs hovuzu

I / O

 

CPU

Böyük hesablama
təsadüfi məlumat massivi

Böyük massiv yaratmaq
giriş/çıxış taymerində istifadə olunacaq təsadüfi məlumatlar (I/O timer)

CPU

Sınaq həyata keçirildikdə, ilkin olaraq əsas VSIbase metrikası hesablanır ki, bu da işlərin sistemdə yüklənmədən yerinə yetirilmə sürətini göstərir. Bunun əsasında VSImax həddi müəyyən edilir ki, bu da VSIbase + 1ms-ə bərabərdir.

Sistemin performansı ilə bağlı nəticələr iki ölçü əsasında hazırlanır: sistemin sürətini təyin edən VSIbase və sistemin əhəmiyyətli deqradasiya olmadan idarə edə biləcəyi maksimum istifadəçi sayını təyin edən VSImax həddi.

300 Bilik işçisi müqayisəsi

Bilik işçiləri yaddaşı, prosessoru və IO-nu müxtəlif kiçik zirvələrlə müntəzəm olaraq yükləyən istifadəçilərdir. Proqram tələbkar ofis istifadəçilərinin iş yükünü təqlid edir, sanki onlar daim bir şeylə məşğul olurlar (PDF, Java, ofis dəsti, fotoşəkillərə baxmaq, 7-Zip). Sıfırdan 300-ə qədər istifadəçi əlavə etdikcə, hər biri üçün gecikmə tədricən artır.

VSImax statistika məlumatları:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri
VSIbase = 986ms, VSI Həddinə çatılmadı.

SimpliVity monitorinqindən yaddaş sisteminin yüklənməsi statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Bu tip yüklə sistem praktiki olaraq performansında heç bir deqradasiya olmadan artan yükə tab gətirə bilər. İstifadəçi tapşırıqlarını yerinə yetirmək üçün lazım olan vaxt rəvan artır, sistemin cavab müddəti test zamanı dəyişmir və yazmaq üçün 3 ms-ə qədər, oxumaq üçün isə 1 ms-ə qədərdir.

Nəticə: 300 bilik istifadəçisi cari klasterdə heç bir problem olmadan işləyir və bir-birinə müdaxilə etmir, pCPU/vCPU həddən artıq abunə sayı 1-dən 6-a çatır. Ümumi gecikmələr yük artdıqca bərabər artır, lakin nəzərdə tutulan limitə çatmayıb.

300 Saxlama işçisi benchmark

Bunlar daim müvafiq olaraq 30-dan 70-ə nisbətdə yazan və oxuyan istifadəçilərdir. Bu sınaq daha çox təcrübə üçün aparılıb. VSImax statistika məlumatları:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VSIbase = 1673, VSI həddi 240 istifadəçiyə çatdı.

SimpliVity monitorinqindən yaddaş sisteminin yüklənməsi statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri
Bu tip yük mahiyyətcə saxlama sisteminin stress testidir. İcra edildikdə, hər bir istifadəçi diskə müxtəlif ölçülü bir çox təsadüfi fayl yazır. Bu vəziyyətdə, bəzi istifadəçilər üçün müəyyən bir yükləmə həddi aşıldığında, faylların yazılması üçün tapşırıqları yerinə yetirmək üçün lazım olan vaxtın artdığını görmək olar. Eyni zamanda, hostların saxlama sisteminə, prosessoruna və yaddaşına düşən yük əhəmiyyətli dərəcədə dəyişmir, ona görə də hazırda gecikmələrə nəyin səbəb olduğunu dəqiq müəyyən etmək mümkün deyil.

Bu testdən istifadə edərək sistemin performansı ilə bağlı nəticələr yalnız digər sistemlərdəki sınaq nəticələri ilə müqayisədə edilə bilər, çünki bu cür yüklər sintetik və qeyri-realdır. Bununla belə, ümumilikdə imtahan yaxşı keçdi. 210 seansa qədər hər şey yaxşı keçdi və sonra Login VSI-dən başqa heç bir yerdə izlənilməyən qəribə cavablar başladı.

300 elektrik işçisi

Bunlar CPU, yaddaş və yüksək IO-nu sevən istifadəçilərdir. Bu “güc istifadəçiləri” müntəzəm olaraq yeni proqram təminatının quraşdırılması və böyük arxivlərin açılması kimi uzun fasilələrlə mürəkkəb tapşırıqları yerinə yetirirlər. VSImax statistika məlumatları:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VSIbase = 970, VSI Həddinə çatılmadı.

SimpliVity monitorinqindən yaddaş sisteminin yüklənməsi statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Sınaq zamanı prosessorun yüklənmə həddinə sistem qovşaqlarından birində çatıldı, lakin bu onun işinə ciddi təsir göstərmədi:

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Bu halda, sistem performansın əhəmiyyətli dərəcədə pisləşməsi olmadan artan yükə tab gətirə bilər. İstifadəçi tapşırıqlarını yerinə yetirmək üçün lazım olan vaxt rəvan artır, sistemin cavab müddəti test zamanı dəyişmir və yazmaq üçün 3 ms-ə qədər, oxumaq üçün isə 1 ms-ə qədərdir.

Müştəri üçün müntəzəm sınaqlar kifayət etmədi və biz daha da irəli getdik: VM xüsusiyyətlərini (həddindən artıq abunə və disk ölçüsünün artımını qiymətləndirmək üçün vCPU-ların sayı) artırdıq və əlavə yük əlavə etdik.

Əlavə sınaqlar apararkən aşağıdakı stend konfiqurasiyasından istifadə edilmişdir:
300vCPU, 4GB RAM, 4GB HDD konfiqurasiyasında 80 virtual masa üstü yerləşdirilib.

Test maşınlarından birinin konfiqurasiyası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Maşınlar Dedicated – Full Copy seçimində yerləşdirilib:

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

300 Bilik işçisi həddən artıq abunə ilə müqayisə 12

VSImax statistika məlumatları:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VSIbase = 921 ms, VSI Həddinə çatılmadı.

SimpliVity monitorinqindən yaddaş sisteminin yüklənməsi statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Əldə edilən nəticələr əvvəlki VM konfiqurasiyasının sınaqdan keçirilməsinə bənzəyir.

300 həddindən artıq abunə ilə 12 elektrik işçisi

VSImax statistika məlumatları:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VSIbase = 933, VSI Həddinə çatılmadı.

SimpliVity monitorinqindən yaddaş sisteminin yüklənməsi statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Bu sınaq zamanı prosessorun yüklənmə həddinə də çatıldı, lakin bu, performansa əhəmiyyətli təsir göstərmədi:

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Əldə edilən nəticələr əvvəlki konfiqurasiyanın sınaqdan keçirilməsinə bənzəyir.

Yükü 10 saat işlətsəniz nə olar?

İndi görək "yığım effekti" olub-olmayacaq və ardıcıl 10 saat testlər aparaq.

Uzunmüddətli sınaqlar və bölmənin təsviri ona yönəldilməlidir ki, biz uzun müddət yük altında olan truss ilə hər hansı bir problemin yaranıb-yaramayacağını yoxlamaq istəyirik.

300 Bilik işçisi etalon + 10 saat

Əlavə olaraq, 300 bilik işçisinin yük işi sınaqdan keçirildi, ardınca 10 saat ərzində istifadəçi işi aparıldı.

VSImax statistika məlumatları:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VSIbase = 919 ms, VSI Həddinə çatılmadı.

VSImax Ətraflı statistik məlumatlar:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Qrafik göstərir ki, bütün test ərzində heç bir performans azalması müşahidə olunmayıb.

SimpliVity monitorinqindən yaddaş sisteminin yüklənməsi statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Yaddaş sisteminin performansı sınaq boyu eyni qalır.

Sintetik yükün əlavə edilməsi ilə əlavə sınaq

Müştəri diskə vəhşi yük əlavə etməyi xahiş etdi. Bunu etmək üçün istifadəçinin virtual maşınlarının hər birində saxlama sisteminə istifadəçi sistemə daxil olduqda diskdə sintetik yük işlətmək üçün tapşırıq əlavə edildi. Yük, diskdəki yükü IOPS sayı ilə məhdudlaşdırmağa imkan verən fio yardım proqramı tərəfindən təmin edildi. Hər bir maşında 22 IOPS 70%/30% Təsadüfi Oxuma/Yazma məbləğində əlavə yükün işə salınması üçün tapşırıq işə salındı.

300 Bilik işçisi standartı + hər bir istifadəçi üçün 22 IOPS

İlkin sınaqda fio-nun virtual maşınlara əhəmiyyətli CPU yükü qoyduğu aşkar edildi. Bu, hostların CPU-nun sürətli yüklənməsinə səbəb oldu və bütövlükdə sistemin işinə böyük təsir göstərdi.

Host CPU yükü:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Eyni zamanda, saxlama sistemindəki gecikmələr də təbii olaraq artdı:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Hesablama gücünün olmaması təxminən 240 istifadəçi üçün kritik hala gəldi:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Əldə edilən nəticələrə görə, daha az CPU intensivliyi olan testlərin aparılması qərara alındı.

230 Ofis işçisi standartı + hər bir istifadəçi üçün 22 IOPS

CPU-nun yükünü azaltmaq üçün Office işçilərinin yükləmə növü seçildi və hər seansa 22 IOPS sintetik yük də əlavə edildi.

Maksimum CPU yükünü aşmamaq üçün sınaq 230 seansla məhdudlaşdırıldı.

Sınaq maksimum yükə yaxın olan uzunmüddətli əməliyyat zamanı sistemin dayanıqlığını yoxlamaq üçün 10 saat işləyən istifadəçilərlə aparılıb.

VSImax statistika məlumatları:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VSIbase = 918 ms, VSI Həddinə çatılmadı.

VSImax Ətraflı statistik məlumatlar:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Qrafik göstərir ki, bütün test ərzində heç bir performans azalması müşahidə olunmayıb.

CPU yükləmə statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Bu testi həyata keçirərkən, hostların CPU-da yük demək olar ki, maksimum idi.

SimpliVity monitorinqindən yaddaş sisteminin yüklənməsi statistikası:
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri

Yaddaş sisteminin performansı sınaq boyu eyni qalır.

Sınaq zamanı yaddaş sistemindəki yük 6/500 nisbətində təxminən 60 IOPS (40 IOPS oxundu, 3 IOPS yazma) oldu ki, bu da hər bir iş stansiyası üçün təxminən 900 IOPS təşkil edir.

Cavab müddəti yazma üçün orta hesabla 3 ms, oxumaq üçün isə 1 ms-ə qədər idi.

Ümumi

HPE SimpliVity infrastrukturunda real yüklərin simulyasiyası zamanı sistemin bir cüt SimpliVity qovşağında ən azı 300 Full Clone maşınının virtual masaüstlərini dəstəkləmək qabiliyyətini təsdiqləyən nəticələr əldə edilmişdir. Eyni zamanda, saxlama sisteminin cavab müddəti bütün sınaq zamanı optimal səviyyədə saxlanılıb.

Həyata keçirməzdən əvvəl uzun sınaqların yanaşması və həllərin müqayisəsi bizi çox heyran edir. İstəsəniz, iş yükləriniz üçün performansı da yoxlaya bilərik. Digər hiperkonverged həllər də daxil olmaqla. Sözügedən müştəri hazırda paralel olaraq başqa bir həll üzərində sınaqları bitirir. Onun hazırkı infrastrukturu sadəcə olaraq hər bir iş yerində fərdi kompüterlər, domen və proqram təminatıdır. Testlər olmadan VDI-yə keçmək, əlbəttə ki, olduqca çətindir. Konkret olaraq, real istifadəçiləri ona köçürmədən VDI fermasının real imkanlarını başa düşmək çətindir. Və bu testlər adi istifadəçiləri cəlb etmədən müəyyən sistemin real imkanlarını tez bir zamanda qiymətləndirməyə imkan verir. Bu araşdırmanın gəldiyi yer budur.

İkinci vacib yanaşma, müştərinin dərhal düzgün miqyaslaşdırmaya əməl etməsidir. Burada əlavə bir server ala və ferma əlavə edə bilərsiniz, məsələn, 100 istifadəçi üçün hər şey istifadəçi qiymətində proqnozlaşdırıla bilər. Məsələn, daha 300 istifadəçi əlavə etməli olduqları zaman, bütün infrastrukturlarını təkmilləşdirməyi yenidən nəzərdən keçirmək əvəzinə, artıq müəyyən edilmiş konfiqurasiyada iki serverə ehtiyac duyduqlarını biləcəklər.

HPE SimpliVity federasiyasının imkanları maraqlıdır. Biznes coğrafi cəhətdən ayrılıb, ona görə də uzaq ofisdə öz ayrıca VDI aparatınızı quraşdırmağın mənası var. SimpliVity federasiyasında hər bir virtual maşın çox tez və kanalda yüklənmədən coğrafi cəhətdən uzaq klasterlər arasında təkrarlanma qabiliyyəti ilə qrafikə uyğun təkrarlanır - bu, çox yaxşı səviyyənin daxili ehtiyat nüsxəsidir. Saytlar arasında VM-lərin təkrarlanması zamanı kanaldan mümkün qədər minimal istifadə olunur və bu, vahid idarəetmə mərkəzinin və bir çox mərkəzləşdirilməmiş saxlama saytlarının mövcudluğunda çox maraqlı DR arxitekturalarını qurmağa imkan verir.
VDI üçün HPE SimpliVity 380 necə işləyəcək: çətin yük testləri
federasiya

Bütün bunlar birlikdə maliyyə tərəfini ətraflı şəkildə qiymətləndirməyə və VDI xərclərini şirkətin böyümə planlarına əlavə etməyə və həllin nə qədər tez nəticə verəcəyini və necə işləyəcəyini anlamağa imkan verir. Çünki istənilən VDI son nəticədə çoxlu resursa qənaət edən, lakin eyni zamanda, çox güman ki, istifadədən sonra 5-7 il ərzində onu dəyişdirmək üçün qənaətcil imkanı olmayan bir həlldir.

Ümumiyyətlə, şərh üçün olmayan hər hansı bir sualınız varsa, mənə elektron poçtla yazın [e-poçt qorunur].

Mənbə: www.habr.com

Добавить комментарий