VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

1. daļa. Par centrālo procesoru
2. daļa. Par atmiņu

Å odien mēs analizēsim vSphere diska apakÅ”sistēmas metriku. Krātuves problēma ir visizplatÄ«tākais lēnas virtuālās maŔīnas iemesls. Ja CPU un RAM gadÄ«jumā traucējummeklÄ“Å”ana beidzas hipervizora lÄ«menÄ«, tad, ja ir problēmas ar disku, iespējams, bÅ«s jārisina datu tÄ«kls un uzglabāŔanas sistēma.

Es apspriedÄ«Å”u tēmu, izmantojot piemēru par bloķētu piekļuvi uzglabāŔanas sistēmām, lai gan piekļuvei failiem skaitÄ«tāji ir aptuveni vienādi.

Mazliet teorija

Runājot par virtuālo maŔīnu diska apakÅ”sistēmas veiktspēju, cilvēki parasti pievērÅ” uzmanÄ«bu trim savstarpēji saistÄ«tiem parametriem:

  • ievades/izejas operāciju skaits (Input/Output Operations Per Second, IOPS);
  • caurlaidspēja;
  • ievades/izvades operāciju aizkave (Latentums).

IOPS skaits parasti ir svarÄ«gi nejauŔām darba slodzēm: piekļuve diska blokiem, kas atrodas dažādās vietās. Šādas slodzes piemērs varētu bÅ«t datu bāzes, biznesa lietojumprogrammas (ERP, CRM) utt.

Joslas platums svarÄ«gi secÄ«gām slodzēm: piekļuve blokiem, kas atrodas viens pēc otra. Piemēram, failu serveri (bet ne vienmēr) un videonovēroÅ”anas sistēmas var radÄ«t Ŕādu slodzi.

Caurlaidība ir saistīta ar I/O operāciju skaitu Ŕādi:

Caurlaide = IOPS * Bloka lielums, kur Bloka izmērs ir bloka izmērs.

Bloka izmērs ir diezgan svarÄ«ga Ä«paŔība. MÅ«sdienu ESXi versijas pieļauj blokus ar izmēru lÄ«dz 32 767 KB. Ja bloks ir vēl lielāks, tas tiek sadalÄ«ts vairākos. Ne visas uzglabāŔanas sistēmas var efektÄ«vi strādāt ar tik lieliem blokiem, tāpēc ESXi papildu iestatÄ«jumos ir DiskMaxIOSize parametrs. Izmantojot to, jÅ«s varat samazināt maksimālo bloka izmēru, ko hipervizors izlaiž (sÄ«kāka informācija Å”eit). Pirms Ŕī parametra maiņas iesaku konsultēties ar uzglabāŔanas sistēmas ražotāju vai vismaz pārbaudÄ«t izmaiņas uz laboratorijas stenda. 

Liels bloka izmērs var negatÄ«vi ietekmēt uzglabāŔanas veiktspēju. Pat ja IOPS skaits un caurlaidspēja ir salÄ«dzinoÅ”i maza, ar lielu bloka izmēru var novērot lielu latentumu. Tāpēc pievērsiet uzmanÄ«bu Å”im parametram.

Latentums ā€“ interesantākais veiktspējas parametrs. I/O latentums virtuālajai maŔīnai sastāv no:

  • aizkaves hipervizora iekÅ”ienē (KAVG, Average Kernel MilliSec/Read);
  • aizkave, ko nodroÅ”ina datu tÄ«kls un uzglabāŔanas sistēma (DAVG, Average Driver MilliSec/Command).

Kopējais latentums, kas ir redzams viesa operētājsistēmā (GAVG, Average Guest MilliSec/Command), ir KAVG un DAVG summa.

Tiek mērÄ«ts GAVG un DAVG, un tiek aprēķināts KAVG: GAVGā€“DAVG.

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana
Avots

Apskatīsim tuvāk KAVG. Normālas darbības laikā KAVG jābūt nullei vai vismaz daudz mazākam par DAVG. Vienīgais gadījums, ko es zinu, kad KAVG ir paredzams augsts, ir IOPS ierobežojums VM diskā. Šajā gadījumā, mēģinot pārsniegt limitu, KAVG palielināsies.

NozÄ«mÄ«gākā KAVG sastāvdaļa ir QAVG ā€“ apstrādes rindas laiks hipervizora iekÅ”ienē. Pārējās KAVG sastāvdaļas ir niecÄ«gas.

Rindai diska adaptera draiverÄ« un rindai uz pavadoņiem ir noteikts izmērs. Ä»oti noslogotām vidēm var bÅ«t lietderÄ«gi palielināt Å”o izmēru. Å eit apraksta, kā palielināt rindas adaptera draiverÄ« (tajā paŔā laikā palielināsies rinda uz mēness). Å is iestatÄ«jums darbojas, ja tikai viena virtuālā maŔīna strādā ar Mēnesi, kas ir reti. Ja uz Mēness ir vairākas virtuālās maŔīnas, jāpalielina arÄ« parametrs Disk.SchedNumReqOutstanding (instrukcijas  Å”eit). Palielinot rindu, jÅ«s attiecÄ«gi samazinat QAVG un KAVG.

Bet atkal vispirms izlasiet HBA pārdevēja dokumentāciju un pārbaudiet izmaiņas laboratorijas stendā.

Rindas uz Mēnesi lielumu var ietekmēt SIOC (Storage I/O Control) mehānisma iekļauÅ”ana. Tas nodroÅ”ina vienotu piekļuvi Mēness no visiem serveriem klasterÄ«, dinamiski mainot rindu uz mēness serveros. Tas ir, ja vienā no saimniekdatoriem darbojas VM, kas prasa neproporcionālu veiktspēju (trokŔņains kaimiņu VM), SIOC samazina rindas garumu lÄ«dz mēnesim Å”ajā resursdatorā (DQLEN). SkatÄ«t vairāk Å”eit.

Mēs esam sakārtojuÅ”i KAVG, tagad nedaudz par DAVG. Å eit viss ir vienkārÅ”i: DAVG ir ārējās vides (datu tÄ«kla un uzglabāŔanas sistēmas) ieviestā aizkave. Katrai modernai un ne tik modernai uzglabāŔanas sistēmai ir savi veiktspējas skaitÄ«tāji. Lai analizētu problēmas ar DAVG, ir lietderÄ«gi tās apskatÄ«t. Ja ESXi un krātuves pusē viss ir kārtÄ«bā, pārbaudiet datu tÄ«klu.

Lai izvairÄ«tos no veiktspējas problēmām, izvēlieties pareizo ceļa atlases politiku (PSP) savai krātuves sistēmai. GandrÄ«z visas mÅ«sdienu datu glabāŔanas sistēmas atbalsta PSP Round-Robin (ar vai bez ALUA, asimetriskas loÄ£iskās vienÄ«bas piekļuves). Å Ä« politika ļauj izmantot visus pieejamos ceļus uz krātuves sistēmu. ALUA gadÄ«jumā tiek izmantoti tikai ceļi uz kontrolieri, kuram pieder mēness. Ne visām ESXi krātuves sistēmām ir noklusējuma noteikumi, kas nosaka Round-Robin politiku. Ja jÅ«su krātuves sistēmai nav noteikumu, izmantojiet krātuves sistēmas ražotāja spraudni, kas izveidos atbilstoÅ”u kārtulu visos klastera saimniekdatoros, vai izveidojiet kārtulu pats. SÄ«kāka informācija Å”eit

Tāpat daži uzglabāŔanas sistēmu ražotāji iesaka mainÄ«t IOPS skaitu vienā ceļā no standarta vērtÄ«bas 1000 uz 1. MÅ«su praksē tas ļāva ā€œizspiestā€ no uzglabāŔanas sistēmas lielāku veiktspēju un ievērojami samazināt kļūmjpārlēces laiku. kontroliera kļūmes vai atjauninājuma gadÄ«jumā. Pārbaudiet pārdevēja ieteikumus un, ja nav kontrindikāciju, mēģiniet mainÄ«t Å”o parametru. SÄ«kāka informācija Å”eit.

Pamata virtuālās maŔīnas disku apakÅ”sistēmas veiktspējas skaitÄ«tāji

Diska apakÅ”sistēmas veiktspējas skaitÄ«tāji programmā vCenter tiek apkopoti sadaļās Datastore, Disk, Virtual Disk:

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

Iedaļā Datu veikals ir metrika vSphere disku krātuvēm (datu krātuvēm), kurās atrodas VM diski. Šeit jūs atradīsiet standarta skaitītājus:

  • IOPS (vidēji lasÄ«Å”anas/rakstÄ«Å”anas pieprasÄ«jumi sekundē), 
  • caurlaidspēja (lasÄ«Å”anas/rakstÄ«Å”anas ātrums), 
  • kavÄ“Å”anās (lasÄ«Å”ana/rakstÄ«Å”ana/lielākais latentums).

Principā viss ir skaidrs no skaitÄ«tāju nosaukumiem. Ä»aujiet man vēlreiz vērst jÅ«su uzmanÄ«bu uz to, ka Å”eit sniegtā statistika nav noteikta konkrētai VM (vai VM diskam), bet gan vispārÄ«ga statistika par visu datu krātuvi. Manuprāt, ESXTOP ir ērtāk skatÄ«ties Å”o statistiku, vismaz pamatojoties uz to, ka minimālais mērÄ«jumu periods tur ir 2 sekundes.

Iedaļā Disks ir metrika bloku ierÄ«cēm, ko izmanto virtuālā maŔīna. Ir summÄ“Å”anas tipa IOPS skaitÄ«tāji (ievades/izvades operāciju skaits mērÄ«Å”anas periodā) un vairāki skaitÄ«tāji, kas saistÄ«ti ar piekļuves bloÄ·Ä“Å”anu (komandas pārtrauktas, kopnes atiestatÄ«Å”ana). Manuprāt, Å”o informāciju ir arÄ« ērtāk apskatÄ«t ESXTOP.

Sadaļa Virtuālais disks ā€“ visnoderÄ«gākais no VM diska apakÅ”sistēmas veiktspējas problēmu atraÅ”anas viedokļa. Å eit jÅ«s varat redzēt katra virtuālā diska veiktspēju. Å Ä« informācija ir nepiecieÅ”ama, lai saprastu, vai konkrētai virtuālajai maŔīnai ir problēma. Papildus standarta I/O operāciju skaita, lasÄ«Å”anas/rakstÄ«Å”anas skaļuma un aizkaves skaitÄ«tājiem Å”ajā sadaļā ir pieejami noderÄ«gi skaitÄ«tāji, kas parāda bloka izmēru: LasÄ«Å”anas/rakstÄ«Å”anas pieprasÄ«juma lielums.

Zemāk esoÅ”ajā attēlā ir redzams VM diska veiktspējas grafiks, kurā varat redzēt IOPS skaitu, latentumu un bloka lielumu. 

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

Varat arÄ« skatÄ«t visa datu krātuves veiktspējas rādÄ«tājus, ja ir iespējots SIOC. Å eit ir sniegta pamatinformācija par vidējo latentumu un IOPS. Pēc noklusējuma Å”o informāciju var skatÄ«t tikai reāllaikā.

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

ESXTOP

ESXTOP ir vairāki ekrāni, kas sniedz informāciju par resursdatora diska apakÅ”sistēmu kopumā, atseviŔķām virtuālajām maŔīnām un to diskiem.

Sāksim ar informāciju par virtuālajām maŔīnām. Ekrāns ā€œDisk VMā€ tiek izsaukts ar taustiņu ā€œvā€:

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

NVDISK ir VM disku skaits. Lai skatÄ«tu informāciju par katru disku, nospiediet ā€œeā€ un ievadiet interesējoŔās virtuālās maŔīnas GID.

Pārējo Å”ajā ekrānā redzamo parametru nozÄ«me ir skaidra no to nosaukumiem.

Vēl viens noderÄ«gs ekrāns problēmu novērÅ”anai ir Diska adapteris. Izsauc ar taustiņu ā€œdā€ (zemāk redzamajā attēlā ir atlasÄ«ti lauki A, B, C, D, E, G):

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

NPTH ā€“ no Ŕī adaptera redzamo ceļu skaits uz pavadoņiem. Lai iegÅ«tu informāciju par katru adaptera ceļu, nospiediet ā€œeā€ un ievadiet adaptera nosaukumu:

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

AQLEN ā€“ adaptera maksimālais rindas lielums.

Šajā ekrānā ir arī aizkaves skaitītāji, par kuriem es runāju iepriekŔ: KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.

Diska ierÄ«ces ekrāns, kas tiek izsaukts, nospiežot taustiņu ā€œuā€, sniedz informāciju par atseviŔķām bloku ierÄ«cēm - pavadoņiem (zemāk attēlā ir atlasÄ«ti lauki A, B, F, G, I). Å eit var redzēt mēness rindas statusu.

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

DQLEN ā€“ rindas lielums blokierÄ«cei.
ACTV ā€“ I/O komandu skaits ESXi kodolā.
QUED ā€“ I/O komandu skaits rindā.
% USD ā€“ ACTV / DQLEN Ɨ 100%.
LOAD ā€“ (ACTV + QUED) / DQLEN.

Ja %USD ir augsts, apsveriet iespēju palielināt rindu. Jo vairāk komandu rindā, jo augstāks ir QAVG un attiecīgi arī KAVG.

Diska ierīces ekrānā varat arī redzēt, vai krātuves sistēmā darbojas VAAI (vStorage API for Array Integration). Lai to izdarītu, atlasiet laukus A un O.

VAAI mehānisms ļauj pārsÅ«tÄ«t daļu darba no hipervizora tieÅ”i uz uzglabāŔanas sistēmu, piemēram, nulli, kopēt blokus vai bloķēt.

VM veiktspējas analÄ«ze VMware vSphere. 3. daļa: UzglabāŔana

Kā redzams augstāk esoÅ”ajā attēlā, VAAI strādā pie Ŕīs uzglabāŔanas sistēmas: aktÄ«vi tiek izmantoti nulles un ATS primitÄ«vi.

Padomi, kā optimizēt darbu ar ESXi diska apakÅ”sistēmu

  • Pievērsiet uzmanÄ«bu bloka izmēram.
  • Iestatiet optimālo rindas lielumu HBA.
  • Neaizmirstiet iespējot SIOC datu krātuvēs.
  • Izvēlieties PSP saskaņā ar uzglabāŔanas sistēmas ražotāja ieteikumiem.
  • Pārliecinieties, vai VAAI darbojas.

NoderÄ«gi raksti par Å”o tēmu:http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

Avots: www.habr.com

Pievieno komentāru