Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

Part 1. Um CPU
Part 2. Um minni

Í dag munum við greina mæligildi diska undirkerfisins í vSphere. Geymsluvandamál er algengasta ástæðan fyrir hægfara sýndarvél. Ef, þegar um er að ræða örgjörva og vinnsluminni, lýkur bilanaleit á hypervisor stigi, ef það eru vandamál með diskinn, gætir þú þurft að takast á við gagnanetið og geymslukerfið.

Ég mun fjalla um efnið með því að nota dæmið um að loka aðgangi að geymslukerfum, þó að fyrir skráaaðgang séu teljararnir um það bil eins.

Smá kenning

Þegar talað er um afköst diskundirkerfis sýndarvéla veitir fólk yfirleitt þremur innbyrðis tengdum breytum athygli:

  • fjöldi inntaks/úttaksaðgerða (Input/Output Operations Per Second, IOPS);
  • afköst;
  • seinkun inntaks/úttaksaðgerða (Latency).

Fjöldi IOPS venjulega mikilvægt fyrir handahófskennt vinnuálag: aðgangur að diskblokkum sem staðsettar eru á mismunandi stöðum. Dæmi um slíkt álag gæti verið gagnagrunnar, viðskiptaforrit (ERP, CRM) o.s.frv.

Afköst mikilvægt fyrir raðhleðslur: aðgangur að blokkum sem staðsettar eru hver á eftir öðrum. Til dæmis geta skráaþjónar (en ekki alltaf) og myndbandseftirlitskerfi framkallað slíkt álag.

Afköst tengist fjölda I/O aðgerða sem hér segir:

Afköst = IOPS * Stærð blokk, þar sem blokkastærð er blokkastærð.

Blokkstærð er nokkuð mikilvægur eiginleiki. Nútíma útgáfur af ESXi leyfa blokkir allt að 32 KB að stærð. Ef blokkin er enn stærri er honum skipt í nokkra. Ekki geta öll geymslukerfi unnið á skilvirkan hátt með svona stórum kubbum, svo það er DiskMaxIOSize færibreyta í ESXi Advanced Settings. Með því að nota það geturðu minnkað hámarksstærð blokkar sem hypervisorinn sleppir (nánari upplýsingar hér). Áður en þú breytir þessari breytu mæli ég með því að þú ráðfærir þig við framleiðanda geymslukerfisins eða að minnsta kosti að prófa breytingarnar á rannsóknarstofubekk. 

Stór blokkastærð getur haft skaðleg áhrif á geymsluafköst. Jafnvel þó að fjöldi IOPS og afköst séu tiltölulega lítil, er hægt að sjá mikla leynd með stórri blokkastærð. Þess vegna skaltu fylgjast með þessari breytu.

Leyfi - áhugaverðasta frammistöðubreytan. I/O leynd fyrir sýndarvél samanstendur af:

  • tafir inni í hypervisor (KAVG, Average Kernel MilliSec/Read);
  • seinkun frá gagnanetinu og geymslukerfinu (DAVG, Average Driver MilliSec/Command).

Heildarleynd sem er sýnileg í gestastýrikerfinu (GAVG, Average Guest MilliSec/Command) er summan af KAVG og DAVG.

GAVG og DAVG eru mæld og KAVG reiknað: GAVG–DAVG.

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla
Source

Við skulum skoða nánar KAVG. Við venjulega notkun ætti KAVG að hafa tilhneigingu til að vera núll eða að minnsta kosti mun minna en DAVG. Eina tilvikið sem ég veit um þar sem búist er við að KAVG sé hátt er IOPS mörkin á VM disknum. Í þessu tilviki, þegar þú reynir að fara yfir mörkin, mun KAVG hækka.

Mikilvægasti hluti KAVG er QAVG - tími vinnsluraðar inni í hypervisor. Eftirstöðvar hlutar KAVG eru hverfandi.

Biðröðin í disknum millistykki driver og biðröð til tunglna hefur fasta stærð. Fyrir mjög hlaðið umhverfi getur verið gagnlegt að auka þessa stærð. Hér lýsir því hvernig á að auka biðraðir í millistykki drivernum (á sama tíma mun biðröðin að tunglunum aukast). Þessi stilling virkar þegar aðeins einn VM vinnur með tunglinu, sem er sjaldgæft. Ef það eru nokkrir VM á tunglinu verður þú einnig að auka færibreytuna Disk.SchedNumReqOutstanding (leiðbeiningar  hér). Með því að auka biðröðina lækkar þú QAVG og KAVG í sömu röð.

En aftur, lestu fyrst skjölin frá HBA söluaðilanum og prófaðu breytingarnar á rannsóknarstofubekk.

Stærð biðröðarinnar til tunglsins getur verið fyrir áhrifum af því að setja inn SIOC (Storage I/O Control) vélbúnaðinn. Það veitir samræmdan aðgang að tunglinu frá öllum netþjónum í þyrpingunni með því að breyta biðröðinni til tunglsins á netþjónunum. Það er, ef einn af vélunum er að keyra VM sem krefst óhóflegrar frammistöðu (hávær nágranni VM), minnkar SIOC biðröðina til tunglsins á þessum hýsil (DQLEN). Nánari upplýsingar hér.

Við höfum flokkað KAVG, nú aðeins um DAVG. Hér er allt einfalt: DAVG er seinkunin sem ytra umhverfið (gagnanet og geymslukerfi) kynnir. Sérhvert nútímalegt og ekki svo nútímalegt geymslukerfi hefur sína eigin frammistöðuteljara. Til að greina vandamál með DAVG er skynsamlegt að skoða þau. Ef allt er í lagi á ESXi og geymsluhliðinni skaltu athuga gagnanetið.

Til að forðast frammistöðuvandamál skaltu velja rétta Path Selection Policy (PSP) fyrir geymslukerfið þitt. Næstum öll nútímaleg geymslukerfi styðja PSP Round-Robin (með eða án ALUA, ósamhverfar rökrænan einingaaðgang). Þessi stefna gerir þér kleift að nota allar tiltækar leiðir að geymslukerfinu. Þegar um ALUA er að ræða eru aðeins slóðirnar til stjórnandans sem á tunglið notaðar. Ekki eru öll geymslukerfi á ESXi með sjálfgefna reglur sem setja Round-Robin stefnuna. Ef það er engin regla fyrir geymslukerfið þitt skaltu nota viðbót frá framleiðanda geymslukerfisins, sem mun búa til samsvarandi reglu á öllum vélum í þyrpingunni, eða búa til reglu sjálfur. Upplýsingar hér

Sumir geymslukerfisframleiðendur mæla líka með því að breyta fjölda IOPS á hverri slóð úr staðalgildinu 1000 í 1. Í okkar reynd gerði þetta það mögulegt að „kreista“ meiri afköst út úr geymslukerfinu og draga verulega úr þeim tíma sem þarf fyrir bilun. ef um bilun í stjórnanda er að ræða eða uppfærslu. Athugaðu ráðleggingar seljanda og ef það eru engar frábendingar, reyndu að breyta þessari breytu. Upplýsingar hér.

Grunnteljarar fyrir undirkerfi sýndarvéladisks

Afköstum diska undirkerfis í vCenter er safnað í Datastore, Disk, Virtual Disk hlutanum:

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

Í kafla Gagnasafn það eru mælikvarðar fyrir vSphere diskageymslur (gagnageymslur) sem VM diskarnir eru á. Hér finnur þú staðlaða teljara fyrir:

  • IOPS (Meðal lestur/skrifbeiðnir á sekúndu), 
  • afköst (lestur/skrifhlutfall), 
  • tafir (lesa/skrifa/mesta leynd).

Í grundvallaratriðum er allt ljóst af nöfnum teljara. Leyfðu mér að vekja athygli þína enn og aftur á því að tölfræðin hér er ekki fyrir ákveðinn VM (eða VM disk), heldur almenna tölfræði fyrir alla gagnageymsluna. Að mínu mati er hentugra að skoða þessa tölfræði í ESXTOP, að minnsta kosti miðað við það að lágmarks mælitími þar sé 2 sekúndur.

Í kafla Disk það eru mælikvarðar á blokkartækjum sem eru notuð af VM. Það eru teljarar fyrir IOPS af samantektargerðinni (fjöldi inntaks/úttaksaðgerða á mælitímabilinu) og nokkrir teljarar sem tengjast aðgangsbanni (skipanir hætt, rútu endurstillt). Að mínu mati er líka þægilegra að skoða þessar upplýsingar í ESXTOP.

Kafli Sýndardiskur – það gagnlegasta frá sjónarhóli að finna afköst vandamál VM diska undirkerfisins. Hér má sjá frammistöðu hvers sýndardisks. Það eru þessar upplýsingar sem þarf til að skilja hvort tiltekin sýndarvél eigi við vandamál að stríða. Til viðbótar við staðlaða teljara fyrir fjölda I/O aðgerða, les/skrifa hljóðstyrk og tafir, inniheldur þessi hluti gagnlega teljara sem sýna blokkastærðina: Read/Write request size.

Á myndinni hér að neðan er graf yfir afköst VM diska, þar sem þú getur séð fjölda IOPS, leynd og blokkastærð. 

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

Þú getur líka skoðað árangursmælingar fyrir alla gagnageymsluna ef SIOC er virkt. Hér eru grunnupplýsingar um meðaltíðni og IOPS. Sjálfgefið er að þessar upplýsingar er aðeins hægt að skoða í rauntíma.

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

ESXTOP

ESXTOP hefur nokkra skjái sem veita upplýsingar um undirkerfi gestgjafadisksins í heild, einstakar sýndarvélar og diska þeirra.

Byrjum á upplýsingum um sýndarvélar. „Disk VM“ skjárinn er kallaður upp með „v“ takkanum:

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

NVDISK er fjöldi VM diska. Til að skoða upplýsingar fyrir hvern disk, ýttu á „e“ og sláðu inn GID viðkomandi VM.

Merking færibreytanna sem eftir eru á þessum skjá er skýr af nöfnum þeirra.

Annar gagnlegur skjár við bilanaleit er Diskur millistykki. Kallað með „d“ lyklinum (reitir A,B,C,D,E,G eru valdir á myndinni hér að neðan):

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

NPTH – fjöldi leiða til tunglanna sem sjást frá þessum millistykki. Til að fá upplýsingar um hverja slóð á millistykkinu, ýttu á „e“ og sláðu inn nafn millistykkisins:

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

AQLEN – hámarks biðröð stærð á millistykkinu.

Einnig á þessum skjá eru seinkateljararnir sem ég talaði um hér að ofan: KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.

Skjár diskur tækisins, sem kallaður er upp með því að ýta á „u“ takkann, veitir upplýsingar um einstök blokkartæki - tungl (reitir A, B, F, G, I eru valdir á myndinni hér að neðan). Hér má sjá stöðuna á biðröðinni eftir tunglunum.

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

DQLEN – biðraðastærð fyrir blokkartæki.
ACTV – fjöldi I/O skipana í ESXi kjarnanum.
QUED – fjöldi I/O skipana í biðröðinni.
%USD – ACTV / DQLEN × 100%.
HLAÐA – (ACTV + QUED) / DQLEN.

Ef %USD er hátt, ættir þú að íhuga að auka biðröðina. Því fleiri skipanir í biðröðinni, því hærra er QAVG og, í samræmi við það, KAVG.

Þú getur líka séð á Disk device skjánum hvort VAAI (vStorage API for Array Integration) er í gangi á geymslukerfinu. Til að gera þetta skaltu velja reiti A og O.

VAAI vélbúnaðurinn gerir þér kleift að flytja hluta af verkinu frá hypervisor beint í geymslukerfið, til dæmis núllstilling, afritun blokka eða blokkun.

Greining á frammistöðu VM í VMware vSphere. Hluti 3: Geymsla

Eins og þú sérð á myndinni hér að ofan vinnur VAAI á þessu geymslukerfi: Núll og ATS frumefni eru virkir notaðir.

Ráð til að fínstilla vinnu með diskundirkerfi á ESXi

  • Gefðu gaum að stærð blokkarinnar.
  • Stilltu bestu biðraðarstærð á HBA.
  • Ekki gleyma að virkja SIOC á gagnaverum.
  • Veldu PSP í samræmi við ráðleggingar framleiðanda geymslukerfisins.
  • Gakktu úr skugga um að VAAI virki.

Gagnlegar greinar um efnið:http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

Heimild: www.habr.com

Bæta við athugasemd