Jos hallinnoit VMware vSphereen (tai mihin tahansa muuhun teknologiapinoon) perustuvaa virtuaalista infrastruktuuria, kuulet todennäköisesti usein valituksia käyttäjiltä: "Virtuaalikone on hidas!" Tässä artikkelisarjassa analysoin suorituskykymittareita ja kerron, mikä hidastaa ja miksi ja miten varmistaa, että se ei hidastu.
Tarkastelen seuraavia virtuaalikoneen suorituskyvyn näkökohtia:
- CPU,
- RAM,
- LEVY,
- Verkkoon.
Aloitan prosessorista.
Suorituksen analysoimiseksi tarvitsemme:
- vCenter Performance Counters – suorituskykylaskurit, joiden kaavioita voi tarkastella vSphere Client -sovelluksen kautta. Tietoja näistä laskureista on saatavilla kaikissa asiakasohjelman versioissa ("paksu" asiakas C#:ssa, verkkoasiakasohjelma Flexissä ja verkkoasiakasohjelma HTML5:ssä). Näissä artikkeleissa käytämme C#-asiakassovelluksen kuvakaappauksia vain siksi, että ne näyttävät paremmilta pienoiskoossa :)
- ESXTOP – apuohjelma, joka suoritetaan ESXi-komentoriviltä. Sen avulla voit saada suorituskykylaskurien arvot reaaliajassa tai ladata ne tietyn ajanjakson ajaksi .csv-tiedostoon lisäanalyysiä varten. Seuraavaksi kerron sinulle lisää tästä työkalusta ja tarjoan useita hyödyllisiä linkkejä aiheeseen liittyviin asiakirjoihin ja artikkeleihin.
Hieman teoria
ESXi:ssä erillinen prosessi – VMware-terminologiassa maailma – vastaa kunkin vCPU:n (virtuaalikoneytimen) toiminnasta. Palveluprosesseja on myös, mutta ne ovat VM:n suorituskyvyn analysoinnin kannalta vähemmän kiinnostavia.
ESXi:n prosessi voi olla jossakin neljästä tilasta:
- ajaa – prosessi tekee hyödyllistä työtä.
- Odota – prosessi ei tee mitään työtä (joutokäynti) tai odottaa syöttöä/tulostusta.
- Costop – tila, joka esiintyy moniytimisissä virtuaalikoneissa. Se tapahtuu, kun hypervisor CPU Scheduler (ESXi CPU Scheduler) ei voi ajoittaa kaikkien aktiivisten virtuaalikoneen ytimien samanaikaista suorittamista fyysisen palvelimen ytimissä. Fyysisessä maailmassa kaikki prosessoriytimet toimivat rinnakkain, VM:n sisällä oleva vieraskäyttöjärjestelmä odottaa samanlaista käyttäytymistä, joten hypervisorin on hidastettava VM-ytimiä, jotka pystyvät suorittamaan kellojaksonsa nopeammin. ESXi:n nykyaikaisissa versioissa suorittimen ajastin käyttää mekanismia, jota kutsutaan rentoutuneeksi yhteisajoitukseksi: hypervisor ottaa huomioon "nopeimman" ja "hitain" virtuaalikoneen ytimen välisen eron (vino). Jos aukko ylittää tietyn kynnyksen, nopea ydin siirtyy costop-tilaan. Jos VM-ytimet viettävät paljon aikaa tässä tilassa, se voi aiheuttaa suorituskykyongelmia.
- Valmis – prosessi siirtyy tähän tilaan, kun hypervisor ei pysty allokoimaan resursseja sen suorittamiseen. Korkeat valmiusarvot voivat aiheuttaa VM:n suorituskykyongelmia.
Virtuaalikoneen perussuorittimen suorituskyvyn laskurit
Prosessorin käyttö, %. Näyttää prosessorin käytön prosenttiosuuden tietyltä ajanjaksolta.
Kuinka analysoida? Jos virtuaalikone käyttää jatkuvasti suoritinta 90 %:ssa tai huippuja on jopa 100 %, meillä on ongelmia. Ongelmat voivat ilmaista paitsi sovelluksen "hitaassa" toiminnassa VM:n sisällä, vaan myös virtuaalikoneen saavuttamattomuudessa verkon yli. Jos valvontajärjestelmä osoittaa, että VM ajoittain putoaa, kiinnitä huomiota CPU-käyttökaavion huippuihin.
On olemassa tavallinen hälytys, joka näyttää virtuaalikoneen suorittimen kuormituksen:
Mitä tehdä? Jos virtuaalikoneen suorittimen käyttö on jatkuvasti huipussaan, voit harkita vCPU:iden määrän lisäämistä (valitettavasti tämä ei aina auta) tai virtuaalikoneen siirtämistä palvelimelle, jossa on tehokkaammat prosessorit.
CPU:n käyttö MHz
VCenter Usage % -kaavioissa näet vain koko virtuaalikoneen; yksittäisille ytimille ei ole kaavioita (Esxtopissa ytimille on %-arvot). Jokaisen ytimen kohdalla näet käytön MHz:nä.
Kuinka analysoida? Tapahtuu, että sovellusta ei ole optimoitu moniytimisarkkitehtuurille: se käyttää vain yhtä ydintä 100%:sti ja loput ovat tyhjäkäynnillä ilman kuormitusta. Esimerkiksi oletusvarmuuskopiointiasetuksissa MS SQL käynnistää prosessin vain yhdestä ytimestä. Seurauksena on, että varmuuskopiointi ei hidastu levyjen hitauden takia (tämä on se, mistä käyttäjä alun perin valitti), vaan koska prosessori ei kestä. Ongelma ratkaistiin muuttamalla parametreja: varmuuskopiointi alkoi toimia rinnakkain useissa tiedostoissa (vastaavasti useissa prosesseissa).
Esimerkki ytimien epätasaisesta kuormituksesta.
On myös tilanne (kuten yllä olevassa kaaviossa), kun ytimet kuormitetaan epätasaisesti ja joissakin niistä on 100% huippuja. Kuten vain yhden ytimen lataamisen yhteydessä, CPU:n käytön hälytys ei toimi (se koskee koko virtuaalikonetta), mutta suorituskykyongelmia esiintyy.
Mitä tehdä? Jos virtuaalikoneen ohjelmisto lataa ytimiä epätasaisesti (käyttää vain yhtä ydintä tai osaa ytimistä), niiden määrää ei kannata lisätä. Tässä tapauksessa on parempi siirtää VM palvelimelle, jossa on tehokkaammat prosessorit.
Voit myös yrittää tarkistaa virrankulutusasetukset palvelimen BIOSista. Monet järjestelmänvalvojat ottavat käyttöön High Performance -tilan BIOSissa ja poistavat siten C-states- ja P-states-energiansäästötekniikat käytöstä. Nykyaikaiset Intel-prosessorit käyttävät Turbo Boost -tekniikkaa, joka lisää yksittäisten prosessoriytimien taajuutta muiden ytimien kustannuksella. Mutta se toimii vain, kun energiaa säästävät tekniikat ovat käytössä. Jos poistamme ne käytöstä, prosessori ei voi vähentää lataamattomien ytimien virrankulutusta.
VMware ei suosittele virransäästötekniikoiden poistamista käytöstä palvelimilta, vaan valitsee tilat, jotka jättävät virranhallinnan mahdollisimman paljon hypervisorille. Tässä tapauksessa sinun on valittava hypervisorin virrankulutusasetuksista High Performance.
Jos infrastruktuurissasi on yksittäisiä virtuaalikoneita (tai VM-ytimiä), jotka vaativat lisättyä suorittimen taajuutta, virrankulutuksen oikea säätäminen voi parantaa merkittävästi niiden suorituskykyä.
CPU valmis
Jos VM-ydin (vCPU) on Valmis-tilassa, se ei tee hyödyllistä työtä. Tämä tila ilmenee, kun hypervisor ei löydä vapaata fyysistä ydintä, johon virtuaalikoneen vCPU-prosessi voidaan määrittää.
Kuinka analysoida? Yleensä jos virtuaalikoneen ytimet ovat Valmis-tilassa yli 10 % ajasta, huomaat suorituskykyongelmia. Yksinkertaisesti sanottuna yli 10 % ajasta VM odottaa fyysisten resurssien vapautumista.
vCenterissä voit tarkastella kahta CPU Ready -toimintoon liittyvää laskuria:
- valmius,
- Valmis.
Molempien laskurien arvot ovat nähtävissä sekä koko VM:lle että yksittäisille ytimille.
Valmius näyttää arvon välittömästi prosentteina, mutta vain reaaliajassa (tiedot viimeiseltä tunnilta, mittausväli 20 sekuntia). On parempi käyttää tätä laskuria vain ongelmien etsimiseen "kuumalla kantapäällä".
Valmiita laskuriarvoja voi tarkastella myös historiallisesta näkökulmasta. Tämä on hyödyllistä mallien luomisessa ja ongelman syvemmässä analysoinnissa. Jos esimerkiksi virtuaalikoneessa alkaa esiintyä suorituskykyongelmia tiettynä aikana, voit verrata CPU Ready -arvon aikavälejä sen palvelimen kokonaiskuormaan, jossa tämä VM on käynnissä, ja ryhtyä toimenpiteisiin kuormituksen vähentämiseksi (jos DRS epäonnistuu).
Valmis, toisin kuin Readiness, ei näy prosentteina, vaan millisekunteina. Tämä on Summation-tyyppinen laskuri, eli se näyttää kuinka kauan VM-ydin oli mittausjakson aikana Ready-tilassa. Voit muuntaa tämän arvon prosentteiksi yksinkertaisella kaavalla:
(CPU-valmis summausarvo / (kaavion oletuspäivitysväli sekunneissa * 1000)) * 100 = CPU-valmius %
Esimerkiksi alla olevan kaavion virtuaalikoneelle koko virtuaalikoneen Ready-arvo on seuraava:
Valmistusprosenttia laskettaessa tulee kiinnittää huomiota kahteen seikkaan:
- Koko VM:n Ready-arvo on ytimien välisten Ready-arvojen summa.
- Mittausväli. Reaaliajassa se on 20 sekuntia, ja esimerkiksi päiväkaavioissa se on 300 sekuntia.
Aktiivisen vianetsinnän avulla nämä yksinkertaiset kohdat jäävät helposti huomaamatta ja arvokasta aikaa voidaan tuhlata olemattomien ongelmien ratkaisemiseen.
Lasketaan Valmis alla olevan kaavion tietojen perusteella. (324474/(20*1000))*100 = 1622 % koko virtuaalikoneelle. Jos katsot ytimiä, se ei ole niin pelottavaa: 1622/64 = 25 % ydintä kohti. Tässä tapauksessa saalis on melko helppo havaita: Ready-arvo on epärealistinen. Mutta jos puhumme 10–20%:sta koko VM:lle, jossa on useita ytimiä, niin jokaisen ytimen arvo voi olla normaalin alueen sisällä.
Mitä tehdä? Korkea Ready-arvo tarkoittaa, että palvelimella ei ole tarpeeksi prosessoriresursseja virtuaalikoneiden normaaliin toimintaan. Tällaisessa tilanteessa ei jää muuta kuin vähentää prosessorin ylitilauksia (vCPU:pCPU). Ilmeisesti tämä voidaan saavuttaa pienentämällä olemassa olevien virtuaalikoneiden parametreja tai siirtämällä osa virtuaalikoneista muille palvelimille.
Yhteispysähdys
Kuinka analysoida? Tämä laskuri on myös Summation-tyyppinen ja muunnetaan prosenteiksi samalla tavalla kuin Valmis:
(CPU:n yhteispysähdyksen summausarvo / (kaavion oletuspäivitysväli sekunneissa * 1000)) * 100 = suorittimen yhteispysäytys %
Tässä sinun on myös kiinnitettävä huomiota virtuaalikoneen ytimien lukumäärään ja mittausväliin.
Costop-tilassa ydin ei tee hyödyllistä työtä. Kun virtuaalikoneen koko on valittu oikein ja palvelimen normaali kuormitus, rinnakkaispysähdyslaskurin tulisi olla lähellä nollaa.
Tässä tapauksessa kuorma on selvästi epänormaali :)
Mitä tehdä? Jos yhdellä hypervisorilla on käynnissä useita virtuaalikoneita, joissa on suuri määrä ytimiä, ja suorittimessa on ylitilaus, rinnakkaispysäytyslaskuri voi kasvaa, mikä johtaa ongelmiin näiden VM:iden suorituskyvyssä.
Myös yhteispysähdys lisääntyy, jos yhden virtuaalikoneen aktiiviset ytimet käyttävät säikeitä yhdessä fyysisessä palvelinytimessä, jossa hypertreading on käytössä. Tämä tilanne voi syntyä esimerkiksi, jos virtuaalikoneella on enemmän ytimiä kuin fyysisesti on käytettävissä palvelimella, jossa se on käynnissä, tai jos "preferHT"-asetus on otettu käyttöön virtuaalikoneelle. Voit lukea tästä asetuksesta .
Voit välttää suuresta rinnakkaispysähdyksestä johtuvat VM-suorituskykyongelmat valitsemalla VM:n koko tässä VM:ssä käytettävän ohjelmiston valmistajan suositusten ja sen fyysisen palvelimen ominaisuuksien mukaisesti, jossa VM toimii.
Älä lisää ytimiä varaukseen; tämä voi aiheuttaa suorituskykyongelmia paitsi virtuaalikoneelle itselleen, myös sen naapureille palvelimella.
Muita hyödyllisiä CPU-mittareita
ajaa – kuinka paljon aikaa (ms) mittausjakson aikana vCPU oli RUN-tilassa eli suoritti todella hyödyllistä työtä.
Idle – kuinka kauan (ms) mittausjakson aikana vCPU oli epäaktiivisessa tilassa. Korkeat tyhjäkäyntiarvot eivät ole ongelma, vCPU:lla ei vain ollut "mitään tekemistä".
Odota – kuinka kauan (ms) mittausjakson aikana vCPU oli Odotustilassa. Koska IDLE sisältyy tähän laskuriin, korkeat odotusarvot eivät myöskään osoita ongelmaa. Mutta jos Wait IDLE on alhainen, kun Wait on korkea, se tarkoittaa, että virtuaalikone odotti I/O-toimintojen valmistumista, ja tämä puolestaan voi viitata ongelmaan kiintolevyn tai minkä tahansa virtuaalisen koneen virtuaalilaitteen suorituskyvyssä.
Max rajoitettu – kuinka kauan (ms) mittausjakson aikana vCPU oli Valmis-tilassa asetetun resurssirajan vuoksi. Jos suorituskyky on selittämättömän alhainen, on hyödyllistä tarkistaa tämän laskurin arvo ja CPU-raja VM-asetuksista. Virtuaalisilla koneilla voi todellakin olla rajoituksia, joista et ole tietoinen. Tämä tapahtuu esimerkiksi, kun virtuaalikone kloonattiin mallista, jolle CPU-raja oli asetettu.
Vaihda odotus – kuinka kauan mittausjakson aikana vCPU odotti operaatiota VMkernel Swapilla. Jos tämän laskurin arvot ovat nollan yläpuolella, VM:llä on ehdottomasti suorituskykyongelmia. Puhumme lisää SWAPista RAM-laskuria käsittelevässä artikkelissa.
ESXTOP
Jos vCenterin suorituskykylaskurit ovat hyviä historiatietojen analysointiin, ongelman operatiivinen analyysi on parempi tehdä ESXTOPissa. Täällä kaikki arvot esitetään valmiissa muodossa (ei tarvitse kääntää mitään), ja vähimmäismittausaika on 2 sekuntia.
CPU:n ESXTOP-näyttö avataan "c"-näppäimellä ja näyttää tältä:
Mukavuuden vuoksi voit jättää vain virtuaalikoneen prosesseja painamalla Shift-V.
Jos haluat tarkastella yksittäisten VM-ytimien mittareita, paina "e" ja syötä kiinnostavan VM:n GID (30919 alla olevassa kuvakaappauksessa):
Käyn lyhyesti läpi oletusarvoisesti esitetyt sarakkeet. Lisää sarakkeita voi lisätä painamalla "f".
NWLD (maailmojen lukumäärä) – prosessien määrä ryhmässä. Jos haluat laajentaa ryhmää ja nähdä kunkin prosessin (esimerkiksi moniytimisen VM:n jokaisen ytimen) mittareita, paina "e". Jos ryhmässä on useampi kuin yksi prosessi, ryhmän metriikkaarvot ovat yhtä suuria kuin yksittäisten prosessien mittareiden summa.
% KÄYTETTY – kuinka monta palvelimen CPU-jaksoa prosessi tai prosessiryhmä käyttää.
%JUOSTA – kuinka kauan mittausjakson aikana prosessi oli RUN-tilassa, ts. teki hyödyllistä työtä. Se eroaa %USED:stä siinä, että se ei ota huomioon hypersäikeistystä, taajuusskaalausta ja järjestelmätehtäviin käytettyä aikaa (%SYS).
%SYS – järjestelmätehtäviin käytetty aika, esimerkiksi: keskeytyskäsittely, I/O, verkkotoiminta jne. Arvo voi olla korkea, jos VM:llä on suuri I/O.
%OVRLP – kuinka paljon aikaa fyysinen ydin, jossa VM-prosessi on käynnissä, käytti muiden prosessien tehtäviin.
Nämä mittarit liittyvät toisiinsa seuraavasti:
%KÄYTETTY = %RUN + %SYS - %OVRLP.
Yleensä % KÄYTETTY -mittari on informatiivisempi.
%ODOTA – kuinka kauan mittausjakson aikana prosessi oli Wait-tilassa. Ottaa käyttöön IDLE:n.
% IDLE – kuinka kauan mittausjakson aikana prosessi oli IDLE-tilassa.
%SWPWT – kuinka kauan mittausjakson aikana vCPU odotti operaatiota VMkernel Swapilla.
%VMWAIT – kuinka kauan vCPU oli mittausjakson aikana odottamassa tapahtumaa (yleensä I/O). vCenterissä ei ole vastaavaa laskuria. Suuret arvot viittaavat ongelmiin VM:n I/O:ssa.
%WAIT = %VMWAIT + %IDLE + %SWPWT.
Jos VM ei käytä VMkernel Swapia, suorituskykyongelmia analysoitaessa on suositeltavaa tarkastella %VMWAIT-arvoa, koska tämä mittari ei ota huomioon aikaa, jolloin VM ei tehnyt mitään (%IDLE).
%RDY – kuinka kauan mittausjakson aikana prosessi oli Valmis-tilassa.
%CSTP – kuinka kauan mittausjakson aikana prosessi oli costop-tilassa.
%MLMTD – kuinka kauan vCPU oli mittausjakson aikana Valmis-tilassa asetetun resurssirajan vuoksi.
%WAIT + %RDY + %CSTP + %RUN = 100% – VM-ydin on aina jossakin näistä neljästä tilasta.
CPU hypervisorissa
vCenterillä on myös suorittimen suorituskyvyn laskurit hypervisorille, mutta ne eivät ole mitään mielenkiintoisia - ne ovat yksinkertaisesti kaikkien palvelimella olevien virtuaalikoneiden laskurien summa.
Kätevin tapa tarkastella suorittimen tilaa palvelimella on Yhteenveto-välilehti:
Palvelimelle, samoin kuin virtuaalikoneen, on vakiohälytys:
Kun palvelimen suorittimen kuormitus on korkea, siinä käynnissä olevissa virtuaalikoneissa alkaa esiintyä suorituskykyongelmia.
ESXTOPissa palvelimen suorittimen kuormitustiedot näytetään näytön yläosassa. Normaalin suorittimen kuormituksen lisäksi, joka ei ole kovin informatiivinen hypervisoreille, on kolme muuta mittaria:
YDINKÄYTTÖ (%) – fyysisen palvelimen ytimen lataaminen. Tämä laskuri näyttää kuinka kauan sydän suoritti työtä mittausjakson aikana.
PCPU UTIL (%) – jos hypersäie on käytössä, fyysistä ydintä kohti on kaksi säiettä (PCPU). Tämä mittari näyttää, kuinka kauan kunkin säikeen valmistuminen kesti.
PCPU KÄYTETTY (%) – sama kuin PCPU UTIL(%), mutta ottaa huomioon taajuuden skaalaus (joko vähentää ydintaajuutta energiansäästötarkoituksiin tai lisätä ydintaajuutta Turbo Boost -tekniikan ansiosta) ja hypersäikeen.
PCPU_USED% = PCPU_UTIL% * tehollinen ydintaajuus / nimellinen ydintaajuus.
Tässä kuvakaappauksessa joillekin ytimille Turbo Boostin vuoksi USED-arvo on suurempi kuin 100%, koska ydintaajuus on suurempi kuin nimellinen.
Muutama sana siitä, kuinka hyper-säikeistys otetaan huomioon. Jos prosessit suoritetaan 100 % ajasta palvelimen fyysisen ytimen molemmissa säikeissä, kun taas ydin toimii nimellistaajuudella, niin:
- Ytimen CORE UTIL on 100%,
- PCPU UTIL molemmille säikeille on 100%,
- Molemmissa säikeissä KÄYTETTY PCPU on 50%.
Jos molemmat kierteet eivät toimineet 100 % ajasta mittausjakson aikana, niin niillä jaksoilla, jolloin kierteet toimivat rinnakkain, ytimiin KÄYTETTY PCPU jaetaan puoleen.
ESXTOPissa on myös näyttö, jossa on palvelimen suorittimen virrankulutusparametrit. Täältä näet, käyttääkö palvelin energiaa säästäviä teknologioita: C-tiloja ja P-tiloja. Kutsutaan "p"-näppäimellä:
Yleisiä prosessorin suorituskykyongelmia
Lopuksi käyn läpi VM-suorittimen suorituskyvyn ongelmien tyypilliset syyt ja annan lyhyitä vinkkejä niiden ratkaisemiseen:
Ydinkellotaajuus ei riitä. Jos virtuaalikonettasi ei ole mahdollista päivittää tehokkaampiin ytimiin, voit yrittää muuttaa tehoasetuksia, jotta Turbo Boost toimii tehokkaammin.
Virheellinen VM-koko (liian monta/vähän ytimiä). Jos asennat muutaman ytimen, virtuaalikoneen suorittimen kuormitus on suuri. Jos niitä on paljon, ota kiinni korkeasta yhteispysähdyksestä.
Suuri CPU-tilaus palvelimella. Jos virtuaalikoneella on korkea Ready-arvo, vähennä suorittimen ylitilausta.
Väärä NUMA-topologia suurissa virtuaalikoneissa. Virtuaalikoneen näkemän NUMA-topologian (vNUMA) on vastattava palvelimen NUMA-topologiaa (pNUMA). Diagnostiikka ja mahdolliset ratkaisut tähän ongelmaan on kirjoitettu esimerkiksi kirjassa . Jos et halua mennä syvemmälle eikä sinulla ole lisensointirajoituksia virtuaalikoneeseen asennetulle käyttöjärjestelmälle, tee virtuaalikoneeseen useita virtuaalisia pistokkeita yksi ydin kerrallaan. Et menetä paljoa :)
Siinä kaikki minulle prosessorista. Kysy kysymyksiä. Seuraavassa osassa puhun RAM-muistista.
Hyödyllisiä linkkejä
Lähde: will.com