Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

Deel 1. Iwwer CPU
Deel 2. Iwwer Erënnerung

Haut wäerte mir d'Metriken vum Disk Subsystem an vSphere analyséieren. E Späicherproblem ass den heefegste Grond fir eng lues virtuell Maschinn. Wann, am Fall vun CPU an RAM, d'Problembehandlung um Hypervisor Niveau endet, dann, wann et Problemer mat der Scheif ass, musst Dir vläicht mam Datennetz a Späichersystem këmmeren.

Ech wäert d'Thema diskutéieren d'Beispill vun Spär Zougang zu Stockage Systemer benotzt, obwuel fir Fichier Zougang d'Zähler sinn ongeféier déi selwecht.

E bësse vun der Theorie

Wann Dir iwwer d'Performance vum Disk Subsystem vu virtuelle Maschinnen schwätzt, bezuelen d'Leit normalerweis op dräi interrelated Parameteren opmierksam:

  • Zuel vun Input / Output Operatiounen (Input / Output Operatiounen pro Sekonn, IOPS);
  • Duerchgang;
  • Verzögerung vun Input / Output Operatiounen (Latency).

Zuel vun IOPS normalerweis wichteg fir zoufälleg Aarbechtslaaschten: Zougang zu Diskblocken op verschiddene Plazen. E Beispill vun esou enger Belaaschtung kéint Datenbanken, Geschäftsapplikatiounen (ERP, CRM), etc.

Duerchgang wichteg fir sequentiell Lasten: Zougang zu Blocken, déi een nom aneren sinn. Zum Beispill kënnen Dateieserveren (awer net ëmmer) a Videoiwwerwaachungssystemer sou eng Laascht generéieren.

Duerchgang ass mat der Unzuel vun den I/O Operatiounen verbonnen wéi follegt:

Duerchgang = IOPS * Block Gréisst, wou Blockgréisst d'Blockgréisst ass.

Blockgréisst ass eng zimlech wichteg Feature. Modern Versioune vun ESXi erlaben Spär bis zu 32 KB Gréisst. Wann de Block nach méi grouss ass, ass et an e puer opgedeelt. Net all Stockage Systemer kann effikass Aarbecht mat esou grouss spären, also et gëtt e DiskMaxIOSize Parameter an ESXi fortgeschratt Astellungen. Mat der Hëllef kënnt Dir déi maximal Blockgréisst reduzéieren, déi vum Hypervisor iwwersprangen ass (méi Detailer hei). Ier Dir dëse Parameter ännert, empfeelen ech Iech mat dem Hiersteller vum Späichersystem ze konsultéieren oder op d'mannst d'Ännerungen op enger Laborbank ze testen. 

Eng grouss Blockgréisst kann e schiedlechen Effekt op d'Späicherleistung hunn. Och wann d'Zuel vun IOPS an Duerchgang relativ kleng sinn, héich latencies kann mat enger grousser Blockgréisst observéiert ginn. Dofir, oppassen op dëse Parameter.

Latenz - déi interessantst Leeschtungsparameter. D'I/O Latenz fir eng virtuell Maschinn besteet aus:

  • Verzögerungen am Hypervisor (KAVG, Duerchschnëtt Kernel MilliSec / Liesen);
  • Verzögerung, déi vum Datennetz a Späichersystem geliwwert gëtt (DAVG, Duerchschnëtt Driver MilliSec / Kommando).

Déi total Latenz déi am Gaascht OS sichtbar ass (GAVG, Duerchschnëtt Guest MilliSec / Kommando) ass d'Zomm vu KAVG an DAVG.

GAVG an DAVG gi gemooss a KAVG gëtt berechent: GAVG–DAVG.

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage
Source

Loosst eis e bësse méi no kucken KAVG. Wärend normaler Operatioun soll KAVG op Null tendéieren oder op d'mannst vill manner wéi DAVG sinn. Deen eenzege Fall wou ech weess wou KAVG erwaart héich ass ass d'IOPS Limit op der VM Disk. An dësem Fall, wann Dir probéiert d'Limite ze iwwerschreiden, wäert KAVG eropgoen.

De bedeitendste Bestanddeel vu KAVG ass QAVG - d'Veraarbechtungsschlaangzäit am Hypervisor. Déi reschtlech Komponente vu KAVG sinn negligibel.

D'Schlaang am Disk Adapter Chauffer an d'Schlaang op d'Mounden huet eng fix Gréisst. Fir héich gelueden Ëmfeld kann et nëtzlech sinn dës Gréisst ze erhéijen. et ass beschreift wéi d'Schlaangen am Adapter-Treiber erhéijen (gläichzäiteg wäert d'Schlaang op d'Mounden eropgoen). Dës Astellung funktionnéiert wann nëmmen ee VM mam Mound schafft, wat seelen ass. Wann et e puer VMs um Mound sinn, musst Dir och de Parameter erhéijen Disk.SchedNumReqOutstanding (Instruktioune  hei). Andeems Dir d'Schlaang erhéicht, reduzéiert Dir QAVG respektiv KAVG.

Awer erëm, liest als éischt d'Dokumentatioun vum HBA Verkeefer an testen d'Ännerungen op enger Labobank.

D'Gréisst vun der Schlaang op de Mound kann duerch d'Inklusioun vum SIOC (Storage I/O Control) Mechanismus beaflosst ginn. Et gëtt een eenheetlechen Zougang zum Mound vun all Server am Stärekoup andeems d'Schlaang op de Mound op de Server dynamesch geännert gëtt. Dat ass, wann ee vun de Hosten e VM leeft, deen eng onproportional Quantitéit un Leeschtung erfuerdert (kaméidi Noper VM), reduzéiert SIOC d'Schlaanglängt op de Mound op dësem Host (DQLEN). Méi Detailer hei.

Mir hunn KAVG zortéiert, elo e bëssen iwwer DAVG. Alles ass einfach hei: DAVG ass d'Verzögerung, déi vum externen Ëmfeld agefouert gëtt (Datennetz a Späichersystem). All modern an net esou modern Stockage System huet seng eege Leeschtung counters. Fir Problemer mat DAVG ze analyséieren, mécht et Sënn fir se ze kucken. Wann alles gutt op der ESXi an Stockage Säit ass, kontrolléieren d'Donnéeën Reseau.

Fir Leeschtungsproblemer ze vermeiden, wielt déi richteg Path Selection Policy (PSP) fir Äre Späichersystem. Bal all modern Späichersystemer ënnerstëtzen PSP Round-Robin (mat oder ouni ALUA, Asymmetric Logical Unit Access). Dës Politik erlaabt Iech all verfügbare Weeër fir de Späichersystem ze benotzen. Am Fall vun ALUA ginn nëmmen d'Weeër zum Controller benotzt, deen de Mound besëtzt. Net all Stockage Systemer op ESXi hunn Standard Regelen déi Round-Robin Politik setzen. Wann et keng Regel fir Äre Späichersystem gëtt, benotzt e Plugin vum Späichersystemhersteller, deen eng entspriechend Regel op all Hosten am Cluster erstellt oder eng Regel selwer erstellt. Detailer hei

Och e puer Späichersystemhersteller recommandéieren d'Zuel vun den IOPS pro Wee vum Standardwäert vun 1000 op 1 z'änneren. An eiser Praxis huet dëst et méiglech gemaach fir méi Performance aus dem Späichersystem ze "pressen" an d'Zäit fir de Failover wesentlech ze reduzéieren am Fall vum Controllerfehler oder Update. Préift d'Empfehlungen vum Verkeefer, a wann et keng Kontraindikatiounen sinn, probéiert dëse Parameter z'änneren. Detailer hei.

Basis virtuell Maschinn Scheif Ënnersystem Leeschtung counters

Disk Subsystem Performance counters am vCenter ginn an den Datastore, Disk, Virtual Disk Sektiounen gesammelt:

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

Sektioun Datestore et gi Metriken fir vSphere Disk Storage (Datastores) op deenen d'VM Disks lokaliséiert sinn. Hei fannt Dir Standardteller fir:

  • IOPS (Duerchschnëtt liesen / schreiwen Ufroen pro Sekonn), 
  • Duerchschnëtt (Lies / Schreiwen Taux), 
  • Verspéidungen (Liesen / Schreiwen / Héchste latency).

Am Prinzip ass alles kloer aus den Nimm vun de Konter. Loosst mech Är Opmierksamkeet nach eng Kéier op d'Tatsaach zéien datt d'Statistiken hei net fir e spezifesche VM (oder VM Scheif) sinn, mee allgemeng Statistike fir de ganzen Datastore. Menger Meenung no ass et méi bequem fir dës Statistiken am ESXTOP ze kucken, op d'mannst baséiert op der Tatsaach datt d'Mindestmiesszäit do 2 Sekonnen ass.

Sektioun Scheif et gi Metriken op Blockapparaten déi vum VM benotzt ginn. Et gi Compteur fir IOPS vun der Summatiounstyp (d'Zuel vun den Input / Output Operatiounen während der Moossperiod) a verschidde Comptoiren am Zesummenhang mam Block Zougang (Kommando ofgebrach, Bus zréckgesat). Menger Meenung no ass et och méi bequem fir dës Informatioun an ESXTOP ze gesinn.

Sektioun Virtuell Disk - déi nëtzlechst aus der Siicht fir Performanceprobleemer vum VM Disk Subsystem ze fannen. Hei kënnt Dir d'Performance fir all virtuell Scheif gesinn. Et ass dës Informatioun déi gebraucht gëtt fir ze verstoen ob eng bestëmmte virtuell Maschinn e Problem huet. Nieft der Norm Géigewier fir d'Zuel vun ech / O Operatiounen, liesen / schreiwen Volumen an Verspéidungen, enthält dëser Rubrik nëtzlech Géigewier datt d'Block Gréisst weisen: liesen / schreiwen Ufro Gréisst.

Am Bild hei drënner ass eng Grafik vun der VM Disk Performance, wou Dir d'Zuel vun IOPS, Latenz a Blockgréisst gesinn. 

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

Dir kënnt och Performance Metriken fir de ganzen Datastore kucken wann SIOC aktivéiert ass. Hei ass Basisinformatioun iwwer duerchschnëttlech Latenz an IOPS. Par défaut kann dës Informatioun nëmmen an Echtzäit gekuckt ginn.

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

ESXTOP

ESXTOP huet e puer Bildschirmer, déi Informatioun iwwer den Host-Disk-Subsystem als Ganzt ubidden, individuell virtuell Maschinnen an hir Disken.

Loosst eis mat Informatioun iwwer virtuell Maschinnen ufänken. Den "Disk VM" Écran gëtt mam "v" Schlëssel opgeruff:

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

NVDISK ass d'Zuel vu VM Disken. Fir Informatioun fir all Disk ze gesinn, dréckt "e" a gitt d'GID vum VM vun Interesse.

D'Bedeitung vun de verbleiwen Parameteren op dësem Écran ass kloer aus hiren Nimm.

En aneren nëtzlechen Ecran beim Problembehandlung ass Disk Adapter. Genannt vum "d" Schlëssel (Felder A,B,C,D,E,G sinn am Bild hei ënnen ausgewielt):

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

NPTH - d'Zuel vun de Weeër op d'Mounden, déi vun dësem Adapter siichtbar sinn. Fir Informatiounen fir all Wee um Adapter ze kréien, dréckt "e" a gitt den Numm vum Adapter:

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

AQLEN - maximal Schlaanggréisst um Adapter.

Och op dësem Écran sinn d'Verzögerungsteller iwwer déi ech hei uewen geschwat hunn: KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.

Den Disk-Apparatbildschierm, deen opgeruff gëtt andeems Dir op den "u" Schlëssel dréckt, liwwert Informatioun iwwer eenzel Blockapparaten - Mounden (Felder A, B, F, G, I sinn am Bild hei ënnen ausgewielt). Hei kënnt Dir de Status vun der Schlaang fir d'Mounden gesinn.

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

DQLEN - Schlaanggréisst fir e Blockapparat.
ACTV - Zuel vun I / O Kommandoen am ESXi Kärel.
QUED - Zuel vun I / O Kommandoen an der Schlaang.
% USD – ACTV / DQLEN × 100%.
LADEN – (ACTV + QUED) / DQLEN.

Wann %USD héich ass, sollt Dir iwwerleeën d'Schlaang ze erhéijen. Wat méi Kommandoen an der Schlaang sinn, wat méi héich ass de QAVG an deementspriechend de KAVG.

Dir kënnt och um Disk Apparat Écran gesinn ob VAAI (vStorage API fir Array Integratioun) um Späichersystem leeft. Fir dëst ze maachen, wielt Felder A an O.

De VAAI-Mechanismus erlaabt Iech en Deel vun der Aarbecht vum Hypervisor direkt an de Späichersystem ze transferéieren, zum Beispill Nulléierung, Kopie vun Blocken oder Spär.

Analyse vun VM Leeschtung an VMware vSphere. Deel 3: Stockage

Wéi Dir am Bild hei uewen kënnt gesinn, funktionnéiert VAAI op dësem Späichersystem: Null an ATS Primitiv ginn aktiv benotzt.

Tipps fir eng optimiséieren Aarbecht mat der Scheif subsystem op ESXi

  • Opgepasst op d'Blockgréisst.
  • Setzt déi optimal Schlaanggréisst op der HBA.
  • Vergiesst net SIOC op Datastore z'aktivéieren.
  • Wielt e PSP am Aklang mat den Empfehlungen vum Hersteller vum Späichersystem.
  • Gitt sécher datt VAAI funktionnéiert.

Praktesch Artikelen zum Thema:http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

Source: will.com

Setzt e Commentaire