Karon atong analisahon ang metrics sa disk subsystem sa vSphere. Ang problema sa pagtipig mao ang labing kasagarang hinungdan sa hinay nga virtual machine. Kung, sa kaso sa CPU ug RAM, ang pag-troubleshoot natapos sa lebel sa hypervisor, nan kung adunay mga problema sa disk, kinahanglan nimo nga atubangon ang data network ug sistema sa pagtipig.
Akong hisgutan ang hilisgutan gamit ang panig-ingnan sa block access sa mga sistema sa pagtipig, bisan kung alang sa pag-access sa file ang mga counter parehas ra.
Usa ka teoriya
Kung naghisgot bahin sa pasundayag sa disk subsystem sa mga virtual nga makina, ang mga tawo kasagarang magtagad sa tulo nga magkadugtong nga mga parameter:
- gidaghanon sa input/output operations (Input/Output Operations Per Second, IOPS);
- throughput;
- paglangan sa input/output nga mga operasyon (Latency).
Gidaghanon sa IOPS kasagaran importante alang sa random workloads: access sa mga bloke sa disk nga nahimutang sa lain-laing mga dapit. Ang usa ka pananglitan sa ingon nga pagkarga mahimong mga database, mga aplikasyon sa negosyo (ERP, CRM), ug uban pa.
Bandwidth importante alang sa sunod-sunod nga mga load: access sa mga bloke nga nahimutang sa sunod-sunod nga. Pananglitan, ang mga file server (apan dili kanunay) ug mga sistema sa pagpaniid sa video makahimo sa ingon nga load.
Ang throughput nalangkit sa gidaghanon sa mga operasyon sa I/O sama sa mosunod:
Throughput = IOPS * Gidak-on sa block, diin ang Block size mao ang block size.
Ang gidak-on sa block usa ka importante nga kinaiya. Ang modernong mga bersyon sa ESXi nagtugot sa mga bloke hangtod sa 32 KB ang gidak-on. Kung ang bloke mas dako pa, kini gibahin sa pipila. Dili tanan nga mga sistema sa pagtipig mahimo nga epektibo nga magtrabaho sa ingon ka dagkong mga bloke, mao nga adunay usa ka parameter nga DiskMaxIOSize sa ESXi Advanced Settings. Sa paggamit niini, mahimo nimong mapakunhod ang labing kadaghan nga gidak-on sa bloke nga gilaktawan sa hypervisor (dugang mga detalye ). Sa wala pa usbon kini nga parameter, girekomenda ko nga mokonsulta ka sa tiggama sa sistema sa pagtipig o labing menos sulayan ang mga pagbag-o sa usa ka bangko sa laboratoryo.
Ang usa ka dako nga gidak-on sa block mahimong adunay makadaot nga epekto sa pasundayag sa pagtipig. Bisan kung ang gidaghanon sa IOPS ug throughput gamay ra, ang taas nga latency mahimong maobserbahan nga adunay dako nga gidak-on sa block. Busa, pagtagad niini nga parameter.
Kalihokan – ang labing makapaikag nga performance parameter. Ang I/O latency alang sa usa ka virtual machine naglangkob sa:
- mga paglangan sulod sa hypervisor (KAVG, Average Kernel MilliSec/Read);
- paglangan nga gihatag sa data network ug storage system (DAVG, Average Driver MilliSec/Command).
Ang kinatibuk-ang latency nga makita sa guest OS (GAVG, Average Guest MilliSec/Command) mao ang sum sa KAVG ug DAVG.
Ang GAVG ug DAVG gisukod ug ang KAVG gikalkulo: GAVG–DAVG.
Atong tan-awon pag-ayo KAVG. Atol sa normal nga operasyon, ang KAVG kinahanglan nga mahimong zero o labing menos mas ubos kaysa DAVG. Ang bugtong kaso nga akong nahibal-an kung diin ang KAVG gilauman nga taas mao ang limitasyon sa IOPS sa VM disk. Sa kini nga kaso, kung mosulay ka nga molapas sa limitasyon, modaghan ang KAVG.
Ang labing mahinungdanong bahin sa KAVG mao ang QAVG - ang oras sa pagproseso sa pila sulod sa hypervisor. Ang nahabilin nga mga sangkap sa KAVG wala’y bili.
Ang pila sa driver sa disk adapter ug ang pila sa mga bulan adunay usa ka piho nga gidak-on. Alang sa mga palibot nga puno kaayo, mahimo’g mapuslanon ang pagdugang niini nga gidak-on. naghulagway kung giunsa pagdugang ang mga pila sa driver sa adaptor (sa parehas nga oras ang pila sa mga bulan modaghan). Kini nga setting molihok kung usa ra ka VM ang nagtrabaho kauban ang bulan, nga talagsa ra. Kung adunay daghang mga VM sa bulan, kinahanglan nimo nga dugangan ang parameter Disk.SchedNumReqOutstanding (mga instruksyon ). Pinaagi sa pagdugang sa pila, imong gipaubos ang QAVG ug KAVG matag usa.
Apan pag-usab, basaha una ang dokumentasyon gikan sa vendor sa HBA ug sulayi ang mga pagbag-o sa usa ka lab bench.
Ang gidak-on sa pila ngadto sa bulan mahimong maapektuhan sa paglakip sa mekanismo sa SIOC (Storage I/O Control). Naghatag kini parehas nga pag-access sa bulan gikan sa tanan nga mga server sa cluster pinaagi sa dinamikong pagbag-o sa pila sa bulan sa mga server. Sa ato pa, kung ang usa sa mga host nagpadagan sa usa ka VM nga nanginahanglan usa ka dili parehas nga kantidad sa pasundayag (saba nga silingan nga VM), gipakunhod sa SIOC ang gitas-on sa pila hangtod sa bulan sa kini nga host (DQLEN). Dugang detalye .
Gihan-ay na namo ang KAVG, karon gamay bahin sa DAVG. Ang tanan yano dinhi: Ang DAVG mao ang paglangan nga gipaila sa eksternal nga palibot (data network ug storage system). Ang matag moderno ug dili kaayo moderno nga sistema sa pagtipig adunay kaugalingon nga mga counter sa pasundayag. Aron analisa ang mga problema sa DAVG, makatarunganon nga tan-awon kini. Kung maayo ang tanan sa ESXi ug storage side, susiha ang data network.
Aron malikayan ang mga problema sa performance, pilia ang hustong Path Selection Policy (PSP) para sa imong storage system. Halos tanan nga modernong sistema sa pagtipig nagsuporta sa PSP Round-Robin (nga adunay ALUA o wala, Asymmetric Logical Unit Access). Gitugotan ka niini nga palisiya nga magamit nimo ang tanan nga magamit nga mga agianan sa sistema sa pagtipig. Sa kaso sa ALUA, ang mga agianan lamang sa controller nga tag-iya sa bulan ang gigamit. Dili tanan nga sistema sa pagtipig sa ESXi adunay default nga mga lagda nga nagtakda sa palisiya sa Round-Robin. Kung wala’y lagda alang sa imong sistema sa pagtipig, gamita ang usa ka plugin gikan sa tiggama sa sistema sa pagtipig, nga maghimo usa ka katugbang nga lagda sa tanan nga mga host sa cluster, o maghimo usa ka lagda sa imong kaugalingon. Mga Detalye .
Usab, ang pipila ka mga tiggama sa sistema sa pagtipig nagrekomendar sa pagbag-o sa gidaghanon sa IOPS kada agianan gikan sa standard nga bili nga 1000 ngadto sa 1. Sa among praktis, kini nagpaposible sa "pagpilit" sa dugang nga performance gikan sa storage system ug sa kamahinungdanon pagpakunhod sa panahon nga gikinahanglan alang sa failover sa panghitabo sa usa ka controller kapakyasan o update. Susiha ang mga rekomendasyon sa vendor, ug kung walay mga kontraindiksiyon, sulayi ang pag-usab niini nga parameter. Mga Detalye .
Basic virtual machine disk subsystem performance counters
Ang disk subsystem performance counter sa vCenter gikolekta sa Datastore, Disk, Virtual Disk nga mga seksyon:
seksyon tindahan sa datos adunay mga metrics alang sa vSphere disk storages (datastores) diin nahimutang ang VM disks. Dinhi makit-an nimo ang standard nga mga counter para sa:
- IOPS (Average nga pagbasa / pagsulat nga mga hangyo matag segundo),
- throughput (Pagbasa/Pagsulat rate),
- mga paglangan (Pagbasa/Pagsulat/Pinakataas nga latency).
Sa prinsipyo, ang tanan klaro gikan sa mga ngalan sa mga counter. Tugoti ako nga ipunting ang imong atensyon sa makausa pa sa kamatuoran nga ang mga estadistika dinhi dili alang sa usa ka piho nga VM (o VM disk), apan kinatibuk-ang estadistika alang sa tibuuk nga datastore. Sa akong opinyon, mas sayon ang pagtan-aw niini nga mga estadistika sa ESXTOP, labing menos base sa kamatuoran nga ang minimum nga panahon sa pagsukod adunay 2 segundos.
seksyon disk adunay mga metrics sa block device nga gigamit sa VM. Adunay mga counter alang sa IOPS sa matang sa pagsumaryo (ang gidaghanon sa input/output nga mga operasyon sa panahon sa pagsukod) ug daghang mga counter nga may kalabutan sa block access (Mga sugo gi-abort, Bus resets). Sa akong opinyon, mas sayon usab nga tan-awon kini nga impormasyon sa ESXTOP.
Seksyon Virtual Disk – ang labing mapuslanon gikan sa punto sa panglantaw sa pagpangita sa mga problema sa performance sa VM disk subsystem. Dinhi imong makita ang performance sa matag virtual disk. Kini ang kasayuran nga gikinahanglan aron masabtan kung ang usa ka partikular nga virtual machine adunay problema. Dugang pa sa mga standard counter para sa gidaghanon sa I/O operations, read/write volume ug delays, kini nga section naglangkob sa mapuslanong counters nga nagpakita sa block size: Read/Write request size.
Sa hulagway sa ubos mao ang usa ka graph sa VM disk performance, diin imong makita ang gidaghanon sa IOPS, latency ug block gidak-on.
Mahimo usab nimo tan-awon ang mga sukatan sa pasundayag alang sa tibuuk nga datastore kung gipagana ang SIOC. Ania ang sukaranan nga kasayuran sa kasagaran nga Latency ug IOPS. Sa kasagaran, kini nga impormasyon matan-aw lamang sa tinuod nga panahon.
ESXTOP
Ang ESXTOP adunay daghang mga screen nga naghatag kasayuran sa host disk subsystem sa kinatibuk-an, indibidwal nga virtual machine ug ilang mga disk.
Magsugod kita sa impormasyon sa mga virtual machine. Ang screen nga "Disk VM" gitawag gamit ang "v" nga yawe:
NVDISK mao ang gidaghanon sa mga VM disk. Aron makita ang impormasyon sa matag disk, pindota ang "e" ug isulod ang GID sa VM nga interesado.
Ang kahulugan sa nahabilin nga mga parameter sa kini nga screen klaro sa ilang mga ngalan.
Ang laing mapuslanon nga screen kung ang pag-troubleshoot mao ang Disk adapter. Gitawag sa "d" nga yawe (mga field A,B,C,D,E,G gipili sa hulagway sa ubos):
NPTH – ang gidaghanon sa mga agianan paingon sa mga bulan nga makita gikan niini nga adapter. Aron makakuha og impormasyon sa matag agianan sa adapter, pindota ang "e" ug isulod ang ngalan sa adapter:
AQLEN – maximum nga gidak-on sa pila sa adapter.
Usab niini nga screen mao ang mga delay counter nga akong gihisgutan sa ibabaw: KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.
Ang screen sa Disk device, nga gitawag pinaagi sa pagpindot sa "u" nga yawe, naghatag impormasyon sa tagsa-tagsa nga block device - mga bulan (mga field A, B, F, G, I gipili sa hulagway sa ubos). Dinhi imong makita ang kahimtang sa pila para sa mga buwan.
DQLEN - gidak-on sa pila alang sa usa ka block device.
Ang ACTV – gidaghanon sa I/O nga mga sugo sa ESXi kernel.
QUED – gidaghanon sa I/O nga mga sugo sa pila.
%USD – ACTV / DQLEN × 100%.
GUGMA – (ACTV + QUED) / DQLEN.
Kung taas ang %USD, kinahanglan nimong hunahunaon ang pagdugang sa pila. Ang daghang mga sugo sa pila, mas taas ang QAVG ug, sumala niana, ang KAVG.
Makita usab nimo sa screen sa Disk device kung ang VAAI (vStorage API alang sa Array Integration) nagdagan sa sistema sa pagtipig. Aron mahimo kini, pilia ang mga uma A ug O.
Gitugotan ka sa mekanismo sa VAAI nga ibalhin ang bahin sa trabaho gikan sa hypervisor direkta sa sistema sa pagtipig, pananglitan, pag-zero, pagkopya sa mga bloke o pag-block.
Sama sa imong makita sa litrato sa ibabaw, ang VAAI nagtrabaho sa kini nga sistema sa pagtipig: Ang Zero ug ATS primitives aktibo nga gigamit.
Mga tip sa pag-optimize sa trabaho sa disk subsystem sa ESXi
- Hatagi'g pagtagad ang gidak-on sa block.
- Ibutang ang labing maayo nga gidak-on sa pila sa HBA.
- Ayaw kalimti ang pagpagana sa SIOC sa mga datastore.
- Pagpili ug PSP subay sa mga rekomendasyon sa tiggama sa sistema sa pagtipig.
- Siguroha nga ang VAAI nagtrabaho.
Mapuslanon nga mga artikulo sa hilisgutan:
Source: www.habr.com