Dnes sa zameriame na metriky diskového subsystému vo vSphere. Problémy so skladovaním sú najčastejšou príčinou pomalého fungovania virtuálnych strojov. Kým v prípadoch s CPU a RAM sa riešenie problémov končí na úrovni hypervízora, pri problémoch s diskom môže byť potrebné posúdiť aj sieť prenášania dát a úložné systémy.
Tému budem rozoberať na príklade blokového prístupu k úložným systémom, aj keď pri súborovom prístupe sú počítače približne tie isté.
Trochu teórie
Keď sa hovorí o výkonnosti diskového subsystému virtuálnych strojov, zvyčajne sa pozornosť venuje trom vzájomne prepojeným parametrom:
- počet operácií vstupu/výstupu (Input/Output Operations Per Second, IOPS);
- priepustnosti (Throughput);
- zdržaniu operácií vstupu/výstupu (Latency).
Počet IOPS je zvyčajne dôležitý pre náklady náhodného charakteru (random): prístup k blokom na disku, ktoré sú umiestnené na rôznych miestach. Príkladom takejto záťaže môžu byť databázy, obchodné aplikácie (ERP, CRM) a podobne.
Priemerná priepustnosť je dôležitá pre náklady sekvenčného charakteru: prístup k blokom umiestneným za sebou. Napríklad takúto záťaž môžu generovať súborové servery (nie vždy) a systémy na sledovanie videa.
Priepustnosť súvisí s počtom operácií vstupu/výstupu nasledovne:
Throughput = IOPS * Veľkosť bloku, kde Veľkosť bloku je veľkosť bloku.
Veľkosť bloku je pomerne dôležitá charakteristika. Moderné verzie ESXi podporujú bloky s veľkosťou až 32 767 KB. Ak je blok ešte väčší, delí sa na niekoľko. Nie všetky úložné systémy môžu efektívne pracovať s takými veľkými blokmi, a preto v pokročilých nastaveniach ESXi existuje parameter DiskMaxIOSize. Pomocou neho je možné znížiť maximálnu veľkosť bloku, ktorý hypervízor prechádza (podrobnejšie ). Odporúčam pred zmenou tohto parametra konzultovať s výrobcom úložného systému alebo aspoň otestovať zmeny na laboratórnom stánku.
Veľká veľkosť bloku môže mať negatívny vplyv na výkonnosť úložného systému. Aj keď je počet IOPS a throughput relatívne malý, pri veľkej veľkosti bloku môžu nastávať vysoké zdržania. Preto venujte pozornosť tomuto parametru.
Latency – najzaujímavejší parameter výkonnosti. Zdržanie operácií vstupu/výstupu pre virtuálny počítač sa skladá z:
- zdržania v rámci hypervízora (KAVG, Priemerný čas v milisekundách z jadra pri čítaní);
- zdržania, ktoré spôsobuje sieť na prenos dát a úložný systém (DAVG, Priemerný čas v milisekundách z ovládača na príkaz).
Celkové zdržanie, ktoré je viditeľné v hosťovskom OS (GAVG, Priemerný čas v milisekundách z hostiteľa na príkaz), je súčet KAVG a DAVG.
GAVG a DAVG sa merajú, zatiaľ čo KAVG sa vypočítava: GAVG–DAVG.
Zastavme sa podrobnejšie pri KAVG. Pri normálnom fungovaní by mal KAVG smerovať k nule alebo, aspoň, byť významne menší než DAVG. Jediný známy prípad, keď je KAVG očakávane vysoký, je obmedzenie IOPS na disku VM. V takom prípade, pri pokuse o prekročenie limitu, bude KAVG narastať.
Najvýznamnejšou súčasťou KAVG je QAVG – čas v rade na spracovanie v rámci hypervízora. Ostatné zložky KAVG sú zanedbateľne malé.
Rada v ovládači diskového adaptéra a rada k lunám má pevne stanovenú veľkosť. Pre vysoko zaťažené prostredia býva prospešné túto veľkosť zvýšiť. opisuje, ako zvýšiť rady v ovládači adaptéra (súčasne sa zvýši rada k lunám). Toto nastavenie funguje, keď s lunou pracuje iba jeden VM, čo sa stáva zriedka. Ak na lune pracuje viac VM, je potrebné tiež zvýšiť parameter Disk.SchedNumReqOutstanding (inštrukcia ). Zvýšením radu znižujete QAVG a KAVG príslušne.
Ale opäť, najprv sa oboznámte s dokumentáciou od dodávateľa HBA a otestujte zmeny na laboratórnom stande.
Na veľkosť radu k lune môže mať vplyv aktivácia mechanizmu SIOC (Storage I/O Control). Tento mechanizmus zaisťuje rovnaký prístup k lune zo strany všetkých serverov klastru prostredníctvom dynamickej úpravy radu k lune na serveroch. To znamená, že ak na niektorom z hostiteľov beží VM, ktorá potrebuje neprimerane veľa výkonu (noisy neighbor VM), SIOC znižuje dĺžku radu k lune na tomto hostiteľovi (DQLEN). Podrobnejšie .
S KAVG sme skončili, teraz trochu o DAVG. Tu je to jednoduché: DAVG – to je zdržanie, ktoré spôsobuje vonkajšie prostredie (sieť na prenos dát a úložný systém). V každom modernom a nie veľmi modernom úložnom systéme sú vlastné počítadlá výkonu. Pre analýzu problémov s DAVG má zmysel sa na ne pozerať. Ak je však zo strany ESXi a úložného systému všetko v poriadku, kontrolujte sieť na prenos dát.
Aby ste sa vyhli problémom s výkonom, vyberte správnu politiku výberu ciest (PSP) pre vaše úložisko. Takmer všetky moderné úložiská podporujú PSP Round-Robin (s ALUA, Asymetrický prístup k logickej jednotke, alebo bez). Táto politika umožňuje využívať všetky dostupné cesty k úložisku. V prípade ALUA sa používajú len cesty k ovládaču, ktorý vlastní LUN. Nie všetky úložiská na ESXi majú predvolené pravidlá, ktoré nastavujú politiku Round-Robin. Ak pre vaše úložisko pravidlo neexistuje, použite plugin od výrobcu úložiska, ktorý vytvorí zodpovedajúce pravidlo na všetkých hostiteľoch klastru, alebo vytvorte pravidlo sami. Podrobnosti .
Niektorí výrobcovia úložísk tiež odporúčajú zmeniť počet IOPS na ceste zo štandardnej hodnoty 1000 na 1. V našej praxi to umožnilo „vytiahnuť“ z úložiska viac výkonu a výrazne skrátiť čas potrebný na failover v prípade zlyhania alebo aktualizácie ovládačov. Porovnajte sa s odporúčaniami dodávateľa a ak nie sú žiadne kontraindikácie, skúste zmeniť tento parameter. Podrobnosti .
Hlavné ukazovatele výkonu diskového subsystému virtuálneho stroja
Ukazovatele výkonu diskového subsystému vo vCenter sú zhromaždené v sekciách Datastore, Disk, Virtual Disk:
V sekcii Datastore sú metriky diskových úložísk vSphere (datastore), na ktorých sú umiestnené disky VM. Tu nájdete štandardné ukazovatele pre:
- IOPS (Priemerné čítacie/zapisovacie požiadavky za sekundu),
- priepustnosť (Rýchlosť čítania/zápisu),
- oneskorenie (Čítacie/Zapisovacie/NaHighest oneskorenie).
Z názvov ukazovateľov je v podstate všetko jasné. Ešte raz zdôrazním, že tu štatistika nie je pre konkrétny VM (alebo disk VM), ale celková pre celé datastore. Podľa môjho názoru je túto štatistiku pohodlnejšie sledovať v ESXTOP, aspoň kvôli tomu, že minimálny interval merania tam je 2 sekundy.
V sekcii Disk sú metriky pre blokové zariadenia, ktoré sa používajú VM. Tu sú ukazovatele pre IOPS typu summation (počet operácií vstupu/výstupu za merací interval) a niekoľko ukazovateľov, ktoré sa týkajú blokového prístupu (Commands aborted, Bus resets). Túto informáciu, podľa môjho názoru, je taktiež pohodlnejšie sledovať v ESXTOP.
Sekcia Virtual Disk – je najviac užitočný z hľadiska vyhľadávania problémov s výkonom diskového subsystému VM. Tu si môžete pozrieť výkon každého virtuálneho disku. Práve tieto informácie sú potrebné na zistenie, či má konkrétna virtuálna mašina problémy. Okrem štandardných čítačov počtu operácií vstupu/výstupu, objemu čítania/písania a latencií sú v tejto sekcii prítomné užitočné čítače, ktoré ukazujú veľkosť bloku: Veľkosť požiadavky na čítanie/písanie.
Na obrázku nižšie je graf výkonu disku VM, na ktorom môžete vidieť množstvo IOPS, latencie a veľkosť bloku.
Takisto môžete zobraziť metriky výkonu pre celý dátový sklad, ak je povolené SIOC. Tu sú základné informácie o priemernej latencii a IOPS. Predvolene je možné tieto informácie zobraziť iba v reálnom čase.
ESXTOP
V ESXTOP je niekoľko obrazoviek, na ktorých sú zobrazené informácie o diskovom subsystéme hostiteľa ako celku, jednotlivých virtuálnych strojoch a ich diskoch.
Začneme s informáciami o virtuálnych strojoch. Obrazovka „Disk VM“ je vyvolaná klávesou „v“:
NVDISK – to je počet diskov VM. Ak chcete zobraziť informácie o každom disku, stlačte „e“ a zadajte GID zaujímavého VM.
Hodnoty ostatných parametrov na tejto obrazovke sú jasné zo svojich názvov.
Ďalšia užitočná obrazovka pri hľadaní problémov je – Disk adapter. Vyvoláva sa klávesou „d“ (na obrázku nižšie sú vybrané polia A,B,C,D,E,G):
NPTH – počet ciest k lunám, ktoré sú viditeľné z tohto adaptéra. Ak chcete získať informácie o každej ceste na adaptéri, stlačte „e“ a zadajte názov adaptéra:
AQLEN – maximálna veľkosť fronty na adaptéri.
Na tejto obrazovke sú taktiež zobrazené čítače latencií, o ktorých som hovoril vyššie: KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.
Na obrazovke Disk device, ktorá sa vyvolá klávesou „u“, sú zobrazené informácie o jednotlivých blokových zariadeniach – lunách (na obrázku nižšie sú vybrané polia A, B, F, G, I). Tu môžete vidieť stav fronty k lunám.
DQLEN – veľkosť fronty pre blokové zariadenie.
ACTV – počet príkazov vstupu/výstupu v jadre ESXi.
QUED – počet príkazov vstupu/výstupu vo fronte.
%USD – ACTV / DQLEN × 100%.
LOAD – (ACTV + QUED) / DQLEN.
Ak je %USD vysoké, stojí za zváženie možnosť zvýšenia fronty. Čím viac príkazov je vo fronte, tým vyššie QAVG a, samozrejme, KAVG.
Na obrazovke Disk device si môžete pozrieť, či na SČD funguje VAAI (vStorage API for Array Integration). Na to je potrebné zvoliť polia A a O.
Mechanizmus VAAI umožňuje presunúť časť práce z hypervízora priamo na SČD, napríklad nulovanie, kopírovanie blokov alebo blokovanie.
Ako je vidieť na obrázku vyššie, na tejto SČD VAAI funguje: aktívne sa využívajú primitívy Zero a ATS.
Tipy na optimalizáciu práce s diskovým subsystémom na ESXi
- Venovať pozornosť veľkosti bloku.
- Nastaviť optimálnu veľkosť frontu na HBA.
- Nezabudnite zapnúť SIOC na datastoroch.
- Vyberte PSP v súlade s odporúčaniami výrobcu SČD.
- Uistite sa, že VAAI funguje.
Užitočné články na tému:
Zdroj: habr.com
