
V tomto článku sa budeme zaoberať počítadlami výkonu pamäte RAM vo vSphere.
Zatiaľ čo pamäť je v porovnaní s procesorom jednoznačnejšia: ak sa vo VM objavia problémy s výkonom, ťažko si ich nevšimnete. Na druhej strane, ak sa objavia, je s nimi oveľa ťažšie zaobchádzať. Ale poďme po poradí.
Trochu teórie
Pamäť RAM virtuálnych strojov sa berie z pamäte servera, na ktorých VM bežia. Je to celkom samozrejmé :). Ak serveru chýba pamäť pre všetky žiadajúce, ESXi začne uplatňovať techniky optimalizácie spotreby pamäte (techniky obnova pamäte). V opačnom prípade by operačné systémy VM padli s chybami prístupu do RAM.
Aké techniky aplikovať, sa ESXi rozhoduje v závislosti od zaťaženia pamäte:
Stav pamäte
Hranica
Akcie
Vysoká
400 % z minFree
Po dosiahnutí hornej hranice sú veľké stránky pamäte rozdelené na malé (TPS pracuje v štandardnom režime).
Vymazať
100 % z minFree
Veľké stránky pamäte sú rozdelené na malé, TPS pracuje nútene.
Soft
64 % z minFree
TPS + Balloon
Hard
32 % z minFree
TPS + Compress + Swap
Nízka
16 % z minFree
Compress + Swap + Block
minFree je pamäť RAM potrebná na fungovanie hypervízora.
Do verzie ESXi 4.1 vrátane bola minFree predvolene fixná - 6 % z objemu pamäte servera (percento sa dalo zmeniť cez voľbu Mem.MinFreePct na ESXi). V novších verziách, vzhľadom na nárast objemov pamäte na serveroch, sa minFree začalo počítať na základe objemu pamäte hostiteľa, a nie ako fixné percentuálne hodnotenie.
Hodnota minFree (predvolene) sa počíta nasledujúcim spôsobom:
Percento pamäte vyhradené pre minFree
Rozsah pamäte
6%
0-4 GB
4%
4-12 GB
2%
12-28 GB
1%
Zostávajúca pamäť
Napríklad pre server s 128 GB RAM bude hodnota MinFree nasledovná:
MinFree = 245,76 + 327,68 + 327,68 + 1024 = 1925,12 MB = 1,88 GB
Skutočná hodnota sa môže líšiť o pár stoviek MB, čo závisí od servera a pamäte RAM.
Percento pamäte vyhradené pre minFree
Rozsah pamäte
Hodnota pre 128 GB
6%
0-4 GB
245,76 MB
4%
4-12 GB
327,68 MB
2%
12-28 GB
327,68 MB
1%
Zostávajúca pamäť (100 GB)
1024 MB
Obvykle pre produkčné pracoviská je normálne považovať len stav Vysoký. Pre testovacie a vývojové prostredia môžu byť prijateľné stavy Clear/Soft. Ak na hostiteľovi zostane menej ako 64 % MinFree, potom sú na ňom bežiace VM určite pozorované problémy s výkonom.
V každom stave sa aplikujú určité techniky uvoľňovania pamäte, začínajúc TPS, ktorý prakticky neovplyvňuje výkon VM, a končiac swapovaním. Povediem vás podrobnejšie o nich.
Transparent Page Sharing (TPS). TPS je v podstate deduplikácia strán operačnej pamäte virtuálnych strojov na serveri.
ESXi vyhľadáva rovnaké stránky operačnej pamäte virtuálnych strojov, počíta a porovnáva hash hodnoty strán a odstraňuje duplicity strán, nahrádzajúc ich odkazmi na jednu a tú istú stránku v fyzickej pamäti servera. V dôsledku toho sa znižuje spotreba fyzickej pamäte a je možné dosiahnuť určitú over-subscription pamäte takmer bez zníženia výkonu.

Tento mechanizmus funguje len pre stránky pamäte veľkosti 4 KB (malé stránky). Hypervízor sa ani nepokúša deduplikovať stránky veľkosti 2 MB (veľké stránky); šanca na nájdenie rovnakých stránok tejto veľkosti nie je veľká.
Predvolene ESXi prideľuje pamäť veľkým stránkam. Rozdelenie veľkých stránok na malé sa začína pri dosiahnutí prahu stavu High a vynucuje sa, keď sa dosiahne stav Clear (pozri tabuľku stavov hypervízora).
Ak však chcete, aby TPS začal pracovať, bez čakania na zaplnenie operačnej pamäte hostiteľa, je potrebné v Pokročilých možnostiach ESXi nastaviť hodnotu “Mem.AllocGuestLargePage” na 0 (predvolene 1). Týmto sa deaktivuje prideľovanie veľkých stránok pamäte pre virtuálne stroje.
Od decembra 2014 je vo všetkých verziách ESXi TPS medzi VM predvolene vypnutý, pretože bola objavená zraniteľnosť, ktorá teoreticky umožňuje získať prístup z jedného VM k operačnej pamäti iného VM. Podrobnosti tu. Informácie o praktickej realizácii zneužitia zraniteľnosti TPS som nezaznamenal.
Politika TPS sa riadi prostredníctvom pokročilej možnosti “Mem.ShareForceSalting” na ESXi:
0 — Inter-VM TPS. TPS pracuje pre stránky rôznych VM;
1 – TPS pre VM s rovnakou hodnotou “sched.mem.pshare.salt” v VMX;
2 (predvolene) – Intra-VM TPS. TPS pracuje pre stránky vo vnútri VM.
Rozhodne má zmysel vypnúť veľké stránky a zapnúť Inter-VM TPS na testovacích staniciach. To sa dá tiež použiť pre stanice s väčším množstvom rovnakých VM. Napríklad na staniciach s VDI môže úspora fyzickej pamäte dosiahnuť desiatky percent.
Memory Ballooning. Ballooning už nie je taká bezproblémová a pre operačný systém VM technika ako TPS. Ale pri správnom použití s Ballooningom je možné žiť a dokonca pracovať.
Spolu s Vmware Tools sa na VM inštaluje špeciálny ovládač nazývaný Balloon Driver (takisto vmmemctl). Keď hypervízor začne mať nedostatok fyzickej pamäte a prejde do stavu Soft, ESXi požiada VM, aby vrátila nepoužívanú RAM cez tento Balloon Driver. Ovládač na svoju stranu pracuje na úrovni operačného systému a žiada voľnú pamäť od neho. Hypervízor vidí, ktoré stránky fyzickej pamäte zaberá Balloon Driver, zoberie pamäť od virtuálnej mašiny a vráti ju hostiteľovi. Problémy s fungovaním OS nevznikajú, pretože na úrovni OS je pamäť obsadená Balloon Driverom. Podľa predvolených nastavení môže Balloon Driver vziať až 65% pamäte VM.
Ak na VM nie sú nainštalované VMware Tools alebo je Ballooning vypnuté (neodporúčam, ale existuje :), hypervízor okamžite prechádza k prísnejším technikám odoberania pamäte. Záver: dbajte na to, aby VMware Tools boli na VM.

Funkciu Balloon Drivera môžete skontrolovať z OS cez VMware Tools.
Memory Compression. Táto technika sa aplikuje, keď ESXi dosiahne stav Hard. Ako vyplýva z názvu, ESXi sa snaží komprimovať 4 KByte stránky operačnej pamäte na 2 KByte a tým uvoľniť trochu miesta v fyzickej pamäti servera. Táto technika výrazne zvyšuje čas prístupu k obsahu stránok operačnej pamäte VM, pretože stránku je potrebné najprv dekomprimovať. Niekedy sa nepodarí skomprimovať všetky stránky a samotný proces si zaberie určitý čas. Preto táto technika v praxi nie je veľmi efektívna.
Memory Swapping. Po krátkej fáze Memory Compression ESXi takmer nevyhnutne (ak VM neodišli na iné hosty alebo sa nevypnuli) prechádza k Swappingu. A ak sa pamäť takmer vyčerpá (stav Low), hypervízor taktiež prestane prideľovať VM stránky pamäte, čo môže spôsobiť problémy v hosťujúcich OS VM.
Takto funguje Swapping. Po zapnutí virtuálneho stroja sa vytvorí súbor s príponou .vswp. Jeho veľkosť zodpovedá nevyhradenej RAM virtuálneho stroja: to je rozdiel medzi nakonfigurovanou a vyhradenou pamäťou. Pri práci Swappingu ESXi uvoľňuje stránky pamäte virtuálneho stroja do tohto súboru a začína s ním pracovať namiesto fyzickej pamäte servera. Samozrejme, takáto "operačná" pamäť je niekoľko poriadkov pomalšia ako skutočná, aj keď sa .vswp nachádza na rýchlom úložisku.
Na rozdiel od Ballooningu, pri ktorom sa virtuálnemu stroju odoberajú nevyužívané stránky, môžu pri Swappingu na disk prejsť aj stránky, ktoré aktívne používajú operačný systém alebo aplikácie vo virtuálnom stroji. V dôsledku toho sa výkon virtuálneho stroja znižuje až do úplného zamrznutia. Virtuálny stroj formálne pracuje a je možné ho aspoň správne vypnúť z operačného systému. Ak budete trpezliví 😉
Ak virtuálne stroje prešli do Swap — ide o nepriaznivú situáciu, ktorej sa radšej treba vyhnúť.
Hlavné ukazovatele výkonu pamäte virtuálneho stroja
Tu sme sa dostali k podstatnému. Na monitorovanie stavu pamäte vo virtuálnom stroji existujú nasledujúce ukazovatele:
Aktívne — ukazuje objem operačnej pamäte (KB), ku ktorému virtuálny stroj získal prístup v predchádzajúcom meracom období.
Použitie — to isté ako Active, ale v percentách z nakonfigurovanej operačnej pamäte virtuálneho stroja. Vypočítava sa podľa nasledujúceho vzorca: active ÷ veľkosť nakonfigurovanej pamäte virtuálneho stroja.
Vysoké Usage a Active preto nie vždy znamená, že výkon virtuálneho stroja je problémový. Ak virtuálny stroj agresívne využíva pamäť (aspoň k nej získava prístup), neznamená to, že je nedostatok pamäte. Skôr je to dôvod, aby sme sa pozreli, čo sa deje v operačnom systéme.
Existuje štandardný Alarm na Memory Usage pre virtuálne stroje:

Zdieľaný — objem operačnej pamäte virtuálneho stroja, deduplikovanej pomocou TPS (vo virtuálnom stroji alebo medzi virtuálnymi strojmi).
Granted — objem fyzickej pamäte hostiteľa (KB), ktorý bol pridelený virtuálnemu stroju. Zohľadňuje Shared.
Consumed (Granted — Shared) — objem fyzickej pamäte (KB), ktorú virtuálny stroj využíva z hostiteľa. Nezohľadňuje Shared.
Ak časť pamäte virtuálneho stroja nie je poskytovaná z fyzickej pamäte hostiteľa, ale zo swap súboru alebo pamäť je odobraná virtuálnemu stroju prostredníctvom Balloon Driver, tento objem sa nezohľadňuje v Granted a Consumed.
Vysoké hodnoty Granted a Consumed sú úplne normálne. Operačný systém postupne berie pamäť od hypervízora a nevracia ju späť. S časom sa pri aktívne fungujúcej VM hodnoty týchto čítačov blížia objemu konfigurovanej pamäte, a tam zostávajú.
Nula — objem RAM VM (kB), ktorý obsahuje nuly. Taká pamäť je považovaná hypervízorom za voľnú a môže byť poskytnutá iným virtuálnym strojom. Po tom, čo hosťovský OS zapíše niečo do nulovanej pamäte, prechádza do stavu Consumed a späť sa už nevracia.
Reserved Overhead — objem RAM VM (kB) rezervovanej hypervízorom pre fungovanie VM. Je to malý objem, ale musí byť dostupný na hoste, inak VM nenastartuje.
Balloon — objem RAM (kB), ktorý bol odobratý VM pomocou Balloon Driver.
Compressed — objem RAM (kB), ktorý sa podarilo komprimovať.
Swapped — objem RAM (kB), ktorý sa z nedostatku fyzickej pamäte na serveri presunul na disk.
Balloon a ostatné čítače memory reclamation techniques sú rovné nule.
Takto vyzerá graf so čítačmi Memory normálne fungujúcej VM s 150 GB RAM.

Na grafe nižšie má VM jasné problémy. Pod grafom je vidieť, že pre túto VM boli použité všetky opísané techniky práce s RAM. Balloon pre túto VM je značne väčší než Consumed. V skutočnosti je VM skôr mŕtva než živá.

ESXTOP
Rovnako ako s CPU, ak chceme rýchlo zhodnotiť situáciu na hoste, ako aj jej dynamiku s intervalom do 2 sekúnd, stojí za to využiť ESXTOP.
Obrazovka ESXTOP pre Memory sa vyvoláva klávesou „m“ a vyzerá nasledovne (vybrané polia B,D,H,J,K,L,O):

Zaujímavé pre nás budú nasledujúce parametre:
Mem overcommit avg — priemerná hodnota pre overcommit pamäte na hoste za 1, 5 a 15 minút. Ak je nad nulou, je to dôvod pozrieť sa, čo sa deje, ale nie vždy naznačuje prítomnosť problémov.
V riadkoch PMEM/MB a VMKMEM/MB — informácie o fyzickej pamäti servera a pamäti dostupnej VMkernel. Zaujímavé je tu vidieť hodnotu minfree (v MB), stav hosta z hľadiska pamäte (v našom prípade, high).
V riadku NUMA/MB je možné vidieť rozdelenie RAM medzi NUMA-nódmi (sockety). V tomto príklade je rozdelenie nerovnomerné, čo nie je veľmi dobré.
Nasleduje celková štatistika servera ohľadom techník uvoľňovania pamäte:
PSHARE/MБ — štatistika TPS;
SWAP/MБ — štatistika využitia Swap;
ZIP/MБ — štatistika kompresie stránok pamäte;
MEMCTL/MБ — štatistika využitia ovládača Balloon.
Pre jednotlivé VM nás môže zaujímať nasledovná informácia. Mená VM som skryl, aby som neurážal publikum:). Ak je metrika ESXTOP podobná čítaču vo vSphere, uvádzam zodpovedajúci čítač.
MEMSZ — objem pamäte, nakonfigurovaný na VM (MB).
MEMSZ = GRANT + MCTLSZ + SWCUR + untouched.
GRANT — Grantované v MB.
TCHD — Aktívne v MB.
MCTL? — je na VM nainštalovaný ovládač Balloon.
MCTLSZ — Balloon v MB.
MCTLGT — objem RAM (MB), ktorý chce ESXi získať od VM prostredníctvom ovládača Balloon (Memctl Target).
MCTLMAX — maximálny objem RAM (MB), ktorý môže ESXi získať od VM prostredníctvom ovládača Balloon.
SWCUR — aktuálny objem RAM (MB), ktorý bol VM pridelený zo Swap súboru.
SWGT — objem RAM (MB), ktorý chce ESXi prideliť VM zo Swap súboru (Swap Target).
Cez ESXTOP je tiež možné získať podrobnejšie informácie o NUMA topológii VM. Na to je potrebné vybrať polia D,G:

NHN – NUMA uzly, na ktorých sa nachádza VM. Tu si môžete okamžite všimnúť „wide“ VM, ktoré sa nezmestia na jeden NUMA uzol.
NRMEM – koľko megabajtov pamäte VM berie z vzdialeného NUMA uzla.
NLMEM – koľko megabajtov pamäte VM berie z lokálneho NUMA uzla.
N%L – percento pamäte VM na lokálnom NUMA uzle (ak je menej ako 80% — môžu sa vyskytnúť problémy s výkonom).
Pamäť na hypervízore
Ak sú čítače CPU na hypervízore zvyčajne bez veľkého záujmu, situácia s pamäťou je opačná. Vysoká spotreba pamäte na VM neznamená vždy problém s výkonom, ale vysoká spotreba pamäte na hypervízore spúšťa techniky správy pamäte a spôsobuje problémy s výkonom VM. Je potrebné sledovať upozornenia na využitie pamäte hostiteľa a zabrániť, aby sa VM dostala do Swap.


Unswap
Ak sa VM dostane do Swap, jej výkon sa výrazne znižuje. Stopy Ballooningu a kompresie rýchlo miznú po tom, čo je na hostiteľovi opäť dostatok voľnej pamäte, avšak vracať sa zo Swap do pamäte servera sa virtuálna mašina nesnáži.
Až do verzie ESXi 6.0 bol jediným spoľahlivým a rýchlym spôsobom, ako vyňať VM zo Swap, reštart (presnejšie vypnutie a zapnutie kontajnera). Od verzie ESXi 6.0 sa objavil síce neoficiálny, ale funkčný a spoľahlivý spôsob, ako vyňať VM zo Swap. Na jednej z konferencií som mal možnosť komunikovať s jedným z inžinierov VMware, ktorý zodpovedal za CPU Scheduler. Potvrdil, že táto metóda je plne funkčná a bezpečná. V našich skúsenostiach sme žiadne problémy s ňou nezaznamenali.
Vlastne príkazy na vyňatie VM zo Swap Duncan Epping. Nebudem opakovať podrobnosti, len uvediem príklad jej použitia. Ako je vidieť na screenshotu, po určitom čase po vykonaní uvedeného príkazu sa Swap na VM vytratí.

Tipy na správu operačnej pamäte na ESXi
Na záver uvediem niekoľko tipov, ktoré vám pomôžu vyhnúť sa problémom s výkonom VM z dôvodu operačnej pamäte:
- Nedovoľte prepisovanie operačnej pamäte v produkčných klastroch. Odporúča sa mať vždy približne 20-30 % voľnej pamäte v klastri, aby mal DRS (a administrátor) priestor na manévrovanie, a počas migrácie VM neprešli do Swap. Nezabúdajte tiež na rezervu pre vysokú dostupnosť. Je nepríjemné, keď pri zlyhaní jedného servera a reštarte VM pomocou HA sú niektoré stroje ešte aj v Swap.
- V infraštruktúrach s vysokou konsolidáciou sa snažte NEROBIŤ VM s pamäťou väčšou ako polovica pamäte hostiteľa. To opäť pomôže DRS bez problémov rozdeľovať virtuálne stroje medzi servery klastra. Toto pravidlo nie je univerzálne :).
- Sledujte Alarm o využití pamäte hostiteľa.
- Nezabúdajte nainštalovať na VM VMware Tools a nevypínajte Ballooning.
- Zvážte možnosť zapnúť Inter-VM TPS a vypnúť Large Pages v prostrediach s VDI a testovacích prostrediach.
- Ak má VM problémy s výkonom, skontrolujte, či nepoužíva pamäť z diaľkovej NUMA nody.
- Vyberte VM zo Swap čo najrýchlejšie! Okrem iného, ak je VM v Swape, z očividných dôvodov trpí aj SCSI.
Týmto končím tému operačnej pamäte. Nižšie sú články na tému pre tých, ktorí sa chcú hlbšie ponoriť do detailov. Nasledujúci článok bude venovaný úložisku.
Užitočné odkazy
Zdroj: habr.com
