Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Dio 1. O CPU

U ovom članku govorimo o brojačima performansi radne memorije (RAM) u vSphere.
Čini se da je sa memorijom sve jasnije nego sa procesorom: ako na VM nastanu problemi s performansama, teško ih je ne primijetiti. Međutim, kada se pojave, mnogo je teže nositi se s njima. No, o svemu redom.

Malo teorije

Radna memorija virtualnih mašina dolazi iz memorije servera na kojem radite VM. To je sasvim očigledno :). Ako serveru nedostaje radne memorije za sve korisnike, ESXi počinje primjenjivati tehnike optimizacije potrošnje radne memorije (techniques memory reclamation). U suprotnom, operativni sistemi VM bi padali s greškama pristupa RAM-u.

Koje tehnike primijeniti ESXi odlučuje zavisno od opterećenja radne memorije:

Stanje memorije

Granica

Akcije

High

400% od minFree

Nakon dostizanja gornje granice, velike stranice memorije se razdvajaju na male (TPS radi u standardnom režimu).

Obriši

100% od minFree

Velike stranice memorije se razdvajaju na male, TPS radi prisilno.

Soft

64% od minFree

TPS + Balloon

Hard

32% od minFree

TPS + Compress + Swap

Low

16% od minFree

Compress + Swap + Block

Izvor

minFree je radna memorija potrebna za rad hipervizora.

Do ESXi 4.1 uključivo, minFree je po defaultu bio fiksan — 6% od ukupne radne memorije servera (procenat se mogao promijeniti putem opcije Mem.MinFreePct na ESXi). U novijim verzijama, zbog povećanja kapaciteta memorije na serverima, minFree se izračunava na osnovu zapremine memorije hosta, a ne kao fiksna procentualna vrijednost.

Vrijednost minFree (po defaultu) se smatra na sljedeći način:

Procenat memorije koja se rezerviše za minFree

Opseg memorije

6%

0-4 GB

4%

4-12 GB

2%

12-28 GB

1%

Preostala memorija

Izvor

Na primjer, za server sa 128 GB RAM-a, vrijednost MinFree će biti:
MinFree = 245,76 + 327,68 + 327,68 + 1024 = 1925,12 MB = 1,88 GB
Stvarna vrijednost može se razlikovati za nekoliko stotina MB, zavisno o serveru i radnoj memoriji.

Procenat memorije koja se rezerviše za minFree

Opseg memorije

Vrijednost za 128 GB

6%

0-4 GB

245,76 MB

4%

4-12 GB

327,68 MB

2%

12-28 GB

327,68 MB

1%

Preostala memorija (100 GB)

1024 MB

Obično se stanje High može smatrati normalnim za produktivne postavke. Za testne i razvojne postavke, prihvatljiva su stanja Clear/Soft. Ako na hostu preostane manje od 64% MinFree RAM-a, to će sigurno uzrokovati probleme s performansama za VM-ove koji na njemu rade.

U svakom stanju koriste se određene tehnike preuzimanja memorije počevši od TPS-a, koji praktički ne utiče na performanse VM-ova, do Swapping-a. O tome ću govoriti detaljnije.

Transparentno deljenje stranica (TPS). TPS je, grubo govoreći, dedupliciranje stranica radne memorije virtualnih mašina na serveru.

ESXi traži iste stranice radne memorije virtualnih mašina, izračunava i upoređuje hash vrednosti stranica te uklanja duplikate stranica, zamenjujući ih linkovima na istu stranicu u fizičkoj memoriji servera. Kao rezultat, smanjuje se potrošnja fizičke memorije i može se ostvariti određena prekomerna upotreba memorije praktično bez smanjenja performansi.

Analiza performansi VM u VMware vSphere. Dio 2: Memorija
Izvor

Ovaj mehanizam funkcioniše samo za stranice veličine 4 KBAjt (male stranice). Hipervizor čak ne pokušava da deduplikuje stranice veličine 2 MBAjt (velike stranice): šansa da se pronađu iste stranice te veličine nije velika.

Podrazumevano, ESXi dodeljuje memoriju velikim stranicama. Razbijanje velikih stranica na male počinje kada se dostigne prag stanja High i događa se prinudno kada se dostigne stanje Clear (pogledajte tabelu stanja hipervizora).

Ako želite da TPS započne sa radom pre nego što se popuni radna memorija hosta, u Advanced Options ESXi treba postaviti vrednost “Mem.AllocGuestLargePage” na 0 (podrazumevano 1). Tada će dodeljivanje velikih stranica memorije za virtualne mašine biti onemogućeno.

Od decembra 2014. godine u svim izdanjima ESXi, TPS između VM-ova je prema podrazumevanju isključen, jer je otkrivena ranjivost koja teoretski omogućava pristup radnoj memoriji jedne VM iz druge VM. Detalji su ovde. Informacije o praktičnoj implementaciji korišćenja ranjivosti TPS nisam našao.

Politika TPS-a kontroliše se preko napredne opcije “Mem.ShareForceSalting” na ESXi:
0 — Inter-VM TPS. TPS funkcioniše za stranice različitih VM-ova;
1 – TPS za VM-ove sa istom vrednošću “sched.mem.pshare.salt” u VMX-u;
2 (podrazumevano) – Intra-VM TPS. TPS funkcioniše za stranice unutar VM-a.

Definitivno je smisleno isključiti velike stranice i uključiti Inter-VM TPS na testnim stanicama. Također se može koristiti za stanice s velikim brojem istovrsnih VM-a. Na primjer, na stanicama s VDI, ušteda fizičke memorije može doseći desetine posto.

Memory Ballooning. Ballooning više nije tako bezopasna i transparentna tehnika za operacijski sistem VM kao TPS. Međutim, uz ispravno korištenje, moguće je živjeti pa čak i raditi s Ballooning-om.

Uz VMware Tools, na VM se instalira poseban driver, nazvan Balloon Driver (također vmmemctl). Kada hipervizoru počne nedostajati fizičke memorije i prelazi u stanje Soft, ESXi traži od VM-a da vrati neiskorištenu RAM putem ovog Balloon Driver-a. Driver, zauzvrat, radi na razini operacijskog sistema i traži slobodnu memoriju od njega. Hipervizor vidi koje stranice fizičke memorije zauzima Balloon Driver, uzima memoriju od virtualne mašine i vraća je hostu. Problemi s radom OS-a se ne javljaju, jer je na razini OS-a memorija zauzeta od strane Balloon Driver-a. Prema zadanim postavkama, Balloon Driver može uzeti do 65% memorije VM-a.

Ako na VM nisu instalirani VMware Tools ili je Ballooning isključen (ne preporučujem, ali postoji KB:), hipervizor odmah prelazi na rigoroznije tehnike oduzimanja memorije. Zaključak: pazite da VMware Tools budu instalirani na VM-u. KB:), hipervizor odmah prelazi na rigoroznije tehnike oduzimanja memorije. Zaključak: pazite da VMware Tools budu instalirani na VM-u.

Analiza performansi VM u VMware vSphere. Dio 2: Memorija
Rad Balloon Driver-a može se provjeriti iz OS-a putem VMware Tools..

Memory Compression. Ova tehnika se koristi kada ESXi dođe do stanja Hard. Kao što naziv sugerira, ESXi pokušava komprimirati 4 KB stranice RAM-a na 2 KB i tako osloboditi malo prostora u fizičkoj memoriji servera. Ova tehnika značajno povećava vrijeme pristupa sadržaju stranica RAM-a VM-a, jer se stranica mora unaprijed dekomprimirati. Ponekad nije moguće komprimirati sve stranice, a sam proces traje određeno vrijeme. Stoga ova tehnika u praksi nije jako efikasna.

Memory Swapping. Nakon kratke faze Memory Compression, ESXi gotovo neizbježno (ako VM-ovi nisu prebačeni na druge hostove ili isključeni) prelazi na Swapping. A ako je preostalo vrlo malo memorije (stanje Low), hipervizor također prestaje dodjeljivati VM-ima stranice memorije, što može uzrokovati probleme u gostujućim OS-ima VM-a.

Evo kako funkcioniše zamena. Kada se pokrene virtuelna mašina, kreira se fajl sa ekstenzijom .vswp. Po veličini odgovara nealokiranoj RAM-u VM-a: to je razlika između konfigurisanog i rezervisanog memorijskog prostora. Tokom zamene, ESXi premesta stranice RAM-a virtuelne mašine u ovaj fajl i počinje da koristi njega umesto fizičke memorije servera. Naravno, takva "memorija" je nekoliko redova sporija od stvarne, čak i ako se .vswp nalazi na bržem skladištu.

Za razliku od Ballooninga, kada se VM-u oduzimaju neiskorišćene stranice, prilikom zamene mogu se premestiti stranice koje aktivno koristi OS ili aplikacije unutar VM-a. Kao rezultat, performanse VM-a opadaju čak do zamrzavanja. VM formalno radi i može se pravilno isključiti iz OS-a. Ako budete strpljivi 😉

Ako je VM prešao u swap — to je vanredna situacija koju je bolje izbeći kad god je to moguće.

Glavni pokazatelji performansi memorije virtuelne mašine

Evo stigli smo do suštine. Za praćenje stanja memorije u VM-u postoje sledeći pokazatelji:

Aktivno — pokazuje količinu RAM-a (KB) kojoj je VM imala pristup u prethodnom periodu merenja.

Upotreba — isto što i Active, ali u procentima od konfigurisanog RAM-a VM-a. Izračunava se prema sledećoj formuli: active ÷ veličina konfigurisanog memorijskog prostora virtuelne mašine.
Visok Usage i Active, samim tim, nisu uvek pokazatelji problema sa performansama VM-a. Ako VM agresivno koristi memoriju (barem ima pristup), to ne znači da mu nedostaje RAM-a. Umesto toga, to je prilika da se pogleda šta se dešava u OS-u.
Postoji standardni alarm za korišćenje memorije za VM:

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Zajednički — količina RAM-a VM-a koja je deduplifikovana pomoću TPS (unutar VM-a ili između VM-a).

Pruženo — količina fizičke memorije hosta (KB) koja je data VM-u. Uključuje deljenu memoriju.

Konzumirana (Pruženo — Deljeno) — količina fizičke memorije (KB) koju VM konzumira sa hosta. Ne uključuje deljenu memoriju.

Ako deo memorije VM-a dolazi ne iz fizičke memorije hosta, već iz swap fajla ili ako je memorija oduzeta VM-u putem Balloon drajvera, ova količina se ne uzima u obzir u Pruženo i Konzumirano.
Visoke vrijednosti Granted i Consumed su sasvim normalne. Operativni sistem postepeno uzima memoriju od hipervizora i ne vraća je nazad. Tokom vremena, kod aktivne VM, vrednosti ovih brojača se približavaju količini konfigurisane memorije, i tu ostaju.

Nula — količina radne memorije VM (KB) koja sadrži nule. Ova memorija se smatra slobodnom od strane hipervizora i može se dati drugim virtualnim mašinama. Nakon što je gostujući OS zapisao nešto u ovu nulu, prelazi u status Consumed i više se ne vraća.

Reserved Overhead — količina radne memorije VM (KB) rezervisana od strane hipervizora za rad VM. Ovo je mala količina, ali ona mora biti dostupna na hostu, inače VM neće moći da se pokrene.

Balloon — količina radne memorije (KB) oduzeta od VM pomoću Balloon drajvera.

Compressed — količina radne memorije (KB) koja je uspela da se kompresuje.

Swapped — količina radne memorije (KB) koja je zbog nedostatka fizičke memorije na serveru prešla na disk.
Balloon i ostali brojači tehnika povrata memorije su jednaki nuli.

Ovako izgleda grafikon sa brojačima normalno radne VM koja ima 150 GB radne memorije.

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Na grafikonu ispod, VM ima očigledne probleme. Ispod grafikona se vidi da su sve opisane tehnike korišćene za ovu VM. Balloon za ovu VM je mnogo veći od Consumed. U suštini, VM je više mrtva nego živa.

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

ESXTOP

Kao i kod CPU, ako želimo brzo procenjivanje situacije na hostu, kao i njene dinamike u intervalu do 2 sekunde, treba da koristimo ESXTOP.

ESXTOP ekran za memoriju se poziva tasterom „m” i izgleda ovako (izabrana polja B,D,H,J,K,L,O):

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Zanimljive za nas će biti sledeće parametre:

Mem overcommit avg — prosečna vrednost prekomponovanja memorije na hostu tokom 1, 5 i 15 minuta. Ako je iznad nule, to je razlog da proverimo šta se dešava, ali to nije uvek pokazatelj problema.

U redovima PMEM/MB i VMKMEM/MB — informacije o fizičkoj memoriji servera i memoriji dostupnoj VMkernelu. Od interesovanja ovde možemo videti vrednost minfree (u MB), stanje hosta po memoriji (u našem slučaju, visoko).

U liniji NUMA/MB možemo videti raspodelu radne memorije po NUMA čvorovima (socket-ima). U ovom primeru raspodela nije ravnomerna, što u suštini nije dobro.

Što se tiče servera, ovdje su statistički podaci o tehnikama povratka memorije:

PSHARE/MB — statistika TPS;

SWAP/MB — statistika korištenja Swap-a;

ZIP/MB — statistika kompresije stranica memorije;

MEMCTL/MB — statistika korištenja Balloon Driver-a.

Za pojedinačne VM, mogla bi nas zanimati sljedeća informacija. Imena VM-a sam sakrio kako ne bih zbunio publiku:). Ako je ESXTOP metrika slična brojaču u vSphere, navodim odgovarajući brojač.

MEMSZ — volumen memorije konfiguriran na VM-u (MB).
MEMSZ = GRANT + MCTLSZ + SWCUR + untouched.

DODELI — Granted u MB.

TCHD — Active u MB.

MCTL? — je li Balloon Driver instaliran na VM-u.

MCTLSZ — Balloon u MB.

MCTLGT — količina RAM-a (MB) koju ESXi želi da oduzme od VM-a putem Balloon Driver-a (Memctl Target).

MCTLMAX — maksimalna količina RAM-a (MB) koju ESXi može oduzeti od VM-a putem Balloon Driver-a.

SWCUR — trenutna količina RAM-a (MB) dodijeljena VM-u iz Swap datoteke.

SWGT — količina RAM-a (MB) koju ESXi želi da dodijeli VM-u iz Swap datoteke (Swap Target).

Također, putem ESXTOP-a možete vidjeti detaljnije informacije o NUMA topologiji VM-a. Za to je potrebno odabrati polja D,G:

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

NHN – NUMA čvorovi na kojima se nalazi VM. Ovdje odmah možete primijetiti wide VM-ove koji ne staju na jedan NUMA čvor.

NRMEM – koliko megabajta memorije VM uzima s udaljenog NUMA čvora.

NLMEM – koliko megabajta memorije VM uzima s lokalnog NUMA čvora.

N%L – procenat memorije VM-a na lokalnom NUMA čvoru (ako je ispod 80% — mogu se pojaviti problemi sa performansama).

Memorija na hiper-vizoru

Ako brojaci CPU-a na hiper-vizoru obično nemaju poseban značaj, situacija s memorijom je drugačija. Visoka upotreba memorije na VM-u ne uvijek ukazuje na postojanje problema s performansama, dok visoka upotreba memorije na hiper-vizoru pokreće tehnike upravljanja memorijom i uzrokuje probleme s performansama VM-a. Treba pratiti alarme korištenja memorije hosta i ne dopustiti da VM ode u Swap.

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Unswap

Ako je VM otišao u Swap, njegova performansa se značajno smanjuje. Tragovi Ballooning-a i kompresije brzo nestaju nakon povratka slobodne memorije na hostu, dok se VM ne žuri vratiti iz Swap-a u serverovu memoriju.
Do verzije ESXi 6.0 jedini pouzdani i brzi način za izbacivanje VM iz Swap-a bio je restart (tačnije, gašenje/uključivanje kontejnera). Počevši od ESXi 6.0, postoji iako ne potpuno zvaničan, ali radan i pouzdan način za izbacivanje VM iz Swap-a. Na jednoj od konferencija uspeo sam da razgovaram sa jednim od inženjera VMware-a, koji se bavi CPU Scheduler-om. Potvrdio je da je način sasvim funkcionalan i siguran. U našem iskustvu takođe nije primećeno nijedne poteškoće sa tim.

Upravo komande za izbacivanje VM iz Swap-a opisao Duncan Epping. Neću ponavljati detaljan opis, samo ću dati primer njene upotrebe. Kao što se može videti na ekranu, nakon nekog vremena posle izvršenja navedene komande, Swap na VM nestaje.

Analiza performansi VM u VMware vSphere. Dio 2: Memorija

Saveti za upravljanje radnom memorijom na ESXi

Na kraju, daću nekoliko saveta koji će vam pomoći da izbegnete probleme sa performansama VM zbog radne memorije:

  • Ne dozvolite prepisivanje radne memorije u produkcijskim klasterima. Preporučljivo je uvek imati ~20-30% slobodne memorije u klasteru, kako bi DRS (i administrator) imali prostora za manevrisanje, i kako prilikom migracije VM ne bi otišli u Swap. Takođe, ne zaboravite na rezervu za otpornost na greške. Neprijatno je kada, prilikom kvara jednog servera i ponovnog pokretanja VM korišćenjem HA, deo mašina ode u Swap.
  • U infrastrukturnim okruženjima sa visokom konzolidacijom, trudite se da NE kreirate VM sa memorijom većom od polovine pamćenja hosta. Ovo će ponovo pomoći DRS-u da bez problema raspoređuje virtuelne mašine po serverima klastera. Ova pravila, naravno, nisu univerzalna :).
  • Pratite Host Memory Usage Alarm.
  • Ne zaboravite da instalirate VMware Tools na VM i ne isključujte Ballooning.
  • Razmotrite mogućnost uključivanja Inter-VM TPS i isključivanja Large Pages u VDI okruženjima i testnim okruženjima.
  • Ako VM ima probleme sa performansama, proverite da li koristi memoriju sa udaljenog NUMA čvora.
  • Izbacite VM iz Swap-a što je brže moguće! Pored svega, ako je VM u Swap-u, iz očiglednih razloga pati i skladište.

Na ovom mestu završavam sa radnom memorijom. Ispod su članci na temu za one koji žele da se dublje upuste u detalje. Sledeći članak će biti posvećen skladištu.

Korisne poveznicehttp://www.yellow-bricks.com/2015/03/02/what-happens-at-which-vsphere-memory-state/
http://www.yellow-bricks.com/2013/06/14/how-does-mem-minfreepct-work-with-vsphere-5-0-and-up/
https://www.vladan.fr/vmware-transparent-page-sharing-tps-explained/
http://www.yellow-bricks.com/2016/06/02/memory-pages-swapped-can-unswap/
https://kb.vmware.com/s/article/1002586
https://www.vladan.fr/what-is-vmware-memory-ballooning/
https://kb.vmware.com/s/article/2080735
https://kb.vmware.com/s/article/2017642
https://labs.vmware.com/vmtj/vmware-esx-memory-resource-management-swap
https://blogs.vmware.com/vsphere/2013/10/understanding-vsphere-active-memory.html
https://www.vmware.com/support/developer/converter-sdk/conv51_apireference/memory_counters.html
https://docs.vmware.com/en/VMware-vSphere/6.5/vsphere-esxi-vcenter-server-65-monitoring-performance-guide.pdf

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster