Анализа на перформансите на VM во VMware vSphere. Дел 3: Складирање

Дел 1. За процесорот
Дел 2. За меморијата

Денес ќе ги анализираме метриките на подсистемот на дискот во vSphere. Проблемот со складирањето е најчеста причина за бавна виртуелна машина. Ако, во случај на процесорот и RAM меморијата, решавањето проблеми заврши на ниво на хипервизор, тогаш ако има проблеми со дискот, можеби ќе треба да се справите со мрежата на податоци и системот за складирање.

Ќе разговарам за темата користејќи го примерот за блок пристап до системите за складирање, иако за пристап до датотеки бројачите се приближно исти.

Малку теорија

Кога зборуваме за перформансите на подсистемот на дискот на виртуелните машини, луѓето обично обрнуваат внимание на три меѓусебно поврзани параметри:

• број на влезно/излезни операции (Влезни/Излезни операции во секунда, IOPS);
• пропусната моќ;
• одложување на влезно/излезни операции (Latency).

Број на IOPS обично важно за случајни оптоварувања: пристап до блокови на дискови лоцирани на различни места. Пример за такво оптоварување може да бидат базите на податоци, деловните апликации (ERP, CRM) итн.

Производство важно за секвенцијални оптоварувања: пристап до блокови лоцирани еден по друг. На пример, серверите за датотеки (но не секогаш) и системите за видео надзор можат да генерираат такво оптоварување.

Пропусната моќ е поврзана со бројот на I/O операции како што следува:

Пропусност = IOPS * Големина на блок, каде што големината на блокот е големината на блокот.

Големината на блокот е прилично важна карактеристика. Современите верзии на ESXi дозволуваат блокови со големина до 32 KB. Ако блокот е уште поголем, тој е поделен на неколку. Не сите системи за складирање можат ефикасно да работат со толку големи блокови, така што има параметар DiskMaxIOSize во ESXi Advanced Settings. Користејќи го, можете да ја намалите максималната големина на блок што ја прескокнува хипервизорот (повеќе детали тука). Пред да го промените овој параметар, препорачувам да се консултирате со производителот на системот за складирање или барем да ги тестирате промените на лабораториска клупа. 

Голема големина на блок може да има штетен ефект врз перформансите на складирањето. Дури и ако бројот на IOPS и пропусната моќ се релативно мали, може да се забележат високи латенции со голема големина на блок. Затоа, обрнете внимание на овој параметар.

Латентност – најинтересниот параметар за изведба. Латентноста на В/И за виртуелна машина се состои од:

• одложувања во внатрешноста на хипервизорот (KAVG, просечен кернел MilliSec/Read);
• доцнење обезбедено од мрежата на податоци и системот за складирање (DAVG, просечен драјвер MilliSec/Command).

Вкупната латентност што е видлива во гостинскиот оперативен систем (GAVG, Average Guest MilliSec/Command) е збир од KAVG и DAVG.

Се мерат GAVG и DAVG и се пресметува KAVG: GAVG–DAVG.

Извор

Ајде да погледнеме подетално КАВГ. При нормална работа, KAVG треба да има тенденција на нула или барем да биде многу помал од DAVG. Единствениот случај што го знам каде KAVG е очекувано висок е ограничувањето на IOPS на VM дискот. Во овој случај, кога ќе се обидете да ја надминете границата, KAVG ќе се зголеми.

Најзначајната компонента на KAVG е QAVG - времето на редот за обработка во хипервизорот. Останатите компоненти на KAVG се занемарливи.

Редот во двигателот на адаптерот на дискот и редот до месечините има фиксна големина. За многу оптоварени средини, може да биде корисно да се зголеми оваа големина. Тука опишува како да се зголемат редиците во двигателот на адаптерот (истовремено ќе се зголеми редицата до месечините). Оваа поставка работи кога само еден VM работи со Месечината, што е ретко. Ако има неколку VM на Месечината, мора да го зголемите и параметарот Disk.SchedNumReqOutstanding (инструкции  тука). Со зголемување на редот, ги намалувате QAVG и KAVG соодветно.

Но, повторно, прво прочитајте ја документацијата од продавачот на HBA и тестирајте ги промените на лабораторија.

На големината на редот до Месечината може да влијае вклучувањето на механизмот SIOC (Storage I/O Control). Обезбедува униформен пристап до Месечината од сите сервери во кластерот со динамично менување на редот до месечината на серверите. Односно, ако еден од домаќините работи на VM што бара непропорционална количина на перформанси (бучен сосед VM), SIOC ја намалува должината на редот до месечината на овој домаќин (DQLEN). Повеќе детали тука.

Го средивме KAVG, сега малку за ДАВГ. Сè е едноставно овде: DAVG е доцнењето воведено од надворешната средина (мрежа на податоци и систем за складирање). Секој модерен и не толку модерен систем за складирање има свои бројачи за перформанси. За да ги анализирате проблемите со DAVG, има смисла да ги погледнете. Ако сè е во ред на страната на ESXi и складирањето, проверете ја податочната мрежа.

За да избегнете проблеми со перформансите, изберете ја правилната политика за избор на патека (PSP) за вашиот систем за складирање. Речиси сите модерни системи за складирање поддржуваат PSP Round-Robin (со или без ALUA, асиметричен пристап до логичка единица). Оваа политика ви овозможува да ги користите сите достапни патеки до системот за складирање. Во случајот на ALUA, се користат само патеките до контролорот што ја поседува Месечината. Не сите системи за складирање на ESXi имаат стандардни правила што ја поставуваат политиката Round-Robin. Ако не постои правило за вашиот систем за складирање, користете приклучок од производителот на системот за складирање, кој ќе создаде соодветно правило за сите хостови во кластерот или сами креирајте правило. Детали тука. 

Исто така, некои производители на системи за складирање препорачуваат промена на бројот на IOPS по патека од стандардната вредност од 1000 на 1. Во нашата пракса, ова овозможи да се „исцеди“ повеќе перформанси од системот за складирање и значително да се намали времето потребно за откажување во случај на дефект или ажурирање на контролорот. Проверете ги препораките на продавачот и ако нема контраиндикации, обидете се да го промените овој параметар. Детали тука.

Основни бројачи за перформанси на потсистемите на дискот на виртуелната машина

Бројачите за перформанси на потсистемите на дискот во vCenter се собрани во секциите Datastore, Disk, Virtual Disk:

Во делот База на податоци има метрика за складишта на дискови vSphere (датотеки) на кои се наоѓаат VM-дисковите. Овде ќе најдете стандардни бројачи за:

• IOPS (просечни барања за читање/запишување во секунда), 
• пропусната моќ (стапка на читање/запишување), 
• одложувања (Читање/Запишување/Највисока латентност).

Во принцип, сè е јасно од имињата на шалтерите. Дозволете ми да ви го свртам вниманието уште еднаш на фактот дека статистиката овде не е за одреден VM (или VM диск), туку општа статистика за целата продавница за податоци. Според мене, попогодно е да се погледнат овие статистики во ESXTOP, барем врз основа на фактот дека минималниот период на мерење таму е 2 секунди.

Во делот Диск има метрика на блок уредите што ги користи VM. Постојат бројачи за IOPS од типот на сумирање (бројот на влезно/излезни операции за време на периодот на мерење) и неколку бројачи поврзани со блокираниот пристап (Наредбите се прекинати, автобусот се ресетира). Според мое мислење, исто така е попогодно да се видат овие информации во ESXTOP.

Дел Виртуелен диск – најкорисен од гледна точка на наоѓање проблеми со перформансите на потсистемот VM диск. Овде можете да ги видите перформансите за секој виртуелен диск. Токму овие информации се потребни за да се разбере дали одредена виртуелна машина има проблем. Покрај стандардните бројачи за бројот на I/O операции, волуменот за читање/запишување и одложувањата, овој дел содржи корисни бројачи кои ја прикажуваат големината на блокот: Големина на барање за читање/запишување.

На сликата подолу е графикон за перформансите на VM дискот, каде што можете да го видите бројот на IOPS, латентноста и големината на блокот. 

Можете исто така да ги прегледате метриките за перформансите за целата продавница за податоци ако е овозможено SIOC. Еве основни информации за просечната латентност и IOPS. Стандардно, оваа информација може да се гледа само во реално време.

ESXTOP

ESXTOP има неколку екрани кои обезбедуваат информации за потсистемот на дискот домаќин како целина, поединечни виртуелни машини и нивните дискови.

Да почнеме со информации за виртуелните машини. Екранот „Disk VM“ се повикува со копчето „v“:

NVDISK е бројот на VM-дискови. За да видите информации за секој диск, притиснете „e“ и внесете го GID на VM од интерес.

Значењето на преостанатите параметри на овој екран е јасно од нивните имиња.

Друг корисен екран при решавање проблеми е адаптер за диск. Се повикува со копчето „d“ (полињата A,B,C,D,E,G се избрани на сликата подолу):

NPTH – бројот на патеки до месечините што се видливи од овој адаптер. За да добиете информации за секоја патека на адаптерот, притиснете „e“ и внесете го името на адаптерот:

АКЛЕН – максимална големина на редица на адаптерот.

Исто така, на овој екран се бројачите за одложување за кои зборував погоре: KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.

Екранот на уредот Диск, кој се повикува со притискање на копчето „u“, дава информации за поединечни блок уреди - месечини (полињата A, B, F, G, I се избрани на сликата подолу). Овде можете да го видите статусот на редицата за месечините.

DQLEN – големина на редот за блок уред.
ACTV – број на I/O команди во ESXi кернелот.
КУЕД – број на I/O команди во редот.
%USD – ACTV / DQLEN × 100%.
Вчитај – (ACTV + QUED) / DQLEN.

Ако %USD е висока, треба да размислите за зголемување на редот. Колку повеќе команди во редот, толку е поголем QAVG и, соодветно, KAVG.

Можете исто така да видите на екранот на уредот со диск дали VAAI (vStorage API за интеграција низа) работи на системот за складирање. За да го направите ова, изберете ги полињата A и O.

Механизмот VAAI ви овозможува да пренесете дел од работата од хипервизорот директно во системот за складирање, на пример, нулање, копирање блокови или блокирање.

Како што можете да видите на сликата погоре, VAAI работи на овој систем за складирање: активно се користат примитивите нула и ATS.

Совети за оптимизирање на работата со потсистемот на дискот на ESXi

• Обрнете внимание на големината на блокот.
• Поставете ја оптималната големина на редица на HBA.
• Не заборавајте да го овозможите SIOC на складишта за податоци.
• Изберете PSP во согласност со препораките на производителот на системот за складирање.
• Проверете дали VAAI работи.

Корисни поврзани статии:http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

Извор: www.habr.com