VMware vSphere의 VM 성능 분석. 파트 3: 저장

1부. CPU에 대하여
2부. 메모리에 대하여

오늘은 vSphere에서 디스크 하위 시스템의 메트릭을 분석하겠습니다. 스토리지 문제는 가상 머신 속도가 느려지는 가장 일반적인 이유입니다. CPU와 RAM의 경우 문제 해결이 하이퍼바이저 수준에서 끝나면 디스크에 문제가 있으면 데이터 네트워크와 스토리지 시스템을 처리해야 할 수도 있습니다.

파일 액세스의 경우 카운터는 거의 동일하지만 스토리지 시스템에 대한 블록 액세스의 예를 사용하여 주제를 논의하겠습니다.

약간의 이론

가상 머신의 디스크 하위 시스템 성능에 대해 이야기할 때 사람들은 일반적으로 세 가지 상호 연관된 매개변수에 주의를 기울입니다.

• 입력/출력 작업 수(초당 입력/출력 작업, IOPS)
• 처리량;
• 입출력 작업 지연(Latency).

IOPS 수 일반적으로 무작위 작업 부하에 중요합니다. 다른 위치에 있는 디스크 블록에 대한 액세스입니다. 이러한 로드의 예로는 데이터베이스, 비즈니스 애플리케이션(ERP, CRM) 등이 있을 수 있습니다.

처리량 순차 로드에 중요: 차례로 위치한 블록에 대한 액세스. 예를 들어 파일 서버(항상 그런 것은 아님)와 비디오 감시 시스템이 이러한 부하를 생성할 수 있습니다.

처리량은 다음과 같이 I/O 작업 수와 관련됩니다.

처리량 = IOPS * 블록 크기, 여기서 블록 크기는 블록 크기입니다.

블록 크기는 상당히 중요한 특성입니다. 최신 버전의 ESXi에서는 최대 32KB의 블록 크기를 허용합니다. 블록이 더 크면 여러 개로 나뉩니다. 모든 스토리지 시스템이 이러한 대규모 블록을 효율적으로 사용할 수 있는 것은 아니므로 ESXi 고급 설정에 DiskMaxIOSize 매개변수가 있습니다. 이를 사용하면 하이퍼바이저가 건너뛰는 최대 블록 크기를 줄일 수 있습니다(자세한 내용은 여기에). 이 매개변수를 변경하기 전에 스토리지 시스템 제조업체에 문의하거나 최소한 실험실 벤치에서 변경 사항을 테스트하는 것이 좋습니다. 

블록 크기가 크면 스토리지 성능에 해로운 영향을 미칠 수 있습니다. IOPS 수와 처리량이 상대적으로 작더라도 블록 크기가 크면 대기 시간이 길어질 수 있습니다. 그러므로 이 매개변수에 주의를 기울이십시오.

숨어 있음 – 가장 흥미로운 성능 매개변수. 가상 머신의 I/O 대기 시간은 다음으로 구성됩니다.

• 하이퍼바이저 내부 지연(KAVG, 평균 커널 MilliSec/Read)
• 데이터 네트워크 및 스토리지 시스템(DAVG, Average Driver MilliSec/Command)에서 제공하는 지연입니다.

게스트 OS(GAVG, Average Guest MilliSec/Command)에 표시되는 총 대기 시간은 KAVG와 DAVG의 합계입니다.

GAVG 및 DAVG가 측정되고 KAVG가 계산됩니다: GAVG–DAVG.

출처

좀 더 자세히 살펴 보겠습니다. KAVG. 정상 작동 중에 KAVG는 XNUMX이 되는 경향이 있거나 최소한 DAVG보다 훨씬 작아야 합니다. KAVG가 예상대로 높을 것으로 예상되는 유일한 경우는 VM 디스크의 IOPS 제한입니다. 이 경우 한도를 초과하려고 하면 KAVG가 증가합니다.

KAVG의 가장 중요한 구성 요소는 QAVG, 즉 하이퍼바이저 내부의 처리 대기열 시간입니다. KAVG의 나머지 구성 요소는 무시할 수 있습니다.

디스크 어댑터 드라이버의 큐와 달에 대한 큐의 크기는 고정되어 있습니다. 로드가 많은 환경에서는 이 크기를 늘리는 것이 유용할 수 있습니다. 여기에 어댑터 드라이버에서 대기열을 늘리는 방법을 설명합니다(동시에 달에 대한 대기열도 증가합니다). 이 설정은 하나의 VM만 달에서 작동하는 경우에 작동하는데, 이는 드문 일입니다. 달에 VM이 여러 개 있는 경우 매개변수도 늘려야 합니다. Disk.SchedNumReqOutstanding (지침  여기에). 대기열을 늘리면 QAVG와 KAVG가 각각 감소합니다.

하지만 먼저 HBA 공급업체의 설명서를 읽고 실험실 벤치에서 변경 사항을 테스트하십시오.

달에 대한 대기열의 크기는 SIOC(Storage I/O Control) 메커니즘을 포함하면 영향을 받을 수 있습니다. 서버의 달에 대한 대기열을 동적으로 변경하여 클러스터의 모든 서버에서 달에 대한 균일한 액세스를 제공합니다. 즉, 호스트 중 하나가 불균형한 성능이 필요한 VM(시끄러운 이웃 VM)을 실행 중인 경우 SIOC는 이 호스트(DQLEN)의 대기열 길이를 달까지 줄입니다. 자세한 내용은 여기에.

우리는 KAVG를 정리했습니다. 이제 조금 다브그. 여기에서는 모든 것이 간단합니다. DAVG는 외부 환경(데이터 네트워크 및 스토리지 시스템)으로 인해 발생하는 지연입니다. 현대적이거나 현대적이지 않은 모든 스토리지 시스템에는 자체 성능 카운터가 있습니다. DAVG의 문제를 분석하려면 해당 문제를 살펴보는 것이 좋습니다. ESXi 및 스토리지 측면의 모든 것이 정상이면 데이터 네트워크를 확인하십시오.

성능 문제를 방지하려면 스토리지 시스템에 맞는 올바른 PSP(경로 선택 정책)를 선택하십시오. 거의 모든 최신 스토리지 시스템은 PSP 라운드 로빈(ALUA, 비대칭 논리 장치 액세스 포함 또는 제외)을 지원합니다. 이 정책을 사용하면 스토리지 시스템에 대해 사용 가능한 모든 경로를 사용할 수 있습니다. ALUA의 경우 달을 소유한 컨트롤러에 대한 경로만 사용됩니다. ESXi의 모든 스토리지 시스템에 라운드 로빈 정책을 설정하는 기본 규칙이 있는 것은 아닙니다. 스토리지 시스템에 대한 규칙이 없는 경우 스토리지 시스템 제조업체의 플러그인을 사용하여 클러스터의 모든 호스트에 해당 규칙을 생성하거나 직접 규칙을 생성합니다. 세부 여기에. 

또한 일부 스토리지 시스템 제조업체에서는 경로당 IOPS 수를 표준 값인 1000에서 1로 변경할 것을 권장합니다. 실제로 이를 통해 스토리지 시스템에서 더 많은 성능을 "압축"하고 장애 조치에 필요한 시간을 크게 줄일 수 있었습니다. 컨트롤러 오류 또는 업데이트가 발생한 경우. 공급업체의 권장사항을 확인하고, 금기사항이 없으면 이 매개변수를 변경해 보세요. 세부 여기에.

기본 가상 머신 디스크 하위 시스템 성능 카운터

vCenter의 디스크 하위 시스템 성능 카운터는 데이터 저장소, 디스크, 가상 디스크 섹션에 수집됩니다.

섹션에서 데이터 스토어 VM 디스크가 있는 vSphere 디스크 스토리지(데이터 저장소)에 대한 메트릭이 있습니다. 여기서는 다음에 대한 표준 카운터를 찾을 수 있습니다.

• IOPS(초당 평균 읽기/쓰기 요청), 
• 처리량(읽기/쓰기 속도), 
• 지연(읽기/쓰기/가장 높은 대기 시간).

원칙적으로 카운터 이름에서 모든 것이 명확합니다. 여기에 있는 통계는 특정 VM(또는 VM 디스크)에 대한 통계가 아니라 전체 데이터 저장소에 대한 일반적인 통계라는 사실을 다시 한 번 강조하겠습니다. 내 생각에는 적어도 최소 측정 기간이 2초라는 사실을 기반으로 ESXTOP에서 이러한 통계를 보는 것이 더 편리합니다.

섹션에서 디스크 VM에서 사용하는 블록 장치에 대한 메트릭이 있습니다. 합산 유형의 IOPS(측정 기간 동안의 입출력 작업 수)에 대한 카운터와 블록 액세스(명령 중단, 버스 재설정)와 관련된 여러 카운터가 있습니다. 제 생각에는 이 정보를 ESXTOP에서 보는 것이 더 편리하다고 생각합니다.

섹션 가상 디스크 – VM 디스크 하위 시스템의 성능 문제를 찾는 관점에서 가장 유용합니다. 여기에서 각 가상 디스크의 성능을 볼 수 있습니다. 특정 가상 머신에 문제가 있는지 이해하는 데 필요한 정보입니다. I/O 작업 수, 읽기/쓰기 볼륨 및 지연에 대한 표준 카운터 외에도 이 섹션에는 블록 크기(읽기/쓰기 요청 크기)를 보여주는 유용한 카운터가 포함되어 있습니다.

아래 그림은 VM 디스크 성능 그래프로, IOPS 수, 지연 시간, 블록 크기를 확인할 수 있습니다. 

SIOC가 활성화된 경우 전체 데이터 저장소에 대한 성능 지표를 볼 수도 있습니다. 평균 지연 시간 및 IOPS에 대한 기본 정보는 다음과 같습니다. 기본적으로 이 정보는 실시간으로만 볼 수 있습니다.

ESXTOP

ESXTOP에는 호스트 디스크 하위 시스템 전체, 개별 가상 머신 및 해당 디스크에 대한 정보를 제공하는 여러 화면이 있습니다.

가상 머신에 대한 정보부터 시작해 보겠습니다. "디스크 VM" 화면은 "v" 키를 사용하여 불러옵니다.

NVDISK VM 디스크의 수입니다. 각 디스크에 대한 정보를 보려면 "e"를 누르고 관심 있는 VM의 GID를 입력하세요.

이 화면에 있는 나머지 매개변수의 의미는 이름에서 분명해집니다.

문제 해결 시 또 다른 유용한 화면은 디스크 어댑터입니다. "d" 키로 호출됩니다(아래 그림에서 필드 A,B,C,D,E,G가 선택됨).

NPTH – 이 어댑터에서 볼 수 있는 달까지의 경로 수. 어댑터의 각 경로에 대한 정보를 얻으려면 "e"를 누르고 어댑터 이름을 입력하십시오.

아쿠렌 – 어댑터의 최대 대기열 크기.

또한 이 화면에는 위에서 설명한 지연 카운터가 있습니다. KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.

"u" 키를 눌러 불러오는 디스크 장치 화면은 개별 블록 장치(달(아래 그림에서 필드 A, B, F, G, I가 선택됨))에 대한 정보를 제공합니다. 여기에서 달에 대한 대기열의 상태를 볼 수 있습니다.

디큐렌 – 블록 장치의 대기열 크기.
ACTV – ESXi 커널의 I/O 명령 수.
QUED – 대기열에 있는 I/O 명령 수.
%USD – ACTV / DQLEN × 100%.
ILOAD – (ACTV + QUED) / DQLEN.

%USD가 높으면 대기열을 늘리는 것을 고려해야 합니다. 대기열에 명령이 많을수록 QAVG가 높아지고 그에 따라 KAVG도 높아집니다.

스토리지 시스템에서 VAAI(vStorage API for Array Integration)가 실행 중인지 여부도 디스크 장치 화면에서 확인할 수 있습니다. 이렇게 하려면 필드 A와 O를 선택합니다.

VAAI 메커니즘을 사용하면 작업의 일부를 하이퍼바이저에서 스토리지 시스템으로 직접 전송할 수 있습니다(예: 제로화, 블록 복사 또는 차단).

위 그림에서 볼 수 있듯이 VAAI는 이 스토리지 시스템에서 작동합니다. Zero 및 ATS 프리미티브가 적극적으로 사용됩니다.

ESXi의 디스크 하위 시스템 작업을 최적화하기 위한 팁

• 블록 크기에 주의하세요.
• HBA에서 최적의 대기열 크기를 설정합니다.
• 데이터스토어에서 SIOC를 활성화하는 것을 잊지 마세요.
• 스토리지 시스템 제조업체의 권장 사항에 따라 PSP를 선택하십시오.
• VAAI가 작동하는지 확인하세요.

주제에 관한 유용한 기사 :http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

출처 : habr.com