VMware vSphere로 작업할 때 AFA AccelStor 구성에 대한 권장 사항

이 기사에서는 가장 인기 있는 가상화 플랫폼 중 하나인 VMware vSphere와 함께 작동하는 All Flash AccelStor 어레이의 기능에 대해 이야기하고 싶습니다. 특히 All Flash와 같은 강력한 도구를 사용하여 최대 효과를 얻는 데 도움이 되는 매개 변수에 중점을 둡니다.

AccelStor NeoSapphire™ 올플래시 어레이는 하나 또는 двух 데이터 스토리지 개념을 구현하고 독점 기술을 사용하여 이에 대한 액세스를 구성하는 근본적으로 다른 접근 방식을 갖춘 SSD 드라이브 기반 노드 장치 FlexiRemap® 매우 널리 사용되는 RAID 알고리즘 대신. 어레이는 파이버 채널 또는 iSCSI 인터페이스를 통해 호스트에 대한 블록 액세스를 제공합니다. 공평하게 말하면 ISCSI 인터페이스를 갖춘 모델에는 좋은 보너스로 파일 액세스도 제공됩니다. 하지만 이 기사에서는 올플래시에서 가장 생산적인 블록 프로토콜 사용에 중점을 둘 것입니다.

AccelStor 어레이와 VMware vSphere 가상화 시스템의 공동 운영에 대한 전체 배포 프로세스와 후속 구성은 여러 단계로 나눌 수 있습니다.

• 연결 토폴로지 구현 및 SAN 네트워크 구성
• 올플래시 어레이 설정;
• ESXi 호스트 구성
• 가상 머신을 설정합니다.

AccelStor NeoSapphire™ 파이버 채널 어레이 및 iSCSI 어레이가 샘플 하드웨어로 사용되었습니다. 기본 소프트웨어는 VMware vSphere 6.7U1입니다.

이 문서에 설명된 시스템을 배포하기 전에 성능 문제에 관해 VMware에서 제공하는 설명서를 읽어 보는 것이 좋습니다(VMware vSphere 6.7의 성능 모범 사례 ) 및 iSCSI 설정(iSCSI에서 VMware vSphere를 실행하기 위한 모범 사례)

연결 토폴로지 및 SAN 네트워크 구성

SAN 네트워크의 주요 구성 요소는 ESXi 호스트, SAN 스위치 및 어레이 노드의 HBA입니다. 이러한 네트워크의 일반적인 토폴로지는 다음과 같습니다.

여기서 스위치라는 용어는 별도의 물리적 스위치 또는 스위치 세트(패브릭)와 서로 다른 서비스(파이버 채널의 경우 VSAN, iSCSI의 경우 VLAN) 간에 공유되는 장치를 모두 의미합니다. 두 개의 독립적인 스위치/패브릭을 사용하면 가능한 오류 지점이 제거됩니다.

호스트를 어레이에 직접 연결하는 것은 지원되지만 권장되지 않습니다. 올플래시 어레이의 성능은 상당히 높습니다. 그리고 최대 속도를 위해서는 어레이의 모든 포트를 사용해야 합니다. 따라서 호스트와 NeoSapphire™ 사이에 적어도 하나의 스위치가 있어야 합니다.

최대 성능을 달성하고 내결함성을 보장하려면 호스트 HBA에 두 개의 포트가 있어야 합니다.

파이버 채널 인터페이스를 사용하는 경우 이니시에이터와 대상 간의 충돌 가능성을 제거하도록 구역화를 구성해야 합니다. 영역은 "하나의 이니시에이터 포트 - 하나 이상의 어레이 포트" 원칙에 따라 구축됩니다.

다른 서비스와 공유되는 스위치를 사용하는 경우 iSCSI를 통한 연결을 사용하는 경우 별도의 VLAN 내에서 iSCSI 트래픽을 격리하는 것이 필수적입니다. 또한 점보 프레임(MTU = 9000)에 대한 지원을 활성화하여 네트워크의 패킷 크기를 늘려서 전송 중 오버헤드 정보의 양을 줄이는 것이 좋습니다. 그러나 올바른 작동을 위해서는 "초기자-스위치-대상" 체인을 따라 모든 네트워크 구성 요소의 MTU 매개 변수를 변경해야 한다는 점을 기억할 가치가 있습니다.

올플래시 어레이 설정

어레이는 이미 그룹이 형성된 고객에게 제공됩니다. FlexiRemap®. 따라서 드라이브를 단일 구조로 결합하기 위해 별도의 조치를 취할 필요가 없습니다. 필요한 크기와 수량의 볼륨을 생성하기만 하면 됩니다.

편의를 위해 특정 크기의 여러 볼륨을 한 번에 일괄 생성하는 기능이 있습니다. 기본적으로 씬 볼륨이 생성됩니다. 이를 통해 사용 가능한 스토리지 공간을 보다 효율적으로 사용할 수 있습니다(공간 회수 지원 포함). 성능 측면에서 "씬" 볼륨과 "씩" 볼륨의 차이는 1%를 초과하지 않습니다. 그러나 배열에서 "모든 주스를 짜내고" 싶다면 언제든지 "얇은" 볼륨을 "두꺼운" 볼륨으로 변환할 수 있습니다. 그러나 그러한 작업은 되돌릴 수 없다는 점을 기억해야 합니다.

다음으로 생성된 볼륨을 "게시"하고 ACL(iSCSI의 경우 IP 주소, FC의 경우 WWPN) 및 어레이 포트별 물리적 분리를 사용하여 호스트에서 해당 볼륨에 대한 액세스 권한을 설정합니다. iSCSI 모델의 경우 이는 대상을 생성하여 수행됩니다.

FC 모델의 경우 어레이의 각 포트에 대한 LUN 생성을 통해 게시가 이루어집니다.

설정 프로세스 속도를 높이기 위해 호스트를 그룹으로 결합할 수 있습니다. 또한 호스트가 다중 포트 FC HBA를 사용하는 경우(실제로 가장 자주 발생함) 시스템은 하나씩 다른 WWPN 덕분에 이러한 HBA의 포트가 단일 호스트에 속하는 것으로 자동으로 결정합니다. Target/LUN의 일괄 생성도 두 인터페이스 모두에서 지원됩니다.

iSCSI 인터페이스를 사용할 때 중요한 참고 사항은 볼륨에 대한 여러 대상을 한 번에 생성하여 성능을 높이는 것입니다. 대상의 대기열은 변경할 수 없고 사실상 병목 현상이 되기 때문입니다.

ESXi 호스트 구성

ESXi 호스트 측에서는 완전히 예상된 시나리오에 따라 기본 구성이 수행됩니다. iSCSI 연결 절차:

1. 소프트웨어 iSCSI 어댑터 추가(이미 추가되었거나 하드웨어 iSCSI 어댑터를 사용하는 경우에는 필요하지 않음)
2. iSCSI 트래픽이 통과할 vSwitch를 생성하고 여기에 물리적 업링크와 VMkernal을 추가합니다.
3. 동적 검색에 배열 주소 추가
4. 데이터스토어 생성

몇 가지 중요한 참고사항:

• 일반적인 경우에는 물론 기존 vSwitch를 사용해도 되지만, 별도의 vSwitch를 사용하는 경우 호스트 설정 관리가 훨씬 쉬워진다.
• 성능 문제를 방지하려면 관리 및 iSCSI 트래픽을 별도의 물리적 링크 및/또는 VLAN으로 분리해야 합니다.
• VMkernal의 IP 주소와 올플래시 어레이의 해당 포트는 성능 문제로 인해 동일한 서브넷 내에 있어야 합니다.
• VMware 규칙에 따라 내결함성을 보장하려면 vSwitch에 물리적 업링크가 XNUMX개 이상 있어야 합니다.
• 점보 프레임을 사용하는 경우 vSwitch와 VMkernal의 MTU를 모두 변경해야 합니다.
• iSCSI 트래픽 작업에 사용될 물리적 어댑터에 대한 VMware 권장 사항에 따라 팀 구성 및 장애 조치를 구성해야 한다는 점을 상기시켜 두면 유용할 것입니다. 특히 각 VMkernal은 하나의 업링크를 통해서만 작동해야 하며 두 번째 업링크는 사용되지 않는 모드로 전환해야 합니다. 내결함성을 위해서는 각각 자체 업링크를 통해 작동하는 두 개의 VMkernal을 추가해야 합니다.

VMkernel 어댑터(vmk#)
물리적 네트워크 어댑터(vmnic#)

vmk1(스토리지01)
활성 어댑터
vmnic2
미사용 어댑터
vmnic3

vmk2(스토리지02)
활성 어댑터
vmnic3
미사용 어댑터
vmnic2

Fibre Channel을 통해 연결하는 데에는 사전 단계가 필요하지 않습니다. 데이터 저장소를 즉시 생성할 수 있습니다.

데이터 저장소를 생성한 후 대상/LUN 경로에 대한 라운드 로빈 정책이 가장 성능이 좋은지 확인해야 합니다.

기본적으로 VMware 설정은 첫 번째 경로를 통한 1000개 요청, 두 번째 경로를 통한 다음 1000개 요청 등의 구성표에 따라 이 정책을 사용하도록 제공합니다. 호스트와 1개의 컨트롤러 어레이 간의 이러한 상호 작용은 균형이 맞지 않게 됩니다. 따라서 Esxcli/PowerCLI를 통해 라운드 로빈 정책 = XNUMX 매개변수를 설정하는 것이 좋습니다.

매개 변수

Esxcli의 경우:

• 사용 가능한 LUN 나열

esxcli 스토리지 nmp 디바이스 목록

• 장치 이름 복사
• 라운드 로빈 정책 변경

esxcli 스토리지 nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device="Device_ID"

대부분의 최신 애플리케이션은 대역폭 활용도를 최대화하고 CPU 로드를 줄이기 위해 대용량 데이터 패킷을 교환하도록 설계되었습니다. 따라서 ESXi는 기본적으로 최대 32767KB의 청크로 스토리지 디바이스에 I/O 요청을 발행합니다. 그러나 일부 시나리오에서는 더 작은 청크를 교환하는 것이 더 생산적입니다. AccelStor 배열의 경우 다음과 같은 시나리오가 있습니다.

• 가상 머신은 레거시 BIOS 대신 UEFI를 사용합니다.
• vSphere 복제 사용

이러한 시나리오에서는 Disk.DiskMaxIOSize 매개 변수 값을 4096으로 변경하는 것이 좋습니다.

iSCSI 연결의 경우 로그인 시간 초과 매개변수를 30(기본값 5)으로 변경하여 연결 안정성을 높이고 전달된 패킷 확인을 위한 DelayedAck 지연을 비활성화하는 것이 좋습니다. 두 옵션 모두 vSphere Client에 있습니다. 호스트 → 구성 → 스토리지 → 스토리지 어댑터 → iSCSI 어댑터용 고급 옵션

다소 미묘한 점은 데이터 저장소에 사용되는 볼륨 수입니다. 관리의 용이성을 위해 어레이의 전체 볼륨에 대해 하나의 큰 볼륨을 생성하려는 욕구가 있다는 것은 분명합니다. 그러나 여러 볼륨과 그에 따른 데이터 저장소가 있으면 전반적인 성능에 유익한 영향을 미칩니다(아래 대기열에 대한 자세한 내용). 따라서 볼륨을 두 개 이상 생성하는 것이 좋습니다.

비교적 최근까지 VMware는 가능한 최고의 성능을 얻기 위해 하나의 데이터 저장소에서 가상 머신 수를 제한하는 것을 권장했습니다. 그러나 이제 특히 VDI가 확산되면서 이 문제는 더 이상 심각하지 않습니다. 그러나 이것이 집약적인 IO가 필요한 가상 머신을 여러 데이터 저장소에 분산시키는 오랜 규칙을 취소하지는 않습니다. 볼륨당 최적의 가상 머신 수를 결정하려면 이보다 더 좋은 것은 없습니다. All Flash AccelStor 어레이의 부하 테스트 인프라 내에서.

가상 머신 설정

가상 머신을 설정할 때 특별한 요구 사항은 없으며 오히려 매우 평범합니다.

• 가능한 가장 높은 VM 버전 사용(호환성)
• 예를 들어 VDI와 같이 가상 머신을 조밀하게 배치하는 경우 RAM 크기를 설정하는 데 더욱 주의가 필요합니다. 왜냐하면 기본적으로 시작 시 RAM에 맞는 크기의 페이지 파일이 생성되어 유용한 용량을 소비하고 영향을 미치기 때문입니다. 마지막 공연)
• IO 측면에서 가장 생산적인 어댑터 버전(네트워크 유형 VMXNET 3 및 SCSI 유형 PVSCSI)을 사용하십시오.
• 최대 성능을 위해서는 Thick Provision Eager Zeroed 디스크 유형을 사용하고 최대 스토리지 공간 활용을 위해서는 Thin Provisioning을 사용하십시오.
• 가능하다면 가상 디스크 제한을 사용하여 I/O가 중요하지 않은 시스템의 작업을 제한하세요.
• VMware Tools를 반드시 설치하세요.

대기열에 대한 참고 사항

대기열(또는 미결 I/O)은 특정 장치/응용 프로그램에 대해 특정 시간에 처리를 기다리고 있는 입출력 요청(SCSI 명령)의 수입니다. 대기열 오버플로가 발생하는 경우 QFULL 오류가 발생하며 결과적으로 대기 시간 매개변수가 증가합니다. 디스크(스핀들) 스토리지 시스템을 사용하는 경우 이론적으로 대기열이 높을수록 성능이 높아집니다. 그러나 QFULL에 걸리기 쉽기 때문에 남용해서는 안 됩니다. All Flash 시스템의 경우 모든 것이 다소 간단합니다. 결국 어레이의 대기 시간은 훨씬 더 낮으므로 대기열 크기를 별도로 조절할 필요가 없는 경우가 많습니다. 그러나 반면에 일부 사용 시나리오(특정 가상 머신에 대한 IO 요구 사항의 심한 왜곡, 최대 성능 테스트 등)에서는 대기열의 매개변수를 변경하지 않더라도 최소한 어떤 지표가 무엇인지 이해하는 것이 필요합니다. 달성할 수 있으며 가장 중요한 것은 어떤 방식으로 달성되는지입니다.

AccelStor All Flash 어레이 자체에는 볼륨이나 I/O 포트와 관련된 제한이 없습니다. 필요한 경우 단일 볼륨이라도 어레이의 모든 리소스를 수신할 수 있습니다. 대기열에 대한 유일한 제한은 iSCSI 대상에 대한 것입니다. 이러한 한계를 극복하기 위해 각 볼륨에 대해 여러 개의(이상적으로는 최대 8개) 타겟을 생성해야 하는 필요성이 위에 표시된 이유입니다. AccelStor 어레이는 매우 생산적인 솔루션이라는 점도 다시 한번 말씀드리겠습니다. 따라서 최대 속도를 얻으려면 시스템의 모든 인터페이스 포트를 사용해야 합니다.

ESXi 호스트 측에서는 상황이 완전히 다릅니다. 호스트 자체는 모든 참가자의 리소스에 대한 동등한 액세스 관행을 적용합니다. 따라서 게스트 OS 및 HBA에 대한 별도의 IO 대기열이 있습니다. 게스트 OS에 대한 대기열은 대기열에서 가상 SCSI 어댑터 및 가상 디스크로 결합됩니다.

HBA에 대한 대기열은 특정 유형/공급업체에 따라 다릅니다.

가상 머신의 최종 성능은 호스트 구성 요소 중 가장 낮은 큐 크기 제한에 따라 결정됩니다.

이러한 값 덕분에 특정 구성에서 얻을 수 있는 성능 지표를 평가할 수 있습니다. 예를 들어, 지연 시간이 0.5ms인 가상 머신(블록 바인딩 없음)의 이론적 성능을 알고 싶습니다. 그러면 해당 IOPS = (1,000/지연 시간) * 뛰어난 I/O(큐 깊이 제한)

예

예를 들어 1

• FC Emulex HBA 어댑터
• 데이터스토어당 VM XNUMX개
• VMware 반가상화 SCSI 어댑터

여기서 대기열 깊이 제한은 Emulex HBA에 의해 결정됩니다. 따라서 IOPS = (1000/0.5)*32 = 64K

예를 들어 2

• VMware iSCSI 소프트웨어 어댑터
• 데이터스토어당 VM XNUMX개
• VMware 반가상화 SCSI 어댑터

여기서 큐 깊이 제한은 반가상화 SCSI 어댑터에 의해 이미 결정되어 있습니다. 따라서 IOPS = (1000/0.5)*64 = 128K

All Flash AccelStor 어레이의 상위 모델(예: P710)는 700K 블록에서 4K IOPS 쓰기 성능을 제공할 수 있습니다. 이러한 블록 크기를 사용하면 단일 가상 머신이 이러한 배열을 로드할 수 없다는 것이 매우 분명해집니다. 이렇게 하려면 11개(예: 1) 또는 6개(예: 2)의 가상 머신이 필요합니다.

결과적으로 설명된 가상 데이터 센터의 모든 구성 요소를 올바르게 구성하면 성능 측면에서 매우 인상적인 결과를 얻을 수 있습니다.

4K 랜덤, 70% 읽기/30% 쓰기

사실, 현실 세계는 간단한 공식으로 설명할 수 있는 것보다 훨씬 더 복잡합니다. 하나의 호스트는 항상 구성과 IO 요구 사항이 다른 여러 가상 머신을 호스팅합니다. 그리고 I/O 처리는 성능이 무한하지 않은 호스트 프로세서에 의해 처리됩니다. 따라서 동일한 잠재력을 최대한 활용하려면 P710 모델 실제로는 세 개의 호스트가 필요합니다. 또한 가상 머신 내에서 실행되는 애플리케이션은 자체적으로 조정됩니다. 따라서 정확한 크기 조정을 위해 우리는 테스트 모델에서 검증 사용 올플래시 어레이 AccelStor 실제 현재 작업에 대한 고객 인프라 내부.

출처 : habr.com