AERODISK ENGINE N2 스토리지 시스템 충돌 테스트, 강도 테스트

안녕하세요 여러분! 이 기사를 통해 AERODISK는 Habré에 대한 블로그를 엽니다. 만세, 동지들!

Habré의 이전 기사에서는 스토리지 시스템의 아키텍처 및 기본 구성에 대한 질문을 논의했습니다. 이 기사에서는 AERODISK ENGINE 스토리지 시스템의 내결함성에 대해 이전에 다루지 않았지만 자주 묻는 질문을 고려할 것입니다. 우리 팀은 AERODISK 스토리지 시스템이 작동을 멈추도록 최선을 다할 것입니다. 부숴.

우리 회사의 역사, 제품에 대한 기사 및 성공적인 구현 사례에 대한 기사가 이미 Habré에 걸려 있습니다. 파트너인 TS Solution 및 Softline 회사에 깊은 감사를 드립니다.

따라서 여기서는 복사-붙여넣기 관리 기술을 교육하지 않고 단순히 다음 기사의 원본에 대한 링크만 제공하겠습니다.

• 기사 번호 1. 회사의 역사와 AERODISK ENGINE 스토리지 시스템의 아키텍처에 대해
• 기사 번호 2. AERODISK ENGINE 스토리지 시스템을 빠르게 설정하는 방법
• 기사 번호 3. Safe City 프로젝트의 일환으로 2018 FIFA 월드컵을 위한 대규모 영상 감시 구현에 관한 흥미로운 프로젝트

저도 좋은 소식을 공유하고 싶습니다. 하지만 물론 문제부터 시작하겠습니다. 젊은 공급업체로서 우리는 많은 비용 외에도 많은 엔지니어와 관리자가 스토리지 시스템을 올바르게 작동하는 방법을 모른다는 사실에 끊임없이 직면하고 있습니다.
관리자의 관점에서 볼 때 대부분의 스토리지 시스템 관리는 거의 동일해 보이지만 제조업체마다 고유한 특징이 있습니다. 그리고 여기서 우리도 예외는 아닙니다.

따라서 IT 전문가 교육 업무를 단순화하기 위해 올해는 무료 교육에 전념하기로 결정했습니다. 이를 위해 러시아의 많은 대도시에서 AERODISK 역량 센터 네트워크를 개설하고 있습니다. 이 센터에서는 관심 있는 모든 기술 전문가가 무료로 과정을 수강하고 AERODISK ENGINE 스토리지 시스템 관리 인증서를 받을 수 있습니다.

각 Competence Center에는 AERODISK 스토리지 시스템의 본격적인 데모 스탠드와 교사가 대면 교육을 실시하는 물리적 서버를 설치할 것입니다. 역량 센터가 등장하면 작업 일정을 공개할 예정이지만 이미 니즈니 노브고로드에 센터를 열었고 다음은 크라스노다르 시입니다. 아래 링크를 통해 교육에 등록하실 수 있습니다. 현재 알려진 도시 및 날짜 정보는 다음과 같습니다.

• Nizhny 노브 고 로트 (이미 열려 있습니다. 여기에서 가입할 수 있습니다. https://aerodisk.promo/nn/);
  16년 2019월 16일까지 근무시간에 상관없이 센터를 방문하실 수 있으며, 2019년 XNUMX월 XNUMX일에는 대규모 교육과정이 개설될 예정입니다.
• 크라 스노 다르 (곧 오픈 예정 - 여기에서 가입하실 수 있습니다. https://aerodisk.promo/krsnd/ );
  9년 25월 2019일부터 25월 2019일까지 근무 시간에 관계없이 센터를 방문할 수 있으며, XNUMX년 XNUMX월 XNUMX일에는 대규모 교육 과정이 구성됩니다.
• 예 카테 린 부르크 (곧 오픈 예정이니 당사 웹사이트나 Habré에서 정보를 확인하세요)
  2019년 XNUMX~XNUMX월.
• 노보시비르스크 (저희 웹사이트나 Habré의 정보를 따르세요)
  2019년 XNUMX월
• 크라스 노야 르 스크 (저희 웹사이트나 Habré의 정보를 따르세요)
  2019년 XNUMX월.

물론 모스크바가 멀지 않은 경우 언제든지 모스크바에 있는 당사 사무실을 방문하여 유사한 교육을 받을 수 있습니다.

모두. 마케팅은 끝났으니 기술로 넘어 갑시다!

Habré에서는 제품, 부하 테스트, 비교, 사용 기능 및 흥미로운 구현에 대한 기술 기사를 정기적으로 게시합니다.

AERODISK ENGINE N2 스토리지 시스템 충돌 테스트, 강도 테스트

경고! 기사를 읽은 후 다음과 같이 말할 수 있습니다. 물론 공급 업체는 모든 것이 "강타", 온실 조건 등으로 작동하는지 스스로 확인합니다. 나는 대답할 것이다: 그런 것은 없다! 외국 경쟁업체와 달리 당사는 귀하와 가까운 이곳에 위치하고 있으며 귀하는 언제든지 당사(모스크바 또는 중앙위원회)를 방문하여 어떤 방식으로든 당사의 스토리지 시스템을 테스트할 수 있습니다. 따라서 우리가 결과를 이상적인 세계 그림으로 조정하는 것은 별 의미가 없습니다. 우리는 확인하기가 매우 쉽습니다. 너무 게으르고 시간이 없는 사람들을 위해 원격 테스트를 구성할 수 있습니다. 이를 위한 특별한 실험실이 있습니다. 문의하기.

아흐퉁-2! 이 테스트는 부하 테스트가 아닙니다. 여기서는 내결함성에만 관심이 있습니다. 몇 주 후에는 더욱 강력한 스탠드를 준비하고 스토리지 시스템의 부하 테스트를 수행하여 여기에 결과를 게시할 예정입니다(단, 테스트 요청은 허용됩니다).

그럼, 가서 깨자.

테스트 벤치

우리 스탠드는 다음과 같은 하드웨어로 구성됩니다.

• Aerodisk Engine N1 스토리지 시스템 2개(컨트롤러 2개, 64GB 캐시, FC 포트 8Gb/s 8개, 이더넷 포트 4Gb/s SFP+ 10개, 이더넷 포트 4Gb/s 1개); 스토리지 시스템에는 다음 디스크가 설치되어 있습니다.
• 4 x SAS SSD 디스크 900GB;
• 12개의 SAS 10k 디스크 1,2TB;
• Windows Server 1이 설치된 물리적 서버 2016개(Xeon E2 5 v2667 3개, 96GB RAM, FC 포트 2Gb/s 8개, 이더넷 포트 2Gb/s SFP+ 10개);
• SAN 2G 스위치 8개;
• LAN 2G 스위치 10개;

FC와 10G 이더넷을 통해 스위치를 통해 서버를 스토리지 시스템에 연결했습니다. 스탠드 다이어그램은 아래와 같습니다.

MPIO 및 iSCSI 초기자와 같은 필요한 구성 요소는 Windows Server에 설치됩니다.
영역은 FC 스위치에 구성되고 해당 VLAN은 LAN 스위치에 구성되며 MTU 9000은 스토리지 포트, 스위치 및 호스트에 설치됩니다. 이 모든 작업을 수행하는 방법은 설명서에 설명되어 있으므로 설명하지 않습니다. 이 과정은 여기에 있습니다).

테스트 방법론

충돌 테스트 계획은 다음과 같습니다.

• FC 및 이더넷 포트의 오류를 확인합니다.
• 정전 점검.
• 컨트롤러 오류 확인.
• 그룹/풀의 디스크 오류를 확인합니다.

모든 테스트는 IOMETER 프로그램에 의해 생성되는 합성 부하 조건에서 수행됩니다. 동시에 동일한 테스트를 수행하지만 대용량 파일을 스토리지 시스템에 복사하는 조건에서 수행합니다.

IOmeter 구성은 다음과 같습니다.

• 읽기/쓰기 – 70/30
• 블록 – 128k(스토리지 시스템을 큰 블록으로 세척하기로 결정했습니다)
• 스레드 수 - 128(생산 부하와 매우 유사)
• 전체 무작위
• 작업자 수 – 4(FC용 2개, iSCSI용 2개)

테스트의 목적은 다음과 같습니다.

1. 다양한 오류 시나리오에서 합성 로드 및 복사 프로세스가 중단되거나 오류가 발생하지 않는지 확인하세요.
2. 포트, 컨트롤러 등을 전환하는 프로세스가 충분히 자동화되어 있고 장애 발생 시 관리자 조치가 필요하지 않은지 확인하십시오(즉, 장애 조치 중에는 장애 복구에 대해 이야기하는 것이 아닙니다).
3. 로그의 정보가 올바르게 표시되는지 확인하십시오.

호스트 및 스토리지 시스템 준비

FC 및 이더넷 포트(각각 FC 및 iSCSI)를 사용하여 스토리지 시스템에 블록 액세스를 구성했습니다. TS Solution 직원들은 이전 기사에서 이 작업을 수행하는 방법을 자세히 설명했습니다(https://habr.com/ru/company/tssolution/blog/432876/). 물론 누구도 매뉴얼과 강좌를 취소하지 않았습니다.

우리는 가지고 있는 모든 드라이브를 사용하여 하이브리드 그룹을 설정했습니다. 2개의 SSD 디스크가 캐시에 추가되었고, 2개의 SSD 디스크가 추가 스토리지 계층(온라인 계층)으로 추가되었습니다. 그룹 내 드라이브 12개의 장애를 한 번에 확인하기 위해 SAS10k 드라이브 60개를 RAID-XNUMXP(XNUMX중 패리티)로 그룹화했습니다. 자동 교체를 위해 디스크 XNUMX개가 남았습니다.

두 개의 LUN을 연결했습니다(하나는 FC를 통해, 다른 하나는 iSCSI를 통해).

두 LUN의 소유자는 Engine-0 컨트롤러입니다.

테스트를 시작해보자

위의 구성으로 IOMETER를 활성화합니다.

1.8GB/s의 처리량과 3밀리초의 대기 시간을 기록합니다. 오류가 없습니다(총 오류 수).

동시에 호스트의 로컬 드라이브 "C"에서 다른 인터페이스를 사용하여 두 개의 큰 100GB 파일을 FC 및 iSCSI 스토리지 LUN(Windows의 드라이브 E 및 G)에 병렬로 복사하기 시작합니다.

위는 LUN FC로, 아래는 iSCSI로 복사하는 과정입니다.

테스트 #1: I/O 포트 비활성화

우리는 뒤에서 스토리지 시스템에 접근합니다.))) 손을 약간 움직여 Engine-10 컨트롤러에서 모든 FC 및 이더넷 0G 케이블을 꺼냅니다. 이는 마치 대걸레를 든 청소부 아줌마가 지나가다가 콧물이 누워 있고 케이블이 누워 있는 바닥을 바로 청소하기로 결정한 것과 같습니다(즉, 컨트롤러는 여전히 작동하지만 I/O 포트는 작동하지 않습니다).

IOMETER와 파일 복사를 살펴보겠습니다. 처리량이 0,5GB/s로 떨어졌지만 빠르게 이전 수준(약 4~5초 만에)으로 돌아왔습니다. 오류가 없습니다.

파일 복사가 중지되지 않았고 속도가 떨어지지만 전혀 중요하지 않습니다(840MB/s에서 720MB/s로 떨어졌습니다). 복사가 중단되지 않았습니다.

스토리지 시스템 로그를 살펴보고 포트를 사용할 수 없음 및 그룹 자동 재배치에 대한 메시지를 확인합니다.

정보 패널에는 FC 포트의 모든 것이 좋지 않다는 내용도 나와 있습니다.

스토리지 시스템은 I/O 포트 장애에도 살아남았습니다. 성공적으로.

테스트 2. 스토리지 컨트롤러 비활성화

거의 즉시(스토리지 시스템에 케이블을 다시 연결한 후) 컨트롤러를 섀시에서 당겨 스토리지 시스템을 마무리하기로 결정했습니다.

다시 우리는 뒤에서 스토리지 시스템에 접근하고 (좋아했습니다)) 이번에는 RDG (그룹이 이동한)의 소유자인 Engine-1 컨트롤러를 꺼냅니다.

IOmeter의 상황은 다음과 같습니다. I/O가 약 5초 동안 중지되었습니다. 오류는 누적되지 않습니다.

5초 후 I/O는 거의 동일한 처리량으로 재개되었지만 지연 시간은 35밀리초였습니다(지연 시간은 약 0분 후에 수정됨). 스크린샷에서 볼 수 있듯이 총 오류 개수 값은 XNUMX입니다. 즉, 쓰기 또는 읽기 오류가 없었습니다.

파일 복사를 살펴보겠습니다. 보시다시피 중단되지 않았고 성능이 약간 저하되었지만 전반적으로 모든 것이 동일하게 ~ 800MB/s로 돌아왔습니다.

우리는 스토리지 시스템으로 가서 정보 패널에서 Engine-1 컨트롤러를 사용할 수 없다는 저주를 봅니다(물론 우리는 그것을 죽였습니다).

로그에서도 비슷한 항목을 볼 수 있습니다.

스토리지 컨트롤러도 장애를 견뎌냈습니다. 성공적으로.

테스트 번호 3: 전원 공급 장치 분리.

혹시라도 파일 복사를 다시 시작했지만 IOMETER를 중지하지는 않았습니다.
전원 공급 장치를 당깁니다.

정보 패널의 스토리지 시스템에 또 다른 경고가 추가되었습니다.

또한 센서 메뉴에서 뽑아낸 전원 공급 장치와 관련된 센서가 빨간색으로 변한 것을 볼 수 있습니다.

스토리지 시스템은 계속 작동합니다. 전원 공급 장치의 오류는 스토리지 시스템의 작동에 어떤 식으로도 영향을 미치지 않으며 호스트 관점에서 복사 속도 및 IOMETER 표시기는 변경되지 않았습니다.

정전 테스트 통과 성공적으로.

최종 테스트 전에 우리는 스토리지 시스템을 약간 다시 활성화하고 컨트롤러와 전원 공급 장치를 다시 설치하고 케이블을 정리하기로 결정했습니다. 스토리지 시스템은 상태 패널에 녹색 아이콘을 통해 이에 대해 기꺼이 알려주었습니다. .

테스트 번호 4. 그룹 내 디스크 XNUMX개 오류

이 테스트 전에 추가 준비 단계를 수행했습니다. 사실 ENGINE 스토리지 시스템은 다양한 재구축 정책이라는 매우 유용한 기능을 제공합니다. TS솔루션은 앞서 이 기능에 대해 글을 썼지만, 그 본질을 떠올려 보겠습니다. 스토리지 관리자는 재구축 중에 리소스 할당 우선순위를 지정할 수 있습니다. I/O 성능 방향, 즉 재구축 시간이 더 오래 걸리지만 성능 저하가 발생하지 않습니다. 또는 재구축 속도 방향으로 진행되지만 생산성이 저하됩니다. 또는 균형 잡힌 옵션. 디스크 그룹 재구축 중 스토리지 성능은 항상 관리자의 골치거리이므로 재구축 속도를 희생하면서 I/O 성능에 편향된 정책을 테스트할 것입니다.

이제 디스크 오류를 확인해 보겠습니다. 또한 LUN(파일 및 IOMETER)에 녹화할 수도 있습니다. 트리플 패리티(RAID-60P)가 있는 그룹이 있으므로 이는 시스템이 세 개의 디스크 오류를 견뎌야 하고 오류가 발생한 후에는 자동 교체가 작동해야 하며 하나의 디스크가 오류가 발생한 디스크 중 하나를 대신해야 함을 의미합니다. RDG에서 재구축을 시작해야 합니다.

시작하다. 먼저 스토리지 인터페이스를 통해 꺼내려는 디스크를 강조 표시해 보겠습니다(자동 변경 디스크를 놓치거나 가져오지 않도록).

하드웨어의 표시를 확인합니다. 모든 것이 정상입니다. 강조 표시된 세 개의 디스크가 보입니다.

그리고 우리는 이 세 개의 디스크를 꺼냅니다.

호스트에 무엇이 있는지 살펴보겠습니다. 그리고... 특별한 일은 없었습니다.

복사 표시기(캐시가 워밍업되었기 때문에 처음보다 높음)와 IOMETER는 디스크를 제거하고 재구축을 시작할 때(5-10% 이내) 많이 변경되지 않습니다.

스토리지 시스템에 무엇이 있는지 살펴보겠습니다.

그룹 현황을 보면 구조조정 과정이 시작돼 마무리 단계에 가까워진 모습을 볼 수 있다.

RDG 스켈레톤을 보면 디스크 2개가 빨간색 상태이고, 하나는 이미 교체된 것을 볼 수 있습니다. 자동 교체 디스크는 더 이상 존재하지 않으며 오류가 발생한 세 번째 디스크를 교체했습니다. 재구축에는 몇 분이 걸렸으며, 디스크 3개에 장애가 발생해도 파일 쓰기가 중단되지 않았고 I/O 성능도 크게 변하지 않았습니다.

디스크 장애 테스트를 확실히 통과했습니다. 성공적으로.

결론

이 시점에서 우리는 스토리지 시스템에 대한 폭력을 중단하기로 결정했습니다. 요약해보자:

• FC 포트 실패 확인 - 성공
• 이더넷 포트 오류 확인 - 성공
• 컨트롤러 오류 확인 - 성공
• 정전 테스트 - 성공
• 그룹 풀에서 디스크 오류 확인 중 - 성공

어떤 실패도 기록을 중지하거나 합성 로드에 오류를 일으키지 않았습니다. 물론 성능 저하가 있었습니다(그리고 우리는 이를 극복하는 방법을 알고 있으며 곧 이를 극복할 것입니다). 단 몇 초라는 점을 고려하면 꽤 수용 가능합니다. 결론: AERODISK 스토리지 시스템의 모든 구성 요소에 대한 내결함성은 해당 수준에서 작동했으며 오류 지점은 없었습니다.

분명히 한 기사에서 모든 실패 시나리오를 테스트할 수는 없지만 가장 인기 있는 시나리오를 다루려고 노력했습니다. 그러므로 귀하의 의견, 향후 출판물에 대한 제안, 그리고 적절한 비평을 보내주시기 바랍니다. 기꺼이 논의해 드리겠습니다(또는 교육에 참석하시는 것이 더 좋습니다. 만약을 대비해 일정을 복사해 두겠습니다)! 새로운 테스트까지!

• Nizhny 노브 고 로트 (이미 열려 있습니다. 여기에서 가입할 수 있습니다. https://aerodisk.promo/nn/);
  16년 2019월 16일까지 근무시간에 상관없이 센터를 방문하실 수 있으며, 2019년 XNUMX월 XNUMX일에는 대규모 교육과정이 개설될 예정입니다.
• 크라 스노 다르 (곧 오픈 예정 - 여기에서 가입하실 수 있습니다. https://aerodisk.promo/krsnd/ );
  9년 25월 2019일부터 25월 2019일까지 근무 시간에 관계없이 센터를 방문할 수 있으며, XNUMX년 XNUMX월 XNUMX일에는 대규모 교육 과정이 구성됩니다.
• 예 카테 린 부르크 (곧 오픈 예정이니 당사 웹사이트나 Habré에서 정보를 확인하세요)
  2019년 XNUMX~XNUMX월.
• 노보시비르스크 (저희 웹사이트나 Habré의 정보를 따르세요)
  2019년 XNUMX월
• 크라스 노야 르 스크 (저희 웹사이트나 Habré의 정보를 따르세요)
  2019년 XNUMX월.

출처 : habr.com