데이터센터 사고의 주요 원인은 컴퓨터와 의자 사이의 개스킷이다.

현대 데이터 센터의 대형 사고 주제는 첫 번째 기사에서 답변되지 않은 질문을 제기합니다. 우리는 이를 개발하기로 결정했습니다.

Uptime Institute의 통계에 따르면 데이터 센터에서 발생하는 사고의 대부분은 전원 공급 시스템 오류와 관련되어 있으며 사고의 39%를 차지합니다. 그 뒤를 이어 인적 요인이 사고의 24%를 차지합니다. 세 번째로 큰 이유(15%)는 에어컨 시스템의 고장이었고, 네 번째(12%)는 자연재해였습니다. 다른 문제의 전체 비율은 10%에 불과합니다. 존경받는 조직의 데이터에 의문을 제기하지 않고 다양한 사고의 공통점을 강조하고 이를 피할 수 있었는지 이해하려고 노력할 것입니다. 스포일러: 대부분의 경우 가능합니다.

접촉의 과학

간단히 말해서 전원 공급 장치에는 두 가지 문제가 있습니다. 있어야 할 곳에 접촉이 없거나, 접촉이 없어야 할 곳에 접촉이 있는 것입니다. 현대 무정전 전원 공급 장치 시스템의 신뢰성에 대해 오랫동안 이야기할 수 있지만 항상 도움이 되는 것은 아닙니다. 모회사 International Airlines Group이 소유한 British Airways가 사용하는 데이터 센터의 주목할만한 사례를 살펴보겠습니다. 히드로 공항 근처에는 Boadicea House와 Comet House라는 두 개의 숙박 시설이 있습니다. 그 중 첫 번째로 27년 2017월 XNUMX일 우발적인 정전이 발생하여 UPS 시스템에 과부하가 발생하고 오류가 발생했습니다. 이로 인해 일부 IT 장비가 물리적으로 파손됐고, 이번 재난은 해결까지 사흘이 걸렸다.

항공사는 천 개가 넘는 항공편을 취소하거나 일정을 변경해야 했고, 약 75명의 승객이 정시에 비행할 수 없었습니다. 데이터 센터 기능을 복원하는 데 필요한 비용을 제외하고 보상금 지불에 128억 XNUMX만 달러가 지출되었습니다. 정전 이유에 대한 이력은 불분명합니다. 국제항공그룹 CEO 윌리 월시가 발표한 내부 조사 결과를 믿는다면 이는 엔지니어들의 실수로 인한 것이었다. 하지만 무정전 전원 공급 장치 시스템은 이러한 셧다운을 견뎌야 했기 때문에 설치되었습니다. 데이터센터는 아웃소싱 기업인 CBRE 매니지드 서비스(CBRE Managed Services)의 전문가들이 관리하고 있어 영국항공은 런던 법원을 통해 피해액 복구를 시도했다.

정전은 유사한 시나리오에서 발생합니다. 먼저 전력 공급업체의 잘못으로 인해 정전이 발생하고 때로는 악천후 또는 내부 문제(인적 오류 포함)로 인해 정전이 발생한 다음 무정전 전원 공급 장치 시스템이 부하 또는 단락에 대처할 수 없습니다. - 사인파의 장기간 중단으로 인해 많은 서비스가 중단되고 복구에 많은 시간과 비용이 소요됩니다. 그러한 사고를 피할 수 있습니까? 의심할 여지 없이. 시스템을 올바르게 설계하면 대규모 데이터 센터를 만드는 사람이라도 실수로부터 자유롭지 않습니다.

인적 요소

사고의 직접적인 원인이 데이터 센터 직원의 잘못된 행동인 경우, 문제는 IT 인프라의 소프트웨어 부분에 가장 자주(항상은 아니지만) 영향을 미칩니다. 이런 사고는 대기업에서도 일어난다. 2017년 3월, 데이터 센터 중 하나의 기술 운영 그룹에서 팀원을 잘못 채용하여 Amazon Web Services 서버의 일부가 비활성화되었습니다. Amazon Simple Storage Service(SXNUMX) 클라우드 스토리지 고객의 청구 프로세스를 디버깅하는 동안 오류가 발생했습니다. 직원이 청구 시스템에서 사용하는 여러 가상 서버를 삭제하려고 시도했지만 더 큰 클러스터에 도달했습니다.

엔지니어 오류로 인해 중요한 Amazon 클라우드 스토리지 소프트웨어 모듈을 실행하는 서버가 삭제되었습니다. 가장 먼저 영향을 받은 것은 US-EAST-3 미국 지역에 있는 모든 S1 객체의 메타데이터 및 위치에 대한 정보를 포함하는 인덱싱 하위 시스템이었습니다. 이 사고는 데이터를 호스팅하고 저장 공간을 관리하는 데 사용되는 하위 시스템에도 영향을 미쳤습니다. 가상 머신을 삭제한 후 이 두 하위 시스템을 완전히 다시 시작해야 했고, Amazon 엔지니어들은 매우 놀랐습니다. 오랫동안 퍼블릭 클라우드 스토리지가 고객 요청을 처리할 수 없었기 때문입니다.

많은 대규모 리소스가 Amazon S3를 사용하기 때문에 그 영향은 광범위했습니다. 중단은 Trello, Coursera, IFTTT 및 S&P 500 목록의 주요 Amazon 파트너 서비스에 영향을 미쳤으며, 이러한 경우 피해는 계산하기 어렵지만 미화 수억 달러에 달했습니다. 보시다시피, 하나의 잘못된 명령으로 가장 큰 클라우드 플랫폼의 서비스를 비활성화할 수 있습니다. 이것은 고립된 사례가 아니며, 16년 2019월 XNUMX일 유지 관리 작업 중에 Yandex.Cloud 서비스가 삭제 ru-central1-c 영역에서 한 번 이상 SUSPENDED 상태였던 사용자의 가상 머신. 여기서 클라이언트 데이터는 이미 손상되었으며 그 중 일부는 복구 불가능하게 손실되었습니다. 물론 사람은 불완전하지만 현대 정보 보안 시스템은 오랫동안 권한이 있는 사용자가 입력한 명령을 실행하기 전에 해당 사용자의 행동을 모니터링할 수 있었습니다. 이러한 솔루션을 Yandex 또는 Amazon에서 구현하면 이러한 사고를 피할 수 있습니다.

냉동냉각

2017년 35월 Megafon 회사의 Dmitrov 데이터 센터에서 큰 사고가 발생했습니다. 그러다가 모스크바 지역의 온도가 -30°C까지 떨어졌고, 이로 인해 시설의 냉각 시스템이 고장났습니다. 운영자의 언론 서비스는 사건의 원인에 대해 특별히 언급하지 않았습니다. 러시아 회사는 자신이 소유한 시설의 사고에 대해 이야기하는 것을 극도로 꺼려하며 홍보 측면에서 우리는 서구보다 훨씬 뒤떨어져 있습니다. 거리를 따라 설치된 파이프의 냉각수 동결과 에틸렌 글리콜 누출에 대한 버전이 소셜 네트워크에 유포되었습니다. 그녀에 따르면 운영 서비스는 긴 휴가로 인해 XNUMX톤의 냉각수를 신속하게 확보하지 못하고 즉석에서 나가 시스템 운영 규칙을 위반하여 즉석 자유 냉각을 조직했다고 합니다. 심한 추위로 인해 문제가 더욱 악화되었습니다. 아무도 예상하지 못했지만 XNUMX월에 겨울이 갑자기 러시아를 강타했습니다. 그 결과 직원들은 서버 랙 일부의 전원을 꺼야 했고, 이로 인해 이틀 동안 일부 운영자 서비스를 이용할 수 없었습니다.

아마도 여기서 기상 이변에 대해 이야기할 수 있을 것입니다. 그러나 그러한 서리는 수도 지역에서는 특이한 일이 아닙니다. 모스크바 지역의 겨울 기온은 더 낮은 수준으로 떨어질 수 있으므로 데이터 센터는 -42°C에서 안정적인 운영을 기대하고 건설됩니다. 대부분의 경우 냉각 시스템은 냉각수 용액의 글리콜 농도가 충분하지 않고 과도한 물로 인해 추운 날씨에 실패합니다. 파이프 설치 문제나 시스템 설계 및 테스트의 계산 착오 문제도 있는데, 이는 주로 비용 절감 욕구와 관련이 있습니다. 그 결과, 예방할 수 있었던 심각한 사고가 갑자기 발생하게 됩니다.

자연 재해

대부분의 경우 뇌우 및/또는 허리케인은 데이터 센터의 엔지니어링 인프라를 중단시켜 서비스 중단 및/또는 장비의 물리적 손상을 초래합니다. 악천후로 인한 사고가 자주 발생합니다. 2012년 허리케인 샌디는 폭우와 함께 미국 서부해안을 휩쓸었습니다. Peer 1 데이터 센터는 Lower Manhattan의 고층 건물에 위치하고 있습니다. 외부 전원 공급 장치 손실, 짠 바닷물이 지하실에 범람한 후. 시설의 비상 발전기는 18층에 있었고 연료 공급이 제한되었습니다. 9/11 테러 공격 이후 뉴욕에서 도입된 규정은 상층에 대량의 연료를 저장하는 것을 금지했습니다.

연료 펌프도 고장이 나서 직원들은 디젤을 발전기까지 손으로 운반하는 데 며칠을 보냈습니다. 팀의 영웅적인 행동이 심각한 사고로부터 데이터 센터를 구했지만, 그게 꼭 필요했을까요? 우리는 질소-산소 대기와 많은 물이 있는 행성에 살고 있습니다. 뇌우와 허리케인은 이곳(특히 해안 지역)에서 흔히 발생합니다. 설계자는 관련된 위험을 고려하고 적절한 무정전 전원 공급 장치 시스템을 구축하는 것이 좋습니다. 아니면 최소한 섬의 고층 건물보다 데이터 센터에 더 적합한 위치를 선택하세요.

그 밖의 모든 것

Uptime Institute는 이 범주에서 다양한 사건을 식별하며 그 중에서 일반적인 사건을 선택하기는 어렵습니다. 구리 케이블 도난, 데이터 센터에 충돌하는 자동차, 송전선 지지대 및 변전소, 화재, 광학 장치를 손상시키는 굴착기 운전자, 설치류(쥐, 토끼, 심지어는 유대류인 웜뱃), 사격 연습을 좋아하는 사람들 전선 - 메뉴가 광범위합니다. 정전으로 인해 발생할 수도 있습니다. 훔침 전기 불법 마리화나 농장. 대부분의 경우 특정 사람들이 사건의 범인이 됩니다. 문제에 이름과 성이 있을 때 우리는 다시 인적 요소를 다루고 있습니다. 언뜻 보기에 사고가 기술적인 오작동이나 자연재해와 연관되어 있더라도 시설이 올바르게 설계되고 올바르게 작동된다면 피할 수 있습니다. 다만, 천재지변으로 인해 데이터센터 인프라가 심각하게 훼손되거나 건물 및 구조물이 파손된 경우는 예외로 합니다. 이것은 정말 불가항력적인 상황이며 다른 모든 문제는 컴퓨터와 의자 사이의 개스킷으로 인해 발생합니다. 아마도 이것은 복잡한 시스템에서 가장 신뢰할 수 없는 부분일 것입니다.

출처 : habr.com