그리고 Uptime Institute의 운영 지속 가능성 감사를 어떻게 통과했는지 시연해 보세요.

운영부서장은 솔레노이드 밸브의 표시를 보여주기 위해 지하 연료 저장 시설의 해치에 올라갔다.

XNUMX월 초, 당사 최대 규모의 Tier III 데이터 센터 노드-4 Operational Sustainability 표준에 대해 Uptime Institute(UI)에서 재인증되었습니다. 오늘은 감사관이 어떤 내용을 검토하고 어떤 결과를 얻었는지 알려드리겠습니다.

데이터센터에 익숙한 분들을 위해 하드웨어에 대해 간단히 살펴보겠습니다. 계층 표준 세 단계로 데이터 센터를 평가하고 인증합니다.

• 프로젝트(디자인): 프로젝트 문서 패키지를 확인합니다. 여기서는 잘 알려진 층. Tier I~IV의 4가지가 있습니다. 따라서 후자가 가장 높습니다.
• 건설된 시설(Facility): 데이터 센터의 엔지니어링 인프라를 점검하고 프로젝트 준수 여부를 확인합니다. 데이터 센터는 대략 다음과 같은 내용의 다양한 테스트를 사용하여 전체 설계 부하에서 점검됩니다. UPS(DGS, 냉각기, 정밀 에어컨, 분배 캐비닛, 버스바 등) 중 하나가 유지 관리 또는 수리를 위해 서비스를 중단합니다. , 도시 전원이 꺼졌습니다. Tier III 이상의 데이터 센터는 IT 페이로드에 영향을 주지 않고 상황을 처리할 수 있어야 합니다.

  데이터 센터가 이미 설계 인증을 통과한 경우 시설을 이용할 수 있습니다.
  NORD-4는 2015년에 설계 인증을 받았으며, 2016년에 시설 인증을 받았습니다.

• 운영 지속 가능성. 사실 가장 중요하고 복잡한 인증입니다. 설정된 계층 수준으로 데이터 센터를 유지 관리하는 운영자의 프로세스와 역량을 종합적으로 평가합니다(운영 지속 가능성을 통과하려면 이미 시설 인증서가 있어야 함). 결국 적절하게 구성된 운영 프로세스와 자격을 갖춘 팀이 없으면 Tier IV 데이터 센터라도 값비싼 장비를 갖춘 쓸모없는 건물로 변할 수 있습니다.
  
  여기에는 브론즈, 실버, 골드 레벨도 있습니다. 마지막 재인증에서 우리는 88,95점 만점에 100점을 획득했으며 이것이 실버입니다. 이는 Gold(1,05포인트)에 조금 못 미쳤습니다. 

필요한 프로세스가 제대로 구축되고 작동하는지 확인하는 방법은 무엇입니까? 게다가 이틀 만에 완료하는 방법은 재인증에 걸리는 시간입니다. 즉, 인증은 규정에 명시된 내용, "모든 것이 어떻게 작동하는지"에 대한 이야기 ​​및 실제 사례를 힘들게 비교하는 데 기반을 두고 있습니다. 후자에 대한 정보는 데이터 센터를 둘러보고 데이터 센터 엔지니어와의 대화(우리가 애칭으로 부르는 "대결")를 통해 얻습니다. 그것이 그들이 보고 있는 것입니다.

팀

우선, UI 감사관은 데이터 센터에 충분한 지원 인력이 있는지 확인합니다. 직원 배치 테이블, 근무 일정을 가져와 교대 보고서 및 액세스 제어 데이터를 선택적으로 확인하여 그날 필요한 수의 엔지니어가 실제로 현장에 있었는지 확인합니다.

감사관은 초과 근무 시간 수도 면밀히 살펴봅니다. 대규모 클라이언트가 들어오고 동시에 수십 개의 랙을 설치해야 하는 경우에 이런 일이 발생합니다. 그러한 순간에 다른 교대 근무자들이 구조하러 오고 이에 대해 추가 돈을 받습니다.

교대당 NORD-4에는 7명의 엔지니어가 근무하고 있습니다. 6명은 근무 중이고 24명은 선임 엔지니어입니다. 이들은 연중무휴 모니터링을 모니터링하고, 고객을 만나고, 장비 설치 및 기타 일상적인 요청을 지원하는 사람들입니다. 이것이 고객 기술 지원의 첫 번째 라인입니다. 이들의 책임에는 긴급 상황을 기록하고 이를 전문 엔지니어에게 전달하는 일이 포함됩니다. 엔지니어링 인프라 작업은 인프라 담당 책임자인 개인이 모니터링합니다. 또한 연중무휴.

NORD의 생산 이사와 현장 관리자는 감사관에게 현재 현장에서 몇 명이 일하고 있는지 알려줍니다.

숫자가 정리되면 팀의 자격이 확인됩니다. 감사자는 엔지니어의 인사 파일을 무작위로 검토하여 해당 직위에서 근무하는 데 필요한 졸업장, 인증서 및 승인 문서(예: 전기 안전 인증서)가 있는지 확인합니다.

그들은 또한 우리가 직원을 어떻게 교육하는지 확인합니다. 지난 감사에서도 우리의 신임 엔지니어 교육 시스템은 UI 전문가들에게 깊은 인상을 남겼습니다. 우리는 그들을 위해 XNUMX개월을 보낸다 훈련 과정 유급 인턴십을 통해 데이터 센터의 업무 프로세스와 원칙을 소개합니다.

이미 근무 중인 엔지니어도 비상 상황에서의 작업을 포함하여 정기적인 교육을 받아야 합니다. 감사관은 교육 프로그램 및 교육 자료를 반드시 확인하고 엔지니어를 무작위로 조사합니다. 누구도 디젤 발전기 세트로 전환하라는 요청을 받지 않지만, 도시 전력 공급이 꺼졌을 때 수행해야 할 작업을 단계별로 알려 달라는 요청을 받게 됩니다. 감사 결과를 바탕으로 모든 훈련 및 교육 프로그램을 팀마다 다르지 않도록 단일 표준으로 가져갈 것입니다.

우리는 감사관에게 교대 엔지니어를 위한 휴게실을 보여줍니다.

엔지니어링 시스템의 운영 및 유지보수 

이 큰 감사 섹션에서는 모든 엔지니어링 장비 및 시스템이 공급업체가 권장하는 일정에 따라 정기적인 유지 관리를 받고, 창고에 필요한 예비 부품이 있고, 계약자와 유효한 서비스 계약이 있으며, 장비를 사용한 각 작업에는 자체적인 유지 관리가 있음을 보여줍니다. 다양한 사례를 처리하기 위한 절차와 알고리즘.

MMS. 수십 대의 UPS, 디젤 발전기 세트, 에어컨 등을 작동할 때 이 시설에 대한 모든 정보를 어딘가에서 수집해야 합니다. 우리는 각 장비에 대해 대략 다음과 같은 서류를 작성합니다.

• 모델 및 일련번호
• 마킹;
• 기술적 특성 및 설정;
• 설치 위치;
• 생산 날짜, 시운전, 보증 만료;
• 서비스 계약;
• 유지보수 일정 및 내역;
• 전체 "의료 기록"-고장, 수리.

이 모든 정보를 수집하는 방법과 장소는 각 데이터 센터 운영자가 스스로 결정합니다. UI는 도구에 국한되지 않습니다. 이는 간단한 Excel(이것으로 시작함)일 수도 있고 지금처럼 자체 작성하는 유지 관리 시스템(MMS)일 수도 있습니다. 그런데, 서비스 데스크, 창고 회계, 온라인 로그, 모니터링도 자체 작성됩니다.

각 장비마다 이러한 "개인 파일"이 있습니다.

우리는 IT 부하를 담당하는 UPS에 부품 중 하나를 기증한 인프라 UPS(그림)의 예를 포함하여 이와 관련된 우리의 관행을 시연했습니다. 예, 표준에 따르면 이러한 "기부"는 에어컨 및 비상 조명에 전력을 공급하는 인프라 장비에 의해서만 수행될 수 있으며 IT 부하에는 수행될 수 없습니다.

그 후 감사관은 서비스 데스크에 해당 티켓을 보여달라고 요청했습니다.

MMS의 UPS 프로필은 다음과 같습니다.

예비 부품 엔지니어링 장비의 적시 유지 관리 및 긴급 수리를 위해 당사는 자체 예비 부품 및 액세서리를 보관합니다. 장비용 대형 예비 부품이 있는 일반 창고와 엔지니어링실에 예비 부품이 있는 소형 캐비닛이 있습니다(멀리 달려갈 필요가 없음).

사진 속: 디젤 발전기 세트의 예비 부품 가용성을 확인하고 있습니다. 우리는 12개의 필터를 세었습니다. 그런 다음 MMS의 데이터를 확인했습니다.  

압축기, 컨트롤러, 자동화, 팬, 증기 가습기 및 기타 수백 가지 품목 등 대형 예비 부품이 보관되어 있는 주 창고에서도 유사한 작업이 수행되었습니다. 우리는 표시를 선택적으로 다시 작성하고 MMS를 통해 "펀칭"했습니다.

예비 부품 재고 데이터. 빨간색 - 이것이 누락되어 구입해야 하는 것입니다.

사전 정비. 유지 관리 및 수리 외에도 UI에서는 예방적 유지 관리를 수행할 것을 권장합니다. 잠재적인 사고를 계획된 수리로 전환하는 데 도움이 됩니다. 각 매개변수에 대해 모니터링 시 임계값을 구성합니다. 이를 초과하면 책임자에게 알람이 전달되고 필요한 조치를 취하게 된다. 예를 들어, 우리는:

• 전기 설비의 결함(접촉 불량, 도체 또는 회로 차단기의 국부적 과열)을 신속하게 감지하기 위해 열화상 장비로 전기 패널을 검사합니다. 
• 우리는 냉동 시스템 펌프의 진동 표시기와 전류 소비를 모니터링합니다. 이를 통해 시간 차이를 파악하고 서둘러 교체 부품을 계획할 수 있습니다.
• 우리는 디젤 발전기 세트와 압축기의 연료 및 오일 분석을 수행합니다.
• 우리는 냉동 시스템의 글리콜 농도를 테스트합니다.

수리 전후의 펌프 진동 다이어그램.

계약자와 협력합니다. 장비 유지보수 및 수리는 외부 계약자가 수행합니다. 우리 측에는 디젤 발전기 세트, 에어컨, UPS의 작동을 제어하는 ​​별도의 전문가가 있습니다. 그들은 계약업체가 수리 작업/유지보수에 필요한 도구 및 자재, 전문 자격증, 전기 안전 자격증 및 허가증을 보유하고 있는지 확인합니다. 그들은 모든 일을 받아들입니다.

에어컨 유지보수 작업 접수를 위한 체크리스트는 다음과 같습니다.

출입증 사무실에서는 계약업체의 승인된 대리인에게 출입증이 발급되었는지, 지정된 시간에 유지 보수를 받았는지, 규칙을 읽었는지 여부를 확인합니다.

선적 서류 비치. 시스템과 장비를 유지하기 위한 확립된 프로세스는 전투의 절반입니다. 데이터 센터에서 사람이 수행하는 모든 절차는 문서화되어야 합니다. 이것의 목적은 간단합니다. 모든 것이 특정 사람 한 명에게만 국한되지 않고 사고 발생 시 모든 엔지니어가 명확한 지침을 취하고 이를 제거하기 위해 필요한 모든 작업을 수행할 수 있도록 하는 것입니다.

UI에는 이러한 문서화를 위한 자체 방법론이 있습니다.

단순하고 반복적인 활동에 대해서는 표준작업절차(SOP)가 확립되어 있습니다. 예를 들어 냉각기를 켜거나 끄고 UPS를 바이패스로 설정하는 SOP가 있습니다.

UPS의 배터리 교체와 같은 유지 관리 또는 복잡한 작업을 위해 유지 관리 절차(절차 방법, MOP)가 생성됩니다. 여기에는 SOP가 포함될 수 있습니다. 각 유형의 엔지니어링 장비에는 고유한 MOP가 있어야 합니다.

마지막으로 비상 운영 절차(EOP), 즉 긴급 상황에 대한 지침이 있습니다. 특정 비상 상황 목록이 작성되고 이에 대한 지침이 작성됩니다. 다음은 사고 징후, 조치, 책임자 및 통보 대상을 자세히 설명하는 비상 상황 목록의 일부입니다.

• 도시 전력 공급 중단: 디젤 발전기 세트가 시작/시작되지 않았습니다.
• UPS 사고; 
• 데이터 센터 모니터링 시스템 사고;
• 기계실 과열;
• 냉동 시스템의 누출;
• 네트워크 및 컴퓨팅 장비의 오류;

등등.

이러한 양의 문서를 편집하는 것은 그 자체로 노동 집약적인 작업입니다. 최신 상태로 유지하는 것이 훨씬 더 어렵습니다 (그런데 감사관도 이것을 확인합니다). 그리고 가장 중요한 것은 직원이 이러한 지침을 숙지하고 그에 따라 작업하며 필요한 경우 개선해야 한다는 것입니다.

예, 지침은 필요할 수 있는 곳에 제공되어야 하며 단순히 기록 보관소에 먼지만 쌓이는 것이 아닙니다.

데이터 센터 엔지니어링 시스템의 유지 관리 규정 변경에 대한 참고 사항입니다.

감사 중에는 시스템에 대한 기술 문서, 실행 및 작업 문서, 시스템 운영 활동도 검토합니다. 

마킹 데이터센터를 돌아다니면서 손이 닿는 모든 곳을 확인했다. 손이 닿지 않는 곳은 접사다리를 이용해 손을 뻗었습니다. :) 우리는 모든 배전반, 기계 및 밸브에서 그 존재를 조사했습니다. 우리는 준공 문서의 현재 체계에 대한 고유성, 명확성 및 준수 여부를 확인했습니다. 아래 사진에서: 우리는 연료 저장 펌프실에서 솔레노이드 밸브의 표시를 준공 문서의 다이어그램과 비교하고 있습니다. 

모든 것이 그녀의 의견에 동의했지만 한 매개변수의 벽에 있는 로컬 "장식" 축측 다이어그램과 일치하지 않았습니다.

해당 위치에 있는 시스템의 다이어그램도 데이터 센터 구내에 게시되어야 합니다. 사고 발생 시 모든 것이 어디에 있는지 신속하게 파악하고 정보에 입각한 결정을 내리는 데 도움이 됩니다. 예를 들어 사진은 주 배전반실의 단선 다이어그램을 보여줍니다.

다이어그램의 관련성은 다음과 같은 방식으로 확인되었습니다. 다이어그램에 표시되는 요소의 이름을 지정하고 이를 "실생활에서" 표시하도록 요청했습니다. 

여기에서 감사자는 주 배전반 입력 회로 차단기의 설정(설정) 사진을 찍어 나중에 종이 및 전자 사본의 단선 다이어그램 표시기와 비교합니다. 기계 중 하나인 QF-3에서는 표시기가 종이 다이어그램과 일치하지 않아 벌점을 받았습니다. 이제 두 명의 엔지니어가 단선 다이어그램의 표시가 사실과 일치하는지 확인합니다.

감사인이 서비스 프로세스 측면에서 확인한 것은 이것이 전부가 아닙니다. 그 밖의 의제는 다음과 같습니다.

• 감시 체계. 여기서 우리는 좋은 시각화, 모바일 애플리케이션의 존재, 데이터 센터 복도에 배치된 상황별 화면을 통해 카르마 혜택을 얻었습니다. 여기에 우리가 일하는 방식에 대해 자세히 썼습니다. 모니터링.

  
  이는 NORD-4의 주요 엔지니어링 시스템과 해당 현장에서 작동하는 다른 데이터 센터의 상태에 대한 시각적 정보를 제공하는 MCC입니다.

• 엔지니어링 장비의 수명주기 계획;
• 용량 관리(용량 관리);
• 예산 책정(약간 이야기했습니다. 여기에);
• 사고 분석 절차;
• 장비의 승인, 시운전 및 테스트 과정(테스트에 대해 썼습니다. 여기에).

UI는 또 무엇을 보고 있었나요?

보안 및 액세스 제어. 감사에서는 안전 및 보안 시스템의 작동도 확인합니다. 예를 들어, 감사자는 자신이 접근할 수 없는 건물 중 하나에 들어가려고 시도한 다음 이것이 접근 제어 시스템에 반영되었는지, 보안 담당자에게 이에 대해 통보되었는지 여부를 확인했습니다(스포일러-그렇습니다).

데이터 센터에서 어떤 방의 문이 XNUMX분 이상 열려 있으면 보안 초소에서 경고가 발생합니다. 이를 테스트하기 위해 감사관은 소화기로 문 중 하나를 열었습니다. 사실, 우리는 사이렌을 울리지 못했습니다. 경비원은 비디오 카메라를 통해 무언가 잘못되었음을 확인하고 더 일찍 "범죄 현장"에 도착했습니다.

질서와 청결함. 감사관은 먼지, 어수선하게 놓여 있는 장비 상자 및 건물 청소 빈도를 찾습니다. 예를 들어, 감사관은 환기 복도에 있는 미확인 물체에 관심을 갖게 되었습니다. 이것은 이미 그 자리를 준비하고 있던 환기 시스템의 블록입니다. 하지만 그들은 여전히 ​​나에게 서명을 요구했습니다.

또한 데이터 센터의 주문 주제와 관련하여 장비의 비상 작업에 필요한 모든 도구가 포함된 캐비닛은 주 배전반실에 있습니다. 

위치 데이터 센터는 근처에 군사 기지, 공항, 강, 화산 및 기타 위험한 물체가 있는지 여부 등 위치 조건을 기준으로 평가됩니다. 사진을 보면 2017년 마지막 인증 이후 데이터센터 주변에 원자력 발전소나 석유 저장 시설이 성장한 적이 없다는 것을 알 수 있습니다. 하지만 거기에는 새로운 NORD-5 데이터 센터가 건설되고 있으며, 이 센터도 모든 수준의 Uptime Institute Tier III 인증을 통과해야 합니다. 그러나 그것은 완전히 다른 이야기입니다.)

출처 : habr.com