そして、Uptime Institute の運用持続可能性監査にどのように合格したかを実証します。

運用部門の責任者は地下燃料貯蔵施設のハッチに登り、電磁弁のマークを見せた。

2 月初旬、当社最大の Tier III データセンター NORD-4 Uptime Institute (UI) によって運用持続可能性標準に対して再認定されました。今日は、監査人が何に注目しているのか、そしてどのような結果が出たのかについてお話しします。

データセンターに詳しい方のために、ハードウェアについて簡単に説明しましょう。 階層基準 データセンターは次の 3 段階で評価および認定されます。

• プロジェクト (デザイン): プロジェクト ドキュメントのパッケージがチェックされます。ここではよく知られている 段。 Tier I ～ IV の合計 4 つがあります。したがって後者が最も高い。
• 建設された施設 (施設): データセンターのエンジニアリング インフラストラクチャとそのプロジェクトへの準拠がチェックされます。データセンターは、ほぼ次のような内容のさまざまなテストを使用して、設計全体の負荷の下でチェックされます。 UPS (DGS、チラー、高精度空調装置、配電盤、バスバーなど) の 1 つがメンテナンスまたは修理のために停止されています。 、市の電源がオフになります。 Tier III 以上のデータセンターは、IT ペイロードに影響を与えることなく状況に対処できる必要があります。

  データセンターがすでに設計認証に合格している場合、設備を取得できます。
  NORD-4 は 2015 年に設計認証を取得し、2016 年に施設認証を取得しました。

• 運用の持続可能性。実際、最も重要かつ複雑な認証です。これは、確立された階層レベルでデータセンターを維持および管理するオペレーターのプロセスと能力を包括的に評価します (運用持続可能性をパスするには、ファシリティ証明書をすでに持っている必要があります)。結局のところ、適切に構造化された運用プロセスと有能なチームがなければ、Tier IV データセンターであっても、非常に高価な機器を備えた役に立たない建物になってしまう可能性があります。
  
  ここにはブロンズ、シルバー、ゴールドのレベルもあります。前回の再認定では 88,95 点満点中 100 点を獲得し、シルバーとなりました。ゴールドにはわずか1,05ポイント及ばなかった。 

必要なプロセスが構築され、正常に動作していることを確認するにはどうすればよいでしょうか?さらに、それを 2 日で完了する方法は、再認定にかかる時間です。つまり、認証は、規制に記載されている内容、「すべてがどのように機能するか」のストーリー、および実際の実践の入念な比較に基づいています。後者に関する情報は、データ センターの視察やデータ センター エンジニアとの会話、つまり私たちが愛情を込めて「対立」と呼んでいるものから得られます。それが彼らが見ているものです。

チーム

まず、UI 監査人はデータセンターに十分なサポート スタッフがいるかどうかをチェックします。彼らは人員配置表、勤務スケジュールを取得し、シフトレポートとアクセス制御データを選択的にチェックして、その日に必要な数のエンジニアが実際に現場にいたかどうかを確認します。

監査人は時間外労働時間も注意深く監視しています。これは、大規模なクライアントが到着し、数十のラックを同時に設置する必要がある場合に発生することがあります。そのような瞬間には、他のシフトの男性が助けに来て、そのために追加のお金が支払われます。

シフトごとに 4 人のエンジニアが NORD-7 に取り組んでいます。そのうち 6 人が当番で、24 人がシニア エンジニアです。これらは、7 時間 24 日監視し、クライアントに対応し、機器の設置やその他の日常的な要求を支援する人たちです。これは顧客テクニカル サポートの第一線です。彼らの責任には、緊急事態を記録し、専門のエンジニアにエスカレーションすることが含まれます。エンジニアリング インフラストラクチャの作業は、インフラストラクチャ担当官という個々の人々によって監視されます。それも7時間XNUMX日。

NORD の製造ディレクターと現場マネージャーは監査人に、現在現場で何人が働いているかを伝えます。

数字が整理されると、チームの資格がチェックされます。監査人はエンジニアの人事ファイルをランダムに調べて、エンジニアが所定の役職で働くために必要な卒業証書、証明書、承認書類 (電気安全証明書など) を持っているかどうかを確認します。

また、スタッフのトレーニング方法もチェックされます。前回の監査でも、当社の新人エンジニア研修システムは UI スペシャリストに感銘を与えました。私たちは彼らのために3ヶ月を費やします トレーニングコース 有給のインターンシップとして、データセンターでの作業のプロセスと原則を紹介します。

すでに働いているエンジニアも、緊急事態での作業を含む定期的なトレーニングを受ける必要があります。監査員は研修プログラムや研修資料を必ずチェックしますし、エンジニアの抜き打ち検査も行います。誰もディーゼル発電機に切り替えるように求められることはありませんが、都市の電力供給がオフになった場合に何をする必要があるかを段階的に説明するよう求められます。監査結果に基づいて、すべてのトレーニングと教育プログラムを単一の基準に統一し、チームによって内容が異なることがないようにします。

私たちは監査員にシフトエンジニアの休憩室を案内します。

エンジニアリングシステムの運用・保守 

監査のこの大規模なセクションでは、すべてのエンジニアリング機器とシステムがベンダーが推奨するスケジュールに従って定期メンテナンスを受けていること、倉庫には必要なスペアパーツがあり、請負業者との有効なサービス契約が締結されていること、機器を使用する各操作には独自のメンテナンスがあることを示しています。さまざまなケースに取り組むための手順とアルゴリズム。

MMS。 数十台の UPS、ディーゼル発電機、エアコンなどを運用する場合、その設備に関するすべての情報をどこかに収集する必要があります。機器ごとにおよそ次のような関係書類を作成します。

• モデルとシリアル番号。
• マーキング;
• 技術的特性と設定。
• 設置場所。
• 製造日、試運転日、保証期限。
• サービス契約。
• メンテナンスのスケジュールと履歴。
• そして「病歴」全体 - 故障、修理。

このすべての情報をどこでどのように収集するかは、各データセンター運営者が自ら決定することになります。 UI はツールに制限されません。これは、単純な Excel (私たちはこれから始めました) または、現在使用しているように、独自に作成した保守管理システム (MMS) にすることができます。ところで、 サービスデスク、倉庫会計、オンラインログ、モニタリングも自分で作成します。

このような「個人ファイル」は機器ごとに存在します。

このインフラストラクチャ UPS (写真) の例を使用するなど、この点に関する当社の実践を実証しました。このインフラ UPS は、IT 負荷を提供する UPS に部品の 1 つを寄付しました。はい、規格によれば、そのような「寄付」はエアコンや非常用照明に電力を供給するインフラ設備によってのみ実行できますが、IT 負荷には実行できません。

その後、監査人は対応するチケットをサービスデスクに提示するよう求めました。

MMS の UPS プロファイル:

SPTA。 エンジニアリング機器のタイムリーなメンテナンスと緊急修理のために、当社は独自のスペアパーツと付属品を保管しています。設備用の大きなスペアパーツを保管する一般倉庫と、エンジニアリングルームにスペアパーツを保管する小さなキャビネットがあります（遠くまで走る必要がありません）。

写真では、ディーゼル発電機セットのスペアパーツの入手可能性を確認しています。フィルターの数を数えると 12 個ありました。次に、MMS 内のデータを確認しました。  

同様の演習は、コンプレッサー、コントローラー、オートメーション、ファン、蒸気加湿器、その他数百点の大型予備部品が保管されている主要倉庫でも実施されました。私たちはマーキングを選択的に書き換え、MMS を介してそれらを「パンチ」しました。

スペアパーツの在庫データ。赤 - これは不足しているものであり、購入する必要があります。

予防メンテナンス。 UI では、メンテナンスと修理に加えて、予防メンテナンスを実行することをお勧めします。潜在的な事故を計画的な修理に変えるのに役立ちます。各パラメータに対して、監視時のしきい値を設定します。これらを超過した場合、責任者は警報を受け取り、必要な措置を講じます。たとえば、私たちは次のことを行います。

• 当社では、電気設備の欠陥（接触不良、導体や回路ブレーカーの局部的過熱など）を迅速に検出するために、サーマルイメージャーを使用して電気パネルを検査します。 
• 当社は、冷凍システムのポンプの振動インジケーターと消費電流を監視します。これにより、時間の逸脱を特定し、急いで交換部品を計画することができます。
• 当社はディーゼル発電機セットとコンプレッサーの燃料とオイルの分析を行っています。
• 冷凍システム内のグリコールの濃度をテストします。

修理前後のポンプ振動図。

請負業者と協力する。 設備のメンテナンスや修理は外部業者に委託しております。私たちの側には、ディーゼル発電機セット、エアコン、UPS の運転を制御する別の専門家がいます。請負業者が修理作業/メンテナンスに必要な工具や材料、専門資格、電気安全証明書、許可を持っているかどうかを確認します。彼らはすべての仕事を受け入れます。

エアコンメンテナンス作業を受付するためのチェックリストはこんな感じです。

定期券売り場では、契約者の代表者に定期券が発行されているか、指定された時期にメンテナンスが行われているか、規定を読んでいるかなどを確認します。

ドキュメンテーション。 システムと機器を保守するための確立されたプロセスは、戦いの半分です。データセンター内で人間が実行するすべての手順は文書化する必要があります。この目的は単純です。すべてが特定の個人に限定されず、事故が発生した場合、誰もが明確な指示を受け、事故を排除するために必要なすべての操作を実行できるようにするためです。

UI には、このようなドキュメント作成のための独自の方法論があります。

単純で反復的な活動については、標準作業手順 (SOP) が確立されています。たとえば、チラーのオン/オフを切り替えたり、UPS をバイパスに設定したりするための SOP があります。

UPS のバッテリー交換などのメンテナンスや複雑な操作のために、メンテナンス手順 (手順方法、MOP) が作成されます。これらには SOP が含まれる場合があります。エンジニアリング機器の種類ごとに独自の MOP が必要です。

最後に、緊急時運用手順 (EOP)、つまり緊急時の指示があります。特定の緊急事態のリストが編集され、それらに対する指示が書かれます。以下は緊急事態のリストの一部であり、事故の兆候、行動、責任者、通知すべき人が詳しく記載されています。

• 市の電力供給の停止: ディーゼル発電機が始動した/始動しなかった。
• UPS の事故。 
• データセンター監視システムの事故。
• 機械室の過熱。
• 冷凍システムの漏れ。
• ネットワークとコンピューティング機器の障害。

等々。

このような大量の文書を編集すること自体が、多大な労力を要する作業です。それを常に最新の状態に保つことはさらに困難です（ちなみに監査人もこれをチェックします）。そして最も重要なことは、スタッフがこれらの指示を理解し、その指示に従って作業し、必要に応じて改善を行わなければならないことです。

はい、説明書はアーカイブの中にゴミをかぶせるだけでなく、必要な場所で利用できるようにする必要があります。

データセンターエンジニアリングシステムの保守規定変更に関する注意事項。

監査では、システムに関する技術文書、管理文書および作業文書、システムの運用に関する行為も調査します。 

マーキング データセンター内を歩き回りながら、手の届くところはすべてチェックしました。届かないところは脚立から届きました:)。私たちは、すべての配電盤、機械、バルブにその存在を調べました。私たちは、構築されたドキュメントの一意性、曖昧さのなさ、現在のスキームへの準拠性をチェックしました。下の写真では、私たちは燃料貯蔵ポンプ室でソレノイドバルブのマークと完成時の文書の図を比較しています。 

すべてが彼女と一致しましたが、壁にある地元の「装飾的な」不等角投影図とは、1つのパラメータが一致しませんでした。

そこにあるシステムの図もデータセンターの敷地内に掲示される必要があります。事故が発生した場合、すべてがどこにあるのかをすぐに確認し、情報に基づいた決定を下すのに役立ちます。たとえば、写真は主配電盤室の単線図です。

図の関連性は次の方法でチェックされました。図上の要素マークに名前を付け、それを「実際に」表示するよう依頼されました。 

ここでは、監査人が主配電盤の入力サーキットブレーカーの設定（設定）の写真を撮り、後で紙や電子コピーの単線図のインジケーターと比較します。マシンの 3 つ、QF-XNUMX では、インジケーターが紙の図と一致せず、ペナルティ ポイントを獲得しました。ここで、XNUMX 人のエンジニアが単線図のマークが事実と一致しているかどうかを確認します。

監査人がサービスプロセスに関してチェックしたのはこれだけではありません。その他の議題は次のとおりです。

• 監視システム。ここでは、優れた視覚化、モバイル アプリケーションの存在、およびデータ センターの通路に配置された状況画面によってカルマの利点を獲得しました。働き方について詳しく書きました モニタリング.

  
  これは、サイト上で稼働している NORD-4 および他のデータ センターの主要なエンジニアリング システムのステータスに関する視覚的な情報を備えた MCC です。

• エンジニアリング機器のライフサイクル計画。
• 容量管理 （容量管理);
• 予算編成（少し話しました） ここで);
• 事故分析手順。
• 機器の受け入れ、試運転、テストのプロセス (テストについて書きました) ここで).

UI は他に何を見ていたのでしょうか?

セキュリティとアクセス制御。 監査では、安全およびセキュリティ システムの運用もチェックされます。たとえば、監査人はアクセスできない施設の 1 つに侵入しようとし、これがアクセス制御システムに反映されているかどうか、またこれについて警備員に通知されているかどうかを確認しました (ネタバレ - されていました)。

データセンターでは、部屋のドアが 2 分以上開いたままになっている場合、警備所でアラートがトリガーされます。これをテストするために、監査人は消火器を使ってドアの 1 つを押し開けました。確かに、サイレンは鳴りませんでした。警備員はビデオカメラを通して何かがおかしいことに気づき、より早く「犯行現場」に到着しました。

秩序と清潔さ。 監査人は、ほこり、無秩序に転がっている機器の箱、敷地内の清掃の頻度などを調べます。たとえば、ここで監査人は換気廊下にある未確認の物体に興味を持ちました。これは、すでにその場所に代わる準備をしていた換気システムからのブロックです。それでも彼らは私に署名を求めました。

データセンターの秩序についても同様に、機器の緊急作業に必要なツールをすべて備えたこれらのキャビネットが主配電盤室にあります。 

ロケーション。 データセンターは、近くに軍事基地、空港、川、火山、その他の危険物があるかどうかという立地条件に基づいて評価されます。写真では、2017 年の最後の認証以来、データセンターの周囲に原子力発電所や石油貯蔵施設が建設されていないことを示しています。しかし、向こうでは新しい NORD-5 データセンターが建設されており、これもすべてのレベルの Uptime Institute Tier III 認定に合格する必要があります。しかしそれは全く別の話です）。

出所： habr.com