データセンターにおける事故の主な原因は、コンピュータと椅子の間のガスケットです

現代のデータセンターにおける重大な事故のトピックは、最初の記事では答えられなかった疑問を引き起こします。私たちはそれを開発することにしました。

Uptime Institute の統計によると、データセンターにおけるインシデントの大部分は電源システムの障害に関連しており、インシデントの 39% を占めています。 これに人的要因が続き、事故のさらに 24% を占めます。 15 番目に重要な理由 (12%) は空調システムの故障で、10 番目 (XNUMX%) は自然災害でした。 その他のトラブルの合計シェアはわずか XNUMX% です。 尊敬される組織のデータに疑問を持たずに、さまざまな事故に共通するものを強調し、それらが回避できたかどうかを理解しようとします。 ネタバレ: ほとんどの場合、それは可能です。

コンタクトの科学

簡単に言えば、電源の問題は27つだけです。接触すべき場所に接触がない、または接触すべきでない場所に接触があるかのどちらかです。 最新の無停電電源装置システムの信頼性については長く語ることができますが、必ずしもそれがあなたを救ってくれるわけではありません。 親会社インターナショナル エアラインズ グループが所有するブリティッシュ エアウェイズが使用しているデータ センターの注目を集めた事例を考えてみましょう。 ヒースロー空港の近くには、ボアディシア ハウスとコメット ハウスの 2017 軒の宿泊施設があります。 最初のケースでは、XNUMX 年 XNUMX 月 XNUMX 日に偶発的な停電が発生し、UPS システムの過負荷と障害が発生しました。 その結果、一部の IT 機器が物理的に損傷し、今回の災害は解決までに XNUMX 日かかりました。

航空会社は75以上のフライトをキャンセルまたはスケジュール変更しなければならず、約128万XNUMX人の乗客が時間通りに飛行機に乗ることができず、データセンターの機能を回復するために必要な費用を除いて、補償金の支払いにXNUMX億XNUMX万ドルが費やされました。 停電の原因の経緯は不明である。 インターナショナル エアラインズ グループ CEO のウィリー ウォルシュ氏が発表した内部調査の結果を信じるなら、それはエンジニアによるミスによるものです。 しかし、無停電電源装置はこのようなシャットダウンにも耐える必要があったため、設置されました。 データセンターはアウトソーシング会社CBREマネージドサービスの専門家によって管理されていたため、ブリティッシュ・エアウェイズはロンドンの裁判所を通じて損害額の回収を試みた。

停電も同様のシナリオで発生します。最初は電力供給者の過失、場合によっては悪天候や内部問題（人為的ミスを含む）が原因で停電が発生し、次に無停電電源装置システムが負荷やショートに対処できなくなります。 - 正弦波の一時的な中断は多くのサービスの障害を引き起こし、その復旧には多大な時間と費用がかかります。 このような事故を避けることは可能でしょうか？ 間違いなく。 システムを正しく設計すれば、大規模なデータセンターの作成者であっても間違いを免れることはできません。

ヒューマンファクター

インシデントの直接の原因がデータセンター担当者の誤った行動である場合、問題はほとんどの場合 (常にではありませんが) IT インフラストラクチャのソフトウェア部分に影響します。 このような事故は大企業でも起きています。 2017 年 3 月、データセンターの XNUMX つで技術運用グループのチームメンバーが誤って採用されたため、アマゾン ウェブ サービス サーバーの一部が無効になりました。 Amazon Simple Storage Service (SXNUMX) クラウド ストレージの顧客向けの請求プロセスをデバッグ中にエラーが発生しました。 従業員は、請求システムで使用されている多数の仮想サーバーを削除しようとしましたが、より大きなクラスターにヒットしました。

エンジニアのミスの結果、重要な Amazon クラウド ストレージ ソフトウェア モジュールを実行しているサーバーが削除されました。 最初に影響を受けたのは、US-EAST-3 アメリカ リージョン内のすべての S1 オブジェクトのメタデータと場所に関する情報を含むインデックス サブシステムでした。 このインシデントは、データをホストし、ストレージに利用可能なスペースを管理するために使用されるサブシステムにも影響を与えました。 仮想マシンを削除した後、これら XNUMX つのサブシステムは完全に再起動する必要があり、Amazon のエンジニアは驚くべき事態に陥りました。長い間、パブリック クラウド ストレージは顧客のリクエストに対応できなくなりました。

多くの大規模リソースが Amazon S3 を使用しているため、影響は広範囲に及んだ。 この障害は、Trello、Coursera、IFTTT、そして最も不愉快なことに、S&P 500 リストに含まれる主要な Amazon パートナーのサービスに影響を及ぼしました。このような場合の損害額を計算するのは困難ですが、被害額は数億米ドル程度でした。 ご覧のとおり、コマンドを 16 つ間違えるだけで、最大のクラウド プラットフォームのサービスを無効にするのに十分です。 これは特別なケースではなく、2019 年 XNUMX 月 XNUMX 日のメンテナンス作業中に、Yandex.Cloud サービスが 削除されました ru-central1-c ゾーン内のユーザーの仮想マシンで、少なくとも XNUMX 回は SUSPENDED ステータスになったもの。 ここではすでに顧客データが損傷しており、一部は回復不能に失われています。 もちろん、人間は不完全ですが、最新の情報セキュリティ システムは、特権ユーザーが入力したコマンドを実行する前に、特権ユーザーのアクションを監視することができてきました。 このようなソリューションが Yandex または Amazon に実装されていれば、そのようなインシデントは回避できます。

凍結冷却

2017年35月、Megafon社のDmitrovデータセンターで大規模な事故が発生した。 その後、モスクワ地方の気温がマイナス30℃まで下がり、施設の冷却システムが故障しました。 通信事業者の報道機関は、事故の理由について特に語らなかった - ロシア企業は自社が所有する施設での事故について話すことに非常に消極的であり、広報という点では西側諸国に大きく遅れをとっている。 道路沿いに敷設されたパイプ内の冷却剤が凍結し、エチレングリコールが漏洩するというバージョンがソーシャルネットワーク上で拡散した。 彼女によると、運用サービスは長期休暇のためXNUMXトンの冷却剤をすぐに入手できず、システム運用規則に違反して即席のフリークーリングを組織し、即席の手段を使って脱出したという。 厳しい寒さが問題を悪化させた。誰も予想していなかったにもかかわらず、XNUMX月に突然冬がロシアを襲った。 その結果、スタッフは一部のサーバー ラックの電源を切る必要があり、そのため一部のオペレーター サービスが XNUMX 日間利用できなくなりました。

おそらく、ここでは気象異常について話すことができますが、このような霜は首都圏では珍しいことではありません。 モスクワ地域の冬季には気温がより低いレベルまで低下する可能性があるため、データセンターは-42℃でも安定した稼働を期待して建設されています。 ほとんどの場合、冷却システムは、冷却液中のグリコール濃度が不十分で過剰な水分が原因で、寒い天候で故障します。 また、主にお金を節約したいという欲求に関連して、パイプの設置やシステムの設計とテストにおける計算ミスの問題もあります。 その結果、防げたはずの重大事故が突然発生してしまうのです。

自然災害

ほとんどの場合、雷雨やハリケーンはデータセンターのエンジニアリング インフラストラクチャを混乱させ、サービスの中断や機器の物理的な損傷につながります。 悪天候による事故は頻繁に発生しています。 2012 年、ハリケーン サンディが大雨を降らせてアメリカ西海岸を襲いました。 ロウアー・マンハッタンの高層ビル内にあるピア 1 データセンター 外部電源の喪失塩辛い海水が地下室に浸水した後。 この施設の非常用発電機は 18 階にあり、その燃料供給は限られていた。9/11 テロ攻撃後にニューヨークで導入された規則により、上層階に大量の燃料を保管することが禁止されている。

燃料ポンプも故障したため、スタッフは数日をかけてディーゼルを手作業で発電機まで運んだ。 チームの英雄的な行動により、データセンターは重大な事故から救われましたが、それは本当に必要だったのでしょうか? 私たちは窒素と酸素の大気と大量の水を持つ惑星に住んでいます。 ここ（特に沿岸地域）では、雷雨やハリケーンがよく発生します。 設計者は、それに伴うリスクを考慮して、適切な無停電電源装置システムを構築するのがよいでしょう。 あるいは、少なくともデータセンターには島の高層ビルよりも適切な場所を選択してください。

ほかのすべて

Uptime Institute はこのカテゴリにさまざまなインシデントを特定していますが、その中から典型的なインシデントを選択するのは困難です。 銅ケーブルの盗難、データセンター、送電線の支柱や変電所への自動車の衝突、火災、光学部品を損傷する掘削機のオペレーター、げっ歯類（ネズミ、ウサギ、さらには実際には有袋類のウォンバット）、そして銃撃の練習をする人たち。ワイヤー - メニューは豊富です。 停電が発生する可能性もあります 窃盗 電気の違法なマリファナ農園。 ほとんどの場合、特定の人物が事件の犯人になります。つまり、問題に名前と姓が含まれる場合、私たちは再び人的要因を扱うことになります。 一見、技術的な故障や自然災害に関連した事故であっても、施設が適切に設計され、正しく運用されていれば、事故は回避できます。 唯一の例外は、自然災害によるデータセンターのインフラストラクチャへの重大な損傷、または建物や構造物の破壊の場合です。 これらはまさに不可抗力の状況であり、その他すべての問題はコンピューターと椅子の間のガスケットによって引き起こされます。これはおそらく、複雑なシステムの中で最も信頼性の低い部分です。

出所： habr.com