Die Hauptursache für Ausfälle in Rechenzentren ist die Verbindung zwischen Computer und Stuhl.

Das Thema schwerwiegender Ausfälle in modernen Rechenzentren wirft Fragen auf, auf die in dem ersten Artikel keine Antworten gefunden wurden – wir haben beschlossen, es weiterzuentwickeln.

Wenn man den Statistiken des Uptime Institute Glauben schenkt, hängen die meisten Vorfälle in Rechenzentren mit Ausfällen der Stromversorgung zusammen – sie machen 39 % der Vorfälle aus. An zweiter Stelle steht der menschliche Faktor – das sind weitere 24 % der Unfälle. Die dritthäufigste Ursache (15 %) sind Ausfälle der Klimaanlage, gefolgt von Naturkatastrophen (12 %). Der Anteil weiterer Probleme beträgt nur 10 %. Ohne die Daten dieser respektevollen Organisation in Frage zu stellen, wollen wir in den verschiedenen Vorfällen etwas Gemeinsames hervorheben und versuchen zu verstehen, ob sie hätte vermieden werden können. Spoiler: In den meisten Fällen ja.

Die Wissenschaft der Kontakte

Vereinfacht gesagt gibt es beim Stromversorgungssystem nur zwei Probleme: entweder gibt es keinen Kontakt, wo er sein sollte, oder es gibt ihn genau dort, wo er nicht sein sollte. Man kann lange über die Zuverlässigkeit moderner unterbrechungsfreier Stromversorgungssysteme diskutieren, doch sie helfen nicht immer. Nehmen wir beispielsweise den umstrittenen Vorfall im Rechenzentrum von British Airways, das der Muttergesellschaft International Airlines Group gehört. In der Nähe des Flughafens Heathrow befinden sich zwei solcher Objekte – Boadicea House und Comet House. Im ersten ereignete sich am 27. Mai 2017 ein versehentlicher Stromausfall, der zu einer Überlastung und zum Ausfall des USV-Systems führte. Infolgedessen wurde ein Teil der IT-Ausrüstung physisch beschädigt, und die Behebung des letzten Ausfalls nahm drei Tage in Anspruch.

Die Fluggesellschaften mussten über tausend Flüge streichen oder verschieben, etwa 75.000 Passagiere konnten nicht pünktlich abfliegen – die Entschädigungszahlungen beliefen sich auf 128 Millionen Dollar, ganz zu schweigen von den Kosten für die Wiederherstellung der Funktionsfähigkeit der Rechenzentren. Die Gründe für den Ausfall sind unklar. Wenn man den Ergebnissen der internen Untersuchung glaubt, die der Geschäftsführer der International Airlines Group, Willie Walsh, bekanntgab, geschah es aufgrund eines Ingenieursfehlers. Dennoch hätte die unterbrechungsfreie Stromversorgung eine solche Abschaltung aushalten müssen – dafür wurde sie installiert. Das Rechenzentrum wurde von Fachleuten des Outsourcing-Unternehmens CBRE Managed Services betrieben, weshalb British Airways versuchte, den Schaden über ein Gericht in London geltend zu machen.

Stromausfälle treten nach ähnlichen Szenarien auf: Zuerst gibt es eine Abschaltung auf Seiten des Stromanbieters, manchmal wegen schlechten Wetters oder internen Problemen (einschließlich Fehler des Personals), und dann kann die unterbrechungsfreie Stromversorgung die Last nicht bewältigen oder eine kurzfristige Unterbrechung der Sinuswelle führt zum Ausfall vieler Dienste, deren Wiederherstellung viel Zeit und Geld kostet. Kann man solche Ausfälle vermeiden? Sicherlich. Wenn man das System richtig plant, aber Fehler sind selbst den Entwicklern großer Rechenzentren nicht fremd.

Der menschliche Faktor

Wenn die unmittelbare Ursache des Vorfalls falsche Maßnahmen des Personals im Rechenzentrum sind, betreffen die Probleme meist (aber nicht immer) den programmtechnischen Teil der IT-Infrastruktur. Solche Ausfälle geschehen sogar in großen Unternehmen. Im Februar 2017 wurden aufgrund eines falsch eingegebenen Kommandos eines Mitglieds der technischen Betriebsgruppe eines der Rechenzentren Teile der Server von Amazon Web Services abgeschaltet. Der Fehler trat während der Fehlersuche im Abrechnungsprozess für die Kunden des Cloud-Speichers Amazon Simple Storage Service (S3) auf. Der Mitarbeiter versuchte, eine bestimmte Anzahl von virtuellen Servern, die von der Abrechnungssystem genutzt wurden, zu löschen, traf jedoch einen größeren Cluster.

Durch einen Ingenieursfehler wurden die Server, auf denen wichtige Softwaremodule des Amazon-Cloud-Speichers liefen, gelöscht. Vor allem das Indizierungssystem, das Informationen über Metadaten und den Standort aller S3-Objekte in der amerikanischen Region US-EAST-1 enthält, wurde betroffen. Auch das System, das für die Speicherung von Daten und die Verwaltung des verfügbaren Speichers zuständig ist, war betroffen. Nach der Löschung der virtuellen Maschinen benötigten diese beiden Systeme einen vollständigen Neustart, und die Ingenieure von Amazon standen vor einer Überraschung — für längere Zeit konnte der öffentliche Cloud-Speicher keine Kundenanfragen mehr bedienen.

Der Effekt war erheblich, da viele große Ressourcen Amazon S3 nutzen. Die Betriebsstörungen betrafen Trello, Coursera, IFTTT und, was am ärgerlichsten war, die Dienste großer Amazon-Partner aus der Liste S&P 500. In solchen Fällen ist es schwierig, den Schaden zu beziffern, aber er lag im Bereich von mehreren hundert Millionen US-Dollar. Wie Sie sehen, reicht ein einziger falscher Befehl aus, um den Dienst der größten Cloud-Plattform außer Betrieb zu setzen. Das ist kein Einzelfall; am 16. Mai 2019 während Wartungsarbeiten wurde der Dienst Yandex.Cloud löschte die virtuellen Maschinen der Benutzer in der Zone ru-central1-c, die jemals den Status SUSPENDED hatten. Hier wurden bereits Kundendaten betroffen, von denen ein Teil unwiderruflich verloren ging. Natürlich sind Menschen nicht perfekt, aber moderne Informationssicherheitssysteme wissen längst, wie sie die Aktionen privilegierter Benutzer vor der Ausführung ihrer Befehle kontrollieren können. Wenn solche Lösungen in Yandex oder Amazon integriert werden, können ähnliche Vorfälle vermieden werden.

Eingefrorene Kühlung

Im Januar 2017 kam es zu einem schweren Vorfall im Rechenzentrum von „Megafon“ in Dmitrov. Zu dieser Zeit sank die Temperatur in der Region Moskau auf −35 °C, was dazu führte, dass die Kühlung des Objekts versagte. Die Pressestelle des Betreibers gab keine Informationen zu den Ursachen des Vorfalls bekannt — russische Unternehmen sprechen sehr ungern über Unfälle in ihren Einrichtungen; in puncto Öffentlichkeitsarbeit sind wir im Vergleich zum Westen stark im Rückstand. In den sozialen Netzwerken kursierte die Theorie, dass das Kühlmittel in den unterirdischen Rohren gefroren war und es zu einer Leckage von Ethylenglykol kam. Angeblich konnte der Betrieb wegen der langen Feiertage nicht schnell genug 30 Tonnen Kühlmittel beschaffen und improvisierte mit Hilfsmitteln, indem er eine provisorische Freikühlung mit Verstoß gegen die Betriebsregeln der Anlage organisierte. Die starken Kälteeinbrüche verschärften das Problem — im Januar trat in Russland plötzlich der Winter ein, den niemand erwartet hatte. Letztendlich musste das Personal einen Teil der Server-Racks vom Stromnetz trennen, wodurch einige Dienste des Betreibers für zwei Tage nicht verfügbar waren.

Man könnte hier auch von einem Wetterphänomen sprechen, jedoch sind solche Frosttemperaturen für die Hauptstadtregion nichts Aussergewöhnliches. Im Winter kann die Temperatur in der Region Moskau auf noch tiefere Werte fallen, weshalb Rechenzentren darauf ausgelegt sind, auch bei −42 °C stabil zu arbeiten. Am häufigsten versagen die Kühlsysteme bei Frost aufgrund einer nicht ausreichend hohen Konzentration von Glykolen und einer zu hohen Wasseranteil im Kühlmittel. Es gibt auch Probleme mit der Installation von Rohren oder mit Planungs- und Testfehlern, die meist aus dem Bestreben resultieren, Kosten zu sparen. So kommt es unverhofft zu einem schweren Vorfall, der durchaus hätte vermieden werden können.

Naturkatastrophen

Am häufigsten beeinträchtigen Gewitter und/oder Hurrikane die Ingenieurinfrastruktur von Rechenzentren, was zu einem Stillstand der Dienste und/oder zu physischen Schäden an der Ausrüstung führt. Durch schlechtes Wetter verursachte Vorfälle treten ziemlich häufig auf. Im Jahr 2012 zog der Hurrikan Sandy mit starkem Regen über die Westküste der USA. Der im Hochhaus in Lower Manhattan gelegene Rechenzentrum Peer 1, nachdem salzige Meerwasser die Keller überflutete. Die Notstromaggregate des Objekts wurden im 18. Stock untergebracht, und der Treibstoffvorrat für diese war begrenzt – die nach den Terroranschlägen vom 11. September in New York eingeführten Vorschriften verbieten die Lagerung großer Mengen Brennstoff in oberen Etagen.

Die Tankpumpen fielen ebenfalls aus, sodass das Personal mehrere Tage lang den Diesel für die Generatoren manuell transportieren musste. Der Einsatz des Teams hat das Rechenzentrum vor einem ernsthaften Vorfall bewahrt, aber war das wirklich notwendig? Wir leben auf einem Planeten mit einer stickstoff-sauerstoffhaltigen Atmosphäre und einem Überfluss an Wasser. Gewitter und Hurrikane sind hier übliche Vorkommen (besonders in Küstenregionen). Die Planer sollten wahrscheinlich die damit verbundenen Risiken berücksichtigen und ein entsprechendes System zur unterbrechungsfreien Stromversorgung aufbauen. Oder zumindest einen geeigneteren Standort für das Rechenzentrum wählen als einen Wolkenkratzer auf einer Insel.

Alles andere

In diese Kategorie fallen eine Vielzahl von Vorfällen, die es schwierig machen, einen typischen auszuwählen. Der Diebstahl von Kupferkabeln, die in Rechenzentren eindringen, beschädigte Hochspannungsmasten und Transformatorenstationen durch Autos, Brände, die die Optik durch Bagger beschädigen, Nager (Ratten, Kaninchen und sogar Wombats, die tatsächlich zu den Beuteltieren gehören), sowie Schützen, die das Üben mit Kabeln lieben – die Liste ist lang. Stromausfälle können sogar verursacht werden durch einen illegalen Marihuana-Anbau, der Strom stiehlt. In den meisten Fällen sind bestimmte Personen für die Vorfälle verantwortlich, das heißt, wir haben es wieder mit dem menschlichen Faktor zu tun, wenn Das Problem einen Namen und einen Nachnamen hat. Selbst wenn auf den ersten Blick der Vorfall mit einem technischen Defekt oder Naturkatastrophen verbunden ist, kann er bei richtiger Planung des Objekts und ordnungsgemäßer Nutzung vermieden werden. Ausnahmen bilden Berichte über kritische Schäden an der Infrastruktur des Rechenzentrums oder über die Zerstörung von Gebäuden und Einrichtungen durch Naturkatastrophen. Dies sind tatsächlich höhere Gewalt, während alle anderen Probleme durch die Verbindung zwischen Computer und Stuhl verursacht werden – das ist wohl der unzuverlässigste Teil jedes komplexen Systems.

Quelle: habr.com