Die Hauptursache für Zwischenfälle in Rechenzentren ist die Verbindung zwischen Computer und Stuhl.

Das Thema großer Ausfälle in modernen Rechenzentren wirft Fragen auf, auf die im ersten Artikel keine Antworten gegeben wurden – wir haben beschlossen, dies weiter zu verfolgen.

Laut der Statistik des Uptime Institute sind die meisten Vorfälle in Rechenzentren auf Ausfälle der Stromversorgung zurückzuführen – sie machen 39 % der Ereignisse aus. An zweiter Stelle steht der menschliche Faktor mit 24 % der Ausfälle. Der drittwichtigste Grund (15 %) sind Ausfälle der Klimaanlagen, gefolgt von Naturkatastrophen (12 %). Die Gesamtquote anderer Probleme beträgt lediglich 10 %. Ohne die Daten dieser respektierten Organisation in Frage zu stellen, wollen wir in verschiedenen Vorfällen etwas Gemeinsames herausstellen und versuchen zu verstehen, ob sie hätten vermieden werden können. Spoiler: In den meisten Fällen ja.

Wissenschaft der Kontakte

Vereinfacht gesagt gibt es nur zwei Probleme mit der Stromversorgung: Entweder gibt es keinen Kontakt, wo er sein sollte, oder es gibt einen Kontakt, wo er nicht sein sollte. Man kann lange über die Zuverlässigkeit moderner unterbrechungsfreier Stromversorgungssysteme diskutieren, aber sie helfen nicht immer. Nehmen wir zum Beispiel den aufsehenerregenden Vorfall im Rechenzentrum von British Airways, das der Muttergesellschaft International Airlines Group gehört. In der Nähe des Flughafens Heathrow befinden sich zwei solcher Einrichtungen — Boadicea House und Comet House. In ersterem kam es am 27. Mai 2017 zu einem versehentlichen Stromausfall, der zu einer Überlastung und zum Ausfall des USV-Systems führte. Infolgedessen wurde ein Teil der IT-Ausrüstung physisch beschädigt, und die Behebung des letzten Vorfalls dauerte drei Tage.

Die Fluggesellschaften mussten über eintausend Flüge absagen oder verlegen, etwa 75.000 Passagiere konnten nicht pünktlich abfliegen — für die Entschädigungszahlungen wurden 128 Millionen Dollar aufgewendet, ganz zu schweigen von den Kosten für die Wiederherstellung der betrieblichen Aktivität der Rechenzentren. Die Ursachen des Blackouts sind unklar. Laut den Ergebnissen einer internen Untersuchung, die von Willie Walsh, dem CEO der International Airlines Group, präsentiert wurden, war es ein Fehler der Ingenieure. Nichtsdestotrotz hätte das unterbrechungsfreie Stromversorgungssystem ein solches Abschalten verkraften müssen — genau dafür wurde es installiert. Die Rechenzentren wurden von Fachleuten der Outsourcing-Firma CBRE Managed Services betrieben, weshalb British Airways versuchte, den Schaden über das Londoner Gericht einzufordern.

Stromausfälle treten oft nach ähnlichen Mustern auf: Zunächst kommt es zu einem Ausfall, der auf den Stromlieferanten zurückzuführen ist, manchmal bedingt durch schlechtes Wetter oder interne Probleme (einschließlich menschlicher Fehler). Anschließend kann das unterbrechungsfreie Stromversorgungssystem der Last nicht standhalten, oder ein kurzes Unterbrechen der Sinuswelle führt zu Ausfällen zahlreicher Dienste, deren Wiederherstellung viel Zeit und Geld in Anspruch nimmt. Kann man solche Ausfälle vermeiden? Auf jeden Fall. Wenn man das System richtig plant. Dennoch sind selbst die Ersteller großer Rechenzentren nicht vor Fehlern gefeit.

Der menschliche Faktor

Wenn falsches Handeln des Personals eines Rechenzentrums die unmittelbare Ursache eines Vorfalls ist, betrifft das häufig (aber nicht immer) die Software-Komponente der IT-Infrastruktur. Solche Zwischenfälle können selbst in großen Unternehmen vorkommen. Im Februar 2017 führte ein Tippfehler eines Mitglieds des technischen Betriebsteams eines Rechenzentrums dazu, dass Teile der Server von Amazon Web Services abgeschaltet wurden. Der Fehler trat während der Fehlersuche im Abrechnungsprozess für Kunden des Cloud-Speicherdienstes Amazon Simple Storage Service (S3) auf. Der Mitarbeiter versuchte, eine bestimmte Anzahl von virtuellen Servern, die von der Abrechnungssystem verwendet wurden, zu löschen, griff dabei jedoch einen größeren Cluster an.

Durch einen Fehler des Ingenieurs wurden Server gelöscht, auf denen wichtige Softwaremodule des Amazon Cloud Storage ausgeführt wurden. Zunächst war das Indizierungssystem betroffen, das Informationen über die Metadaten und den Standort aller S3-Objekte in der amerikanischen Region US-EAST-1 enthielt. Auch das System, das zur Datenspeicherung und Verwaltung des verfügbaren Speichers verwendet wurde, war von dem Vorfall betroffen. Nach der Löschung der virtuellen Maschinen benötigten diese beiden Systeme einen vollständigen Neustart, und die Ingenieure von Amazon erwartete eine Überraschung – das öffentliche Cloud-Storage konnte über einen längeren Zeitraum keine Kundenanfragen bedienen.

Die Auswirkungen waren erheblich, da viele große Ressourcen Amazon S3 nutzen. Ausfälle betrafen Trello, Coursera, IFTTT und, was besonders unangenehm ist, die Dienste großer Amazon-Partner aus dem S&P 500. Den Schaden in solchen Fällen zu quantifizieren, ist schwierig, schätzungsweise liegt er jedoch im Bereich von Hunderten Millionen US-Dollar. Wie Sie sehen, reicht es aus, um einen Dienst der größten Cloud-Plattform außer Gefecht zu setzen, einen einzigen falschen Befehl auszuführen. Dies ist kein Einzelfall; am 16. Mai 2019 wurde während Wartungsarbeiten der Dienst Yandex.Cloud. den Benutzer-Virtual-Maschinen in der Zone ru-central1-c, die jemals den Status SUSPENDED hatten. Hier sind bereits Kundendaten betroffen, von denen ein Teil unwiderruflich verloren ging. Natürlich sind Menschen nicht perfekt, aber moderne Informationssicherheitssysteme sind seit langem in der Lage, die Aktionen privilegierter Benutzer vor der Ausführung ihrer Befehle zu überwachen. Wenn solche Lösungen in Yandex oder Amazon implementiert werden, können ähnliche Vorfälle vermieden werden.

Eingefrorene Kühlung

Im Januar 2017 gab es einen schweren Vorfall im Rechenzentrum von "Megafon" in Dmitrov. Zu diesem Zeitpunkt sanken die Temperaturen in der Moskauer Region auf −35 °C, was zum Ausfall des Kühlsystems des Gebäudes führte. Der Pressesprecher des Betreibers hielt sich bei der Erklärung der Ursachen des Vorfalls eher bedeckt — russische Unternehmen sprechen äußerst ungern über Ausfälle in ihren Einrichtungen, was in Bezug auf die Öffentlichkeitsarbeit einen erheblichen Rückstand gegenüber dem Westen bedeutet. In sozialen Netzwerken kursierte die Theorie, dass das Kühlmittel in den unterirdischen Rohren gefroren sei und es zu einem Austritt von Ethylenglykol kam. Glaube man dieser Version, hätte der Betrieb aufgrund der langen Feiertage nicht rechtzeitig 30 Tonnen Kühlmittel beschaffen können und improvisierte mit vorübergehenden Lösungen, darunter eine unkonventionelle Freikühlungsstrategie, die gegen die Vorschriften des Systems verstieß. Starke Kälte verschärfte das Problem — im Januar trat in Russland plötzlich der Winter ein, auf den niemand vorbereitet war. Letztendlich musste das Personal Teile der Server-Racks vom Stromnetz trennen, wodurch einige Dienste des Betreibers für zwei Tage nicht verfügbar waren.

Es könnte vielleicht auch von einer Wetteranomalie gesprochen werden, aber solche frostigen Temperaturen sind für die Hauptstadtregion nichts Ungewöhnliches. Im Winter kann die Temperatur in der Region Moskau sogar auf niedrigere Werte sinken, weshalb die Rechenzentren darauf ausgelegt sind, bei −42 °C stabil zu arbeiten. Am häufigsten geben Kühlsysteme bei Kälte aufgrund einer nicht ausreichend hohen Konzentration von Glykolen und einem Übermaß an Wasser in der Wärmeträgerslösung auf. Es treten auch Probleme mit der Rohrinstallation auf oder es kommen zu Planungs- und Testfehlern, die hauptsächlich auf Sparmaßnahmen zurückzuführen sind. Infolgedessen kommt es in einem ansonsten reibungslos funktionierenden System zu schweren Ausfällen, die durchaus vermeidbar gewesen wären.

Naturkatastrophen

Am häufigsten stören Gewitter und/oder Hurrikane den Betrieb der Ingenieurinfrastruktur von Rechenzentren, was zu Ausfällen von Dienstleistungen und/oder physischen Schäden an der Hardware führt. Wetterbedingte Vorfälle treten ziemlich häufig auf. Im Jahr 2012 überquerte der Hurricane Sandy mit starkem Regen die Westküste der USA. Das in einem Hochhaus in Lower Manhattan gelegene Rechenzentrum von Peer 1 verlor die externe Stromversorgung, nachdem salziges Meerwasser die Keller überflutet hatte. Die Notstromgeneratoren des Objekts wurden im 18. Stock platziert, und der Treibstoffvorrat für diese war begrenzt – die nach den Anschlägen vom 11. September in New York eingeführten Vorschriften verbieten die Lagerung großer Mengen Kraftstoff in oberen Etagen.

Die Treibstoffpumpe war ebenfalls ausgefallen, weshalb das Personal mehrere Tage lang den Diesel für die Generatoren von Hand herbeischleppen musste. Der Heldentum des Teams rettete das Rechenzentrum vor einem ernsthaften Unfall, aber war das wirklich notwendig? Wir leben auf einem Planeten mit einer Stickstoff-Sauerstoff-Atmosphäre und viel Wasser. Gewitter und Hurrikane sind hier ganz normal (insbesondere in Küstengebieten). Die Planer hätten wahrscheinlich die damit verbundenen Risiken berücksichtigen und ein entsprechendes System für eine unterbrechungsfreie Stromversorgung installieren sollen. Oder zumindest einen geeigneteren Standort für das Rechenzentrum wählen als ein Hochhaus auf einer Insel.

Alles andere

In dieser Kategorie nennt das Uptime Institute eine Vielzahl von Vorfällen, aus denen es schwierig ist, einen typischen auszuwählen. Dazu gehören der Diebstahl von Kupferkabeln, Überfälle auf Rechenzentren, Beschädigungen von Hochspannungsleitungen und Transformatorstationen durch Fahrzeuge, Brände, die die Glasfaserleitungen beschädigen, Bagger, Nagetiere (Ratten, Kaninchen und sogar Wombats, die zu den Beuteltieren gehören), sowie Schützen, die ihre Fähigkeiten an Kabeln erproben – die Liste ist lang. Auch Stromausfälle können durch verschiedene Ursachen verursacht werden. diebstähle Stromversorgung ist die illegale Grundlage für Marihuana-Plantagen. In den meisten Fällen sind Einzelpersonen für die Vorfälle verantwortlich, das heißt, hier handelt es sich wieder um den menschlichen Faktor, wenn ein Problem einen Namen und eine Identität hat. Selbst wenn ein Vorfall auf den ersten Blick mit technischem Versagen oder Naturkatastrophen zusammenhängt, kann er durch eine sorgfältige Planung und ordnungsgemäße Nutzung der Infrastruktur vermieden werden. Ausnahmen bilden lediglich Fälle von kritischen Schäden an der Infrastruktur von Rechenzentren oder der Zerstörung von Gebäuden durch Naturkatastrophen. Diese sind wirklich höhere Gewalt, während alle anderen Probleme durch das Zusammenspiel zwischen Computer und Benutzerstuhl verursacht werden – dies ist wohl der unzuverlässigste Teil jedes komplexen Systems.

Quelle: habr.com