Główną przyczyną awarii w centrach danych jest przewód łączący komputer z fotelem.

Temat dużych awarii w nowoczesnych centrach danych budzi pytania, na które w pierwszym artykule nie było odpowiedzi — postanowiliśmy go rozwijać.

Jeśli wierzyć statystykom Uptime Institute, większość incydentów w centrach danych związana jest z awariami systemów zasilania — ich udział wynosi 39% wszystkich zdarzeń. Następnie na drugim miejscu znajduje się czynnik ludzki — to kolejne 24% awarii. Na trzeciej pozycji (15%) są awarie systemów klimatyzacyjnych, a na czwartym miejscu (12%) plasują się katastrofy naturalne. Łączny udział pozostałych problemów wynosi zaledwie 10%. Nie podważając danych szanowanej organizacji, chcemy wyróżnić coś wspólnego w różnych awariach i spróbować zrozumieć, czy można było ich uniknąć. Spojler: w większości przypadków można.

Nauka o kontaktach

Mówiąc w uproszczeniu, w przypadku zasilania pojawiają się tylko dwa problemy: albo nie ma kontaktu tam, gdzie powinien być, albo jest tam, gdzie go być nie powinno. Można długo dyskutować o niezawodności współczesnych systemów zasilania awaryjnego, ale ratują one z reguły nie zawsze. Weźmy na przykład głośny przypadek centrum danych British Airways, należącego do macierzystej firmy International Airlines Group. W pobliżu lotniska Heathrow znajdują się dwa takie obiekty — Boadicea House i Comet House. W pierwszym z nich 27 maja 2017 roku doszło do przypadkowego wyłączenia zasilania, które doprowadziło do przeciążenia i awarii systemu UPS. W efekcie część sprzętu IT zostało uszkodzone fizycznie, a na naprawę ostatniej awarii potrzeba było trzech dni.

Linie lotnicze musiały odwołać lub przenieść ponad tysiąc rejsów, około 75 tysięcy pasażerów nie mogło wylecieć na czas — na wypłatę odszkodowań poszło 128 milionów dolarów, nie licząc wydatków na przywrócenie sprawności centrów danych. Historia dotycząca przyczyn blackoutów pozostaje niejasna. Jeśli wierzyć wynikowi wewnętrznego śledztwa, przedstawionemu przez dyrektora generalnego International Airlines Group Willa Woolsha, awaria była wynikiem błędu inżynierów. Niemniej jednak system zasilania awaryjnego powinien był wytrzymać takie wyłączenie — w końcu po to został zamontowany. Centrum danych były zarządzane przez specjalistów z firmy outsourcingowej CBRE Managed Services, dlatego British Airways próbowała dochodzić odszkodowania na drodze sądowej w Londynie.

Awarii zasilania występują według podobnych scenariuszy: najpierw następuje przerwanie z winy dostawcy energii, czasami z powodu złej pogody lub wewnętrznych problemów (w tym błędów personelu), a potem system zasilania awaryjnego nie radzi sobie z obciążeniem lub krótkotrwałe przerwanie sinusoidy prowadzi do awarii wielu usług, na odbudowę których potrzeba ogromu czasu i pieniędzy. Czy można uniknąć takich awarii? Oczywiście. Jeśli system jest zaprojektowany prawidłowo, jednak nawet twórcy dużych centrów danych nie są wolni od błędów.

Czynnik ludzki

Gdy bezpośrednią przyczyną incydentu stają się niewłaściwe działania personelu centrum danych, problemy najczęściej (choć nie zawsze) dotyczą części programowej infrastruktury IT. Takie awarie zdarzają się nawet w dużych korporacjach. W lutym 2017 roku z powodu błędu wprowadzania przez jednego z członków zespołu technicznego jednego z centrów danych część serwerów Amazon Web Services została wyłączona. Błąd miał miejsce podczas debugowania procesu fakturowania klientów usługi przechowywania w chmurze Amazon Simple Storage Service (S3). Pracownik próbował usunąć pewną liczbę wirtualnych serwerów używanych przez system billingu, ale trafił na większy klaster.

W wyniku błędu inżyniera usunięto serwery, na których działały ważne moduły programowe chmury Amazon. W pierwszej kolejności ucierpiała podsystem indeksowania, zawierająca informacje o metadanych oraz lokalizacji wszystkich obiektów S3 w amerykańskim regionie US-EAST-1. Incydent dotknął również podsystemu używanego do przechowywania danych oraz zarządzania dostępną przestrzenią do przechowywania. Po usunięciu maszyn wirtualnych te dwa podsystemy wymagały całkowitego ponownego uruchomienia, a inżynierowie Amazon czekały niespodzianka — przez długi czas publiczne przechowywanie w chmurze nie mogło obsługiwać zapytań klientów.

Efekt okazał się ogromny, ponieważ wiele dużych zasobów korzysta z Amazon S3. Problemy w działaniu dotknęły Trello, Coursera, IFTTT, a co gorsza, usługi dużych partnerów Amazon z listy S&P 500. Szkody w takich przypadkach trudno oszacować, ale wyniosły one kilkaset milionów dolarów. Jak widać, aby unieruchomić usługę największej platformy chmurowej, wystarczy jedno błędne polecenie. To nie jest pojedynczy przypadek, 16 maja 2019 roku podczas prac serwisowych usługa Yandex.Cloud usunięto wirtualne maszyny użytkowników w strefie ru-central1-c, które kiedykolwiek były w stanie SUSPENDED. Już tutaj ucierpiały dane klientów, część z nich została bezpowrotnie utracona. Oczywiście, ludzie są niedoskonali, ale nowoczesne systemy bezpieczeństwa informacyjnego od dawna potrafią kontrolować działania uprzywilejowanych użytkowników przed wykonaniem wydanych przez nich poleceń. Jeśli w Yandex lub Amazon wdrożono by takie rozwiązania, podobnych incydentów można by było uniknąć.

Zamarznięte chłodzenie

W styczniu 2017 roku miała miejsce poważna awaria w dmitrowskim centrum danych firmy „MegaFon”. Wówczas temperatura w regionie moskiewskim spadła do -35 °C, co spowodowało awarię systemu chłodzenia obiektu. Biuro prasowe operatora nie udzielało szczególnych informacji na temat przyczyn incydentu — rosyjskie firmy niezwykle niechętnie mówiły o awariach w swoich obiektach, w kwestii jawności zbyt mocno odstajemy od Zachodu. W mediach społecznościowych krążyła wersja o zamarznięciu czynnika chłodzącego w rurach ułożonych na ulicy i wycieku etylenoglikolu. Jeśli jej wierzyć, służba eksploatacyjna nie mogła z powodu długich świąt szybko zdobyć 30 ton czynnika chłodzącego i improwizowała, organizując prowizoryczne chłodzenie z naruszeniem zasad eksploatacji systemu. Silne mrozy pogłębiły problem — w styczniu w Rosji nagle nastała zima, chociaż nikt się jej nie spodziewał. W rezultacie personel musiał odłączyć część szaf serwerowych, co spowodowało, że niektóre usługi operatora były niedostępne przez dwa dni.

Można by pomyśleć o anomaliach pogodowych, ale takie mrozy nie są niczym nadzwyczajnym dla regionu stolicy. Temperatura zimą w Moskwie może spaść nawet do dużo niższych wartości, dlatego centra danych buduje się z myślą o niezawodnej pracy przy −42°C. Najczęściej systemy chłodzenia zawodzą na mrozie z powodu niewystarczająco wysokiego stężenia glikoli i nadmiaru wody w roztworze czynnika chłodzącego. Często pojawiają się też problemy z montażem rur lub błędami w projektowaniu i testowaniu systemu, głównie z powodu chęci oszczędności. W efekcie z pozoru prosta sytuacja kończy się poważną awarią, której można by było uniknąć.

Klęski żywiołowe

Najczęściej burze i/lub huragany zakłócają działanie infrastruktury inżynieryjnej centrum danych, co prowadzi do zatrzymania usług i/lub uszkodzenia sprzętu. Incydenty spowodowane złą pogodą zdarzają się dość często. W 2012 roku wzdłuż zachodniego wybrzeża USA przeszła burza Sandy z silnymi opadami deszczu. Znajdujące się w wieżowcu na Dolnym Manhattanie centrum danych Peer 1 pozbawiono zewnętrznego zasilania, po tym jak słona woda morska zalała piwnice. Awaryjne generatory były umieszczone na 18. piętrze, a ich zapasy paliwa były ograniczone — wprowadzone w Nowym Jorku po zamachach z 9/11 przepisy zabraniają przechowywania dużej ilości paliwa na górnych piętrach.

Pompa paliwa również uległa awarii, więc personel przez kilka dni nosił olej napędowy dla generatorów ręcznie. Heroizm zespołu uratował centrum danych przed poważną awarią, ale czy był on aż tak niezbędny? Żyjemy na planecie z atmosferą azotowo-tlenową i dużą ilością wody. Burze i huragany są tutaj powszechne (szczególnie w rejonach nadmorskich). Projektanci powinni byli z pewnością uwzględnić związane z nimi ryzyka i zbudować odpowiedni system zasilania awaryjnego. Albo przynajmniej wybrać dla centrum danych bardziej odpowiednie miejsce niż wieżowiec na wyspie.

Wszystko inne

W tej kategorii Uptime Institute wyróżnia różne incydenty, z których trudno wybrać typowy. Kradzieże miedzianych kabli, wjeżdżające w centra danych samochody, podpory linii wysokiego napięcia i stacje transformatorowe, pożary uszkadzające optykę przez koparki, gryzonie (szczury, króliki, a nawet wombaty, które są torbaczami), a także amatorzy strzelania do kabli — menu jest obszerne. Awarię zasilania może spowodować nawet kradnąca nielegalna plantacja marihuany. W większości przypadków sprawcami incydentów stają się konkretne osoby, to znaczy znowu mamy do czynienia z czynnikiem ludzkim, gdy problem ma imię i nazwisko. Nawet jeśli na pierwszy rzut oka awaria wydaje się związana z usterką techniczną lub klęską żywiołową, można jej uniknąć przy właściwym projektowaniu obiektu i jego prawidłowej eksploatacji. Wyjątkiem są jedynie przypadki krytycznego uszkodzenia infrastruktury centrum danych lub zniszczenia budynków z powodu klęski żywiołowej. To naprawdę okoliczności siły wyższej, a wszystkie pozostałe problemy są spowodowane usterką między komputerem a fotelem — z pewnością jest to najsłabsza część każdego złożonego systemu.

Źródło: habr.com