A nagy balesetek témája a modern adatközpontokban kérdéseket vet fel, amelyekre az első cikk nem adott választ – úgy döntöttünk, hogy kifejtjük ezt a témát.
Ha hihetünk az Uptime Institute statisztikáinak, a legtöbb incidens az adatközpontokban az elektromos rendszer meghibásodásával függ össze — ezek teszik ki az esetek 39%-át. Ezt követi az emberi tényező — ez még 24%-nyi balesetet jelent. A harmadik legjelentősebb ok (15%) a légkondicionáló rendszerek hibája, míg a negyedik helyen (12%) a természeti katasztrófák állnak. Az egyéb problémák összesített aránya mindössze 10%. Anélkül, hogy kétségbe vonnánk a tiszteletre méltó szervezet adatait, kiemelünk valami közöset a különböző balesetekből, és megpróbáljuk megérteni, elkerülhetők lettek volna-e. Spoiler: a legtöbb esetben igen.
Kapcsolatok tudománya
Egyszerűsítve azt mondhatjuk, hogy az elektromos ellátásnak csak két problémája van: vagy nincs kapcsolat ott, ahol lennie kell, vagy van ott, ahol nem lenne szabad lennie. Hosszasan érvelhetünk a modern szünetmentes tápegységek megbízhatóságáról, de nem mindig nyújtanak mentést. Vegyük például a British Airways által használt adatközpont esetét, amely az anyavállalat, az International Airlines Group tulajdonában áll. A Heathrow melletti két ilyen létesítmény - a Boadicea House és a Comet House - közül az elsőnél 2017. május 27-én véletlen áramkimaradás történt, amely túlterheléshez és a szünetmentes tápegység meghibásodásához vezetett. Ennek eredményeként néhány IT-eszköz fizikailag megsérült, és a legutóbbi baleset elhárítása három napot vett igénybe.
A légitársaságnak több mint ezer járatot kellett törölnie vagy átütemeznie, körülbelül 75 ezer utas nem tudott időben felszállni — a kártérítések kifizetésére 128 millió dollár ment el, nem számítva a dátközpontok működésének helyreállításához szükséges költségeket. A blackout okaival kapcsolatos történet homályos. Ha elhihetjük az International Airlines Group vezérigazgatója, Willie Walsh által elmondott belső nyomozás eredményeit, akkor a mérnökök hibája miatt következett be. Mindazonáltal a szünetmentes tápegységnek el kellett volna viselnie egy ilyen áramszünetet — ezért alakították ki. Az adatközpontot a CBRE Managed Services outsourcing cég szakemberei kezelték, ezért a British Airways bírósági úton próbálta megérteni a kár összegét Londonban.
Áramellátási balesetek hasonló forgatókönyvek szerint történnek: először az áramszolgáltató hibája miatt történik áramkimaradás, néha a rossz időjárás vagy belső problémák (beleértve a személyzet hibáit) miatt, majd az szünetmentes tápegység nem bírja a terhelést, vagy egy rövid szinuszhullám-szünet tömeges szolgáltatásmegszakításokat idéz elő, amelyek helyreállításához rengeteg időre és pénzre van szükség. Meg lehet-e előzni az ilyen baleseteket? Határozottan. Ha a rendszert helyesen tervezik meg, bár a nagy adatközpontok létrehozói sem védettek a hibáktól.
Emberi tényező
Amikor egy esemény közvetlen oka a adatközpont személyzetének helytelen fellépése, a problémák leggyakrabban (de nem mindig) az IT-infrastruktúra szoftveres részét érintik. Ezek a balesetek még a nagy vállalatoknál is előfordulnak. 2017 februárjában az Amazon Web Services egy részének leállítását okozta, hogy a műszaki üzemeltetési csoport egyik tagja rosszul adta ki az utasítást. A hiba az Amazon Simple Storage Service (S3) ügyfeleit érintő számlázási folyamat hibajavítása alatt történt. A munkatárs megpróbált törölni egy bizonyos számú virtuális szervert, amelyeket a számlázó rendszer használt, de egy nagyobb klasztert érintett.
A mérnök hibája következtében törlődtek azok a szerverek, amelyeken az Amazon felhő tárolói fontos programmoduljai futottak. Elsősorban az indexelési alrendszert érintette, amely információkat tartalmazott a metadatákról és az összes S3 objektum elhelyezkedéséről az amerikai US-EAST-1 régióban. Az esemény érintette azt az alrendszert is, amelyet az adatok tárolására és a rendelkezésre álló tárolóhely kezelésére használtak. A virtuális gépek törlése után ez a két alrendszer teljes újraindítást igényelt, és a mérnököket meglepetés várta – a nyilvános felhőtároló hosszú ideig nem tudta kiszolgálni az ügyfelek kéréseit.
A hatás széleskörű volt, mivel sok nagyobb platform az Amazon S3-t használja. A leállások érintették a Trello, Coursera, IFTTT szolgáltatásokat, és ami a legrosszabb, az Amazon S&P 500-as partnereinek szolgáltatásait. Az ilyen esetekben a kárt nehéz kiszámítani, de a mértéke közel több száz millió dollárra rúgott. Ahogy látja, egy nagyobb felhőplatform szolgáltatásának meghibásításához elegendő egy hibás parancs. Ez nem egyedi eset, 2019. május 16-án karbantartási munkálatok során a Yandex.Cloud szolgáltatás is. az ru-central1-c zónában lévő felhasználói virtuális gépek, amelyek valaha is SUSPENDED állapotban voltak. Itt már sérültek a klienst adatai, amelyek egy része véglegesen elveszett. Természetesen az emberek nem tökéletesek, de a modern információbiztonsági rendszerek már régóta képesek ellenőrizni a privilegizált felhasználók tevékenységeit a beírt parancsok végrehajtása előtt. Ha a Yandex vagy az Amazon ilyen megoldásokat vezetne be, elkerülhetők lennének az ilyen incidenst.
Fagyott hűtés
2017 januárjában súlyos baleset történt a MegaFon dmitrovói adatközpontjában. Akkor a hőmérséklet a moszkvai régióban -35 °C-ra csökkent, ami a hűtőrendszer meghibásodásához vezetett. Az üzemeltető sajtóosztálya nem igazán osztotta meg az incidens okait — az orosz vállalatok rendkívül vonakodnak beszélni a tulajdonukban lévő objektumokon történt balesetekről, nyilvánosság szempontjából nagyon lemaradtunk a Nyugathoz képest. A közösségi médiában olyan verzió terjedt el, hogy a hőhordozó megfagyott az utcán lefektetett csövekben, és etilénglikol szivárgott. Ha hihetünk ennek, a üzemeltetési szolgálat a hosszú ünnepek miatt nem tudta időben megszerezni a 30 tonna hűtőfolyadékot, és improvizált megoldásokkal próbálta orvosolni a problémát, megsértve a rendszer üzemeltetési szabályait. A hideg időjárás csak súlyosbította a helyzetet - januárban Oroszországban hirtelen tél támadt, bár senki sem várta. Végül a személyzetnek le kellett áramtalanítania néhány szerverállványt, emiatt az üzemeltető néhány szolgáltatása két napon át nem volt elérhető.
Valószínűleg itt is beszélhetünk a szokatlan időjárásról, de az ilyen fagyok nem számítanak szokatlannak a fővárosi régióban. Télen a Moszkva környéki hőmérséklet akár még alacsonyabbra is süllyedhet, ezért az adatközpontokat úgy építik, hogy −42°C-ig is jól működjenek. Leggyakrabban a hűtőrendszerek a hidegben hibásodnak meg, mert a glicolok nem elég magas koncentrációja és a víz túltengése van a hőhordozó oldatban. Problémák merülhetnek fel a csövek telepítésével vagy a tervezés és tesztelés hiányosságaival is, amelyek döntően a költségmegtakarításra irányuló vágy miatt keletkeznek. Ennek következtében egy komoly baleset történik, ami egyáltalán elkerülhető lett volna.
Természeti katasztrófák
Leggyakrabban a viharok és/vagy hurrikánok zavarják meg az adatközpont mérnöki infrastruktúrájának működését, ami a szolgáltatások leállásához és/vagy a berendezések fizikai károsodásához vezet. A rossz időjárás által kiváltott incidensek viszonylag gyakoriak. 2012-ben a Sandy hurrikán erős esőzéssel végigsöpört az Egyesült Államok nyugati partján. A Peer 1 adatközpont, amely egy felhőkarcolóban található az Alsó-Manhattanben, , miután a sós tengervíz elöntötte a pincéjét. Az épület vészhelyzeti generátorai a 18. emeleten helyezkedtek el, és az üzemanyagkészletük korlátozott volt — a 9/11-es terrorcselekmények után New Yorkban bevezetett szabályok megtiltják, hogy nagy mennyiségű üzemanyagot tároljanak a felső emeleteken.
Az üzemanyagpumpa szintén elromlott, így a személyzet néhány napig kézi üzemanyagbeszerzéssel foglalkozott. A csapat hősiessége megmentette az adatközpontot a súlyos balesettől, de valóban szükség volt erre? Egy nitrogén-oxigén légkörű bolygón élünk, sok vízzel. A viharok és a hurrikánok itt mindennaposak (különösen a tengerparti területeken). A tervezőknek valószínűleg figyelembe kellett volna venniük a velük járó kockázatokat, és egy megfelelő szünetmentes áramellátó rendszerrel kellett volna rendelkezniük. Vagy legalábbis a dátumfeldolgozó központ számára jobb helyet kellett volna választaniuk, mint egy felhőkarcoló egy szigeten.
Minden más
Ebben a kategóriában az Uptime Institute különböző incidenseket említ, amelyek közül nehéz kiválasztani a tipikus esetet. Rézkábelek lopása, amelyek bejutnak az adatközpontokba, magasfeszültségű oszlopok és transzformátor állomások, autók, tüzek, amelyek rongálják az optikát, ásók, rágcsálók (patkányok, nyulak és még wombatok is, amelyek valójában erszényesek), valamint a vezetékek lövöldözésével próbálkozó amatőrök – a menü széleskörű. Az áramellátás leállását akár elektromosságot szolgáltató illegális marihuána-ültetvények is okozhatják. Az esetek többségében a specificus emberek a felelősök az incidensekért, tehát ismét emberszámláló faktorról van szó, amikor a problémának neve és vezetékneve van. Még ha első látásra a baleset technikai meghibásodással vagy természeti katasztrófával is összefügg, a helyes tervezés és üzemeltetés mellett elkerülhető. Kivételt képeznek a kritikus infrastruktúra megsérülései vagy az épületek és létesítmények pusztulásai a természeti katasztrófák miatt. Ezek valóban vis maior körülmények, míg minden más probléma a számítógép és a szék között húzódó vonalra vezethető vissza – mondhatni, ez a legmegbízhatatlanabb része bármely bonyolult rendszernek.
Forrás: habr.com
