Ămnet om stora olyckor i moderna datacenter vĂ€cker frĂ„gor som inte besvarades i den första artikeln â vi har beslutat att utveckla detta Ă€mne.
Om man ska tro statistiken frĂ„n Uptime Institute, sĂ„ Ă€r den största delen av incidenterna i datacenter kopplade till kraftförsörjningsfel â de utgör 39 % av hĂ€ndelserna. PĂ„ andra plats kommer den mĂ€nskliga faktorn â ytterligare 24 % av olyckorna. Tredje mest betydelsefulla orsaken (15 %) var fel pĂ„ kylsystemet, och pĂ„ fjĂ€rde plats (12 %) kom naturkatastrofer. Den sammanlagda andelen av övriga problem utgör endast 10 %. Utan att ifrĂ„gasĂ€tta uppgifterna frĂ„n den respektabla organisationen, lĂ„t oss identifiera nĂ„got gemensamt i de olika olyckorna och försöka förstĂ„ om de kunde ha undvikits. Spoiler: i de flesta fall kunde de det.
Vetenskapen om kontakter
Förenklat kan man sĂ€ga att det finns tvĂ„ problem med elkraft: antingen finns det ingen kontakt dĂ€r det borde finnas, eller sĂ„ finns det en kontakt dĂ€r det inte borde vara nĂ„gon. Man kan resonera lĂ€nge om pĂ„litligheten hos moderna system för oavbruten strömförsörjning, men de rĂ€ddar lĂ„ngt ifrĂ„n alltid situationen. Ta till exempel det uppmĂ€rksammade fallet med den datacenter som British Airways anvĂ€nde, vilket tillhör moderbolaget International Airlines Group. I nĂ€rheten av Heathrow flygplats ligger tvĂ„ sĂ„dana anlĂ€ggningar â Boadicea House och Comet House. I det första skedde en oavsiktlig strömavbrott den 27 maj 2017, vilket ledde till överbelastning och fel pĂ„ UPS-systemet. Resultatet blev att en del IT-utrustning skadades fysiskt, och det tog tre dagar att Ă„tgĂ€rda den senaste olyckan.
Flygbolaget tvingades att stĂ€lla in eller omplanera mer Ă€n tusen flygningar, omkring 75 000 passagerare kunde inte flyga i tid â kostnaden för ersĂ€ttningarna blev 128 miljoner dollar, utan att rĂ€kna med de kostnader som krĂ€vdes för att Ă„terstĂ€lla datacenters funktion. Historien om orsakerna till strömavbrottet Ă€r otydlig. Om man ska tro resultaten av den interna utredning som delades av VD:n för International Airlines Group, Willie Walsh, berodde det pĂ„ ett misstag av ingenjörerna. ĂndĂ„ borde systemet för oavbruten strömförsörjning ha klarat ett sĂ„dant avbrott â det Ă€r just dĂ€rför det Ă€r installerat. Datacentret leddes av specialister frĂ„n det outsourcade företaget CBRE Managed Services, sĂ„ British Airways försökte krĂ€va skadestĂ„nd genom Londons domstol.
Eliminering av kraftavbrott sker vanligtvis enligt liknande scenarier: först sker en avstÀngning pÄ grund av elproducentens fel, ibland pÄ grund av dÄligt vÀder eller interna problem (inklusive personalfel), och sedan klarar inte den oavbrutna strömförsörjningen av belastningen, eller kortvariga sinusavbrott orsakar avbrott i mÄnga tjÀnster, vilket krÀver en enorm mÀngd tid och pengar för att ÄterstÀlla funktionaliteten. GÄr det att förhindra sÄdana avbrott? SjÀlvklart. Om man utformar systemet korrekt, dock Àr ingen immun mot misstag, inte ens skaparna av stora datacenter.
Den mÀnskliga faktorn
NÀr den omedelbara orsaken till en incident Àr felaktiga handlingar frÄn datacenterpersonal drabbas oftast (men inte alltid) den mjukvarubaserade delen av IT-infrastrukturen. SÄdana avbrott intrÀffar Àven i stora företag. I februari 2017 stÀngdes en del servrar hos Amazon Web Services av pÄ grund av felaktigt inmatad kommando av en medlem i den tekniska driftgruppen i ett av datacenter. Felet intrÀffade under felsökningen av faktureringsprocessen för kunder av Amazons molnlagringstjÀnst Amazon Simple Storage Service (S3). En anstÀlld försökte ta bort en viss mÀngd virtuella servrar som anvÀndes av faktureringssystemet, men av misstag rörde han ett större kluster.
Som ett resultat av teknikerens misstag raderades servrar som körde viktiga programmoduler av Amazons molnlagringslösning. Först drabbades indexeringssubsystemet, som innehöll information om metadata och platsen för alla S3-objekt i den amerikanska regionen US-EAST-1. Incidenten pĂ„verkade ocksĂ„ det subsystem som anvĂ€ndes för lagring och hantering av tillgĂ€nglig lagringskapacitet. Efter att de virtuella maskinerna raderats krĂ€vde dessa tvĂ„ subsystem en fullstĂ€ndig omstart, och ingenjörer hos Amazon stĂ€lldes inför en överraskning â under en lĂ€ngre tid kunde det offentliga molnlagringssystemet inte hantera kundernas förfrĂ„gningar.
Effekten visade sig vara omfattande, eftersom mÄnga stora resurser anvÀnder Amazon S3. Driftstörningar drabbade Trello, Coursera, IFTTT och, mest besvÀrande, tjÀnster frÄn stora partners till Amazon pÄ S&P 500-listan. Att berÀkna skadan i sÄdana fall Àr inte enkelt, men den ligger i storleksordningen hundratals miljoner USD. Som ni kan se, för att slÄ ut en tjÀnst frÄn den största molnplattformen rÀcker det med en felaktig kommando. Det Àr inte en engÄngsföreteelse; den 16 maj 2019 under underhÄllsarbete pÄ tjÀnsten Yandex.Cloud virtuella maskiner för anvÀndare i zonen ru-central1-c, som nÄgonsin varit i status SUSPENDED. HÀr har kunddata redan drabbats, en del av vilken har gÄtt förlorad för alltid. SjÀlvklart Àr mÀnniskor ofullkomliga, men moderna informationssÀkerhetssystem kan redan kontrollera privilegierade anvÀndares handlingar innan de utför de kommandon de anger. Om sÄdana lösningar infördes i Yandex eller Amazon skulle liknande incidenter kunna undvikas.
Frostskadad kylning
I januari 2017 intrĂ€ffade en stor olycka i Dmitrov-datanĂ€mnden hos företaget "Megafon". DĂ„ sjönk temperaturen i Moskva-regionen till -35 °C, vilket ledde till att kylsystemet i anlĂ€ggningen slutade fungera. Pressavdelningen för operatören var sĂ€rskilt tyst om orsakerna till incidenten â ryska företag Ă€r extremt ovilliga att tala om olyckor pĂ„ sina anlĂ€ggningar, rent publikt ligger vi lĂ„ngt efter vĂ€st. Det fanns en teori pĂ„ sociala medier om att kylvĂ€tskan frös i rören som förlades i gatan och att etylenglykol lĂ€ckte ut. Om man ska tro pĂ„ den, kunde driftavdelningen inte snabbt fĂ„ 30 ton kylmedel pĂ„ grund av lĂ„nga helger och kĂ€mpade sig igenom med improviserade lösningar, genom att organisera en tillfĂ€llig frikylning med brott mot driftsregler. De akuta kylan försĂ€mrade situationen â i januari intrĂ€ffade plötsligt en vinter i Ryssland, vilket ingen hade förvĂ€ntat sig. Slutresultatet blev att personalen tvingades stĂ€nga av strömmen till delar av serverstĂ€llena, vilket ledde till att vissa av operatörens tjĂ€nster var otillgĂ€ngliga i tvĂ„ dagar.
Det Ă€r troligt att man kan tala om en vĂ€deranomalitet hĂ€r, men sĂ„dana köldgrader Ă€r inte ovanliga för huvudstadsregionen. Temperaturen pĂ„ vintern i MoskvaomrĂ„det kan falla till Ă€nnu lĂ€gre nivĂ„er, sĂ„ datacenter byggs med tanke pĂ„ att de ska fungera stabilt vid â42°Х. Oftast sviker kylsystemen i kylan pĂ„ grund av otillrĂ€cklig koncentration av glykol och överskott av vatten i kylvĂ€tskan. Det kan ocksĂ„ uppstĂ„ problem med rörinstallationer eller med berĂ€kningar i utformningen och testningen av systemet, som ofta Ă€r relaterade till besparingsĂ„tgĂ€rder. Resultatet blir allvarliga olyckor som man helt klart skulle kunna ha undvikit.
Naturkatastrofer
Oftast stör Ă„skvĂ€der och/eller orkaner infrastrukturen i datacentret, vilket leder till stopp i tjĂ€nster och/eller fysisk skada pĂ„ utrustningen. Incidenter orsakade av dĂ„ligt vĂ€der intrĂ€ffar ganska ofta. Ă r 2012 drabbades vĂ€stkusten i USA av orkanen Sandy som medförde kraftigt regn. Det datacenter som ligger i en höghusbyggnad i nedre Manhattan, Peer 1, , efter att saltvatten översvĂ€mmade kĂ€llarutrymmena. Nödgeneratorerna var placerade pĂ„ 18:e vĂ„ningen, och brĂ€nslelagret för dem var begrĂ€nsat â regler som infördes i New York efter attackerna den 11 september förbjuder lagring av stora mĂ€ngder brĂ€nsle pĂ„ högre vĂ„ningar.
BrÀnslepumpen fungerade ocksÄ inte, sÄ personalen fick manuellt bÀra diesel till generatorerna i flera dagar. Teamets hjÀltemod rÀddade datacentret frÄn en allvarlig olycka, men var det verkligen nödvÀndigt? Vi lever pÄ en planet med en kvÀve-syrgasatmosfÀr och mycket vatten. à skvÀder och orkaner Àr ganska vanliga hÀr (sÀrskilt i kustomrÄden). Troligtvis borde ingenjörerna ha beaktat de risker som Àr förknippade med detta och byggt ett lÀmpligt system för oavbruten elförsörjning. Eller Ätminstone valt en mer lÀmplig plats för datacentret Àn en skyskrapa pÄ en ö.
Allt annat
I denna kategori identifierar Uptime Institute en mĂ€ngd olika incidenter, dĂ€r det Ă€r svĂ„rt att vĂ€lja en typisk. Stöld av kopparkablar, intrĂ„ng i datacenter, stödpunkter för högspĂ€nd elektrisk ledning och transformatorstationer, bilar, brĂ€nder som skadar optiska kablar av grĂ€vmaskiner, gnagare (rĂ„ttor, kaniner och till och med vombater, som egentligen tillhör pungdjuren), samt entusiaster som övar pĂ„ att skjuta pĂ„ ledningar â menyn Ă€r omfattande. Strömavbrott kan Ă€ven orsakas av el frĂ„n en olaglig marijuanaodling. I de flesta fall blir enskilda personer ansvariga för incidenten, dvs. vi har Ă„terigen att göra med den mĂ€nskliga faktorn, dĂ€r problemet har ett namn och efternamn. Ăven om olyckan vid första anblick kan verka kopplad till tekniska fel eller naturkatastrofer, kan den undvikas med korrekt design av objektet och rĂ€tt anvĂ€ndning. Undantag görs endast för fall av kritiska skador pĂ„ datacenters infrastruktur eller förstörelse av byggnader och anlĂ€ggningar pĂ„ grund av naturkatastrofer. Detta Ă€r verkligen force majeure, och alla andra problem orsakas av avstĂ„ndet mellan datorn och stolen â kanske den mest opĂ„litliga delen av ett komplext system.
KĂ€lla: habr.com
