Suuremate avariide teema tänapäevastes andmekeskustes tekitab küsimusi, millele esimese artikli jooksul vastuseid ei olnud – otsustasime seda teemat edasi arendada.
Uptime Institute'i statistika kohaselt on enamus andmekeskustes toimunud intsidente seotud elektrisüsteemi riketega – nende osakaal on 39% sündmustest. Inimfaktor järgneb neile 24% avariitega. Kolmandaks, 15% osakaaluga, olid jahutussüsteemi rikked ja neljandal kohal, 12% osakaaluga, looduskatastroofid. Ülejäänud hädade osakaal on vaid 10%. Jättes rahvusvahelise organisatsiooni andmed kahtluse alla, toome erinevates avariides välja ühe ühise joone ja proovime mõista, kas oleks olnud võimalik neid vältida. Spoiler: enamasti on see võimalik.
Kontaktiteadus
Lihtsustatult öeldes on elektritoimimisega ainult kaks probleemi: kas kontakti pole seal, kus see peaks olema, või on see seal, kus seda olla ei tohiks. Võime pikalt arutada kaasaegsete katkematu toite süsteemide usaldusväärsust, kuid nad ei päästa alati. Võtame näiteks British Airways'i andmekeskuse, mis kuulub emfirma International Airlines Group alla. Heathrow lähedal asub kaks sellist objekti – Boadicea House ja Comet House. Esimeses neist juhtus 27. mail 2017 juhuslik elektrikatkestus, mis põhjustas UPS-süsteemi ülekoormuse ja rikke. Tulemusena oli osa IT-seadmest füüsiliselt kahjustatud ning viimase avariiga tegelemiseks kulus kolm päeva.
Lennufirmadel tuli tühistada või edasi lükata rohkem kui tuhat lendu, umbes 75 tuhat reisijat ei saanud õigel ajal õhku tõusta — hüvitamiseks kulus 128 miljonit dollarit, rääkimata kuludest andmekeskuste töö taastamiseks. Miks mustandi juhtus, on arusaamatu. Kui uskuda International Airlines Group'i tegevjuhi Willie Walshi väljendatud sisemist uurimist, siis juhtus see inseneride vea tõttu. Sellegipoolest pidi katkematu elektrivarustussüsteem sellesugust katkestust taluma — just selleks see paigaldati. Andmekeskuseid juhtisid välisagendid CBRE Managed Services, seega püüdis British Airways kahjuhüvitist Londonis kohtus sisse nõuda.
Elektrivarustuse rikkeid esineb sarnaste stsenaariumide järgi: alguses toimub katkestus elektritootja süül, mõnikord halva ilma või sisemiste probleemide tõttu (sealhulgas töötajate vead), seejärel ei suuda katkematu elektrivarustussüsteem koormust taluda või lühiajaline pingelöök kutsub esile paljude teenuste talitlushäireid, mille taastamiseks kulub tohutult aega ja raha. Kas on võimalik selliseid õnnetusi vältida? Ilmselgelt. Kui süsteem on õigesti projekteeritud, kuid vigadest ei ole kaitstud isegi suurte andmekeskuste loojad.
Inimfaktor
Kui otseseks põhjusuks on andmekeskuse töötajate valed teod, mõjutavad probleemid enamasti (kuigi mitte alati) IT-infrastruktuuri tarkvaraosa. Selliseid õnnetusi esineb isegi suurtes korporatsioonides. 2017. aasta veebruaris lülitati ühe andmekeskuse teeninduse tehnilise meeskonna liikme vale sisestamise tõttu välja osa Amazon Web Services'i serveritest. Viga juhtus, kui testiti Amazon Simple Storage Service (S3) arvete esitamise protsessi. Töötaja püüdis eemaldada teatud arvelduse süsteemi kasutatavaid virtuaalseid servereid, kuid kahjustas suuremat klastrit.
Tulemuseks oli inseneri viga, mille tõttu kustutati serverid, millel töötasid olulised Amazon Cloud Storage'i tarkvaramoodulid. Esiteks kannatas indekseerimise alamsüsteem, mis sisaldas teavet metandmete ja kõigi S3 objektide asukohtade kohta Ameerika Ühendriikide piirkonnas US-EAST-1. Insidenti puudutas ka alamsüsteem, mida kasutati andmete salvestamiseks ja hallatavaks salvestusruumiks. Pärast virtuaalmasinate kustutamist nõudsid need kaks alamsüsteemi täielikku taaskäivitamist, ning Amazon'i insenere ootas üllatus — pika aja jooksul ei suutnud avalik pilveteenus teenendada klientide päringuid.
Mõ juv mõju oli ulatuslik, kuna paljud suured ressursid kasutavad Amazon S3. Rikked puudutasid Trellot, Courserat, IFTTT-d ja mis kõige ebameeldivam, Amazon'i suurte partnerite teenuseid S&P 500 nimekirjas. Kahju sellistel juhtudel on raske hinnata, kuid see ulatus sadu miljoneid USA dollarit. Nagu näete, piisab ühe vale käsu andmisest, et hävitada maailma suurima pilveteenuse toimimine. See ei ole ainus juhtum; 16. mai 2019 toimusid hooldustööd, mille käigus Yandex.Cloud kasutajate virtuaalmasinad piirkonnas ru-central1-c, mis olid kunagi olnud seisundis SUSPENDED. Siin on juba kannatanud kliendiandmed, millest osa oli pöördumatult kaotatud. Loomulikult ei ole inimesed täiuslikud, kuid kaasaegsed infotehnoloogilise turvalisuse süsteemid oskavad juba ammu kontrollida privileegeeritud kasutajate tegevust enne nende käsu täitmist. Kui Yandex või Amazon sellised lahendused rakendada, saab sarnaseid incidente vältida.
Külmutatud jahutus
2017. aasta jaanuaris toimus suur õnnetus Dmitrovi andmekeskuses, mille omanik on "Megafon". Tol ajal langes Moskva piirkonna temperatuur −35 °C-ni, mis põhjustas jahutussüsteemi rikkumise. Operaatori pressiteenistus ei jaganud eriti infot õnnetuse põhjuste kohta — Venemaa ettevõtted on äärmiselt vastumeelsed rääkima oma objektidel toimuvatest õnnetustest, avalikkuse osas jääme Läänest tugevalt maha. Sotsiaalmeedias liiknes versioon soojusvedeliku külmumisest tänavat mööda kulgevates torudes ja etüleenglükooli lekkest. Kui uskuda seda versiooni, ei suutnud ekspluatatsiooniteenus pühade tõttu kiiresti hankida 30 tonni külmaainet ja pidid leidma lahendusi improvisatsiooniliste vahenditega, korraldades eeskirju rikkumisega ajutise jahutuse. Karmid külmad süvendasid probleemi — jaanuaris toimus Venemaal äkiline talv, kuigi keegi ei oodanud seda. Lõpuks pidid töötajad osaliselt välja lülitama serveri kappe, mistõttu oli operaatori osa teenuseid kaks päeva mittesaadaval.
Küllap võiks siin rääkida ka ilmastiku anomaaliast, kuid sellised külmad ei ole pealinna piirkonnas midagi ebatavalist. Talvel võib Moskva piirkonna temperatuur langeda ka veelgi madalamale, seega ehitavad andmekeskused, arvestades stabiilset tööd temperatuuridel kuni −42 °C. Enamasti riknevad jahutussüsteemid külmaga madala glükoolisisalduse ja vedeliku liigse veesisalduse tõttu. Esinevad probleemid ka torude paigaldamisega või süsteemi projekteerimise ja testimise arvestustega, mis on peamiselt seotud rahasäästuga. Lõppkokkuvõttes juhtub täiesti ootamatult tõsine õnnetus, mida oleks täielikult saanud vältida.
Loodusmured
Enamasti rikuvad äiksed ja/või orkaanid andmekeskuse inseneritehnilist infrastruktuuri, mis viib teenuste seiskumiseni ja/või seadmete füüsilise kahjustamiseni. Halva ilmaga põhjustatud õnnetused juhtuvad üsna sageli. 2012. aastal tabas USA läänerannikut orkaan Sandy tugevate vihmadega. Peer 1 andmekeskus, mille asukoht on kõrghoones Lower Manhattanis , pärast seda, kui soolane meri vetti täitis keldreid. Hädageneraatorid paigaldati 18. korrusele ja nende kütusevaru oli piiratud - New Yorgis pärast 9/11 terrorirünnakuid kehtestatud reeglid keelavad suuri kütusekoguseid ülemistel korrustel hoida.
Kütusepump lagunes samuti, mistõttu töötajad paar päeva transportisid diiselkütust generaatorite jaoks käsitsi. Meeskonna kangelastegu päästis andmekeskuse tõsisest avariist, kuid kas see oli vajalik? Elame planeedil, kus on lämmastik- ja hapniku atmosfäär ning palju vett. Äikesed ja orkaanid on siin tavalised (eriti ranniku piirkondades). Projektijatel oleks tõenäoliselt tulnud arvestada nende riskidega ja ehitada vastav katkematu toitesüsteem. Või vähemalt valida andmekeskusele sobivam asukoht kui kõrghoone saarel.
Kõik muu
Sellesse kategooriasse tuvastab Uptime Institute mitmesuguseid intsidente, millest on keeruline valida tüüpiline. Vaskkaablite vargused, keskkonnakeskkonda sissetungivad sõidukid, kõrgepingeliinide toed ja alajaamad, autod, tulekahjud, mis rikuvad optikat ekskavaatoritega, närilised (rotid, küülikud ja isegi vombatid, mis kuuluvad tegelikult taskurikkade klassi) ning ka need, kes proovivad juhtmete pihta lasta - menüü on ulatuslik. Elektrikatkestusi võivad põhjustada isegi elektritööstuslik marihuaana istandus. Enamasti on intsidendi põhjustajateks konkreetsed inimesed, st me seisame taas silmitsi inimfaktoriga, kui probleemil on nimi ja perekonnanimi. Isegi kui esmavaatlusel on avarii seotud tehnilise rikkega või loodusõnnetustega, on seda võimalik vältida, juhul kui objekte on õigesti projekteeritud ja neid korralikult töödeldud. Eranditeks on vaid juhtumid, mil andmekeskuse infrastruktuur on tõsiselt kahjustatud või hooned ja rajatised on loomulikest katastroofidest purustatud. Need on tõeliselt force majeure olukorrad, samas kui kõik muud probleemid on tingitud jaotusest arvuti ja tooli vahel - ilmselt on see igasuguste keeruliste süsteemide kõige ebamugavam osa.
Allikas: habr.com
