Peamine põhjus häirete tekkimiseks andmekeskustes on vahemaa arvuti ja tooli vahel

Suurte häirete teema kaasaegsetes andmekeskustes tekitab küsimusi, mida esimeses artiklis ei käsitletud — otsustasime seda arendada.

Uptime Institute'i statistika kohaselt on enamiku andmekeskuste intsidentide põhjuseks elektrivarustuse süsteemide rike — nende osa on 39% juhtumitest. Järgnevad inimfaktorid — need moodustavad veel 24% häiretest. Kolmandaks tähtsuselt (15%) on jahutussüsteemide rikkeid, neljandal kohal (12%) loodusõnnetused. Ülejäänud hädade kogusumma moodustab vaid 10%. Austades respekteeritud organisatsiooni andmeid, püüame tuvastada erinevates häiretes midagi ühist ja mõista, kas neid oleks saanud vältida. Spoiler: enamikul juhtudel on see võimalik.

Kontaktiteadus

Lihtsalt öeldes esineb elektritoite puhul kahte tüüpi probleeme: kas ühendust pole seal, kus see peaks olema, või on see seal, kus ühendust olema ei tohiks. Võib pikalt arutada, kui usaldusväärsed on tänapäevaste katkematute toiteallikate süsteemid, kuid need ei säästa alati. Võtame näiteks meediakajastust saanud juhtumi British Airways'i andmekeskusest, mis kuulub em ettevõttele International Airlines Group. Heathrow lennujaama läheduses asuvad kaks sellist objekti — Boadicea House ja Comet House. Esimeses neist toimus 27. mail 2017 juhuslik elektrikatkestus, mis viis UPS-süsteemi ülekoormuse ja rikki. Tulemuseks oli osa IT-seadmestikust füüsiliselt kahjustatud ning viimane rikke kõrvaldamiseks kulus kolm päeva.

Lennufirmadel tuli tühistada või edasi lükata üle tuhande lennu, umbes 75 000 reisijat ei saanud õigeaegselt lennata — hüvitisi maksti välja 128 miljonit dollarit, lisaks andmekeskuste taastamiseks kulunud kulud. Tõrkete põhjused on ebaselged. Kui usaldada International Airlines Groupi tegevjuhi Willie Walshi sõnu sisemistele uurimistulemustele, juhtus see inseneride vea tõttu. Siiski, katkematu elektrivarustussüsteem pidi sellise katkestuse vastu pidama — just selleks see paigaldati. Andmekeskusi juhtisid välisteenusettevõtte CBRE Managed Services spetsialistid, seetõttu püüdis British Airways kahjusid Londonis kohtus sisse nõuda.

Toitekatkestused toimuvad sarnaste stsenaariumite kaudu: kõigepealt katkeb varustus elektri tarnijast, mõnikord halva ilma või sisemiste probleemide tõttu (sealhulgas personali vead), seejärel ei suuda katkematu toiteallika süsteem koormust taluda või lühiajaline sinusoidne katkestus põhjustab paljude teenuste tõrkeid, mille taastamiseks kulub tohutult aega ja raha. Kas selliseid õnnetusi on võimalik vältida? Muidugi. Kui süsteem on õigesti projekteeritud, kuid isegi suurte andmekeskuste loojad ei ole vigade eest kaitstud.

Inimfaktor

Kui andmekeskuse personali valed tegevused on sündmuse otsene põhjus, siis probleemid mõjutavad enamasti (kuigi mitte alati) IT-infrastruktuuri tarkvaraosi. Selliseid õnnetusi juhtub isegi suurtes korporatsioonides. 2017. aasta veebruaris põhjustas üks tehnilise toe meeskonda kuuluv liige vale kirjutamise tõttu Amazon Web Servicesi serverite osa väljalülitamist. See viga juhtus Amazon Simple Storage Service (S3) klientide arvepidamise protsessi tõrkeotsingu käigus. Töötaja üritas eemaldada teatavat arvu virtualiseeritud servereid, mida arveldamisse süsteem kasutas, kuid tabas hoopis suuremat klastrit.

Töötaja vea tõttu kadusid serverid, millel olid töös olulised Amazon Cloud Storage'i tarkvaramoodulid. Esiteks kannatas indekseerimisseade, mis sisaldab teavet metaanete ja kõigi S3 objektide asukoha kohta Ameerika regioonis US-EAST-1. Insidenti puudutas ka andmete talletamiseks ja talletamisruumi haldamiseks kasutatav süsteem. Pärast virtuaalmasinate kustutamist vajasid need kaks süsteemi täielikku taaskäivitamist, ning Amazonit ootas üllatus — pikema ajavahemiku jooksul ei suutnud avalik pilveandmete salvestus teenindada klientide päringuid.

Mõju osutus ulatuslikuks, kuna paljusid suuri ressursse kasutavad Amazon S3. Häired mõjutasid Trello, Coursera, IFTTT ja, mis kõige murettekitavam, Amazon S&P 500 partnerite teenuseid. Kahju sellistes olukordades on keeruline arvestada, kuid selle suurusjärguks oli sadu miljoniid Ameerika Ühendriikide dollareid. Nagu näete, et suurte pilveteenuste tegevuse peatamiseks piisab ühest vale käsust. See ei olnud erand, 16. mail 2019 toimusid Yandex.Cloud'i teenuse tõttu ennetustööd. eemaldatud kasutajate virtuaalmasinad tsoonis ru-central1-c, mis on kunagi olnud seisundis SUSPENDED. Siin on juba kannatada saanud kliendiandmed, millest osa on pöördumatult kadunud. Muidugi, inimesed pole täiuslikud, kuid tänapäeva infotehnoloogia süsteemid oskavad juba ammu jälgida privileege omavate kasutajate tegevust enne nende käskude täitmist. Kui Yandexisse või Amazonisse sellised lahendused juurutada, on sarnaseid intsidente võimalik vältida.

külmunud jahutus

Jaanuaris 2017 toimus suur avarii Dmitrovi andmekeskuses, mis kuulub ettevõttele «MegaFon». Tol ajal langes Moskva piirkonnas temperatuur kuni −35 °C, mis põhjustas hoone jahutussüsteemi rikke. Operaatori pressiteenistus ei avaldanud juhtumi põhjustest palju teavet — Venemaa ettevõtted on äärmiselt vastumeelsed rääkima enda objektide avariidest, olles avalikkuse osas Lääne riikidest oluliselt maha jäänud. Sotsiaalmeedias levitati versiooni, et tänavatel asuvates torudes külmus jahutusvedelik ja et tilkus etüleenglükool. Kui uskuda seda versiooni, ei suutnud ekspluatatsiooniteenistus pika püha tõttu kiiresti hankida 30 tonni jahutusvedelikku ning pidi jääma improviseeritud lahendustega ning korraldama kõrvalekalletega frikülmutamise. Tugevad külmad süvendasid probleemide ulatust — jaanuarikuus toimus Venemaal äkki talv, kuigi keegi ei oodanud seda. Tulemuseks pidid töötajad välja lülitama osa serveririiulitest, mistõttu oli operaatori teenused kaks päeva mõnele kasutajale kättesaamatud.

Võib-olla saab siin rääkida ka ilmastiku anomaaliatest, kuid sellised külmad ei ole pealinna piirkonnas midagi ebatavalist. Talvel võib Moskva lähedal temperatuur langeda isegi veel madalamatele näitudele, seetõttu ehitatakse andmekeskuseid arvestusega, et need töötavad usaldusväärselt temperatuuril −42°С. Kõige sagedamini ebaõnnestuvad külmutussüsteemid külmas, kuna glükooli kontsentratsioon on liiga madal ja soojusvedelikus on liiga palju vett. On probleeme ka torustike paigaldamise või süsteemi projekteerimise ja testimise vigadega, mis on peamiselt seotud sooviga kokku hoida. Tulemuseks on tõsine avarii, mida oleks olnud täiesti võimalik vältida.

Looduskatastroofid

Kõige sagedamini põhjustavad äikesetormid ja/või orkaanid andmekeskuse inseneri infrastruktuuri töökatkestusi, mis viib teenuste seiskumiseni ja/või seadmete füüsilise kahjustuseni. Halva ilma poolt põhjustatud intsidente juhtub üsna tihti. 2012. aastal möödus Ameerika Ühendriikide läänerannikult orkaan Sandy tugeva vihmaga. Peer 1 andmekeskus, mis asub pilvelõhkujas Madal-Manhattani piirkonnas, kaotas välist elektrienergiat, pärast soolase merevee uputamist keldritesse. Objektide hädaabi generaatorid olid paigutatud 18. korrusele ning nende kütusevaru oli piiratud — New Yorgis pärast 9/11 terrorirünnakuid kehtestatud reeglid keelavad suures koguses kütuse hoidmise ülemistel korrustel.

Kütusepump rikkus samuti ja seetõttu vedas personal mitu päeva diiselkütust generaatoritesse käsitsi. Meeskonna kangelaslikkus päästis andmekeskuse tõsise rikkumise eest, kuid kas see oli tõeliselt vajalik? Elame planeedil, kus on lämmastiku- ja hapnikurikas atmosfäär ning palju vett. Äikesed ja orkaanid on siin tavalised (eriti rannikualadel). Projekti koostajatel oleks ilmselt tasunud kaaluda sellega seotud riske ja ehitada välja sobiv varupsüsteem. Või vähemalt valida andmekeskusele sobivam asukoht, kui kõrghoone saarel.

Kõik muu

Uptime Institute jagab sellesse kategooriasse erinevaid sündmusi, millest on keeruline valida tüüpilist. Siia kuuluvad näiteks vargused, kus varastatakse vaskkaableid, sissejõudmine andmekeskustesse, kõrgepingeliinide toetused ja alajaamad, autod, tulekahjud, kaevurite poolt purustatud kiudoptilised kaablid, närilised (rottid, küülikud ja isegi wombatid, kes tegelikult kuuluvad pussnoodega loomade hulka), ja inimesed, kes harjutavad laskmist juhtmete pihta — menüü on ulatuslik. Elektrotoit loomulikult võib põhjustada isegi varastamine elektrienergiat ebaseaduslik marihuaana kasvatamine. Enamasti on juhtumi põhjuseks konkreetsed inimesed, st tegeleme jälle inimfaktoriga, kus probleemil on nimi ja perekonnanimi. I isegi kui esmapilgul tundub, et õnnetus on seotud tehnilise rikke või looduskatastroofidega, on seda võimalik vältida, kui objekt on korralikult projekteeritud ja õigesti kasutatud. Eranditeks on vaid juhtumid, kus andmekeskuse infrastruktuur on tõsiselt kahjustatud või hooned ja rajatised on purunenud looduskatastroofi tõttu. Need on tõeliselt force majeure olukorrad, kõik ülejäänud probleemid tulenevad lõunast arvuti ja tooli vahel — see on tõenäoliselt iga keeruka süsteemi kõige ebausaldusväärsem osa.

Allikas: habr.com