Operatiivosakonna juhataja ronis maa-aluse kütusehoidla luugisse, et näidata solenoidklapi märgistust.
Veebruari alguses meie suurim III taseme andmekeskus Uptime Institute’i (UI) poolt taassertifitseeritud operatsioonide jätkusuutlikkuse standardile. Täna räägime teile, mida audiitorid vaatavad ja milliste tulemustega me lõpetasime.
Neile, kes on andmekeskustega tuttavad, räägime lühidalt riistvarast. hindab ja sertifitseerib andmekeskusi kolmes etapis:
- projekt (Disain): kontrollitakse projekti dokumentatsiooni paketti Siin on üldtuntud . Kokku on neid 4: Tier I–IV. Viimane on vastavalt kõrgeim.
- ehitatud rajatis (Facility): kontrollitakse andmekeskuse insener-infrastruktuuri ja selle vastavust projektile. Andmekeskust kontrollitakse täiskoormusel, kasutades erinevaid teste, mille sisu on ligikaudu järgmine: üks UPS-idest (DGS, jahutid, täppiskliimaseadmed, jaotuskapid, siinid jne) võetakse hoolduseks või remondiks kasutusest välja. ja linna toide on välja lülitatud. Kolmanda taseme ja kõrgemad andmekeskused peaksid suutma olukorraga hakkama saada, ilma et see mõjutaks IT kasulikku koormust.
Rajatist saab kasutada, kui andmekeskus on juba läbinud disainisertifikaadi.
NORD-4 sai disainisertifikaadi 2015. aastal ja Facility 2016. aastal. - Toimimise jätkusuutlikkus. Tegelikult kõige olulisem ja keerulisem sertifikaat. See hindab igakülgselt operaatori protsesse ja pädevusi kehtestatud tasemetasemega andmekeskuse hooldamisel ja haldamisel (operatsiooni jätkusuutlikkuse läbimiseks peab teil juba olema rajatise sertifikaat). Lõppude lõpuks võib isegi IV taseme andmekeskus ilma korralikult struktureeritud tööprotsesside ja kvalifitseeritud meeskonnata muutuda väga kallite seadmetega kasutuks hooneks.
Siin on ka tasemed: pronks, hõbe ja kuld. Viimasel kordussertifikaadil saime tulemuseks 88,95 100 võimalikust punktist ja see on hõbe. Kullale jäi napilt alla – 1,05 punkti.
Kuidas kontrollida, kas vajalikud protsessid on üles ehitatud ja töötavad nii, nagu peab? Veelgi enam, kuidas seda teha kahe päevaga – nii kaua kulub uuesti sertifitseerimiseks. Lühidalt öeldes põhineb sertifitseerimine eeskirjades kirjutatu, lugude "kuidas kõik toimib" ja tegelike tavade hoolikal võrdlusel. Viimase kohta saadakse teavet andmekeskuse läbikäikudest ja vestlustest andmekeskuse inseneridega - "vastasseisudest", nagu me neid hellitavalt kutsume. Seda nad vaatavad.
Meeskond
Esiteks kontrollivad kasutajaliidese audiitorid, kas andmekeskusel on piisavalt tugipersonali. Nad võtavad personalitabeli, töögraafiku ja kontrollivad seda valikuliselt vahetuste aruannete ja juurdepääsukontrolli andmetega, et veenduda, kas vajalik arv insenere oli sellel päeval tegelikult kohapeal.
Audiitorid vaatavad tähelepanelikult ka ületundide arvu. Mõnikord juhtub see siis, kui sisse tuleb suur klient ja korraga on vaja paigaldada kümneid nagid. Sellistel hetkedel tulevad appi kutid teistest vahetustest ja neile makstakse selle eest lisaraha.
NORD-4-l töötab 7 inseneri vahetuses: 6 valves ja üks vaneminsener. Need on need, kes jälgivad ööpäevaringset seiret, kohtuvad klientidega, aitavad seadmete paigaldamisel ja muudel rutiinsetel taotlustel. See on kliendi tehnilise toe esimene rida. Nende kohustuste hulka kuulub hädaolukordade registreerimine ja nende eskaleerimine spetsialiseerunud inseneridele. Inseneritaristu tööd jälgivad üksikud inimesed – infrastruktuuri korrapidajad. Samuti 24x7.
NORDi tootmisdirektor ja objektijuht räägib audiitoritele, kui palju inimesi praegu kohapeal töötab.
Numbrite sorteerimisel kontrollitakse võistkonna kvalifikatsiooni. Audiitorid vaatavad pisteliselt üle inseneride personalitoimikud, veendumaks, et neil on teatud ametikohal töötamiseks vajalikud diplomid, tunnistused ja volitused (näiteks elektriohutuse tunnistused).
Samuti kontrollivad nad, kuidas me oma töötajaid koolitame. Juba viimase auditi ajal avaldas meie uute inseneride koolitamise süsteem kasutajaliidese spetsialistidele muljet. Me kulutame neile kolm kuud tasulise praktikana, mille käigus tutvustame neile meie andmekeskuse protsesse ja tööpõhimõtteid.
Juba töötavad insenerid peavad läbima ka regulaarset koolitust, sealhulgas hädaolukordades töötamist. Audiitorid kontrollivad kindlasti selliste koolituste koolitusprogramme ja materjale ning eksamineerivad pisteliselt ka insenere. Kellelgi ei nõuta diiselgeneraatorikomplektile üle minekut, küll aga nõutakse samm-sammult, mida tuleb teha, kui linna toide on välja lülitatud. Auditi tulemuste põhjal viime kõik koolitus- ja koolitusprogrammid ühtsesse standardisse, et need ei erineks erinevate meeskondade lõikes.
Näitame audiitoritele vahetusinseneride puhkeruumi.
Insenerisüsteemide käitamine ja hooldus
Selles suures auditi osas näitame, et kõik insenertehnilised seadmed ja süsteemid saavad regulaarset hooldust vastavalt tarnijate soovitatud ajakavale, laos on vajalikud varuosad, kehtivad hoolduslepingud töövõtjatega ning igal seadmega operatsioonil on oma. protseduurid ja algoritmid erinevate juhtumitega töötamiseks.
MMS. Kui kasutate kümneid UPS-e, diiselgeneraatorite komplekte, kliimaseadmeid ja muid asju, peate kogu teabe selle rajatise kohta kuhugi koguma. Koostame iga seadme kohta ligikaudu järgmise toimiku:
- mudel ja seerianumber;
- märgistamine;
- tehnilised omadused ja seadistused;
- paigalduskoht;
- valmistamise kuupäevad, kasutuselevõtt, garantii lõppemine;
- teenuslepingud;
- hooldusgraafik ja ajalugu;
- ja kogu "haiguslugu" - rikked, remondid.
Kuidas ja kuhu kogu see info koguda, jääb iga andmekeskuse operaatori enda otsustada. Kasutajaliides ei ole tööriistadega piiratud. See võib olla lihtne Excel (sellega alustasime) või ise kirjutatud hooldushaldussüsteem (MMS), nagu meil praegu on. Muideks, , laoarvestus, online logi, monitooring on ka ise kirjutatud.
Iga seadme jaoks on selline “isiklik toimik”.
Näitasime oma praktikat selles osas, sealhulgas kasutasime selle infrastruktuuri UPSi (pildil) näidet, mis annetas ühe selle osa IT-koormust teenindavale UPS-ile. Jah, standardi järgi saavad sellist “annetamist” teha ainult taristuseadmed, mis toidavad kliimaseadmeid ja turvavalgustust, kuid mitte IT-koormust.
Seejärel palusid audiitorid teeninduslauas näidata vastavat piletit:
Ja UPS-i profiil MMS-is:
Varuosad Inseneriseadmete õigeaegseks hoolduseks ja avariiremondiks jätame endale varuosad ja tarvikud. Seal on üldladu, kus on suured varuosad seadmete jaoks ja väikesed kapid varuosadega inseneriruumides (et ei peaks kaugele jooksma).
Fotol: kontrollime diiselgeneraatori komplekti varuosade saadavust. Loendasime 12 filtrit. Seejärel kontrollisime MMS-is olevaid andmeid.
Sarnane õppus viidi läbi ka pealaos, kus hoitakse suuri varuosi: kompressorid, kontrollerid, automaatika, ventilaatorid, auruniisutid ja sadu muid asju. Kirjutasime märgised valikuliselt ümber ja “läbistasime” need MMS-i kaudu.
Varuosade laoandmed. Punane - See on see, mis on puudu ja see tuleb osta.
Ennetav hooldus. Lisaks hooldusele ja remondile soovitab UI teha ennetavat hooldust. See aitab muuta võimaliku õnnetuse plaaniliseks remondiks. Iga parameetri jaoks konfigureerime seires läviväärtused. Nende ületamise korral saavad vastutavad isikud häireid ja võtavad kasutusele vajalikud toimingud. Näiteks meie:
- Elektrikilpe kontrollime termokaameraga, et kiiresti tuvastada elektripaigaldiste defektid: halb kontakt, lokaalne juhtme või kaitselüliti ülekuumenemine.
- Jälgime külmutussüsteemi pumpade vibratsiooninäitajaid ja voolutarbimist. See võimaldab teil õigeaegselt tuvastada kõrvalekaldeid ja planeerida vahetusi kiirustamata.
- Teeme diiselgeneraatorite ja kompressorite kütuse- ja õlianalüüse.
- Testime glükooli kontsentratsiooni jahutussüsteemis.
Pumba vibratsiooniskeem enne ja pärast remonti.
Töövõtjatega töötamine. Seadmete hooldust ja remonti teostavad välistöövõtjad. Meie poolel on eraldi diiselgeneraatorite, kliimaseadmete ja UPS-i spetsialistid, kes kontrollivad nende tööd. Nad kontrollivad, kas töövõtjatel on remondi-/hooldustöödeks vajalikud tööriistad ja materjalid, kutsetunnistused, elektriohutustunnistused, load. Nad aktsepteerivad kogu tööd.
Nii näeb välja kliimaseadmete hooldustööde vastuvõtmise kontrollnimekiri.
Passipunktis kontrollime, kas pääsmed on väljastatud töövõtjate volitatud esindajatele, kas neil on määratud ajal tehtud hooldus ja kas nad on reeglitega tutvunud.
Dokumentatsioon. Süsteemide ja seadmete hooldamise väljakujunenud protsessid on pool võitu. Kõik inimeste poolt andmekeskuses tehtavad protseduurid tuleb dokumenteerida. Selle eesmärk on lihtne: et kõik ei piirduks ühe konkreetse inimesega ning õnnetuse korral saaks iga insener võtta selged juhised ja teha kõik vajalikud toimingud selle kõrvaldamiseks.
UI-l on sellise dokumentatsiooni jaoks oma metoodika.
Lihtsate ja korduvate tegevuste jaoks kehtestatakse standardsed tööprotseduurid (SOP). Näiteks on olemas SOP-id jahuti sisse/välja lülitamiseks ja UPS-i möödaviigu seadistamiseks.
Hoolduse või keerukate toimingute jaoks, nagu akude vahetamine UPS-is, luuakse hooldusprotseduurid (meetodid, MOP-id). Need võivad hõlmata standardprotseduure. Igal inseneriseadmete tüübil peavad olema oma MOP-id.
Lõpuks on hädaolukorras kasutatavad juhised hädaolukorras. Konkreetsetest hädaolukordadest koostatakse nimekiri ja nende jaoks koostatakse juhised. Siin on osa hädaolukordade loetelust, kus on üksikasjalikult kirjeldatud õnnetuse tunnused, tegevused, vastutavad isikud ja teavitatavad isikud:
- linna toiteallika väljalülitamine: diiselgeneraatorid käivitunud/ei käivitunud;
- UPSi õnnetused;
- õnnetused andmekeskuse seiresüsteemis;
- masinaruumi ülekuumenemine;
- jahutussüsteemi leke;
- rike võrgu- ja arvutusseadmetes;
ja nii edasi.
Sellise mahuga dokumentatsiooni koostamine on omaette töömahukas töö. Veel keerulisem on seda ajakohasena hoida (seda muide kontrollivad ka audiitorid). Ja mis kõige tähtsam, töötajad peavad neid juhiseid teadma, nende järgi töötama ja vajadusel parandusi tegema.
Jah, juhised peaksid olema kättesaadavad seal, kus neid vaja võib minna, mitte ainult arhiivides tolmu koguma.
Märkused andmekeskuse insenersüsteemide hoolduseeskirja muudatuste kohta.
Auditi käigus vaadatakse ka süsteemide tehnilist dokumentatsiooni, täitev- ja töödokumentatsiooni ning süsteemide käikulaskmise akte.
Märgistamine Andmekeskuses ringi liikudes kontrollisid nad seda kõikjal, kuhu jõudis. Sinna, kuhu nad ei jõudnud, jõudsid trepiastmelt :). Vaatasime selle olemasolu igal jaotuskilbil, masinal ja ventiilil. Kontrollisime valmimisdokumentatsiooni unikaalsust, ühemõttelisust ja vastavust kehtivatele skeemidele. Alloleval fotol: oleme kütusehoidlas asuvas pumbaruumis ja võrdleme solenoidventiilide märgistusi valmisdokumentatsiooni diagrammiga.
Kõik oli temaga nõus, kuid seinal oleva kohaliku "dekoratiivse" aksonomeetrilise diagrammiga ühes parameetris see ei langenud kokku.
Andmekeskuse ruumidesse tuleks välja panna ka seal asuvate süsteemide skeemid. Õnnetusjuhtumi korral aitavad need kiiresti välja selgitada, kus kõik on, ja teha teadliku otsuse. Fotol on näiteks üherealine diagramm peakilbi ruumis.
Diagrammide asjakohasust kontrolliti järgmiselt: nad nimetasid diagrammil olevale elemendimärgistusele nime ja palusid seda "päris elus" näidata.
Siin teeb audiitor fotod peakilbi sisendkaitselüliti seadistustest (seadetest), et hiljem võrrelda neid paber- ja elektroonilisel koopial üherealise diagrammi näitajatega. Ühel masinal, QF-3, ei vastanud indikaator paberskeemile ja saime karistuspunkti. Nüüd kontrollivad kaks inseneri, kas üherealiste diagrammide märgised vastavad faktile.
See pole veel kõik, mida audiitorid teenindusprotsesside osas kontrollisid. Siin on veel see, mis päevakorras oli:
- seiresüsteem. Siin teenisime karma eeliseid hea visualiseerimise, mobiilirakenduse olemasolu ja andmekeskuste koridoridesse paigutatud olukorraekraanidega. Siin kirjutasime üksikasjalikult, kuidas me töötame .
See on MCC visuaalse teabega NORD-4 ja meie teiste saidil töötavate andmekeskuste peamiste insenerisüsteemide oleku kohta. - inseneriseadmete elutsükli planeerimine;
- võimsuse juhtimine ();
- eelarve koostamine (rääkisin natuke );
- õnnetuste analüüsi protseduur;
- seadmete vastuvõtmise, kasutuselevõtu ja testimise protsess (kirjutasime testidest ).
Mida kasutajaliides veel vaatas?
Turvalisus ja juurdepääsukontroll. Auditi käigus kontrollitakse ka ohutus- ja turvasüsteemide toimimist. Näiteks proovis audiitor pääseda ühte ruumi, kuhu tal ei olnud juurdepääsu, ja seejärel kontrollis, kas see kajastub läbipääsusüsteemis ja kas turvale on sellest teavitatud (spoiler – oli küll).
Kui meie andmekeskustes jääb suvalise ruumi uks lahti kauemaks kui kaheks minutiks, käivitub valvepostil hoiatus. Selle testimiseks toetasid audiitorid ühe ukse tulekustutiga. Tõsi, sireeni me ei saanudki – turvamehed nägid videokaamerate vahendusel midagi valesti ja jõudsid “kuriteopaigale” varem.
Kord ja puhtus. Audiitorid otsivad tolmu, kaootiliselt lebavaid seadmekarpe ja seda, kui sageli ruume koristatakse. Siin hakkas audiitoritel näiteks huvi tundma tuvastamata objekti vastu ventilatsioonikoridoris. See on plokk ventilatsioonisüsteemist, mis valmistus juba oma kohale asuma. Aga nad palusid mul ikkagi allkirja anda.
Samuti andmekeskuse korra teemal - need kapid koos kõigi vajalike tööriistadega seadmete avariitöödeks asuvad peakilbi ruumis.
Asukoht Andmekeskust hinnatakse asukohatingimuste järgi – kas läheduses on sõjaväebaase, lennujaamu, jõgesid, vulkaane ja muid ohtlikke objekte. Fotol näitame vaid, et alates viimasest sertifitseerimisest 2017. aastal pole andmekeskuse ümber kasvanud ühtegi tuumaelektrijaamu ega õlihoidlat. Kuid seal ehitatakse uut NORD-5 andmekeskust, mis peab läbima ka Uptime Institute Tier III sertifikaadi kõik tasemed. Aga see on hoopis teine lugu).
Allikas: www.habr.com