Ir parodyti, arba kaip mes išlaikėme veiklos tvarumo auditą Uptime Institute

Operacijų skyriaus vadovas įlipo į požeminės kuro saugyklos liuką, kad parodytų žymes ant solenoidinio vožtuvo.

Vasario pradžioje mūsų didžiausias III pakopos duomenų centras NORD-4 Iš naujo sertifikavo Uptime Institute (UI) pagal veiklos tvarumo standartą. Šiandien mes jums pasakysime, į ką žiūri auditoriai ir kokiais rezultatais baigėme.

Tiems, kurie yra susipažinę su duomenų centrais, trumpai apžvelgsime aparatinę įrangą. Pakopų standartai vertina ir sertifikuoja duomenų centrus trimis etapais:

• projektas (Dizainas): patikrinamas projekto dokumentacijos paketas.Čia gerai žinoma pakopa. Iš viso jų yra 4: I–IV pakopa. Pastarasis atitinkamai yra aukščiausias.
• pastatytas objektas (Įrenginys): tikrinama duomenų centro inžinerinė infrastruktūra ir jos atitiktis projektui. Duomenų centras tikrinamas esant pilnai projektinei apkrovai, taikant įvairius testus, kurių turinys yra maždaug toks: vienas iš UPS (DGS, aušintuvai, preciziniai oro kondicionieriai, paskirstymo spintos, šynos ir t. t.) nutraukiamas techninei priežiūrai ar remontui. , o miesto maitinimas išjungtas. III ir aukštesnės pakopos duomenų centrai turėtų sugebėti susidoroti su situacija nedarant įtakos IT naudingosioms apkrovoms.

  Priemonę galima naudoti, jei duomenų centras jau yra išlaikęs dizaino sertifikatą.
  „NORD-4“ dizaino sertifikatą gavo 2015 m., o „Facility“ – 2016 m.

• Veiklos tvarumas. Tiesą sakant, pats svarbiausias ir sudėtingiausias sertifikavimas. Jame visapusiškai įvertinami procesai ir operatoriaus kompetencijos prižiūrint ir valdant duomenų centrą su nustatyto lygio lygiu (norėdami išlaikyti veiklos tvarumą, jau turite turėti objekto sertifikatą). Juk be tinkamai struktūrizuotų veiklos procesų ir kvalifikuotos komandos net IV pakopos duomenų centras gali virsti niekam tikusiu pastatu su labai brangia įranga.
  
  Čia taip pat yra lygių: bronzos, sidabro ir aukso. Paskutinę pakartotinę sertifikaciją baigėme 88,95 balo iš 100 galimų taškų ir tai yra sidabras. Iki Aukso pritrūko vos 1,05 taško. 

Kaip patikrinti, ar reikalingi procesai sukurti ir veikia taip, kaip turėtų? Be to, kaip tai padaryti per dvi dienas – tiek užtrunka pakartotinis sertifikavimas. Trumpai tariant, sertifikavimas pagrįstas kruopščiu nuostatuose parašyto palyginimu, pasakojimais „kaip viskas veikia“ ir realia praktika. Informacija apie pastarąją gaunama iš pasivaikščiojimų duomenų centre ir pokalbių su duomenų centro inžinieriais – „konfrontacijomis“, kaip mes jas meiliai vadiname. Štai į ką jie žiūri.

Komanda

Visų pirma, UI auditoriai patikrina, ar duomenų centre yra pakankamai pagalbinio personalo. Jie paima personalo lentelę, darbo grafiką ir pasirinktinai patikrina juos su pamainų ataskaitomis ir prieigos kontrolės duomenimis, kad įsitikintų, jog tą dieną vietoje tikrai buvo reikiamas skaičius inžinierių.

Auditoriai taip pat atidžiai stebi viršvalandžių skaičių. Taip kartais nutinka, kai ateina didelis klientas ir vienu metu reikia įrengti keliasdešimt stelažų. Tokiomis akimirkomis į pagalbą ateina vaikinai iš kitų pamainų, kuriems už tai sumokami papildomi pinigai.

Vienoje pamainoje NORD-4 dirba 7 inžinieriai: 6 budintys ir vienas vyresnysis inžinierius. Tai yra tie, kurie stebi stebėjimą 24x7, susitinka su klientais, padeda montuoti įrangą ir kitus įprastinius prašymus. Tai pirmoji klientų techninės pagalbos linija. Jų pareigos apima avarinių situacijų registravimą ir jų perdavimą specializuotiems inžinieriams. Inžinerinės infrastruktūros darbą stebi pavieniai žmonės – infrastruktūros budėtojai. Taip pat 24x7.

NORD gamybos direktorius ir objekto vadovas auditoriams pasakoja, kiek žmonių šiuo metu dirba vietoje.

Sutvarkius skaičius, tikrinama komandos kvalifikacija. Auditoriai atsitiktine tvarka peržiūri inžinierių personalo bylas, siekdami įsitikinti, kad jie turi reikiamus diplomus, pažymėjimus ir įgaliojimus dokumentus (pavyzdžiui, elektros saugos sertifikatus) dirbti tam tikrose pareigose.

Jie taip pat tikrina, kaip mokome savo darbuotojus. Net ir paskutinio audito metu mūsų naujų budinčių inžinierių mokymo sistema padarė įspūdį UI specialistams. Mes jiems skiriame tris mėnesius mokymo kursai kaip apmokamą praktiką, kurios metu supažindiname su procesais ir darbo principais mūsų duomenų centre.

Jau dirbantys inžinieriai taip pat turi reguliariai mokytis, įskaitant darbą avarinėse situacijose. Auditoriai tikrai patikrins tokių mokymų mokymo programas ir medžiagą, taip pat atsitiktinai egzaminuos inžinierius. Niekas neprašys pereiti prie dyzelinio generatoriaus agregato, tačiau bus paprašyta žingsnis po žingsnio pasakyti, ką reikia daryti išjungus miesto maitinimą. Remdamiesi audito rezultatais, visas mokymo ir ugdymo programas sujungsime į vieną standartą, kad skirtingoms komandoms jos nesiskirtų.

Mes parodome auditoriams pamainos inžinierių pertraukos kambarį.

Inžinerinių sistemų eksploatavimas ir priežiūra 

Šioje didelėje audito dalyje parodome, kad visa inžinerinė įranga ir sistemos nuolatos prižiūrimos pagal pardavėjų rekomenduojamą grafiką, sandėlyje yra reikiamų atsarginių dalių, galiojančios serviso sutartys su rangovais, kiekviena operacija su įranga turi savo darbo su skirtingais atvejais procedūras ir algoritmus.

mms Kai eksploatuojate dešimtis UPS, dyzelinių generatorių, oro kondicionierių ir kitų dalykų, turite kažkur surinkti visą informaciją apie šį įrenginį. Kiekvienai įrangai sudarome maždaug tokią dokumentaciją:

• modelis ir serijos numeris;
• ženklinimas;
• techninės charakteristikos ir nustatymai;
• montavimo vieta;
• pagaminimo, paleidimo datos, garantijos galiojimo laikas;
• paslaugų sutartys;
• techninės priežiūros grafikas ir istorija;
• ir visa "ligos istorija" - gedimai, remontai.

Kaip ir kur surinkti visą šią informaciją, kiekvienas duomenų centro operatorius sprendžia pats. NS neapsiriboja įrankiais. Tai gali būti paprasta „Excel“ (nuo to pradėjome) arba savarankiškai parašyta techninės priežiūros valdymo sistema (MMS), kaip turime dabar. Beje, aptarnavimo stalas, sandėlio apskaita, internetinis žurnalas, stebėjimas taip pat rašomi savarankiškai.

Kiekvienai įrangai yra tokia „asmeninė byla“.

Mes demonstravome savo praktiką šiuo klausimu, įskaitant šios infrastruktūros UPS pavyzdį (nuotraukoje), kuris vieną iš savo dalių padovanojo IT apkrovą aptarnaujančiam UPS. Taip, pagal standartą tokią „aukojimą“ gali atlikti tik infrastruktūros įranga, kuri maitina kondicionierius ir avarinį apšvietimą, bet ne IT apkrovą.

Po to auditoriai paprašė aptarnavimo skyriuje parodyti atitinkamą bilietą:

Ir UPS profilis MMS:

Atsarginės dalys Savalaikiam inžinerinės įrangos techninei priežiūrai ir avariniam remontui pasiliekame savo atsargines dalis ir priedus. Yra bendras sandėlis su didelėmis atsarginėmis dalimis įrangai ir nedidelėmis spintelėmis su atsarginėmis dalimis inžinerinėse patalpose (kad nereikėtų toli bėgti).

Nuotraukoje: tikriname, ar yra dyzelinio generatoriaus komplekto atsarginių dalių. Suskaičiavome 12 filtrų. Tada patikrinome duomenis MMS.  

Panašios pratybos buvo atliekamos ir pagrindiniame sandėlyje, kuriame saugomos didelės atsarginės dalys: kompresoriai, valdikliai, automatika, ventiliatoriai, garų drėkintuvai ir šimtai kitų daiktų. Žymėjimus pasirinktinai perrašėme ir „pramušėme“ per MMS.

Atsarginių dalių atsargų duomenys. Raudona - Štai ko trūksta ir jį reikia įsigyti.

Profilaktinė priežiūra. Be priežiūros ir remonto, UI rekomenduoja atlikti profilaktinę priežiūrą. Tai padeda galimą avariją paversti planuotu remontu. Kiekvienam parametrui konfigūruojame stebėjimo ribines vertes. Jas viršijus, atsakingi asmenys gauna pavojaus signalus ir imasi reikiamų veiksmų. Pavyzdžiui, mes:

• Elektros skydus tikriname termovizoriumi, kad greitai aptiktume elektros instaliacijos defektus: prastą kontaktą, vietinį laidininko ar automatinio jungiklio perkaitimą. 
• Stebime šaldymo sistemos siurblių vibracijos indikatorius ir esamas sąnaudas. Tai leidžia laiku nustatyti nukrypimus ir neskubant planuoti atsargines dalis.
• Atliekame dyzelinių generatorių ir kompresorių kuro ir tepalų analizes.
• Mes tikriname glikolio koncentraciją šaldymo sistemoje.

Siurblio vibracijos diagrama prieš ir po remonto.

Darbas su rangovais. Įrangos techninę priežiūrą ir remontą atlieka išorės rangovai. Mūsų pusėje yra atskiri dyzelinių generatorių, oro kondicionierių, UPS specialistai, kurie kontroliuoja jų darbą. Jie tikrina, ar rangovai turi remonto/priežiūros darbams reikalingus įrankius ir medžiagas, profesinius pažymėjimus, elektros saugos sertifikatus, leidimus. Jie priima visus darbus.

Taip atrodo oro kondicionieriaus priežiūros darbų priėmimo kontrolinis sąrašas.

Pasų kasoje patikriname, ar leidimai išduoti rangovų įgaliotiems atstovams, ar jiems buvo atlikta techninė priežiūra nurodytu laiku ir ar susipažino su taisyklėmis.

Dokumentacija. Nustatyti sistemų ir įrangos priežiūros procesai yra pusė darbo. Visos duomenų centre žmonių atliekamos procedūros turi būti dokumentuojamos. To tikslas paprastas: kad viskas neapsiribotų vienu konkrečiu asmeniu, o įvykus nelaimei bet kuris inžinierius galėtų paimti aiškias instrukcijas ir atlikti visas reikalingas operacijas, kad ją pašalintų.

UI turi savo metodiką tokiai dokumentacijai.

Paprastoms ir pasikartojančioms veikloms yra nustatytos standartinės veiklos procedūros (SOP). Pavyzdžiui, yra SOP, skirtos aušintuvui įjungti / išjungti ir UPS nustatyti apeiti.

Techninei priežiūrai ar sudėtingoms operacijoms, tokioms kaip UPS baterijų keitimas, sukuriamos priežiūros procedūros (procedūrų metodai, MOP). Tai gali būti SOP. Kiekvienas inžinerinės įrangos tipas turi turėti savo MOP.

Galiausiai, yra avarinės veiklos procedūros (EOP) – instrukcijos avarijos atveju. Sudaromas konkrečių avarinių situacijų sąrašas ir surašomos joms instrukcijos. Čia yra avarinių situacijų sąrašo dalis, kurioje detalizuojami avarijos požymiai, veiksmai, atsakingi asmenys ir asmenys, apie kuriuos reikia pranešti:

• miesto elektros tiekimo nutraukimas: įsijungė/neužsivedė dyzeliniai generatoriai;
• UPS avarijos; 
• nelaimingi atsitikimai duomenų centro stebėjimo sistemoje;
• mašinų skyriaus perkaitimas;
• šaldymo sistemos nutekėjimas;
• tinklo ir skaičiavimo įrangos gedimas;

ir tt

Tokios apimties dokumentų sudarymas yra daug darbo reikalaujantis darbas. Dar sunkiau jį atnaujinti (beje, tai tikrina ir auditoriai). O svarbiausia, kad darbuotojai turi žinoti šias instrukcijas, dirbti pagal jas ir prireikus tobulinti.

Taip, instrukcijos turi būti prieinamos ten, kur jų gali prireikti, o ne tik kaupti dulkes archyvuose.

Pastabos dėl duomenų centrų inžinerinių sistemų priežiūros taisyklių pakeitimų.

Audito metu jie taip pat nagrinėja techninę sistemų dokumentaciją, vykdomąją ir darbinę dokumentaciją bei sistemų paleidimo aktus. 

Žymėjimas Vaikščiodami po duomenų centrą jie tikrino jį visur, kur tik galėjo pasiekti. Kur nepasiekdavo, pasiekdavo nuo kopėčių :). Mes pažvelgėme į jo buvimą ant kiekvieno skirstomojo skydo, mašinos ir vožtuvo. Patikrinome sukurtos dokumentacijos unikalumą, nedviprasmiškumą ir atitiktį esamoms schemoms. Žemiau esančioje nuotraukoje: esame kuro talpyklos siurblių patalpoje ir lyginame žymes ant solenoidinių vožtuvų su pagamintos dokumentacijos schema. 

Viskas su ja sutiko, bet su vietine „dekoratyvine“ aksonometrine diagrama ant sienos viename parametre ji nesutapo.

Duomenų centro patalpose turėtų būti iškabintos ir ten esančių sistemų schemos. Įvykus nelaimei, jie padeda greitai išsiaiškinti, kur viskas yra, ir priimti pagrįstą sprendimą. Pavyzdžiui, nuotraukoje parodyta vienos eilutės schema pagrindinio skirstomojo skydo kambaryje.

Diagramų aktualumas buvo patikrintas taip: pavadino elemento žymėjimą diagramoje ir paprašė parodyti „realiame gyvenime“. 

Čia auditorius nufotografuoja pagrindinio skirstomojo skydo įvesties grandinės pertraukiklio nustatymus (nustatymus), kad vėliau galėtų juos palyginti su vienos eilutės diagramos rodikliais popierinėje ir elektroninėje kopijoje. Vienoje iš mašinų, QF-3, indikatorius neatitiko popierinės diagramos, ir mes uždirbome baudos tašką. Dabar du inžinieriai patikrins, ar vienos eilutės diagramose esantys ženklai atitinka faktą.

Tai dar ne viskas, ką auditoriai patikrino paslaugų teikimo procesuose. Štai kas dar buvo darbotvarkėje:

• stebėjimo sistema. Čia mes užsidirbome karmos naudos dėl geros vizualizacijos, mobiliosios aplikacijos ir situacijų ekranų, išdėstytų duomenų centrų koridoriuose. Čia mes išsamiai rašėme apie tai, kaip dirbame stebėjimas.

  
  Tai MKC su vaizdine informacija apie pagrindinių NORD-4 inžinerinių sistemų ir kitų svetainėje veikiančių mūsų duomenų centrų būklę.

• inžinerinės įrangos gyvavimo ciklo planavimas;
• pajėgumų valdymas (pajėgumų valdymas);
• biudžeto sudarymas (šiek tiek kalbėjau čia);
• avarijų analizės procedūra;
• įrangos priėmimo, paleidimo ir testavimo procesas (rašėme apie bandymus čia).

Ką dar žiūrėjo vartotojo sąsaja?

Apsauga ir prieigos kontrolė. Audito metu taip pat tikrinamas saugos ir apsaugos sistemų veikimas. Pavyzdžiui, auditorius bandė patekti į vieną iš patalpų, į kurias neįėjo, o po to patikrino, ar tai atsispindi įėjimo kontrolės sistemoje ir ar apie tai buvo pranešta apsaugai (spoileris – buvo).

Jei mūsų duomenų centruose durys į bet kurį kambarį lieka atviros ilgiau nei dvi minutes, apsaugos poste suveikia įspėjimas. Norėdami tai patikrinti, auditoriai gesintuvu atidarė vienas iš durų. Tiesa, sirenos nesulaukėme – apsauga per vaizdo kameras pamatė kažką negerai ir į „nusikaltimo vietą“ atvyko anksčiau.

Tvarka ir švara. Auditoriai ieško dulkių, chaotiškai gulinčių įrangos dėžių, kaip dažnai valomos patalpos. Štai, pavyzdžiui, auditoriai susidomėjo ventiliacijos koridoriuje esančiu nenustatytu objektu. Tai blokelis nuo vėdinimo sistemos, kuri jau ruošėsi užimti savo vietą. Bet jie vis tiek prašė manęs pasirašyti.

Taip pat apie tvarką duomenų centre – šios spintos su visais reikalingais įrankiais avariniams darbams su įranga yra pagrindinėje skirstomojo skydo patalpoje. 

Vieta Duomenų centras vertinamas pagal vietos sąlygas – ar šalia yra karinių bazių, oro uostų, upių, ugnikalnių ir kitų pavojingų objektų. Nuotraukoje tik parodome, kad nuo paskutinio sertifikavimo 2017 m. aplink duomenų centrą neišaugo nei atominės elektrinės, nei naftos saugyklos. Tačiau ten statomas naujas NORD-5 duomenų centras, kuris taip pat turės išlaikyti visus Uptime Institute Tier III sertifikavimo lygius. Bet tai visiškai kita istorija).

Šaltinis: www.habr.com