És mutassa be, avagy Hogyan teljesítettük a működési fenntarthatósági auditot az Uptime Institute-nál

Az üzemeltetési osztály vezetője bemászott a föld alatti üzemanyagtároló nyílásába, hogy megmutassa a mágnesszelepen lévő jelöléseket.

Február elején a legnagyobb Tier III adatközpontunk NORD-4 Az Uptime Institute (UI) újratanúsította az Operational Sustainability szabvány szerint. Ma elmondjuk, mit néznek az auditorok, és milyen eredménnyel zártunk.

Azok számára, akik ismerik az adatközpontokat, tekintsük át röviden a hardvert. Tier szabványok három szakaszban értékeli és tanúsítja az adatközpontokat:

• projekt (Tervezés): a projektdokumentáció csomagot ellenőrzik.Itt a jól ismert Állatok. Összesen 4 db van: Tier I–IV. Ennek megfelelően az utóbbi a legmagasabb.
• megépített létesítmény (Facility): az adatközpont mérnöki infrastruktúrájának ellenőrzése és a projektnek való megfelelősége. Az adatközpontot teljes tervezési terhelés mellett ellenőrzik különféle tesztek segítségével, körülbelül a következő tartalommal: az egyik UPS-t (DGS, hűtők, precíziós klímaberendezések, elosztószekrények, gyűjtősínek stb.) karbantartás vagy javítás céljából kivonják a forgalomból. és a város áramellátása ki van kapcsolva. A III. szintű és magasabb szintű adatközpontoknak képesnek kell lenniük kezelni a helyzetet anélkül, hogy bármilyen hatással lenne az IT hasznos terhelésre.

  A létesítményt akkor lehet igénybe venni, ha az adatközpont már átesett a tervezési tanúsítványon.
  A NORD-4 2015-ben, a Facility 2016-ban kapta meg a tervezési tanúsítványt.

• Működési fenntarthatóság. Valójában a legfontosabb és legösszetettebb tanúsítás. Átfogóan értékeli az üzemeltető folyamatait és kompetenciáit egy meghatározott szinttel rendelkező adatközpont karbantartásában és kezelésében (a működési fenntarthatóság átadásához már rendelkeznie kell egy létesítmény tanúsítvánnyal). Hiszen megfelelően felépített működési folyamatok és szakképzett csapat nélkül még egy Tier IV adatközpont is haszontalan épületté válhat nagyon drága berendezésekkel.
  
  Itt is vannak szintek: bronz, ezüst és arany. Az utolsó újraigazoláson 88,95 lehetséges pontból 100-tel zártunk, ez ezüst. Alig maradt el a Goldtól – 1,05 pont. 

Hogyan ellenőrizhető, hogy a szükséges folyamatok fel vannak építve és megfelelően működnek? Sőt, hogyan kell ezt két nap alatt megtenni - ennyi ideig tart az újbóli tanúsítás. Röviden: a tanúsítás alapja a szabályzatban leírtak, a „hogyan működik minden” történetek és a valós gyakorlatok gondos összehasonlítása. Ez utóbbival kapcsolatos információkat az adatközpont bejárásaiból és az adatközponti mérnökökkel folytatott beszélgetésekből szerezzük – „konfrontációkból”, ahogy mi szeretettel hívjuk őket. Ezt nézik.

Csapat

Mindenekelőtt a felhasználói felület ellenőrei ellenőrzik, hogy az adatközpontban van-e elegendő támogató személyzet. Átveszik a létszámtáblázatot, az ügyeleti rendet, és szelektíven ellenőrzik azt műszakjelentésekkel és beléptető adatokkal, hogy megbizonyosodjanak arról, hogy aznap valóban a szükséges számú mérnök a helyszínen tartózkodott.

A könyvvizsgálók alaposan megvizsgálják a túlórák számát is. Ez néha megtörténik, amikor egy nagy ügyfél érkezik, és több tucat állványt kell egyszerre telepíteni. Ilyenkor más műszakból jönnek a srácok a segítségükre, és ezért extra pénzt kapnak.

A NORD-4-en műszakonként 7 mérnök dolgozik: 6 ügyeletes és egy vezető mérnök. Ők azok, akik napi 24 órában monitorozzák, találkoznak az ügyfelekkel, segítenek a berendezések telepítésében és egyéb rutin kérésekben. Ez az ügyfél technikai támogatásának első vonala. Feladataik közé tartozik a vészhelyzetek rögzítése és a szakmérnökökhöz való továbbadása. A mérnöki infrastruktúra munkáját egyes személyek - infrastrukturális ügyeletesek - ellenőrzik. Szintén 7x24.

A NORD termelési igazgatója és telephelyvezetője elmondja az auditoroknak, hány ember dolgozik jelenleg a helyszínen.

A számok rendezésekor ellenőrizzük a csapat képzettségét. A könyvvizsgálók véletlenszerűen áttekintik a mérnökök személyi aktáit, hogy megbizonyosodjanak arról, hogy rendelkeznek-e az adott munkakörben való munkavégzéshez szükséges oklevelekkel, bizonyítványokkal és felhatalmazó dokumentumokkal (például elektromos biztonsági bizonyítványokkal).

Ellenőrzik azt is, hogyan képezzük ki munkatársainkat. Az új ügyeletes mérnökök képzésére szolgáló rendszerünk már a legutóbbi audit során is lenyűgözte a felhasználói felület szakértőit. Három hónapot töltünk velük képzés fizetett gyakorlatként, melynek során megismertetjük őket az adatközpontunkban folyó munkafolyamatokkal és elvekkel.

A már dolgozó mérnököknek rendszeres képzéseken is részt kell venniük, beleértve a vészhelyzetekben végzett munkát. A könyvvizsgálók mindenképpen ellenőrizni fogják az ilyen képzések képzési programjait, anyagait, és véletlenszerűen vizsgáztatják a mérnököket is. Senkit nem fognak kérni, hogy váltson dízelgenerátorra, de lépésről lépésre elmondják, mit kell tenni, ha kikapcsolják a városi áramellátást. Az ellenőrzési eredmények alapján az összes képzési és oktatási programot egységes szabványba hozzuk, hogy a különböző csapatoknál ne térjenek el egymástól.

Megmutatjuk a revizoroknak a műszakmérnökök pihenőhelyiségét.

Mérnöki rendszerek üzemeltetése, karbantartása 

Az audit ezen nagy részében bemutatjuk, hogy minden mérnöki berendezés és rendszer rendszeres karbantartást kap az eladók által javasolt ütemterv szerint, a raktár rendelkezik a szükséges cserealkatrészekkel, érvényes szervizmegállapodások a kivitelezőkkel, és minden berendezéssel végzett műveletnek megvan a sajátja. eljárások és algoritmusok a különböző eseteken való munkavégzéshez.

MMS. Ha több tucat UPS-t, dízel generátort, légkondicionálót és egyéb dolgokat üzemeltet, valahol össze kell gyűjtenie az összes információt erről a létesítményről. Körülbelül a következő dossziét hozzuk létre minden egyes berendezéshez:

• modell és sorozatszám;
• jelzés;
• műszaki jellemzők és beállítások;
• telepítési hely;
• a gyártás, üzembe helyezés időpontja, a garancia lejárta;
• szolgáltatási szerződések;
• karbantartási ütemterv és előzmények;
• és a teljes „kórtörténet” - meghibásodások, javítások.

Hogy hogyan és hol gyűjti össze ezeket az információkat, azt minden adatközpont-üzemeltető maga dönti el. A felhasználói felület nem korlátozott az eszközökben. Ez lehet egy egyszerű Excel (mi ezzel kezdtük) vagy egy saját maga által írt Karbantartáskezelő Rendszer (MMS), ahogy most is. Apropó, kiszolgáló pult, raktári könyvelés, hálózati napló, monitorozás is öníró.

Minden berendezéshez tartozik egy ilyen „személyes akta”.

Bemutattuk ezzel kapcsolatos gyakorlatunkat, többek között ezen infrastruktúra UPS (képünkön) példáján, amely az egyik részét az IT-terhelést kiszolgáló UPS-nek adományozta. Igen, a szabvány szerint ilyen „adományozást” csak a klímákat és a biztonsági világítást tápláló infrastrukturális berendezések végezhetnek, az informatikai terhelést nem.

Ezt követően a revizorok kérték, hogy mutassák fel a megfelelő jegyet a szervizben:

És az UPS-profil MMS-ben:

Alkatrészek A műszaki berendezések időben történő karbantartásához és sürgősségi javításához saját alkatrészeinket és tartozékainkat tartjuk meg. Van egy generálraktár nagy alkatrészekkel a berendezésekhez és kis szekrények alkatrészekkel a gépészeti helyiségekben (hogy ne kelljen messzire futni).

A képen: Ellenőrizzük a dízel generátorkészlet alkatrészeinek elérhetőségét. 12 szűrőt számoltunk. Ezután ellenőriztük az adatokat az MMS-ben.  

Hasonló gyakorlatot hajtottak végre a főraktárban is, ahol nagyméretű alkatrészeket tárolnak: kompresszorokat, vezérlőket, automatikát, ventilátorokat, gőz-légnedvesítőket és több száz egyéb árut. A jelöléseket szelektíven átírtuk és MMS-en keresztül „lyukasztottuk”.

Pótalkatrész-készletadatok. Piros - Ez hiányzik és meg kell vásárolni.

Megelőző karbantartás. A karbantartás és javítás mellett az UI megelőző karbantartást is javasol. Segít a potenciális balesetet ütemezett javítássá változtatni. Minden paraméterhez küszöbértékeket állítunk be a megfigyelés során. Ezek túllépése esetén a felelősök riasztást kapnak, és megteszik a szükséges intézkedéseket. Például mi:

• Az elektromos paneleket hőkamerával ellenőrizzük, hogy gyorsan felismerjük az elektromos berendezések hibáit: rossz érintkezés, vezeték vagy megszakító helyi túlmelegedése. 
• Figyeljük a hűtőrendszer szivattyúinak rezgésjelzőit és aktuális fogyasztását. Ez lehetővé teszi az eltérések időben történő azonosítását és a cserealkatrészek megtervezését sietség nélkül.
• Vállaljuk dízel generátorok és kompresszorok üzemanyag- és olajelemzését.
• A hűtőrendszerben teszteljük a glikol koncentrációját.

A szivattyú vibrációs diagramja javítás előtt és után.

Munkavégzés vállalkozókkal. A berendezések karbantartását és javítását külső vállalkozók végzik. A mi oldalunkon külön szakértők dolgoznak a dízelgenerátorok, klímaberendezések és UPS-ek terén, akik irányítják azok működését. Ellenőrzik, hogy a kivitelezők rendelkeznek-e a javítási/karbantartási munkákhoz szükséges szerszámokkal, anyagokkal, szakmai bizonyítvánnyal, elektromos biztonsági tanúsítvánnyal, engedélyekkel. Minden munkát elfogadnak.

Így néz ki a klímakarbantartási munkák elfogadásának ellenőrző listája.

A bérletirodában ellenőrizzük, hogy a bérleteket a vállalkozók meghatalmazott képviselőinek adták-e ki, átestek-e a megadott időpontban karbantartáson és elolvasták-e a szabályokat.

Dokumentáció. A rendszerek és berendezések karbantartására kialakított folyamatok fél sikert jelentenek. Minden ember által az adatközpontban végzett eljárást dokumentálni kell. Ennek egyszerű a célja: hogy ne csak egy személyre korlátozódjon minden, és baleset esetén bármely mérnök világos utasításokat kapjon, és minden szükséges műveletet megtehessen annak kiküszöbölésére.

Az UI saját módszertannal rendelkezik az ilyen dokumentációhoz.

Az egyszerű és ismétlődő tevékenységekhez szabványos működési eljárásokat (SOP) határoznak meg. Például vannak SOP-ok a hűtő be-/kikapcsolására és az UPS bypass üzemmódra állítására.

Karbantartáshoz vagy összetett műveletekhez, mint például az akkumulátorok cseréje az UPS-ben, karbantartási eljárások (eljárási módszerek, MOP-ok) készülnek. Ezek közé tartozhatnak a SOP-k. Minden típusú műszaki berendezésnek saját MOP-val kell rendelkeznie.

Végül vannak vészhelyzeti működési eljárások (EOP) – utasítások vészhelyzet esetére. A konkrét vészhelyzetekről listát állítanak össze, és utasításokat írnak rájuk. Itt található a vészhelyzetek listájának egy része, amely részletezi a baleset jeleit, a cselekvéseket, a felelős személyeket és a értesítendő személyeket:

• városi áramellátás leállítása: a dízel generátorok elindultak/nem indultak el;
• UPS balesetek; 
• balesetek az adatközpont felügyeleti rendszerében;
• a gépterem túlmelegedése;
• a hűtőrendszer szivárgása;
• hálózati és számítástechnikai berendezések meghibásodása;

és így tovább.

Egy ilyen kötetnyi dokumentáció összeállítása már önmagában is munkaigényes feladat. Még nehezebb naprakészen tartani (mellesleg ezt is ellenőrzik a revizorok). És ami a legfontosabb, a személyzetnek ismernie kell ezeket az utasításokat, ezek szerint kell dolgoznia, és szükség esetén javítania kell.

Igen, az utasításoknak ott kell lenniük, ahol szükség van rájuk, és nem csak az archívumban kell port gyűjteni.

Megjegyzések az adatközponti mérnöki rendszerek karbantartási szabályzatának változásaihoz.

Az ellenőrzés során megvizsgálják a rendszerek műszaki dokumentációját, a vezetői és munkadokumentációt, valamint a rendszerek üzembe helyezésének aktusait is. 

Jelölést. Az adatközpontban sétálva mindenhol ellenőrizték, ahol csak lehetett. Ahová nem tudtak elérni, ott létráról értek :). Minden kapcsolótáblán, gépen és szelepen megvizsgáltuk a jelenlétét. Ellenőriztük az elkészült dokumentáció egyediségét, egyértelműségét és az aktuális sémáknak való megfelelést. Az alábbi képen: az üzemanyag-tároló szivattyúházban vagyunk, és összehasonlítjuk a mágnesszelepeken lévő jelöléseket a kivitelezési dokumentáció diagramjával. 

Minden megegyezett vele, de a falon lévő helyi „dekoratív” axonometrikus diagrammal egy paraméterben ez nem esett egybe.

Az adatközpont helyiségeiben az ott elhelyezett rendszerek diagramjait is ki kell függeszteni. Baleset esetén segítenek gyorsan kideríteni, hol van minden, és megalapozott döntést hozni. A fotón például egy egysoros diagram látható a főkapcsolószekrény helyiségében.

Az ábrák relevanciáját a következőképpen ellenőrizték: elnevezték az elemjelölést az ábrán, és kérték, hogy „valóban” mutassák be. 

Itt készíti el az auditor fényképeket a főkapcsolótábla bemeneti megszakítójának beállításairól (beállításairól), hogy a későbbiekben összehasonlítsa azokat az egysoros diagramon lévő mutatókkal papír és elektronikus másolatban. Az egyik gépen, a QF-3-on a mutató nem egyezik a papírdiagrammal, ezért büntetőpontot kaptunk. Most két mérnök ellenőrzi, hogy az egysoros diagramok jelölései megfelelnek-e a ténynek.

Az auditorok nem csak ezt ellenőrizték a szolgáltatási folyamatok tekintetében. Íme, mi volt még napirenden:

• Megfigyelő-rendszer. Itt karma előnyöket szereztünk a jó vizualizációval, a mobilalkalmazás jelenlétével és az adatközpontok folyosóin elhelyezett szituációs képernyőkkel. Itt írtunk részletesen arról, hogyan dolgozunk megfigyelés.

  
  Ez az MCC vizuális információkkal a NORD-4 fő mérnöki rendszereinek állapotáról és a helyszínen működő többi adatközpontunkról.

• mérnöki berendezések életciklusának tervezése;
• Kapacitáskezelés (Kapacitáskezelés);
• költségvetés (kicsit beszéltünk itt);
• balesetelemzési eljárás;
• a berendezések átvételének, üzembe helyezésének és tesztelésének folyamata (a tesztekről írtunk itt).

Mit nézett még a felhasználói felület?

Biztonság és beléptetés. Az audit a biztonsági és védelmi rendszerek működését is ellenőrzi. Például a könyvvizsgáló megpróbált bejutni az egyik olyan helyiségbe, ahová nem jutott be, majd ellenőrizte, hogy ez a beléptető rendszerben is tükröződik-e, és erről értesítették-e a biztonságiakat (spoiler - volt).

Ha adatközpontjainkban bármely helyiség ajtaja két percnél tovább nyitva marad, akkor a biztonsági állomáson riasztást indítanak el. Ennek tesztelésére a revizorok tűzoltó készülékkel kinyitották az egyik ajtót. Igaz, soha nem kaptunk szirénát – a biztonságiak videokamerákon keresztül látták, hogy valami nincs rendben, és korábban érkeztek a „bűntett helyszínére”.

Rend és tisztaság. A revizorok keresik a port, a kaotikusan heverő felszerelési dobozokat, és azt, hogy milyen gyakran takarítják a helyiségeket. Itt például a szellőzőfolyosón lévő ismeretlen tárgy iránt kezdtek érdeklődni a revizorok. Ez egy blokk a szellőzőrendszertől, amely már a helyére készült. De akkor is megkérték, hogy írjam alá.

Szintén az adatközponti rendelés témájában - ezek a szekrények a berendezések vészhelyzeti munkáihoz szükséges összes eszközzel a fő kapcsolószekrény helyiségében találhatók. 

Location. Az adatközpont értékelése a hely körülményei alapján történik - hogy vannak-e katonai bázisok, repülőterek, folyók, vulkánok és más veszélyes objektumok a közelben. A képen csak azt mutatjuk be, hogy a legutóbbi, 2017-es tanúsítás óta egyetlen atomerőmű vagy olajtároló sem nőtt az adatközpont körül. Ott azonban egy új NORD-5 adatközpont épül, amelynek szintén meg kell felelnie az Uptime Institute Tier III minősítés minden szintjén. De ez egy teljesen más történet).

Forrás: will.com