ProHoster > Blogs > Administrācija > Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Ekspluatācijas nodaļas vadītājs iekāpa pazemes degvielas krātuves lūkā, lai parādītu marķējumus uz solenoīda vārsta.

Februāra sākumā mÅ«su lielākais III lÄ«meņa datu centrs NORD-4 Uptime Institute (UI) atkārtoti sertificēts atbilstoÅ”i darbÄ«bas ilgtspējÄ«bas standartam. Å odien mēs jums pastāstÄ«sim, uz ko skatās auditori un ar kādiem rezultātiem mēs pabeidzām.

Tiem, kas pārzina datu centrus, īsi apskatīsim aparatūru. Līmeņa standarti novērtē un sertificē datu centrus trīs posmos:

  • projekts (Dizains): tiek pārbaudÄ«ta projekta dokumentācijas pakete.Å eit ir labi zināms rinda. Kopā ir 4 no tiem: Iā€“IV lÄ«menis. Pēdējais attiecÄ«gi ir visaugstākais.
  • izbÅ«vētais objekts (objekts): tiek pārbaudÄ«ta datu centra inženiertehniskā infrastruktÅ«ra un atbilstÄ«ba projektam. Datu centrs tiek pārbaudÄ«ts pie pilnas projektētās slodzes, izmantojot dažādus testus ar aptuveni Ŕādu saturu: viens no UPS (DGS, dzesētāji, precÄ«zijas gaisa kondicionieri, sadales skapji, kopnes utt.) tiek izņemts no ekspluatācijas, lai veiktu apkopi vai remontu. , un pilsētas strāvas padeve ir izslēgta. III lÄ«meņa un augstākiem datu centriem jāspēj tikt galā ar situāciju, neietekmējot IT lietderÄ«go slodzi.

    Objektu var izmantot, ja datu centrs jau ir nokārtojis dizaina sertifikātu.
    NORD-4 Design sertifikātu saņēma 2015. gadā, bet Facility 2016. gadā.

  • DarbÄ«bas ilgtspējÄ«ba. Faktiski vissvarÄ«gākā un sarežģītākā sertifikācija. Tas vispusÄ«gi novērtē operatora procesus un kompetenci datu centra uzturÄ“Å”anā un pārvaldÄ«bā ar noteiktu lÄ«meņa lÄ«meni (lai izturētu darbÄ«bas ilgtspējÄ«bu, jums jau ir jābÅ«t objekta sertifikātam). Galu galā bez pareizi strukturētiem darbÄ«bas procesiem un kvalificētas komandas pat IV lÄ«meņa datu centrs var pārvērsties par nederÄ«gu ēku ar ļoti dārgu aprÄ«kojumu.

    Å eit ir arÄ« lÄ«meņi: bronza, sudrabs un zelts. Pēdējā atkārtotajā sertifikācijā mēs finiŔējām ar 88,95 no 100 iespējamajiem punktiem, un tas ir sudrabs. Tas nedaudz atpalika no zelta - 1,05 punkti. 

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Kā pārbaudÄ«t, vai nepiecieÅ”amie procesi ir uzbÅ«vēti un darbojas kā nākas? Turklāt, kā to izdarÄ«t divās dienās - tik ilgs laiks nepiecieÅ”ams atkārtotai sertifikācijai. ÄŖsāk sakot, sertifikācijas pamatā ir rÅ«pÄ«gs noteikumos rakstÄ«tā salÄ«dzinājums, stāsti par to, ā€œkā viss darbojasā€ un reāla prakse. Informācija par pēdējo tiek iegÅ«ta no datu centra apskatēm un sarunām ar datu centra inženieriem - ā€œkonfrontācijāmā€, kā mēs tās mīļi saucam. TieÅ”i uz to viņi skatās.

Komanda

Pirmkārt, UI auditori pārbauda, ā€‹ā€‹vai datu centrā ir pietiekami daudz atbalsta personāla. Viņi ņem personāla tabulu, dežūru grafiku un selektÄ«vi pārbauda to ar maiņu atskaitēm un piekļuves kontroles datiem, lai pārliecinātos, ka tajā dienā uz vietas tieŔām bija nepiecieÅ”amais inženieru skaits.

Revidenti rÅ«pÄ«gi aplÅ«ko arÄ« virsstundu skaitu. Dažreiz tas notiek, kad ienāk liels klients un vienlaikus ir jāuzstāda desmitiem statÄ«vu. Šādos brīžos palÄ«gā nāk puiÅ”i no citām maiņām, un par to viņiem maksā papildus naudu.

Uz NORD-4 maiņā strādā 7 inženieri: 6 dežurē un viens vecākais inženieris. Tie ir tie, kas uzrauga 24x7 uzraudzÄ«bu, satiekas ar klientiem, palÄ«dz ar iekārtu uzstādÄ«Å”anu un citiem ikdienas pieprasÄ«jumiem. Å Ä« ir pirmā klientu tehniskā atbalsta lÄ«nija. Viņu pienākumos ietilpst ārkārtas situāciju reÄ£istrÄ“Å”ana un to eskalÄ“Å”ana specializētiem inženieriem. InženierinfrastruktÅ«ras darbu uzrauga atseviŔķi cilvēki - infrastruktÅ«ras dežuranti. ArÄ« 24x7.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
NORD ražoÅ”anas direktors un objekta vadÄ«tājs auditoriem stāsta, cik cilvēku Å”obrÄ«d strādā uz vietas.

Kad skaitļi ir sakārtoti, tiek pārbaudÄ«ta komandas kvalifikācija. Auditori izlases kārtÄ«bā pārbauda inženieru personāla lietas, lai pārliecinātos, ka viņiem ir nepiecieÅ”amie diplomi, sertifikāti un pilnvarojuma dokumenti (piemēram, elektrodroŔības sertifikāti), lai strādātu noteiktā amatā.

Viņi arÄ« pārbauda, ā€‹ā€‹kā mēs apmācām savus darbiniekus. Pat pēdējā audita laikā mÅ«su sistēma jauno inženieru apmācÄ«bai pārsteidza lietotāja interfeisa speciālistus. Mēs viņiem veltām trÄ«s mēneÅ”us apmācÄ«bas kurss kā apmaksātu praksi, kuras laikā iepazÄ«stinām viņus ar procesiem un darba principiem mÅ«su datu centrā.

ArÄ« jau strādājoÅ”ajiem inženieriem regulāri jāiziet apmācÄ«ba, tostarp par darbu ārkārtas situācijās. Auditori noteikti pārbaudÄ«s Ŕādu apmācÄ«bu apmācÄ«bu programmas un materiālus, kā arÄ« izlases veidā pārbaudÄ«s inženierus. Nevienam netiks prasÄ«ts pāriet uz dÄ«zeļa Ä£eneratora komplektu, taču soli pa solim lÅ«gs pastāstÄ«t, kas jādara, kad pilsētas elektroapgāde ir atslēgta. Pamatojoties uz audita rezultātiem, mēs visas apmācÄ«bu un izglÄ«tÄ«bas programmas apvienosim vienā standartā, lai dažādās komandās tās neatŔķirtos.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Mēs parādām auditoriem maiņu inženieru atpūtas telpu.

Inženiersistēmu ekspluatācija un apkope 

Å ajā lielajā audita sadaļā mēs parādām, ka visām inženiertehniskajām iekārtām un sistēmām tiek veikta regulāra apkope saskaņā ar pārdevēju ieteikto grafiku, noliktavā ir nepiecieÅ”amās rezerves daļas, spēkā esoÅ”ie servisa lÄ«gumi ar darbuzņēmējiem un katrai darbÄ«bai ar aprÄ«kojumu ir savs. procedÅ«ras un algoritmi darbam ar dažādiem gadÄ«jumiem.

MMS Kad jÅ«s darbināt desmitiem UPS, dÄ«zeļa Ä£eneratoru komplektus, gaisa kondicionierus un citas lietas, jums kaut kur ir jāsavāc visa informācija par Å”o iekārtu. Katrai iekārtai mēs izveidojam aptuveni Ŕādu dokumentāciju:

  • modelis un sērijas numurs;
  • marÄ·Ä“Å”ana;
  • tehniskie parametri un iestatÄ«jumi;
  • uzstādÄ«Å”anas vieta;
  • izgatavoÅ”anas datumi, nodoÅ”ana ekspluatācijā, garantijas derÄ«guma termiņŔ;
  • pakalpojumu lÄ«gumi;
  • apkopes grafiks un vēsture;
  • un visa "medicÄ«niskā vēsture" - bojājumi, remonti.

Kā un kur apkopot visu Å”o informāciju, katrs datu centra operators izlemj pats. UI nav ierobežots ar rÄ«kiem. Tā var bÅ«t vienkārÅ”a Excel (mēs sākām ar Å”o) vai paÅ”u rakstÄ«ta uzturÄ“Å”anas pārvaldÄ«bas sistēma (MMS), kā tas ir tagad. Starp citu, apkalpoÅ”anas lete, noliktavas uzskaite, tieÅ”saistes žurnāls, uzraudzÄ«ba arÄ« ir paÅ”u rakstÄ«ts.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Katrai iekārtai ir Ŕāda ā€œpersoniskā lietaā€.

Mēs demonstrējām savu praksi Å”ajā sakarā, tostarp izmantojot Ŕīs infrastruktÅ«ras UPS piemēru (attēlā), kas vienu no savām daļām nodeva IT slodzi apkalpojoÅ”ajam UPS. Jā, saskaņā ar standartu Ŕādu ā€œziedojumuā€ var veikt tikai infrastruktÅ«ras iekārtas, kas darbina gaisa kondicionētājus un avārijas apgaismojumu, bet ne IT slodze.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Pēc tam revidenti lÅ«dza servisā uzrādÄ«t atbilstoÅ”o biļeti:

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Un UPS profils multiziņā:

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Rezerves daļas Inženiertehnisko iekārtu savlaicÄ«gai apkopei un avārijas remontam mēs glabājam savas rezerves daļas un piederumus. Ir Ä£enerālā noliktava ar lielām aprÄ«kojuma rezerves daļām un maziem skapjiem ar rezerves daļām maŔīntelpās (lai nav tālu jāskrien).

Fotoattēlā: mēs pārbaudām dÄ«zeļa Ä£eneratora komplekta rezerves daļu pieejamÄ«bu. Mēs saskaitÄ«jām 12 filtrus. Pēc tam viņi pārbaudÄ«ja datus MMS.  

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

LÄ«dzÄ«gs vingrinājums tika veikts galvenajā noliktavā, kur tiek glabātas lielas rezerves daļas: kompresori, kontrolleri, automatizācija, ventilatori, tvaika mitrinātāji un simtiem citu priekÅ”metu. Mēs selektÄ«vi pārrakstÄ«jām marķējumus un ā€œizsitāmā€ tos, izmantojot MMS.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Rezerves daļu inventarizācijas dati. sarkans Sākot no Tas ir tas, kas trūkst, un tas ir jāiegādājas.

Profilaktiskā apkope. Papildus apkopei un remontam UI iesaka veikt profilaktisko apkopi. Tas palÄ«dz iespējamo negadÄ«jumu pārvērst par plānotu remontu. Katram parametram mēs konfigurējam sliekŔņa vērtÄ«bas uzraudzÄ«bā. Ja tie tiek pārsniegti, atbildÄ«gie saņem trauksmes signālus un veic nepiecieÅ”amās darbÄ«bas. Piemēram, mēs:

  • ElektrÄ«bas paneļus pārbaudām ar termovizoru, lai ātri atklātu elektroinstalācijas defektus: sliktu kontaktu, lokālu vadÄ«tāja vai slēdža pārkarÅ”anu. 
  • Mēs uzraugām dzesÄ“Å”anas sistēmu sÅ«kņu vibrācijas rādÄ«tājus un paÅ”reizējo patēriņu. Tas ļauj savlaicÄ«gi noteikt novirzes un bez steigas plānot rezerves daļas.
  • Veicam dÄ«zeļģeneratoru un kompresoru degvielas un eļļas analÄ«zes.
  • Mēs pārbaudām glikola koncentrāciju saldÄ“Å”anas sistēmā.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Sūkņa vibrācijas diagramma pirms un pēc remonta.

Darbs ar darbuzņēmējiem. Iekārtu apkopi un remontu veic ārējie darbuzņēmēji. MÅ«su pusē ir atseviŔķi speciālisti dÄ«zeļģeneratoru komplektu, gaisa kondicionieru un UPS, kas kontrolē to darbÄ«bu. Viņi pārbauda, ā€‹ā€‹vai darbuzņēmējiem ir nepiecieÅ”amie instrumenti un materiāli remontdarbu/apkopes veikÅ”anai, profesionālie sertifikāti, elektrodroŔības sertifikāti un atļaujas. Viņi pieņem visu darbu.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Šādi izskatās gaisa kondicionētāja apkopes darbu pieņemÅ”anas kontrolsaraksts.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Pasu kasē pārbaudām, vai caurlaides izsniegtas darbuzņēmēju pilnvarotajiem pārstāvjiem, vai viņiem noteiktajā laikā veikta apkope un vai viņi ir iepazinuÅ”ies ar noteikumiem.

Dokumentācija. Iedibinātie sistēmu un aprÄ«kojuma uzturÄ“Å”anas procesi ir puse panākumu. Visas procedÅ«ras, ko cilvēki veic datu centrā, ir jādokumentē. MērÄ·is ir vienkārÅ”s: lai viss neaprobežotos tikai ar vienu konkrētu personu, un avārijas gadÄ«jumā jebkurÅ” inženieris var saņemt skaidrus norādÄ«jumus un veikt visas nepiecieÅ”amās darbÄ«bas, lai to novērstu.

UI ir sava metodoloģija Ŕādai dokumentācijai.

VienkārŔām un atkārtotām darbÄ«bām tiek noteiktas standarta darbÄ«bas procedÅ«ras (SOP). Piemēram, ir SOPs dzesētāja ieslēgÅ”anai/izslēgÅ”anai un UPS iestatÄ«Å”anai apiet.

Apkopei vai sarežģītām darbībām, piemēram, akumulatoru nomaiņai UPS, tiek izveidotas apkopes procedūras (Procedūru metodes, MOP). Tie var ietvert SOP. Katram inženiertehnisko iekārtu veidam jābūt ar saviem MOP.

Visbeidzot, ir ārkārtas darbÄ«bas procedÅ«ras (EOP) ā€” instrukcijas avārijas gadÄ«jumā. Tiek sastādÄ«ts konkrētu ārkārtas situāciju saraksts un uzrakstÄ«tas instrukcijas tām. Å eit ir daļa no ārkārtas situāciju saraksta, kurā ir detalizēti aprakstÄ«tas negadÄ«juma pazÄ«mes, darbÄ«bas, atbildÄ«gās personas un personas, par kurām jāziņo:

  • pilsētas elektroapgādes pārtraukÅ”ana: dÄ«zeļa Ä£eneratoru komplekti iedarbināti/neiedarbināti;
  • UPS negadÄ«jumi; 
  • negadÄ«jumi datu centra uzraudzÄ«bas sistēmā;
  • maŔīntelpas pārkarÅ”ana;
  • saldÄ“Å”anas sistēmas noplÅ«de;
  • kļūme tÄ«klā un skaitļoÅ”anas iekārtās;

un tā tālāk.

Šāda apjoma dokumentācijas sastādÄ«Å”ana pati par sevi ir darbietilpÄ«gs darbs. Atjaunot to ir vēl grÅ«tāk (starp citu, to pārbauda arÄ« auditori). Un pats galvenais, darbiniekiem ir jāzina Ŕīs instrukcijas, jāstrādā saskaņā ar tām un nepiecieÅ”amÄ«bas gadÄ«jumā jāveic uzlabojumi.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
Jā, instrukcijām jābūt pieejamām tur, kur tās varētu būt vajadzīgas, nevis tikai jāvāc putekļi arhīvos.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
AtzÄ«mes par izmaiņām datu centru inženiersistēmu uzturÄ“Å”anas noteikumos.

Audita laikā tiek apskatÄ«ta arÄ« sistēmu tehniskā dokumentācija, izpilddokumentācija un darba dokumentācija, sistēmu nodoÅ”anas ekspluatācijā akti. 

Marķējums Staigājot pa datu centru, viņi to pārbaudÄ«ja visur, kur vien varēja sasniegt. Kur viņi nevarēja aizsniegt, viņi sasniedza no kāpnēm :). Mēs apskatÄ«jām tā klātbÅ«tni katrā sadales panelÄ«, maŔīnā un vārstā. Mēs pārbaudÄ«jām uzbÅ«vētās dokumentācijas unikalitāti, nepārprotamÄ«bu un atbilstÄ«bu paÅ”reizējām shēmām. Zemāk esoÅ”ajā fotoattēlā: mēs atrodamies degvielas uzglabāŔanas sÅ«kņu telpā un salÄ«dzinām marķējumus uz solenoÄ«da vārstiem ar gatavās dokumentācijas shēmu. 

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Viss viņai sakrita, bet ar vietējo ā€œdekoratÄ«voā€ aksonometrisko diagrammu uz sienas vienā parametrā nesakrita.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Datu centra telpās būtu jāizvieto arī tur izvietoto sistēmu diagrammas. Negadījuma gadījumā tie palīdz ātri noskaidrot, kur viss atrodas, un pieņemt apzinātu lēmumu. Piemēram, fotoattēlā ir redzama vienas līnijas diagramma galvenā sadales skapja telpā.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Diagrammu atbilstÄ«ba tika pārbaudÄ«ta Ŕādi: diagrammā nosauca elementa marķējumu un lÅ«dza to parādÄ«t ā€œdzÄ«vēā€. 

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Å eit auditors nofotografē galvenā sadales paneļa ievades slēdža iestatÄ«jumus (iestatÄ«jumus), lai vēlāk salÄ«dzinātu tos ar vienas lÄ«nijas diagrammas rādÄ«tājiem papÄ«ra un elektroniskā kopijā. Vienā no maŔīnām, QF-3, indikators nesakrita ar papÄ«ra diagrammu, un mēs nopelnÄ«jām soda punktu. Tagad divi inženieri pārbaudÄ«s, vai marķējumi vienas lÄ«nijas diagrammās atbilst faktam.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Tas nav viss, ko revidenti pārbaudīja pakalpojumu procesu ziņā. Lūk, kas vēl bija darba kārtībā:

  • uzraudzÄ«bas sistēma. Å eit mēs nopelnÄ«jām karmas priekÅ”rocÄ«bas ar labu vizualizāciju, mobilās aplikācijas klātbÅ«tni un situācijas ekrāniem, kas izvietoti datu centru gaiteņos. Å eit mēs detalizēti rakstÄ«jām par to, kā mēs strādājam uzraudzÄ«bu.

    Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute
    Å is ir KC ar vizuālu informāciju par NORD-4 galveno inženiersistēmu un citu mÅ«su vietnē strādājoÅ”o datu centru statusu.

  • inženiertehnisko iekārtu dzÄ«ves cikla plānoÅ”ana;
  • jaudas vadÄ«ba (jaudas vadÄ«ba);
  • budžeta veidoÅ”ana (nedaudz runāts Å”eit);
  • negadÄ«jumu analÄ«zes procedÅ«ra;
  • iekārtu pieņemÅ”anas, nodoÅ”anas ekspluatācijā un testÄ“Å”anas process (mēs rakstÄ«jām par testiem Å”eit).

Ko vēl skatījās UI?

DroŔība un piekļuves kontrole. Auditā tiek pārbaudÄ«ta arÄ« droŔības un apsardzes sistēmu darbÄ«ba. Piemēram, auditors mēģināja iekļūt kādā no telpām, kur viņam nebija piekļuves, un pēc tam pārbaudÄ«ja, vai tas ir atspoguļots piekļuves kontroles sistēmā un vai par to ir paziņots apsardzei (spoileris - tā bija).

Ja mÅ«su datu centros durvis uz jebkuru telpu paliek atvērtas ilgāk par divām minÅ«tēm, tad droŔības postenÄ« tiek aktivizēts brÄ«dinājums. Lai to pārbaudÄ«tu, auditori ar ugunsdzÄ“Å”amo aparātu atbalstÄ«ja vienas no durvÄ«m. Tiesa, sirēnu nedabÅ«jām ā€“ apsardze caur videokamerām pamanÄ«ja, ka kaut kas nav kārtÄ«bā un ieradās ā€œnozieguma vietāā€ agrāk.

Kārtība un tīrība. Auditori meklē putekļus, haotiski guļot tehnikas kastes un to, cik bieži telpas tiek uzkoptas. Te, piemēram, revidentiem radās interese par neidentificētu objektu ventilācijas koridorā. Šis ir bloks no ventilācijas sistēmas, kas jau gatavojās ieņemt savu vietu. Bet viņi joprojām lūdza mani parakstīties.

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

ArÄ« par pasÅ«tÄ«juma tēmu datu centrā - Å”ie skapji ar visiem nepiecieÅ”amajiem instrumentiem avārijas darbiem pie iekārtām atrodas galvenā sadales telpā. 

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

AtraÅ”anās vieta Datu centrs tiek novērtēts pēc atraÅ”anās vietas apstākļiem ā€“ vai tuvumā atrodas militārās bāzes, lidostas, upes, vulkāni un citi bÄ«stami objekti. Fotoattēlā mēs tikai parādām, ka kopÅ” pēdējās sertifikācijas 2017. gadā ap datu centru nav auguÅ”as nevienas atomelektrostacijas vai naftas krātuves. Bet tur tiek bÅ«vēts jauns NORD-5 datu centrs, kuram arÄ« bÅ«s jāiziet visi Uptime Institute Tier III sertifikācijas lÄ«meņi. Bet tas ir pavisam cits stāsts).

Un demonstrējiet jeb Kā mēs izturējām darbības ilgtspējības auditu Uptime Institute

Avots: www.habr.com

Pievieno komentāru