Kaj pruvu, aŭ Kiel ni pasis la revizion pri Funkcia Daŭripovo ĉe Uptime Institute

La estro de la operacia sekcio grimpis en la lukon de la subtera fuela stokejo por montri la markojn sur la solenoida valvo.

Komence de februaro, nia plej granda datumcentro de Tier III NORD-4 Reatestita de la Uptime Institute (UI) al la Operacia Daŭripovo-normo. Hodiaŭ ni rakontos al vi, kion la revizoroj rigardas kaj kiajn rezultojn ni finis.

Por tiuj, kiuj konas datumcentrojn, ni mallonge trarigardu la aparataron. Nivelaj Normoj taksas kaj atestas datumcentrojn en tri stadioj:

• projekto (Dezajno): la pako de projektodokumentado estas kontrolita.Ĉi tie la konata Tier. Estas 4 el ili entute: Tier I–IV. Ĉi-lasta estas, sekve, la plej alta.
• konstruita instalaĵo (Facility): la inĝenieristiko-infrastrukturo de la datumcentro estas kontrolita kaj ĝia konformeco kun la projekto. La datumcentro estas kontrolita sub plena dezajnŝarĝo uzante diversajn testojn kun proksimume la sekva enhavo: unu el la UPS-oj (DGS, malvarmigiloj, precizecaj klimatiziloj, distribuŝrankoj, busbaroj, ktp.) estas elprenita por prizorgado aŭ riparo. , kaj la urba elektroprovizo estas malŝaltita. . Tier III kaj pli supre datumcentroj devus povi pritrakti la situacion sen ajna efiko al la IT utila ŝarĝo.

  Instalaĵo povas esti prenita se la datumcentro jam pasis Dezajnan atestilon.
  NORD-4 ricevis ĝian Dezajnan atestilon en 2015, kaj Instalaĵon en 2016.

• Funkcia Daŭripovo. Fakte, la plej grava kaj kompleksa atestado. Ĝi amplekse taksas la procezojn kaj kompetentecojn de funkciigisto pri konservado kaj administrado de datumcentro kun establita Tier-nivelo (por pasi Operacian Daŭripovon, vi devas jam havi Instalaĵan atestilon). Post ĉio, sen taŭge strukturitaj operaciaj procezoj kaj kvalifikita teamo, eĉ Tier IV-datumcentro povas iĝi senutila konstruaĵo kun tre multekosta ekipaĵo.
  
  Estas ankaŭ niveloj ĉi tie: Bronzo, Arĝento kaj Oro. Ĉe la lasta recetifiko ni finis kun poentaro de 88,95 el 100 eblaj poentoj, kaj ĉi tio estas Arĝento. Ĝi falis nur manke de Oro - 1,05 poentoj. 

Kiel kontroli, ke la necesaj procezoj estas konstruitaj kaj funkcias kiel ili devus? Krome, kiel fari ĝin en du tagoj - jen kiom da tempo necesas por re-atestado. Resume, atestado baziĝas sur zorga komparo de tio, kio estas skribita en la regularoj, rakontoj pri "kiel ĉio funkcias" kaj realaj praktikoj. Informoj pri ĉi-lasta estas akirita el promenado de la datumcentro kaj konversacioj kun datumcentraj inĝenieroj - "konfrontiĝoj", kiel ni ame nomas ilin. Tion ili rigardas.

teamo

Antaŭ ĉio, UI-revizoroj kontrolas ĉu la datumcentro havas sufiĉe da helppersonaro. Ili prenas la personaran tablon, devohoraron kaj selekteme kontrolas ĝin kun deĵorraportoj kaj alirkontrolaj datumoj por certigi, ke la bezonata nombro da inĝenieroj estis efektive surloke tiun tagon.

Revizoroj ankaŭ atente rigardas la nombron da kromlaborhoroj. Ĉi tio foje okazas kiam granda kliento venas kaj dekoj da rakoj devas esti instalitaj samtempe. En tiaj momentoj, uloj de aliaj deĵoroj venas al la savo, kaj ili estas pagitaj ekstra mono por ĉi tio.

Estas 4 inĝenieroj laborantaj pri NORD-7 per deĵoro: 6 deĵorantaj kaj unu altranga inĝeniero. Ĉi tiuj estas tiuj, kiuj kontrolas 24x7 monitoradon, renkontas klientojn, helpas pri ekipaĵinstalado kaj aliaj rutinaj petoj. Ĉi tiu estas la unua linio de klienta teknika subteno. Iliaj respondecoj inkluzivas registri krizajn situaciojn kaj eskaladi ilin al specialigitaj inĝenieroj. La laboro de la inĝenieristikinfrastrukturo estas kontrolata de individuaj homoj - infrastrukturaj oficistoj. Ankaŭ 24x7.

La produktaddirektoro kaj administranto de la retejo de NORD rakontas al la revizoroj kiom da homoj laboras surloke nun.

Kiam la nombroj estas ordigitaj, la kvalifikoj de la teamo estas kontrolitaj. Revizoroj hazarde revizias personajn dosierojn de inĝenieroj por certigi, ke ili havas la necesajn diplomojn, atestilojn kaj rajtigajn dokumentojn (ekzemple elektraj sekurecaj atestiloj) por labori en difinita pozicio.

Ili ankaŭ kontrolas kiel ni trejnas nian personaron. Eĉ dum la lasta revizio, nia sistemo por trejni novajn deĵorajn inĝenierojn impresis UI-specialistojn. Ni pasigas tri monatojn por ili trejna kurso kiel pagita staĝo, dum kiu ni konigas ilin al la procezoj kaj principoj de laboro en nia datumcentro.

Jam laborantaj inĝenieroj ankaŭ devas sperti regulan trejnadon, inkluzive pri laborado en krizaj situacioj. Revizoroj certe kontrolos la trejnajn programojn kaj materialojn de tiaj trejnadoj, kaj ankaŭ hazarde ekzamenos inĝenierojn. Neniu estos petita ŝanĝi al dizelgeneratoro, sed oni petos ilin diri al vi paŝon post paŝo, kion oni devas fari kiam la urba elektroprovizo estas malŝaltita. Surbaze de la reviziaj rezultoj, ni alportos ĉiujn trejnajn kaj edukajn programojn al ununura normo por ke ili ne diferencas por malsamaj teamoj.

Ni montras al la revizoroj la paŭzoĉambron por deĵorantaj inĝenieroj.

Funkciado kaj prizorgado de inĝenieraj sistemoj 

En ĉi tiu granda sekcio de la revizio, ni montras, ke ĉiuj inĝenieraj ekipaĵoj kaj sistemoj ricevas regulan bontenadon laŭ la horaro rekomendita de la vendistoj, la magazeno havas la necesajn rezervajn partojn, validajn servajn interkonsentojn kun entreprenistoj, kaj ĉiu operacio kun ekipaĵo havas sian propran. proceduroj kaj algoritmoj por labori pri malsamaj kazoj.

MMS. Kiam vi funkciigas dekojn da UPS-oj, dizelgeneratoraroj, klimatiziloj kaj aliaj aferoj, vi devas kolekti ĉiujn informojn pri ĉi tiu instalaĵo ie. Ni kreas proksimume la sekvan dosieron por ĉiu ekipaĵo:

• modelo kaj seria numero;
• markado;
• teknikaj karakterizaĵoj kaj agordoj;
• loko de instalado;
• datoj de produktado, komisiado, eksvalidiĝo de garantio;
• servaj kontraktoj;
• prizorgado kaj historio;
• kaj la tuta "medicina historio" - paneoj, riparoj.

Kiel kaj kie kolekti ĉiujn ĉi tiujn informojn, ĉiu datumcentra operatoro decidas por si mem. La UI ne estas limigita en iloj. Ĉi tio povas esti simpla Excel (ni komencis per ĉi tio) aŭ memskribita Prizorga Administra Sistemo (MMS), kiel ni havas nun. Parenteze, servotablo, magazena kontado, reta protokolo, monitorado ankaŭ estas memskribataj.

Estas tia "persona dosiero" por ĉiu ekipaĵo.

Ni pruvis niajn praktikojn ĉi-rilate, inkluzive de uzado de la ekzemplo de ĉi tiu infrastrukturo UPS (bildita), kiu donacis unu el siaj partoj al la UPS servanta la IT-ŝarĝon. Jes, laŭ la normo, tia "donaco" povas esti farita nur per infrastrukturaj ekipaĵoj, kiuj funkciigas klimatizilojn kaj kriz-lumadon, sed ne la IT-ŝarĝon.

Poste, la revizoroj petis montri la respondan bileton en la Servotablo:

Kaj la UPS-profilo en MMS:

Rezervaj partoj Por ĝustatempa prizorgado kaj urĝaj riparoj de inĝenieraj ekipaĵoj, ni konservas niajn proprajn rezervajn partojn kaj akcesoraĵojn. Estas ĝenerala magazeno kun grandaj rezervaj partoj por ekipaĵo kaj malgrandaj ŝrankoj kun rezervaj partoj en inĝenierejoj (por ke vi ne devas kuri malproksime).

En la foto: ni kontrolas la haveblecon de rezervaj partoj por la dizelgeneratoro. Ni nombris 12 filtrilojn. Poste ni kontrolis la datumojn en la MMS.  

Simila ekzerco estis farita ĉe la ĉefa magazeno, kie estas stokitaj grandaj rezervaj partoj: kompresoroj, regiloj, aŭtomatigo, ventoliloj, vaporaj humidigiloj kaj centoj da aliaj aĵoj. Ni elekte reverkis la markojn kaj "pikis" ilin per MMS.

Datenoj pri inventaro de rezervaj partoj. Ruĝa - Jen kio mankas kaj devas esti aĉetita.

Preventa prizorgado. Krom prizorgado kaj riparoj, UI rekomendas fari preventan prizorgadon. Ĝi helpas turni eblan akcidenton en planitan riparo. Por ĉiu parametro, ni agordas sojlaj valoroj en monitorado. Se ili estas superitaj, la respondecaj ricevas alarmojn kaj faras la necesajn agojn. Ekzemple, ni:

• Ni kontrolas elektrajn panelojn per termika bildilo por rapide detekti difektojn en elektraj instalaĵoj: malbona kontakto, loka trovarmiĝo de konduktoro aŭ ŝaltilo. 
• Ni kontrolas vibrajn indikilojn kaj nunan konsumon de fridigaj sistemoj-pumpiloj. Ĉi tio permesas vin identigi deviojn ĝustatempe kaj plani anstataŭaĵojn sen hasto.
• Ni faras fuelan kaj olean analizon de dizelgeneratoraroj kaj kompresoroj.
• Ni testas glikolon en la fridiga sistemo por koncentriĝo.

Pumpivibra diagramo antaŭ kaj post riparo.

Laborante kun entreprenistoj. Prizorgado kaj riparoj de ekipaĵoj estas faritaj de eksteraj entreprenistoj. Niaflanke, estas apartaj specialistoj pri dizelgeneratoraroj, klimatiziloj kaj UPS, kiuj kontrolas sian funkciadon. Ili kontrolas ĉu entreprenistoj havas la necesajn ilojn kaj materialojn por ripara laboro/prizorgado, profesiaj atestiloj, elektraj sekurecaj atestiloj kaj permesiloj. Ili akceptas ĉiun laboron.

Jen kiel aspektas la kontrola listo por akceptado de klimatizila prizorgado de laboroj.

Ĉe la enirpermesilo, ni kontrolas ĉu la enirpermesiloj estis elsenditaj al rajtigitaj reprezentantoj de entreprenistoj, ĉu ili spertis prizorgadon en la difinita tempo kaj ĉu ili legis la regulojn.

Dokumentado. Establitaj procezoj por konservi sistemojn kaj ekipaĵon estas duono de la batalo. Ĉiuj proceduroj faritaj de homoj en la datumcentro devas esti dokumentitaj. La celo de ĉi tio estas simpla: por ke ĉio ne limiĝu al unu specifa persono, kaj en kazo de akcidento, ĉiu inĝeniero povas preni klarajn instrukciojn kaj fari ĉiujn necesajn operaciojn por forigi ĝin.

UI havas sian propran metodaron por tia dokumentado.

Por simplaj kaj ripetemaj agadoj, normaj operaciproceduroj (SOPoj) estas establitaj. Ekzemple, ekzistas SOPoj por ŝalti/malŝalti la malvarmigilon kaj agordi la UPS por preteriri.

Por prizorgado aŭ kompleksaj operacioj, kiel ekzemple anstataŭigado de baterioj en UPS, funkciservaj proceduroj (Metodoj de Proceduroj, MOPoj) estas kreitaj. Ĉi tiuj povas inkluzivi SOPojn. Ĉiu speco de inĝenieristikekipaĵo devas havi siajn proprajn MOPojn.

Finfine, estas Emergency Operating Procedures (EOP) - instrukcioj en kazo de krizo. Listo de specifaj krizaj situacioj estas kompilita kaj instrukcioj estas skribitaj por ili. Jen parto de la listo de kriz-situacioj, kiu detaligas la signojn de akcidento, agojn, respondecajn personojn kaj personojn por sciigi:

• ĉesigo de urba elektroprovizo: dizelaj generatoroj ekfunkciis/ne ekfunkciis;
• UPS-akcidentoj; 
• akcidentoj sur la datumcentra monitora sistemo;
• trovarmiĝo de la maŝinejo;
• elfluo de la fridiga sistemo;
• fiasko sur reto kaj komputika ekipaĵo;

kaj tiel plu.

Kompili tian volumon da dokumentaro estas laborintensa tasko en si mem. Eĉ pli malfacile estas ĝisdatigi ĝin (cetere, revizoroj ankaŭ kontrolas tion). Kaj plej grave, dungitaro devas scii ĉi tiujn instrukciojn, labori laŭ ili kaj fari plibonigojn se necese.

Jes, instrukcioj devus esti haveblaj kie ili eble estos bezonataj, kaj ne nur kolekti polvon en arkivoj.

Notoj pri ŝanĝoj en la prizorgaj regularoj por datumcentraj inĝenieraj sistemoj.

Dum la revizio, ili ankaŭ rigardas teknikan dokumentadon pri sistemoj, plenuma kaj labordokumentado, kaj agojn pri funkciigo de sistemoj. 

Markado. Promenante ĉirkaŭ la datumcentro, ili kontrolis ĝin ĉie, kien ili povis atingi. Kien ili ne povis atingi, ili atingis de ŝtupetaro :). Ni rigardis ĝian ĉeeston sur ĉiu ŝaltpanelo, maŝino kaj valvo. Ni kontrolis la unikecon, malambiguecon kaj konformecon al la nunaj skemoj de la laŭkonstruita dokumentaro. En la suba foto: ni estas en la pumpilo de brulaĵo, komparante la markojn sur la solenoidaj valvoj kun la diagramo de la enkonstruita dokumentaro. 

Ĉio konsentis kun ŝi, sed kun la loka "ornama" aksonometria diagramo sur la muro en unu parametro ĝi ne koincidis.

Diagramoj de la sistemoj tie lokitaj ankaŭ devas esti afiŝitaj en la datumcentro-loko. Okaze de akcidento, ili helpas vin rapide ekscii, kie ĉio estas kaj fari informitan decidon. La foto, ekzemple, montras unulinian diagramon en la ĉefcentrala ĉambro.

La graveco de la diagramoj estis kontrolita en la sekva maniero: ili nomis la elementon markadon sur la diagramo kaj petis montri ĝin "en la reala vivo". 

Ĉi tie la revizoro fotas la agordojn (agordojn) de la ĉefa ŝaltpanela eniga ŝaltilo, por poste kompari ilin kun la indikiloj sur la unulinia diagramo en paperaj kaj elektronikaj kopioj. Sur unu el la maŝinoj, QF-3, la indikilo ne kongruis kun la papera diagramo, kaj ni gajnis punpunkton. Nun du inĝenieroj kontrolos ĉu la markoj en unuliniaj diagramoj respondas al la fakto.

Ĉi tio ne estas ĉio, kion la revizoroj kontrolis laŭ servaj procezoj. Jen kio alia estis en la tagordo:

• monitora sistemo. Ĉi tie ni gajnis karmajn avantaĝojn kun bona bildigo, la ĉeesto de movebla aplikaĵo kaj situaciaj ekranoj metitaj en la koridoroj de datumcentroj. Ĉi tie ni skribis detale pri kiel ni laboras monitorado.

  
  Ĉi tiu estas la MCC kun vidaj informoj pri la stato de la ĉefaj inĝenieraj sistemoj de NORD-4 kaj niaj aliaj datumcentroj laborantaj en la retejo.

• vivocikloplanado de inĝenieristikekipaĵo;
• kapablo administrado (kapablo mastrumado);
• buĝetado (iom parolis tie);
• proceduro de analizo de akcidento;
• la procezo de akcepto, komisiado kaj testado de ekipaĵo (ni skribis pri testoj tie).

Kion alian rigardis la UI?

Sekureco kaj alirkontrolo. La revizio ankaŭ kontrolas la funkciadon de sekurecaj kaj sekurecaj sistemoj. Ekzemple, la revizoro provis eniri en unu el la ejoj, kie li ne havis aliron, kaj tiam kontrolis ĉu tio estas reflektita en la alirkontrolsistemo kaj ĉu la sekureco estis sciigita pri tio (spoiler - ĝi estis).

Se en niaj datumcentroj la pordo al iu ajn ĉambro restas malfermita dum pli ol du minutoj, tiam atentigo estas ekigita ĉe la sekureca posteno. Por testi tion, revizoroj apogis malfermi unu el la pordoj per fajroestingilo. Vere, ni neniam ricevis sirenon - la sekureco vidis, ke io misas per videokameraoj kaj alvenis al la "krimloko" pli frue.

Ordo kaj pureco. Revizoroj serĉas polvon, ekipaĵskatolojn kuŝantajn kaose, kaj kiom ofte la ejoj estas purigitaj. Ĉi tie, ekzemple, la revizoroj interesiĝis pri neidentigita objekto en la ventola koridoro. Ĉi tio estas bloko de la ventosistemo, kiu jam prepariĝis por preni sian lokon. Sed ili tamen petis min subskribi.

Ankaŭ pri la temo de ordo en la datumcentro - ĉi tiuj kabinetoj kun ĉiuj necesaj iloj por kriz-laboro sur la ekipaĵo situas en la ĉefa centraloĉambro. 

Loko. La datumcentro estas taksita surbaze de lokkondiĉoj - ĉu estas armeaj bazoj, flughavenoj, riveroj, vulkanoj kaj aliaj danĝeraj objektoj proksime. En la foto ni nur montras, ke ekde la lasta atesto en 2017, neniuj atomcentraloj aŭ naftostokaj instalaĵoj kreskis ĉirkaŭ la datumcentro. Sed tie estas konstruita nova NORD-5-datumcentro, kiu ankaŭ devos trapasi ĉiujn nivelojn de Uptime Institute Tier III-atestilo. Sed tio estas tute alia historio).

fonto: www.habr.com