U capu di u dipartimentu di l'operazioni hà cullatu in a portica di a stallazione di almacenamentu di carburante sotterraneo per vede i marcati nantu à a valvula solenoide.
A principiu di ferraghju, u nostru più grande centru di dati Tier III Recertificata da l'Uptime Institute (UI) à u standard di Sostenibilità Operativa. Oghje vi diceremu ciò chì l'auditori cercanu è quali risultati avemu finitu.
Per quelli chì sò familiarizati cù i centri di dati, andemu brevemente nantu à u hardware. valuta è certifica i centri di dati in trè fasi:
- prughjettu (Design) : u pacchettu di ducumentazioni di u prugettu hè verificatu, quì u cunnisciutu . Ci sò 4 in totale: Tier I-IV. L'ultimu hè, per quessa, u più altu.
- stabilimentu custruitu (Facility): l'infrastruttura ingegneria di u centru di dati hè verificata è a so conformità cù u prugettu. U centru di dati hè verificatu sottu a carica di cuncepimentu cumpleta cù una varietà di teste cù apprussimatamente u cuntenutu seguente: unu di l'UPS (DGS, chillers, climatizzatori di precisione, armadi di distribuzione, busbars, etc.) hè fora di serviziu per mantenimentu o riparazione. , è l'alimentazione di a cità hè spenta. . I centri di dati Tier III è sopra duveranu esse capace di trattà a situazione senza alcun impattu nantu à a carica IT.
A facilità pò esse pigliatu se u centru di dati hà digià passatu a certificazione di Design.
NORD-4 hà ricevutu u so certificatu di Design in 2015, è Facility in 2016. - Sostenibilità operativa. In fatti, a certificazione più impurtante è cumplessa. Evalueghja in modu cumpletu i prucessi è e cumpetenze di un operatore in u mantenimentu è a gestione di un centru di dati cù un livellu Tier stabilitu (per passà a Sostenibilità Operativa, duvete digià avè un certificatu di facilità). Dopu tuttu, senza prucessi operativi strutturati currettamente è una squadra qualificata, ancu un centru di dati Tier IV pò trasfurmà in un edifiziu inutile cù un equipamentu assai caru.
Ci sò ancu livelli quì: Bronzu, Argentu è Oru. À l'ultima recertificazione avemu finitu cun un puntu di 88,95 fora di 100 punti pussibuli, è questu hè Silver. Hè cascatu ghjustu à l'oru - 1,05 punti.
Cumu verificà chì i prucessi necessarii sò custruiti è travaglianu cumu si deve? Inoltre, cumu per fà in dui ghjorni - questu hè quantu tempu ci vole per a ricertificazione. In corta, a certificazione hè basatu annantu à un paragone scrupolosu di ciò chì hè scrittu in i rigulamenti, storie di "cumu tuttu funziona" è pratiche reali. L'infurmazione nantu à l'ultime hè ottenuta da u passaghju di u centru di dati è e cunversazione cù l'ingegneri di u centru di dati - "confrontations", cum'è noi chjamemu affettuosamente. Hè ciò chì fighjenu.
squadra
Prima di tuttu, l'auditori UI verificanu se u centru di dati hà abbastanza staff di supportu. Piglianu a tavola di staffing, u calendariu di u duvere è cuntrolla selettivamente cù rapporti di turnu è dati di cuntrollu di accessu per assicurà chì u numeru necessariu d'ingegneri era veramente in situ quellu ghjornu.
L'auditori fighjanu ancu attentamente à u numeru di ore extra. Questu accade à volte quandu un grande cliente entra è decine di rack deve esse stallati à u stessu tempu. In tali mumenti, i picciotti d'altri turni venenu in salvezza, è sò pagati soldi extra per questu.
Ci sò 4 ingegneri chì travaglianu in NORD-7 per turnu: 6 in turnu è un ingegnere senior. Questi sò quelli chì monitoranu u monitoraghju 24x7, scuntrà i clienti, aiutanu cù l'installazione di l'equipaggiu è altre dumande di rutina. Questa hè a prima linea di supportu tecnicu di u cliente. E so rispunsabilità includenu a registrazione di situazioni d'emergenza è l'escalamentu à ingegneri specializati. U travagliu di l'infrastruttura di l'ingegneria hè monitoratu da persone individuali - ufficiali di l'infrastruttura. Ancu 24x7.
U direttore di produzzione di NORD è u direttore di u situ dice à l'auditori quante persone travaglianu in situ avà.
Quandu i numeri sò ordinati, i qualificazioni di a squadra sò verificati. L'auditori esaminanu aleatoriamente i schedari di u persunale di l'ingegneri per assicurà chì anu i diplomi, certificati è documenti d'autorizazione necessarii (per esempiu, certificati di sicurezza elettrica) per travaglià in una determinata pusizione.
Verificanu ancu cumu furmà u nostru staffu. Ancu durante l'ultima verificazione, u nostru sistema per a furmazione di novi ingegneri di serviziu hà impressuatu i specialisti di l'UI. Passemu trè mesi per elli cum'è un stasgiu pagatu, duranti quali avemu intruduce à i prucessi è i principii di u travagliu in u nostru centru di dati.
L'ingegneri chì travaglianu sò ancu sottumessi à una furmazione regulare, cumpresu à travaglià in situazioni d'emergenza. L'auditori cuntrollaranu definitivamente i prugrammi di furmazione è i materiali di tali furmazione, è ancu esaminà in modu aleatoriu l'ingegneri. Nimu ùn serà dumandatu à passà à un generatore di diesel, ma sarà dumandatu à dì à voi passu à passu ciò chì deve esse fattu quandu l'alimentazione di a cità hè spenta. Basatu nantu à i risultati di l'auditu, purteremu tutti i prugrammi di furmazione è di educazione à un standard unicu in modu chì ùn sò micca diffirenti per diverse squadre.
Mostremu à l'auditori a sala di pausa per l'ingegneri di turnu.
Operazione è mantenimentu di sistemi di ingegneria
In questa grande sezione di l'auditu, dimustramu chì tutti l'equipaggiu è i sistemi di l'ingegneria ricevenu mantenimentu regulare secondu u calendariu cunsigliatu da i venditori, u magazzinu hà i pezzi di ricambio necessarii, accordi di serviziu validi cù i cuntratturi, è ogni operazione cù l'equipaggiu hà u so propiu. prucedure è algoritmi per travaglià nantu à diversi casi.
MMS. Quandu operate decine di UPS, generatori diesel, climatizzatori è altre cose, avete bisognu di cullà tutte l'infurmazioni nantu à sta facilità in qualchì locu. Creemu circa u seguente dossier per ogni equipamentu:
- mudellu è numeru seriale;
- marcatura;
- caratteristiche tecniche è paràmetri;
- locu di stallazione;
- data di pruduzzione, cumissioni, scadenza di a garanzia;
- cuntratti di serviziu;
- schedu di mantenimentu è storia;
- è tutta a "storia medica" - guasi, riparazioni.
Cumu è induve cullà tutte queste informazioni hè à ogni operatore di u centru di dati per decide per ellu stessu. L'UI ùn hè micca limitatu in l'arnesi. Questu pò esse un Excel simplice (avemu cuminciatu cù questu) o un Sistema di Gestione di Mantenimentu (MMS) scrittu, cum'è avemu avà. A propositu, , a cuntabilità di magazzinu, u logu di a rete, u monitoraghju sò ancu scritti da sè stessu.
Ci hè un tali "file persunale" per ogni equipamentu.
Avemu dimustratu e nostre pratiche in questu sensu, cumpresu cù l'esempiu di sta infrastruttura UPS (in stampa), chì hà donatu una di e so parte à u UPS chì serve a carica IT. Iè, sicondu u standard, tali "donazione" pò esse realizatu solu da l'equipaggiu di l'infrastruttura chì alimenta l'aria condizionata è l'illuminazione d'emergenza, ma micca a carica IT.
Dopu, l'auditori anu dumandatu à mustrà u bigliettu currispundente in u Service Desk:
È u prufilu UPS in MMS:
Pezzi di ricambiu Per mantenimentu puntuale è riparazioni d'urgenza di l'equipaggiu di ingegneria, mantenemu i nostri pezzi di ricambio è accessori. Ci hè un magazzinu generale cù grandi pezzi di ricambio per l'equipaggiu è picculi armarii cù pezzi di ricambio in sala di l'ingegneria (per chì ùn avete micca bisognu di curriri luntanu).
In a foto: cuntrollemu a dispunibilità di pezzi di ricambio per u generatore diesel. Avemu cuntatu 12 filtri. Allora anu verificatu i dati in u MMS.
Un eserciziu simili hè statu realizatu in u magazzinu principalu, induve i grandi pezzi di ricambio sò almacenati: compressori, cuntrolli, automatizazione, ventilatori, umidificatori di vapore è centinaie d'altri articuli. Riscrivimu selettivamente i marcati è li "punchemu" via MMS.
Dati di inventariu di pezzi di ricambio. Rossu - Questu hè ciò chì manca è deve esse acquistatu.
Mantenimentu preventivu. In più di mantenimentu è riparazioni, UI ricumanda di fà a manutenzione preventiva. Aiuta à trasfurmà un accidentu potenziale in una riparazione pianificata. Per ogni paràmetru, cunfiguremu valori di soglia in u monitoraghju. Se sò superati, i rispunsevuli ricevenu allarmi è piglianu l'azzioni necessarii. Per esempiu, noi:
- Cuntrollamu i pannelli elettrichi cù una termocamera in modu di detectà rapidamente i difetti in l'installazione elettriche: malu cuntattu, surriscaldamentu lucale di un cunduttore o di circuit breaker.
- Monitoremu l'indicatori di vibrazione è u cunsumu attuale di e pompe di u sistema di refrigerazione. Questu permette di identificà e deviazioni in u tempu è di pianificà i pezzi di rimpiazzamentu senza fretta.
- Facemu analisi di carburante è oliu di gruppi elettrogeni diesel è compressori.
- Testemu glicol in u sistema di refrigerazione per a cuncentrazione.
Diagramma di vibrazione di a pompa prima è dopu a riparazione.
U travagliu cù i cuntratturi. U mantenimentu è a riparazione di l'equipaggiu sò realizati da cuntratturi esterni. Da u nostru latu, ci sò specialisti separati in generatori diesel, climatizzatori è UPS chì cuntrolanu u so funziunamentu. Verificanu se l'imprenditori anu l'attrezzi è i materiali necessarii per u travagliu di riparazione / mantenimentu, certificati prufessiunali, certificati di sicurezza elettrica è permessi. Acceptanu tuttu u travagliu.
Questu hè ciò chì a lista di cuntrollu per accettà u travagliu di mantenimentu di l'aria condizionata.
À l'uffiziu di u pass, cuntrollemu s'ellu i pass sò stati emessi à i rapprisentanti autorizati di l'imprenditori, s'ellu si sò sottumessi à mantenimentu à l'ora specificata è s'ellu anu lettu e regule.
Documentazione. I prucessi stabiliti per mantene i sistemi è l'equipaggiu sò a mità di battaglia. Tutte e prucedure realizate da l'omu in u centru di dati deve esse documentatu. U scopu di questu hè simplice: perchè tuttu ùn hè micca limitatu à una persona specifica, è in casu d'accidentu, ogni ingegnere pò piglià struzzioni chjaru è fà tutte l'operazioni necessarie per eliminà.
UI hà a so propria metodulugia per tali documentazione.
Per attività simplici è ripetitive, sò stabiliti prucedure operative standard (SOP). Per esempiu, ci sò SOP per accende / spegne u chiller è stabilisce l'UPS per bypass.
Per mantenimentu o operazioni cumplessi, cum'è a sostituzione di batterie in un UPS, sò creati prucedure di mantenimentu (Metodi di Procedure, MOP). Questi ponu include SOP. Ogni tipu d'equipaggiu di ingegneria deve avè u so propiu MOP.
Infine, ci sò Procedure Operative d'Urgenza (EOP) - struzzioni in casu d'emergenza. Una lista di situazioni d'urgenza specifiche hè compilata è l'istruzzioni sò scritte per elli. Eccu una parte di a lista di e situazioni d'urgenza, chì detallanu i segni di un accidentu, l'azzioni, e persone rispunsevuli è e persone da avvisà:
- arrestu di l'alimentazione di a cità: i gruppi di generatori diesel cumincianu / ùn anu micca cuminciatu;
- incidenti UPS;
- accidenti nantu à u sistema di surviglianza di u centru di dati;
- surriscaldamentu di a sala di machini;
- perdite di u sistema di refrigerazione;
- fallimentu in a reta è l'equipaggiu di l'informatica;
Eccetera.
Cumpilà un tali voluminu di documentazione hè un compitu intensivu di travagliu in sè stessu. Hè ancu più difficiule di mantene a data (per via, l'auditori verificanu ancu questu). E più impurtante, u persunale deve cunnosce queste struzzioni, travaglià secondu elli è fà migliurà se ne necessariu.
Iè, l'istruzzioni duveranu esse dispunibuli induve puderanu esse necessariu, è micca solu raccoglie a polvera in l'archivi.
Notes nantu à i cambiamenti in i reguli di mantenimentu per i sistemi di ingegneria di u centru di dati.
Durante l'auditu, anu ancu guardatu a documentazione tecnica nantu à i sistemi, a documentazione esecutiva è di travagliu, è l'atti di mette in opera i sistemi.
Marcatura. Mentre caminavanu intornu à u centru di dati, anu verificatu in ogni locu chì puderanu ghjunghje. Induve ùn pudianu ghjunghje, ghjunghjenu da una scala :). Avemu vistu a so prisenza in ogni centralina, macchina è valvola. Avemu verificatu l'unicità, l'unambiguità è u rispettu di i schemi attuali di a documentazione cum'è custruita. In a foto sottu: simu in a sala di a pompa di almacenamentu di carburante paragunendu i marcati nantu à e valvule solenoide cù u schema di a documentazione cum'è custruita.
Tuttu accunsenu cun ella, ma cù u diagramma axonometricu "decorativu" lucale nantu à u muru in un paràmetru ùn hà micca coincide.
I diagrammi di i sistemi situati ci anu da esse publicati ancu in u locu di u centru di dati. In casu d'accidentu, aiutanu à sapè rapidamente induve tuttu hè è piglià una decisione infurmata. A foto, per esempiu, mostra un diagramma di una sola linea in a sala di a centralina principale.
A pertinenza di i diagrammi hè stata verificata in a seguente manera: anu chjamatu l'elementu marcatu nantu à u diagrama è dumandatu à mustrà "in a vita reale".
Questu hè induve l'auditore piglia ritratti di i paràmetri (parametri) di l'interruttore di circuitu di ingressu di a centralina principale, per più tardi paragunà cù l'indicatori nantu à u diagramma di una sola linea in copie carta è elettroniche. Nant'à una di e macchine, QF-3, l'indicatore ùn currisponde à u diagramma di carta, è avemu guadagnatu un puntu di penalità. Avà dui ingegneri cuntrollaranu s'ellu i marcati in diagrammi unicu currispondenu à u fattu.
Questu ùn hè micca tuttu ciò chì l'auditori verificatu in quantu à i prucessi di serviziu. Eccu ciò chì era in l'agenda:
- sistema di monitoraghju. Quì avemu guadagnatu benefizii di karma cù una bona visualizazione, a prisenza di una applicazione mobile è schermi di situazione posti in i corridori di i centri di dati. Quì avemu scrittu in dettagliu nantu à cumu travaglià .
Questu hè u MCC cù infurmazione visuale nantu à u statutu di i principali sistemi di ingegneria di NORD-4 è i nostri altri centri di dati chì travaglianu in u situ. - pianificazione di u ciclu di vita di l'equipaggiu di l'ingegneria;
- gestione di capacità ();
- budgeting (parlu un pocu );
- prucedura di analisi di accidenti;
- u prucessu di accettazione, cumissioni è teste di l'equipaggiu (avemu scrittu annantu à e teste ).
Chì altru era l'UI chì guardava?
Sicurezza è cuntrollu di accessu. L'auditu verifica ancu u funziunamentu di i sistemi di sicurità è di sicurità. Per esempiu, l'auditore hà pruvatu à entre in una di e locu induve ùn hà micca accessu, è dopu verificatu s'ellu hè stata riflessa in u sistema di cuntrollu di l'accessu è se a sicurità hè stata notificata nantu à questu (spoiler - era).
Se in i nostri centri di dati, a porta di ogni stanza resta aperta per più di dui minuti, allora una alerta hè attivata à u postu di sicurità. Per pruvà questu, l'auditori aprite una di e porte cun un extinguisher. Hè veru, ùn avemu mai avutu una sirena - a sicurità hà vistu chì qualcosa era sbagliatu attraversu e videocamere è hè ghjuntu à a "scena di u crimine" prima.
Ordine è pulizia. L'auditori cercanu a polvera, i scatuli di l'equipaggiu chì si trovanu in modu caòticu, è quantu spessu i locali sò puliti. Quì, per esempiu, l'auditori s'interessavanu in un oggettu micca identificatu in u corridore di ventilazione. Questu hè un bloccu da u sistema di ventilazione, chì era digià preparatu per piglià u so postu. Ma anu sempre dumandatu à firmà.
Ancu nantu à u tema di l'ordine in u centru di dati - questi cabinetti cù tutti l'arnesi necessarii per u travagliu d'urgenza nantu à l'equipaggiu sò situati in a sala principale di a centralina.
Locu. U centru di dati hè valutatu basatu annantu à e cundizioni di locu - se ci sò basi militari, aeroporti, fiumi, vulcani è altri oggetti periculosi vicinu. In a foto, dimustramu solu chì da l'ultima certificazione in 2017, nisuna centrale nucleare o instalazione di almacenamentu di l'oliu sò cresciute intornu à u centru di dati. Ma quì hè custruitu un novu centru di dati NORD-5, chì duverà ancu passà tutti i livelli di certificazione Uptime Institute Tier III. Ma questu hè una storia completamente diversa).
Source: www.habr.com