Šef operativnog odjela popeo se u otvor podzemnog skladišta goriva kako bi pokazao oznake na solenoidnom ventilu.
Početkom veljače, naš najveći Tier III podatkovni centar Recertificiran od strane Uptime Institute (UI) prema standardu operativne održivosti. Danas ćemo vam reći što revizori gledaju i s kakvim smo rezultatima završili.
Za one koji su upoznati s podatkovnim centrima, idemo ukratko proći kroz hardver. ocjenjuje i certificira podatkovne centre u tri faze:
- projekt (Design): provjerava se paket projektne dokumentacije.Ovdje poznati . Ima ih ukupno 4: Tier I–IV. Potonji je, prema tome, najviši.
- izgrađeni objekt (Facility): provjerava se inženjerska infrastruktura podatkovnog centra i njezina usklađenost s projektom. Podatkovni centar provjerava se pod punim projektiranim opterećenjem korištenjem različitih testova s približno sljedećim sadržajem: jedan od UPS-a (DGS, rashladni uređaji, precizni klima uređaji, razvodni ormari, sabirnice itd.) se povlači iz upotrebe radi održavanja ili popravka. , a gradska struja je isključena. . Podatkovni centri razine III i iznad trebali bi se moći nositi sa situacijom bez ikakvog utjecaja na IT korisni teret.
Objekt se može uzeti ako je podatkovni centar već prošao certificiranje dizajna.
NORD-4 je dobio svoj Design certifikat 2015. godine, a Facility 2016. godine. - Operativna održivost. Zapravo, najvažnija i najsloženija certifikacija. Sveobuhvatno ocjenjuje procese i kompetencije operatera u održavanju i upravljanju podatkovnim centrom s uspostavljenom razinom Tier (da biste položili Operational Sustainability, već morate imati Facility certifikat). Uostalom, bez pravilno strukturiranih operativnih procesa i kvalificiranog tima, čak i Tier IV podatkovni centar može se pretvoriti u beskorisnu zgradu s vrlo skupom opremom.
Ovdje također postoje razine: bronca, srebro i zlato. Na zadnjoj recertificiranju završili smo s ocjenom 88,95 od 100 mogućih bodova, a ovo je srebro. Malo mu je nedostajalo zlato - 1,05 bodova.
Kako provjeriti jesu li potrebni procesi izgrađeni i rade kako treba? Štoviše, kako to učiniti za dva dana - toliko je potrebno za recertificiranje. Ukratko, certificiranje se temelji na mukotrpnoj usporedbi onoga što piše u propisima, priča o tome “kako sve funkcionira” i stvarne prakse. Informacije o potonjem dobivaju se obilaskom podatkovnog centra i razgovorom s inženjerima podatkovnog centra – “sučeljavanjima”, kako ih mi od milja zovemo. To je ono što oni gledaju.
Momčad
Prije svega, UI auditori provjeravaju ima li podatkovni centar dovoljno pomoćnog osoblja. Oni uzimaju tablicu osoblja, raspored dužnosti i selektivno ga provjeravaju s izvješćima o smjenama i podacima o kontroli pristupa kako bi bili sigurni da je potreban broj inženjera stvarno bio na gradilištu toga dana.
Revizori također pomno prate broj prekovremenih sati. To se ponekad događa kada veliki klijent dođe i deseci regala moraju biti instalirani u isto vrijeme. U takvim trenucima u pomoć priskaču dečki iz drugih smjena, koji su za to dodatno plaćeni.
Na NORD-4 po smjeni radi 7 inženjera: 6 na dužnosti i jedan viši inženjer. To su oni koji prate nadzor 24x7, susreću se s klijentima, pomažu pri instalaciji opreme i ostalim rutinskim zahtjevima. Ovo je prva linija korisničke tehničke podrške. Njihove odgovornosti uključuju snimanje hitnih situacija i njihovo prosljeđivanje specijaliziranim inženjerima. Rad inženjerske infrastrukture nadziru pojedine osobe – dežurni infrastrukture. Također 24x7.
NORD-ov direktor proizvodnje i upravitelj gradilišta govori revizorima koliko ljudi trenutno radi na gradilištu.
Kada se poslože brojevi, provjerava se kvalifikacija ekipe. Revizori nasumično pregledavaju kadrovske dosjee inženjera kako bi osigurali da imaju potrebne diplome, potvrde i autorizacijske dokumente (na primjer, potvrde o električnoj sigurnosti) za rad na određenom radnom mjestu.
Također provjeravaju kako obučavamo naše osoblje. Čak i tijekom zadnje revizije, naš sustav za obuku novih inženjera na dužnosti impresionirao je UI stručnjake. Za njih trošimo tri mjeseca kao plaćenu praksu, tijekom koje ih upoznajemo s procesima i principima rada u našem podatkovnom centru.
Inženjeri koji već rade također moraju proći redovitu obuku, uključujući rad u hitnim situacijama. Auditori će svakako provjeriti programe obuke i materijale takvih obuka, a također će nasumično ispitati inženjere. Nitko neće tražiti da prijeđe na dizelski agregat, ali će vas pitati da vam korak po korak kaže što treba učiniti kada se isključi gradska struja. Na temelju rezultata revizije dovest ćemo sve programe obuke i edukacije na jedinstveni standard kako se ne bi razlikovali za različite timove.
Auditorima pokazujemo sobu za odmor za smjenske inženjere.
Rad i održavanje inženjerskih sustava
U ovom velikom odjeljku revizije pokazujemo da se sva inženjerska oprema i sustavi redovito održavaju prema rasporedu koji preporučuju dobavljači, da skladište ima potrebne rezervne dijelove, valjane servisne ugovore s izvođačima, a svaka operacija s opremom ima svoje procedure i algoritmi za rad na različitim slučajevima.
MMS. Kada upravljate desecima UPS-ova, dizel generatora, klima uređaja i drugih stvari, morate negdje prikupiti sve informacije o ovom objektu. Za svaki komad opreme izrađujemo otprilike sljedeći dosje:
- model i serijski broj;
- obilježava;
- tehničke karakteristike i postavke;
- mjesto instalacije;
- datumi proizvodnje, puštanja u rad, isteka jamstva;
- ugovori o uslugama;
- raspored i povijest održavanja;
- i cjelokupna “medicinska povijest” - kvarovi, popravci.
Kako i gdje prikupiti sve te podatke, svaki operater podatkovnog centra odlučuje za sebe. UI nije ograničen alatima. To može biti jednostavan Excel (započeli smo s ovim) ili samostalno napisani sustav upravljanja održavanjem (MMS), kakav sada imamo. Usput, , skladišno računovodstvo, online dnevnik, nadzor također pišu sami.
Za svaki komad opreme postoji takav "osobni dosje".
Pokazali smo naše prakse u tom smislu, uključujući korištenje primjera ovog infrastrukturnog UPS-a (na slici), koji je donirao jedan od svojih dijelova UPS-u koji opslužuje IT opterećenje. Da, prema standardu takvu “donaciju” može izvršiti samo infrastrukturna oprema koja napaja klima uređaje i hitnu rasvjetu, ali ne i informatičko opterećenje.
Nakon toga, revizori su tražili da se pokaže odgovarajuća karta u Service Desku:
I UPS profil u MMS-u:
Rezervni dijelovi Za pravovremeno održavanje i hitne popravke inženjerske opreme, imamo vlastite rezervne dijelove i pribor. Postoji opće skladište s velikim rezervnim dijelovima za opremu i malim ormarićima s rezervnim dijelovima u inženjerskim prostorijama (tako da ne morate trčati daleko).
Na fotografiji: provjeravamo dostupnost rezervnih dijelova za diesel agregat. Izbrojali smo 12 filtera. Zatim smo provjerili podatke u MMS-u.
Slična vježba izvedena je u glavnom skladištu, gdje su pohranjeni veliki rezervni dijelovi: kompresori, kontroleri, automatizacija, ventilatori, parni ovlaživači i stotine drugih artikala. Selektivno smo prepisivali oznake i “probijali” ih preko MMS-a.
Podaci o zalihama rezervnih dijelova. Crvena - To je ono što nedostaje i treba se kupiti.
Preventivno održavanje. Osim održavanja i popravaka, UI preporučuje provođenje preventivnog održavanja. Pomaže pretvoriti potencijalnu nezgodu u planirani popravak. Za svaki parametar konfiguriramo vrijednosti praga u praćenju. Ako se prekorače, odgovorni dobivaju alarme i poduzimaju potrebne radnje. Na primjer, mi:
- Električne ploče provjeravamo termovizijskom kamerom kako bismo brzo otkrili kvarove na električnim instalacijama: loš kontakt, lokalno pregrijavanje vodiča ili prekidača.
- Pratimo indikatore vibracija i trenutnu potrošnju pumpi rashladnih sustava. To vam omogućuje da na vrijeme identificirate odstupanja i planirate zamjenske dijelove bez žurbe.
- Vršimo analize goriva i ulja dizel agregata i kompresora.
- Testiramo koncentraciju glikola u rashladnom sustavu.
Dijagram vibracija pumpe prije i poslije popravka.
Rad s izvođačima. Održavanje i popravke opreme provode vanjski izvođači. S naše strane, postoje posebni stručnjaci za dizel agregate, klima uređaje i UPS koji kontroliraju njihov rad. Provjeravaju imaju li izvođači potrebne alate i materijale za popravke/održavanje, stručne certifikate, certifikate o električnoj sigurnosti i dozvole. Prihvaćaju sve poslove.
Ovako izgleda popis za prihvaćanje radova na održavanju klima uređaja.
Na blagajni provjeravamo jesu li propusnice izdane ovlaštenim predstavnicima izvođača radova, jesu li bili na održavanju u navedeno vrijeme i jesu li pročitali pravilnik.
Dokumentacija. Utvrđeni procesi održavanja sustava i opreme pola su uspjeha. Svi postupci koje izvode ljudi u podatkovnom centru moraju biti dokumentirani. Svrha ovoga je jednostavna: da se sve ne ograniči na jednu određenu osobu, au slučaju nesreće svaki inženjer može preuzeti jasne upute i učiniti sve potrebne radnje kako bi je otklonio.
UI ima vlastitu metodologiju za takvu dokumentaciju.
Za jednostavne aktivnosti koje se ponavljaju, uspostavljeni su standardni operativni postupci (SOP). Na primjer, postoje SOP-ovi za uključivanje/isključivanje hladnjaka i postavljanje UPS-a na premosnicu.
Za održavanje ili složene operacije, kao što je zamjena baterija u UPS-u, kreiraju se procedure održavanja (Methods of Procedures, MOP). Oni mogu uključivati SOP-ove. Svaka vrsta inženjerske opreme mora imati svoje MOP-ove.
Na kraju, tu su i Operativni postupci za hitne slučajeve (EOPs)—upute za hitne slučajeve. Sastavlja se popis specifičnih hitnih situacija i za njih se pišu upute. Ovdje je dio popisa hitnih situacija, koji detaljno opisuje znakove nesreće, radnje, odgovorne osobe i osobe koje treba obavijestiti:
- isključenje gradskog napajanja: diesel agregati startali/nisu startali;
- nesreće UPS-a;
- nezgode na sustavu nadzora podatkovnog centra;
- pregrijavanje strojarnice;
- curenje rashladnog sustava;
- kvar na mrežnoj i računalnoj opremi;
i tako dalje.
Sastavljanje takve količine dokumentacije samo je po sebi zahtjevan zadatak. Još ga je teže održavati ažurnim (usput, revizori to također provjeravaju). I što je najvažnije, osoblje mora znati ove upute, raditi u skladu s njima i poboljšati ih ako je potrebno.
Da, upute bi trebale biti dostupne tamo gdje zatrebaju, a ne samo skupljati prašinu po arhivama.
Bilješke o promjenama u propisima o održavanju inženjerskih sustava podatkovnih centara.
Tijekom revizije pregledava se i tehnička dokumentacija o sustavima, izvedbena i radna dokumentacija te akti puštanja sustava u rad.
Obilježavanje. Dok su šetali podatkovnim centrom, provjeravali su ga svugdje gdje su stigli. Tamo gdje nisu mogli, dohvatili su s ljestava :). Provjerili smo njegovu prisutnost na svakoj centrali, stroju i ventilu. Provjerili smo jedinstvenost, jednoznačnost i usklađenost s važećim shemama izvedbene dokumentacije. Na slici ispod: nalazimo se u pumpnoj prostoriji za skladištenje goriva i uspoređujemo oznake na elektromagnetskim ventilima sa dijagramom dokumentacije izvedenog stanja.
Sve se slagalo s njom, ali s lokalnim "ukrasnim" aksonometrijskim dijagramom na zidu u jednom se parametru nije podudaralo.
Dijagrami tamo smještenih sustava također trebaju biti postavljeni u prostorijama podatkovnog centra. U slučaju nezgode, oni vam pomažu da brzo saznate gdje se što nalazi i donesete informiranu odluku. Fotografija, na primjer, prikazuje jednolinijski dijagram u prostoriji glavne centrale.
Relevantnost dijagrama provjerena je na sljedeći način: imenovali su oznaku elementa na dijagramu i tražili da ga pokažu "u stvarnom životu".
Ovdje auditor fotografira postavke (postavke) ulaznog prekidača glavne razvodne ploče, kako bi ih kasnije usporedio s pokazateljima na jednolinijskoj shemi u papirnatim i elektroničkim kopijama. Na jednom od strojeva, QF-3, indikator nije odgovarao dijagramu na papiru i zaradili smo kazneni bod. Sada će dva inženjera provjeriti odgovaraju li oznake na jednolinijskim dijagramima činjenici.
Ovo nije sve što su revizori provjerili u uslužnim procesima. Evo što je još bilo na dnevnom redu:
- sustav praćenja. Ovdje smo zaradili karma pogodnosti s dobrom vizualizacijom, prisutnošću mobilne aplikacije i situacijskim ekranima postavljenim u hodnicima podatkovnih centara. Ovdje smo detaljno pisali o tome kako radimo .
Ovo je MCC s vizualnim informacijama o statusu glavnih inženjerskih sustava NORD-4 i drugih naših podatkovnih centara koji rade na lokaciji. - planiranje životnog ciklusa inženjerske opreme;
- upravljanje kapacitetom ();
- proračun (malo smo razgovarali );
- postupak analize nezgoda;
- proces prijema, puštanja u rad i ispitivanja opreme (pisali smo o ispitivanjima ).
Što je još gledalo korisničko sučelje?
Sigurnost i kontrola pristupa. Revizijom se provjerava i rad sigurnosnih i zaštitnih sustava. Na primjer, revizor je pokušao ući u jedan od prostorija u koji nije imao pristup, a zatim je provjerio odražava li se to na sustav kontrole pristupa i je li zaštitar o tome obaviješten (spoiler - bilo je).
Ako u našim podatkovnim centrima vrata bilo koje sobe ostanu otvorena dulje od dvije minute, aktivira se upozorenje na sigurnosnom mjestu. Kako bi to provjerili, revizori su otvorili jedna od vrata aparatom za gašenje požara. Istina, nikada nismo dobili sirenu - osiguranje je putem video kamera vidjelo da nešto nije u redu i ranije je stiglo na "mjesto zločina".
Red i čistoća. Revizori traže prašinu, kutije s opremom koje kaotično leže uokolo i koliko se često prostori čiste. Evo, na primjer, revizori su se zainteresirali za neidentificirani objekt u ventilacijskom hodniku. Ovo je blok iz ventilacijskog sustava, koji se već pripremao zauzeti svoje mjesto. Ali svejedno su me zamolili da potpišem.
Također na temu reda u podatkovnom centru - ovi ormarići sa svim potrebnim alatima za hitne radove na opremi nalaze se u prostoriji glavne centrale.
Lokacija. Podatkovni centar se procjenjuje na temelju lokacijskih uvjeta – postoje li u blizini vojne baze, zračne luke, rijeke, vulkani i drugi opasni objekti. Na fotografiji samo pokazujemo da od zadnje certifikacije 2017. oko podatkovnog centra nisu rasle nuklearne elektrane ili skladišta nafte. Ali tamo se gradi novi podatkovni centar NORD-5, koji će također morati proći sve razine Uptime Institute Tier III certifikacije. Ali to je sasvim druga priča).
Izvor: www.habr.com