Het hoofd van de afdeling Operations klom in het luik van de ondergrondse brandstofopslag om de markeringen op de magneetklep te laten zien.
Begin februari ons grootste Tier III-datacenter Opnieuw gecertificeerd door het Uptime Institute (UI) volgens de operationele duurzaamheidsnorm. Vandaag vertellen we u waar de auditors naar kijken en met welke resultaten we zijn geëindigd.
Voor degenen die bekend zijn met datacenters, laten we kort de hardware bespreken. evalueert en certificeert datacenters in drie fasen:
- project (Ontwerp): het pakket met projectdocumentatie wordt gecontroleerd, hier het bekende . Er zijn er in totaal 4: Niveau I-IV. Dit laatste is dus het hoogste.
- gebouwde faciliteit (Faciliteit): de technische infrastructuur van het datacenter wordt gecontroleerd en de overeenstemming ervan met het project. Het datacenter wordt onder volledige ontwerpbelasting gecontroleerd met behulp van verschillende tests met ongeveer de volgende inhoud: een van de UPS'en (DGS, koelmachines, precisie-airconditioners, verdeelkasten, rails, enz.) wordt buiten gebruik gesteld voor onderhoud of reparatie en de stadsstroomvoorziening is uitgeschakeld. Datacenters van Tier III en hoger moeten de situatie aankunnen zonder enige impact op de IT-payload.
Er kan gebruik worden gemaakt van de faciliteit als het datacenter de ontwerpcertificering al heeft behaald.
NORD-4 ontving zijn ontwerpcertificaat in 2015 en Facility in 2016. - Operationele duurzaamheid. In feite de belangrijkste en meest complexe certificering. Het evalueert uitgebreid de processen en competenties van een operator bij het onderhouden en beheren van een datacenter met een vastgesteld Tier-niveau (om te slagen voor Operationele Duurzaamheid moet u al een Facility-certificaat hebben). Zonder goed gestructureerde operationele processen en een gekwalificeerd team kan zelfs een Tier IV-datacenter immers veranderen in een nutteloos gebouw met zeer dure apparatuur.
Er zijn hier ook niveaus: Brons, Zilver en Goud. Bij de laatste hercertificering zijn we geëindigd met een score van 88,95 op 100 mogelijke punten, en dit is Zilver. Het bleef net achter bij Goud: 1,05 punten.
Hoe controleer ik of de noodzakelijke processen zijn gebouwd en werken zoals ze zouden moeten? Bovendien, hoe je het in twee dagen moet doen: zo lang duurt het voor hercertificering. Kortom, certificering is gebaseerd op een nauwgezette vergelijking van wat er in de regelgeving staat, verhalen over ‘hoe alles werkt’ en de praktijk. Informatie over dit laatste wordt verkregen uit walk-throughs van het datacenter en gesprekken met datacenter engineers – ‘confrontaties’, zoals we ze liefkozend noemen. Dat is waar ze naar kijken.
Team
Allereerst controleren UI-auditors of het datacenter voldoende ondersteunend personeel heeft. Ze nemen de personeelstabel en het dienstrooster en controleren deze selectief met ploegrapporten en toegangscontrolegegevens om er zeker van te zijn dat het vereiste aantal monteurs die dag daadwerkelijk ter plaatse was.
Ook kijken accountants nauwlettend naar het aantal overuren. Dit komt wel eens voor als er een grote klant binnenkomt en er tientallen racks tegelijk geïnstalleerd moeten worden. Op zulke momenten komen jongens uit andere ploegen te hulp, en daarvoor krijgen ze extra geld.
Er werken per ploeg 4 monteurs aan NORD-7: 6 van dienst en één senior monteur. Dit zijn degenen die 24x7 toezicht houden, klanten ontmoeten, helpen bij de installatie van apparatuur en andere routinematige verzoeken. Dit is de eerste lijn van technische ondersteuning voor klanten. Hun verantwoordelijkheden omvatten het registreren van noodsituaties en het escaleren ervan naar gespecialiseerde ingenieurs. Het werk van de technische infrastructuur wordt gecontroleerd door individuele mensen - functionarissen van de infrastructuurdienst. Ook 24x7.
De productiedirecteur en locatiemanager van NORD vertelt de auditors hoeveel mensen er momenteel op de locatie werken.
Wanneer de cijfers zijn uitgezocht, worden de kwalificaties van het team gecontroleerd. Auditors beoordelen willekeurig de personeelsdossiers van ingenieurs om er zeker van te zijn dat ze over de benodigde diploma's, certificaten en autorisatiedocumenten (bijvoorbeeld elektrische veiligheidscertificaten) beschikken om in een bepaalde functie te kunnen werken.
Ook controleren ze hoe wij ons personeel opleiden. Zelfs tijdens de laatste audit maakte ons systeem voor het opleiden van nieuwe technici indruk op UI-specialisten. We besteden drie maanden aan hen als betaalde stage, waarbij we ze kennis laten maken met de processen en principes van het werk in ons datacenter.
Reeds werkende ingenieurs moeten ook regelmatig een opleiding volgen, onder meer over het werken in noodsituaties. Auditors zullen zeker de trainingsprogramma's en het materiaal van dergelijke trainingen controleren, en ook ingenieurs willekeurig onderzoeken. Niemand zal worden gevraagd om over te stappen op een dieselgeneratorset, maar wel om u stap voor stap te vertellen wat er moet gebeuren als de stadsstroom wordt uitgeschakeld. Op basis van de auditresultaten brengen we alle training- en opleidingsprogramma’s naar één standaard, zodat ze niet voor verschillende teams verschillen.
We laten de auditors de pauzeruimte voor ploegingenieurs zien.
Bediening en onderhoud van technische systemen
In dit grote deel van de audit laten we zien dat alle technische apparatuur en systemen regelmatig onderhoud krijgen volgens het door de leveranciers aanbevolen schema, dat het magazijn over de benodigde reserveonderdelen beschikt, geldige serviceovereenkomsten met aannemers heeft en dat elke bewerking met apparatuur zijn eigen procedures en algoritmen voor het werken aan verschillende gevallen.
Mms. Wanneer u tientallen UPS'en, dieselgeneratorsets, airconditioners en andere zaken bedient, moet u alle informatie over deze faciliteit ergens verzamelen. Voor elk apparaat maken we ongeveer het volgende dossier aan:
- model- en serienummer;
- markering;
- technische kenmerken en instellingen;
- installatie locatie;
- data van productie, inbedrijfstelling, vervaldatum van de garantie;
- servicecontracten;
- onderhoudsschema en historie;
- en de hele "medische geschiedenis" - storingen, reparaties.
Hoe en waar al deze informatie moet worden verzameld, is aan elke datacenterexploitant om zelf te beslissen. De gebruikersinterface is niet beperkt in tools. Dit kan een eenvoudige Excel zijn (hier zijn we mee begonnen) of een zelfgeschreven Maintenance Management Systeem (MMS), zoals we nu hebben. Trouwens, , magazijnboekhouding, online loggen, monitoring zijn ook zelfgeschreven.
Voor elk apparaat bestaat zo’n ‘persoonlijk dossier’.
We demonstreerden onze praktijken in dit opzicht, onder meer door het voorbeeld te gebruiken van deze infrastructuur-UPS (foto), die een van zijn onderdelen doneerde aan de UPS die de IT-belasting verzorgde. Ja, volgens de norm kan een dergelijke ‘donatie’ alleen worden uitgevoerd door infrastructuurapparatuur die airconditioners en noodverlichting van stroom voorziet, maar niet door de IT-belasting.
Naderhand vroegen de auditors om het bijbehorende ticket te tonen in de Service Desk:
En het UPS-profiel in MMS:
Reserveonderdelen Voor tijdig onderhoud en noodreparaties van technische apparatuur beschikken wij over eigen reserveonderdelen en accessoires. Er is een algemeen magazijn met grote reserveonderdelen voor apparatuur en kleine kasten met reserveonderdelen in technische ruimtes (zodat je niet ver hoeft te rennen).
Op de foto: we controleren de beschikbaarheid van reserveonderdelen voor de dieselgeneratorset. We telden 12 filters. Vervolgens controleerden we de gegevens in de mms.
Een soortgelijke oefening werd uitgevoerd in het hoofdmagazijn, waar grote reserveonderdelen zijn opgeslagen: compressoren, controllers, automatisering, ventilatoren, stoombevochtigers en honderden andere items. We hebben de markeringen selectief herschreven en via MMS ‘geponst’.
Inventarisgegevens van reserveonderdelen. Rood - Dit is wat ontbreekt en moet worden gekocht.
Preventief onderhoud. Naast onderhoud en reparaties adviseert UI preventief onderhoud uit te voeren. Het helpt een mogelijk ongeval om te zetten in een geplande reparatie. Voor elke parameter configureren we drempelwaarden bij de monitoring. Als deze worden overschreden, ontvangen de verantwoordelijken een alarm en ondernemen zij de nodige acties. Wij:
- We controleren elektrische panelen met een warmtebeeldcamera om snel defecten aan elektrische installaties op te sporen: slecht contact, plaatselijke oververhitting van een geleider of stroomonderbreker.
- We monitoren trillingsindicatoren en het huidige verbruik van koelsysteempompen. Hierdoor kunt u afwijkingen tijdig signaleren en zonder haast vervangingsonderdelen plannen.
- Wij doen brandstof- en olieanalyses van dieselgeneratorsets en compressoren.
- We testen glycol in het koelsysteem op concentratie.
Trillingsdiagram van de pomp voor en na reparatie.
Werken met aannemers. Onderhoud en reparaties aan apparatuur worden uitgevoerd door externe aannemers. Aan onze kant zijn er afzonderlijke specialisten op het gebied van dieselgeneratorsets, airconditioners en UPS die de werking ervan controleren. Zij controleren of aannemers beschikken over de benodigde gereedschappen en materialen voor reparatiewerkzaamheden/onderhoud, beroepscertificaten, elektrische veiligheidscertificaten en vergunningen. Ze accepteren al het werk.
Zo ziet de checklist voor het accepteren van onderhoudswerkzaamheden aan de airconditioner eruit.
Bij het pasjeskantoor controleren wij of de passen zijn afgegeven aan bevoegde vertegenwoordigers van aannemers, of deze op het aangegeven tijdstip onderhoud hebben ondergaan en of zij de regels hebben gelezen.
Documentatie. Gevestigde processen voor het onderhoud van systemen en apparatuur zijn het halve werk. Alle procedures die door mensen in het datacenter worden uitgevoerd, moeten worden gedocumenteerd. Het doel hiervan is simpel: zodat alles niet beperkt blijft tot één specifieke persoon, en in het geval van een ongeval elke ingenieur duidelijke instructies kan nemen en alle noodzakelijke handelingen kan uitvoeren om het ongeval te elimineren.
UI heeft zijn eigen methodologie voor dergelijke documentatie.
Voor eenvoudige en repetitieve activiteiten zijn standaard operationele procedures (SOP's) opgesteld. Er zijn bijvoorbeeld SOP's voor het in- en uitschakelen van de koelmachine en het instellen van de UPS op bypass.
Voor onderhoud of complexe handelingen, zoals het vervangen van batterijen in een UPS, worden onderhoudsprocedures (Methods of Procedures, MOP's) opgesteld. Dit kunnen SOP's zijn. Elk type technische apparatuur moet zijn eigen MOP's hebben.
Ten slotte zijn er Emergency Operating Procedures (EOP’s) – instructies in geval van een noodsituatie. Er wordt een lijst met specifieke noodsituaties opgesteld en er worden instructies voor geschreven. Hier vindt u een deel van de lijst met noodsituaties, waarin de tekenen van een ongeval, acties, verantwoordelijke personen en personen die moeten worden gewaarschuwd, gedetailleerd worden beschreven:
- uitschakelen van de stadsstroomvoorziening: dieselgeneratorsets startten/startten niet;
- UPS-ongevallen;
- ongevallen met het monitoringsysteem van het datacenter;
- oververhitting van de machinekamer;
- lekkage van het koelsysteem;
- storing in netwerk- en computerapparatuur;
en zo verder.
Het samenstellen van een dergelijke hoeveelheid documentatie is op zichzelf een arbeidsintensieve taak. Nog lastiger is het om het up-to-date te houden (auditors controleren dit overigens ook). En het allerbelangrijkste: het personeel moet deze instructies kennen, ernaar handelen en indien nodig verbeteringen aanbrengen.
Ja, instructies moeten beschikbaar zijn waar ze nodig kunnen zijn, en mogen niet alleen maar stof vergaren in de archieven.
Toelichting op wijzigingen in de onderhoudsvoorschriften voor datacentertechnische systemen.
Tijdens de audit kijken ze ook naar technische documentatie over systemen, uitvoerende en werkdocumentatie en handelingen voor het in bedrijf stellen van systemen.
Markering. Terwijl ze door het datacenter liepen, controleerden ze het overal waar ze maar konden. Waar ze niet bij konden, bereikten ze vanaf een trap :). We hebben gekeken naar de aanwezigheid ervan op elk schakelbord, machine en klep. Wij controleerden de uniciteit, eenduidigheid en conformiteit met de geldende schema’s van de as-built documentatie. Op de onderstaande foto: we bevinden ons in de pompkamer voor de brandstofopslag en vergelijken de markeringen op de magneetkleppen met het diagram van de as-built documentatie.
Alles was het met haar eens, maar met het lokale 'decoratieve' axonometrische diagram aan de muur in één parameter viel het niet samen.
Diagrammen van de systemen die zich daar bevinden, moeten ook in de gebouwen van het datacenter worden opgehangen. Bij een ongeval helpen ze u snel te achterhalen waar alles is en een weloverwogen beslissing te nemen. De foto toont bijvoorbeeld een enkellijnsschema in de hoofdschakelkamer.
De relevantie van de diagrammen werd op de volgende manier gecontroleerd: ze noemden de elementmarkering op het diagram en vroegen om deze “in het echt” te laten zien.
Hier maakt de auditor foto's van de instellingen (instellingen) van de ingangsschakelaar van het hoofdschakelbord, om deze later te vergelijken met de indicatoren op het enkellijnsdiagram op papier en elektronische kopieën. Op een van de machines, QF-3, kwam de indicator niet overeen met het papieren diagram en verdienden we een strafpunt. Nu zullen twee ingenieurs controleren of de markeringen in enkellijnige diagrammen overeenkomen met het feit.
Dit is niet het enige wat de auditors controleerden op het gebied van de dienstverleningsprocessen. Dit was wat er nog meer op de agenda stond:
- controlesysteem. Hier verdienden we karmavoordelen met goede visualisatie, de aanwezigheid van een mobiele applicatie en situationele schermen geplaatst in de wandelgangen van datacenters. Hier schreven we uitgebreid over hoe wij werken .
Dit is het MCC met visuele informatie over de status van de belangrijkste technische systemen van NORD-4 en onze andere datacenters die op de locatie werken. - levenscyclusplanning van technische apparatuur;
- capaciteitsbeheer ();
- budgetteren (wat gepraat );
- procedure voor analyse van ongevallen;
- het proces van acceptatie, inbedrijfstelling en testen van apparatuur (we schreven over tests ).
Waar keek de gebruikersinterface nog meer naar?
Beveiliging en toegangscontrole. Bij de audit wordt ook de werking van de veiligheids- en beveiligingssystemen gecontroleerd. De auditor probeerde bijvoorbeeld een van de panden binnen te dringen waar hij geen toegang toe had, en controleerde vervolgens of dit terug te zien was in het toegangscontrolesysteem en of de beveiliging hiervan op de hoogte was gesteld (spoiler - dat was het).
Als in onze datacenters de deur van een bepaalde ruimte langer dan twee minuten open blijft staan, wordt er een alarm geactiveerd bij de beveiligingspost. Om dit te testen, openden auditors een van de deuren met een brandblusser. Het is waar dat we nooit een sirene hebben gekregen - de beveiliging zag via videocamera's dat er iets mis was en arriveerde eerder op de "plaats delict".
Orde en netheid. Auditors zoeken naar stof, apparatuurdozen die chaotisch rondslingeren en hoe vaak het pand wordt schoongemaakt. Hier raakten de auditors bijvoorbeeld geïnteresseerd in een ongeïdentificeerd object in de ventilatiegang. Dit is een blok van het ventilatiesysteem, dat zich al aan het voorbereiden was om zijn plaats in te nemen. Maar ze vroegen me toch om te tekenen.
Ook wat betreft orde in het datacenter: deze kasten met alle benodigde hulpmiddelen voor noodwerkzaamheden aan de apparatuur bevinden zich in de hoofdschakelkamer.
Location. Het datacenter wordt beoordeeld op basis van de locatieomstandigheden: of er militaire bases, luchthavens, rivieren, vulkanen en andere gevaarlijke objecten in de buurt zijn. Op de foto laten we alleen zien dat er sinds de laatste certificering in 2017 geen kerncentrales of olieopslagfaciliteiten rond het datacenter zijn gegroeid. Maar daar wordt een nieuw NORD-5-datacenter gebouwd, dat ook aan alle niveaus van het Uptime Institute Tier III-certificering zal moeten voldoen. Maar dat is een heel ander verhaal).
Bron: www.habr.com