Käyttöosaston johtaja kiipesi maanalaisen polttoainevaraston luukkuun näyttämään magneettiventtiilin merkinnät.
Helmikuun alussa suurin Tier III -palvelinkeskuksemme Uptime Instituten (UI) sertifioima Operational Sustainability -standardin mukaisesti. Tänään kerromme, mitä tilintarkastajat katsovat ja mihin tuloksiin olemme päässeet.
Niille, jotka tuntevat datakeskukset, käydään lyhyesti läpi laitteisto. arvioi ja sertifioi datakeskukset kolmessa vaiheessa:
- projekti (Design): projektidokumentaation paketti tarkistetaan.Tässä tuttu . Niitä on yhteensä 4: Taso I–IV. Jälkimmäinen on vastaavasti korkein.
- rakennettu laitos (Facility): konesalin tekninen infrastruktuuri tarkistetaan ja sen yhteensopivuus projektin kanssa. Palvelinkeskus tarkastetaan täydellä suunnittelukuormalla erilaisilla testeillä, joiden sisältö on suunnilleen seuraava: yksi UPS-laitteista (DGS, jäähdyttimet, tarkkuusilmastointilaitteet, jakelukaapit, virtakiskot jne.) poistetaan käytöstä huoltoa tai korjausta varten. , ja kaupungin virtalähde on kytketty pois päältä. Tier III:n ja sitä korkeampien datakeskusten pitäisi pystyä käsittelemään tilannetta ilman, että se vaikuttaa IT-hyötykuormaan.
Tila voidaan ottaa käyttöön, jos palvelinkeskus on jo läpäissyt suunnittelusertifikaatin.
NORD-4 sai suunnittelusertifikaatin vuonna 2015 ja Facility vuonna 2016. - Toiminnan kestävyys. Itse asiassa tärkein ja monimutkaisin sertifiointi. Se arvioi kattavasti operaattorin prosesseja ja pätevyyttä vakiintuneen tason palvelinkeskuksen ylläpidossa ja hallinnassa (operatiivisen kestävyyden läpäisemiseksi sinulla on jo oltava Facility-sertifikaatti). Loppujen lopuksi ilman asianmukaisesti jäsenneltyjä toimintaprosesseja ja pätevää tiimiä jopa Tier IV -palvelinkeskus voi muuttua hyödyttömäksi rakennukseksi erittäin kalliilla laitteilla.
Täällä on myös tasoja: pronssi, hopea ja kulta. Viimeisessä uudelleensertifioinnissa sijoituimme 88,95 pisteeseen 100 mahdollisesta pisteestä, ja tämä on hopea. Se jäi vain Goldin alle - 1,05 pistettä.
Kuinka tarkistaa, että tarvittavat prosessit on rakennettu ja toimivat niin kuin pitää? Lisäksi kuinka se tehdään kahdessa päivässä - niin kauan kestää uudelleensertifiointi. Lyhyesti sanottuna sertifiointi perustuu määräysten kirjoitetun huolelliseen vertailuun, tarinoihin "miten kaikki toimii" ja todellisiin käytäntöihin. Tietoja jälkimmäisestä saadaan palvelinkeskuksen läpikäynneistä ja keskusteluista palvelinkeskusten insinöörien kanssa - "vastakkainasetteluista", kuten niitä hellästi kutsumme. Sitä he katsovat.
Joukkue
Ensinnäkin käyttöliittymän tarkastajat tarkistavat, onko palvelinkeskuksessa riittävästi tukihenkilöstöä. He ottavat henkilöstötaulukon, työaikataulun ja tarkistavat sen valikoivasti vuororaporttien ja kulunvalvontatietojen avulla varmistaakseen, että tarvittava määrä insinöörejä oli todella paikalla sinä päivänä.
Tilintarkastajat seuraavat tarkasti myös ylityötuntien määrää. Näin tapahtuu joskus, kun suuri asiakas tulee sisään ja kymmeniä telineitä on asennettava samanaikaisesti. Tällaisina hetkinä kaverit muista vuoroista tulevat apuun, ja heille maksetaan tästä ylimääräistä rahaa.
NORD-4:llä työskentelee 7 insinööriä per vuoro: 6 päivystyksessä ja yksi vanhempi insinööri. Nämä ovat niitä, jotka valvovat 24x7-seurantaa, tapaavat asiakkaita, auttavat laitteiden asennuksessa ja muissa rutiinipyynnöissä. Tämä on asiakkaan teknisen tuen ensimmäinen rivi. Heidän velvollisuuksiinsa kuuluu hätätilanteiden tallentaminen ja niiden eskalointi erikoistuneille insinööreille. Infrastruktuurin työtä valvovat yksittäiset ihmiset - infrastruktuurin päivystäjä. Myös 24x7.
NORDin tuotantojohtaja ja työmaapäällikkö kertoo tarkastajille, kuinka monta henkilöä työmaalla on tällä hetkellä töissä.
Kun numerot on selvitetty, joukkueen pätevyys tarkistetaan. Tarkastajat tarkistavat satunnaisesti insinöörien henkilöstötiedostot varmistaakseen, että heillä on tarvittavat tutkintotodistukset, todistukset ja valtuutusasiakirjat (esimerkiksi sähköturvallisuustodistukset) työskennellä tietyssä tehtävässä.
He myös tarkistavat, kuinka koulutamme henkilökuntaamme. Jo edellisen auditoinnin aikana uusien päivystysinsinöörien koulutusjärjestelmämme teki vaikutuksen käyttöliittymäasiantuntijoihin. Vietämme heille kolme kuukautta palkallisena työharjoitteluna, jonka aikana esittelemme heille konesalissamme työskentelyn prosesseja ja periaatteita.
Jo työskentelevien insinöörien on myös saatava säännöllisesti koulutusta, mukaan lukien työskentely hätätilanteissa. Tilintarkastajat tarkistavat ehdottomasti tällaisten koulutusten koulutusohjelmat ja materiaalit sekä tutkivat satunnaisesti insinöörejä. Ketään ei pyydetä vaihtamaan dieselgeneraattorisarjaan, vaan heitä pyydetään kertomaan askel askeleelta, mitä tulee tehdä, kun kaupungin sähkönsyöttö katkaistaan. Tarkastustulosten perusteella kokoamme kaikki koulutusohjelmat yhteen standardiin, jotta ne eivät eroa eri tiimeissä.
Näytämme tilintarkastajille vuoroinsinöörien taukohuoneen.
Teknisten järjestelmien käyttö ja huolto
Tässä auditoinnin laajassa osiossa näytämme, että kaikki suunnittelulaitteet ja järjestelmät huolletaan säännöllisesti toimittajien suositteleman aikataulun mukaisesti, varastossa on tarvittavat varaosat, voimassa olevat huoltosopimukset urakoitsijoiden kanssa ja jokaisella laitteistooperaatiolla on omansa. menettelyt ja algoritmit eri tapausten käsittelyä varten.
mms Kun käytät kymmeniä UPS-laitteita, dieselgeneraattoreita, ilmastointilaitteita ja muita asioita, sinun on kerättävä kaikki tiedot tästä laitoksesta jonnekin. Luomme jokaiselle laitteelle suunnilleen seuraavan asiakirjan:
- malli ja sarjanumero;
- merkintä;
- tekniset ominaisuudet ja asetukset;
- asennuspaikka;
- valmistuspäivät, käyttöönotto, takuun päättyminen;
- palvelusopimukset;
- huoltoaikataulu ja -historia;
- ja koko "sairauksien historia" - viat, korjaukset.
Se, miten ja mihin nämä tiedot kerätään, on jokaisen konesalioperaattorin päätettävissä itse. Käyttöliittymä ei ole rajoitettu työkaluihin. Tämä voi olla yksinkertainen Excel (sillä aloitimme) tai itse kirjoitettu ylläpidon hallintajärjestelmä (MMS), kuten meillä on nyt. Muuten, , varastokirjanpito, online-loki, seuranta ovat myös itse kirjoitettuja.
Jokaiselle laitteelle on olemassa tällainen "henkilökohtainen tiedosto".
Esitimme käytäntöjämme tässä suhteessa, muun muassa käyttämällä esimerkkiä tämän infrastruktuurin UPS:stä (kuvassa), joka lahjoitti yhden osistaan IT-kuormaa palvelevalle UPS:lle. Kyllä, standardin mukaan tällaisen "lahjoituksen" voivat suorittaa vain ilmastointilaitteet ja hätävalaistus toimivat infrastruktuurilaitteet, mutta eivät IT-kuormaa.
Jälkeenpäin tilintarkastajat pyysivät näyttämään vastaavan lipun palvelupisteessä:
Ja UPS-profiili multimediaviestissä:
Varaosat Teknisten laitteiden oikea-aikaista huoltoa ja hätäkorjauksia varten pidämme omat varaosat ja tarvikkeet. Konepajahuoneissa on yleisvarasto, jossa on isot varaosat kalustolle ja pienet kaapit varaosineen (jotta ei tarvitse juosta kauas).
Kuvassa: tarkistamme dieselgeneraattorisarjan varaosien saatavuuden. Laskemme 12 suodatinta. Sitten tarkistimme MMS-viestin tiedot.
Samanlainen harjoitus tehtiin päävarastossa, jossa säilytetään suuria varaosia: kompressorit, säätimet, automaatio, tuulettimet, höyrykostuttimet ja satoja muita tavaroita. Kirjoitimme valikoivasti merkinnät uudelleen ja "lävistimme" ne MMS-viestillä.
Varaosien varastotiedot. Punainen - Tämä puuttuu ja pitää ostaa.
Ennaltaehkäisevä huolto. Huollon ja korjausten lisäksi käyttöliittymä suosittelee ennaltaehkäisevää huoltoa. Se auttaa muuttamaan mahdollisen onnettomuuden suunnitelluksi korjaukseksi. Kullekin parametrille määritämme kynnysarvot valvonnassa. Jos ne ylittyvät, vastuuhenkilöt saavat hälytyksen ja ryhtyvät tarvittaviin toimenpiteisiin. Esimerkiksi me:
- Tarkistamme sähköpaneelit lämpökameralla, jotta voimme nopeasti havaita sähköasennuksissa olevat viat: huono kontakti, paikallinen johtimen tai katkaisijan ylikuumeneminen.
- Seuraamme jäähdytysjärjestelmän pumppujen tärinäosoittimia ja virrankulutusta. Näin voit tunnistaa poikkeamat ajoissa ja suunnitella varaosia ilman kiirettä.
- Teemme dieselgeneraattoreiden ja kompressorien polttoaine- ja öljyanalyysit.
- Testaamme jäähdytysjärjestelmän glykolin pitoisuutta.
Pumpun tärinäkaavio ennen ja jälkeen korjauksen.
Työskentely urakoitsijoiden kanssa. Laitteiden huollot ja korjaukset tekevät ulkopuoliset urakoitsijat. Meidän puolellamme on erilliset dieselgeneraattorisarjojen, ilmastointilaitteiden ja UPS:n asiantuntijat, jotka ohjaavat niiden toimintaa. He tarkistavat, onko urakoitsijoilla korjaustyöhön/huoltoon tarvittavat työkalut ja materiaalit, ammattitodistukset, sähköturvallisuustodistukset ja luvat. He ottavat vastaan kaiken työn.
Tältä näyttää ilmastointilaitteiden huoltotöiden hyväksymisen tarkistuslista.
Passissa tarkastetaan, onko kulkukortteja myönnetty urakoitsijoiden valtuutetuille edustajille, onko niille tehty huoltoa sovittuna aikana ja ovatko he lukeneet säännöt.
Dokumentointi. Vakiintuneet prosessit järjestelmien ja laitteiden ylläpitoon ovat puoli voittoa. Kaikki ihmisten palvelinkeskuksessa suorittamat toimenpiteet on dokumentoitava. Tämän tarkoitus on yksinkertainen: jotta kaikki ei rajoitu yhteen tiettyyn henkilöön, ja onnettomuuden sattuessa kuka tahansa insinööri voi ottaa selkeät ohjeet ja tehdä kaikki tarvittavat toimenpiteet sen poistamiseksi.
Käyttöliittymällä on oma menetelmänsä tällaista dokumentointia varten.
Yksinkertaisia ja toistuvia toimintoja varten laaditaan vakiotoimintamenettelyt (SOP). Esimerkiksi jäähdyttimen kytkemiseen päälle/pois ja UPS:n asettamiseen ohitukseen on olemassa SOP-ohjeita.
Huoltotoimenpiteitä tai monimutkaisia toimintoja, kuten UPS:n akkujen vaihtamista varten, luodaan huoltomenettelyt (Methods of Procedures, MOPs). Näihin voi sisältyä SOP:ita. Jokaisella teknisillä laitteilla on oltava omat MOP:t.
Lopuksi on olemassa Emergency Operating Procedures (EOP) – ohjeet hätätilanteessa. Erityisistä hätätilanteista laaditaan luettelo ja niitä varten kirjoitetaan ohjeet. Tässä on osa hätätilanteiden luetteloa, jossa kerrotaan yksityiskohtaisesti onnettomuuden merkit, toimet, vastuuhenkilöt ja henkilöt, joista on ilmoitettava:
- kaupungin sähkönsyötön sammutus: dieselgeneraattorit käynnistyivät/ei käynnistyneet;
- UPS-onnettomuudet;
- onnettomuudet datakeskuksen valvontajärjestelmässä;
- konehuoneen ylikuumeneminen;
- jäähdytysjärjestelmän vuoto;
- vika verkossa ja tietokonelaitteissa;
ja niin edelleen.
Tällaisen dokumentaation kokoaminen on sinänsä työvaltainen tehtävä. Sitä on vielä vaikeampi pitää ajan tasalla (muuten, myös tilintarkastajat tarkistavat tämän). Ja mikä tärkeintä, henkilöstön tulee tuntea nämä ohjeet, toimia niiden mukaan ja tehdä parannuksia tarvittaessa.
Kyllä, ohjeet pitäisi olla saatavilla siellä, missä niitä tarvitaan, eikä vain kerätä pölyä arkistoon.
Huomautuksia konesalisuunnittelujärjestelmien ylläpitomääräysten muutoksista.
Auditoinnissa tarkastellaan myös järjestelmien teknistä dokumentaatiota, toimeenpano- ja työdokumentaatiota sekä järjestelmien käyttöönottotoimia.
Merkintä. Kävellessään ympäri palvelinkeskusta he tarkistivat sen kaikkialla, missä he pääsivät käsiksi. Mihin he eivät päässeet, he pääsivät tikkailta :). Tarkastelimme sen läsnäoloa jokaisessa kytkintaulussa, koneessa ja venttiilissä. Tarkistimme valmiin dokumentaation ainutlaatuisuuden, yksiselitteisyyden ja nykyisten suunnitelmien mukaisuuden. Alla olevassa kuvassa: olemme polttoainevaraston pumppuhuoneessa vertaamassa magneettiventtiilien merkintöjä valmiin dokumentaation kaavioon.
Kaikki oli hänen kanssaan samaa mieltä, mutta seinällä olevan paikallisen "koristeellisen" aksonometrisen kaavion kanssa yhdessä parametrissa se ei osunut yhteen.
Myös siellä sijaitsevien järjestelmien kaaviot tulee laittaa palvelinkeskuksen tiloihin. Onnettomuuden sattuessa he auttavat sinua nopeasti selvittämään, missä kaikki on, ja tekemään tietoisen päätöksen. Kuvassa on esimerkiksi yksirivinen kaavio pääkeskuksen huoneessa.
Kaavioiden relevanssi tarkistettiin seuraavasti: kaaviossa oleva elementtimerkintä nimettiin ja pyydettiin näyttämään se "oikeassa elämässä".
Täällä tarkastaja ottaa valokuvia pääkytkimen tulokatkaisijan asetuksista (asetuksista), jotta niitä voidaan myöhemmin verrata yksirivisen kaavion indikaattoreihin paperilla ja sähköisessä muodossa. Yhdessä koneessa, QF-3, indikaattori ei vastannut paperikaaviota, ja saimme rangaistuspisteen. Nyt kaksi insinööriä tarkistaa, vastaavatko yksirivisten kaavioiden merkinnät tosiasiaa.
Tämä ei ole kaikki, mitä tilintarkastajat tarkastivat palveluprosessien osalta. Tässä vielä, mitä asialistalla oli:
- valvontajärjestelmä. Täällä ansaittiin karmaetuja hyvällä visualisoinnilla, mobiilisovelluksella ja palvelinkeskusten käytäviin sijoitetuilla tilannenäytöillä. Täällä kirjoitimme yksityiskohtaisesti siitä, kuinka toimimme .
Tämä on MCC, joka sisältää visuaalista tietoa NORD-4:n ja muiden sivustolla toimivien palvelinkeskustemme tärkeimpien suunnittelujärjestelmien tilasta. - teknisten laitteiden elinkaaren suunnittelu;
- kapasiteetin hallinta ();
- budjetointi (juttu vähän );
- onnettomuusanalyysimenettely;
- laitteiden hyväksymis-, käyttöönotto- ja testausprosessi (kirjoitimme testeistä ).
Mitä muuta käyttöliittymä katsoi?
Turvallisuus ja kulunvalvonta. Tarkastuksessa tarkastetaan myös turvallisuus- ja turvajärjestelmien toiminta. Esimerkiksi tarkastaja yritti päästä johonkin sellaiseen tilaan, johon hänellä ei ollut pääsyä, ja sitten tarkisti, näkyikö tämä kulunvalvontajärjestelmässä ja oliko tästä vartijalle ilmoitettu (spoileri - oli).
Jos palvelinkeskuksissamme minkä tahansa huoneen ovi pysyy auki yli kaksi minuuttia, turvapisteessä annetaan hälytys. Tämän testaamiseksi auditoijat avasivat yhden ovista palosammuttimella. Totta, emme koskaan saaneet sireeniä - vartijat näkivät videokameroiden kautta jotain vialla ja saapuivat "rikospaikalle" aikaisemmin.
Järjestys ja siisteys. Tilintarkastajat etsivät pölyä, kaoottisesti makaavia laitelaatikoita ja kuinka usein tiloja siivotaan. Täällä esimerkiksi tarkastajat kiinnostuivat tuntemattomasta esineestä ilmanvaihtokäytävässä. Tämä on korttelin päässä ilmanvaihtojärjestelmästä, joka valmistautui jo ottamaan paikkansa. Mutta silti he pyysivät minua allekirjoittamaan.
Myös palvelinkeskuksen tilausaiheesta - nämä kaapit, joissa on kaikki tarvittavat työkalut laitteiden hätätöihin, sijaitsevat pääkytkinhuoneessa.
Sijainti. Palvelinkeskusta arvioidaan sijaintiolosuhteiden perusteella - onko lähellä sotilastukikohtia, lentokenttiä, jokia, tulivuoria ja muita vaarallisia kohteita. Kuvassa näytämme vain, että viimeisimmän sertifioinnin vuonna 2017 jälkeen palvelinkeskuksen ympärille ei ole kasvanut ydinvoimaloita tai öljyvarastoja. Mutta sinne rakennetaan uutta NORD-5-palvelinkeskusta, jonka on myös läpäistävä kaikki Uptime Institute Tier III -sertifiointitasot. Mutta se on täysin eri tarina).
Lähde: will.com