Stel je voor dat je een volledige serverruimte met technische apparatuur hebt: enkele tientallen airconditioners, een aantal dieselgeneratorsets en ononderbroken stroomvoorzieningen. Om de hardware naar behoren te laten werken, controleert u regelmatig de prestaties ervan en vergeet u preventief onderhoud niet: voer testritten uit, controleer het oliepeil, vervang onderdelen. Zelfs voor één serverruimte moet u veel informatie opslaan: een register van apparatuur, een lijst met verbruiksartikelen in het magazijn, een schema voor preventief onderhoud, maar ook garantiedocumenten, contracten met leveranciers en aannemers.
Laten we nu het aantal zalen vermenigvuldigen met tien. Er deden zich logistieke problemen voor. In welk magazijn moet je wat opslaan, zodat je niet achter elk reserveonderdeel aan hoeft te rennen? Hoe kunt u de voorraden tijdig aanvullen, zodat ongeplande reparaties u niet verrassen? Als er veel apparatuur is, is het onmogelijk om al het technische werk in je hoofd te houden, en moeilijk op papier. Dit is waar MMS, of onderhoudsbeheersysteem, te hulp komt.
Bij MMS maken we schema's voor preventie- en reparatiewerkzaamheden en slaan we instructies op voor monteurs. Niet alle datacenters beschikken over een dergelijk systeem; velen vinden het een te dure oplossing. Maar uit eigen ervaring zijn wij daar van overtuigd Het gaat niet om het instrument, maar om de aanpak om met informatie te werken. We creëerden het eerste systeem in Excel en ontwikkelden het geleidelijk tot een softwareproduct.
Met we besloten onze ervaring met het ontwikkelen van onze eigen MMS te delen. Ik zal laten zien hoe het systeem zich ontwikkelde en hoe het heeft bijgedragen aan de introductie van de beste onderhoudspraktijken. Alexey zal je vertellen hoe hij MMS heeft geërfd, wat er in deze periode is veranderd en hoe het systeem het leven van ingenieurs nu gemakkelijker maakt.
Hoe we tot onze eigen MMS kwamen
Eerst waren er mappen. 8-10 jaar geleden werd informatie in verspreide vorm opgeslagen. Na het onderhoud ondertekenden we rapporten van voltooide werkzaamheden, bewaarden we papieren originelen in archieven en scanden we kopieën in netwerkmappen. Op dezelfde manier werd informatie over reserveonderdelen: reserveonderdelen, gereedschappen en accessoires verzameld in mappen, opgesplitst per uitrusting. Dit is hoe je kunt leven als je een structuur en toegangsniveaus voor deze mappen bouwt.
Maar dan heb je drie problemen:
- navigatie: het duurt lang om tussen verschillende mappen te schakelen. Als je reparaties aan specifieke apparatuur over meerdere jaren wilt zien, zul je veel klikken moeten maken.
- statistieken: je zult het niet hebben, en zonder dat is het moeilijk te voorspellen hoe snel verschillende apparatuur kapot gaat of hoeveel reserveonderdelen je voor volgend jaar moet plannen.
- tijdige reactie: niemand zal u eraan herinneren dat onderdelen al bijna op zijn en opnieuw moeten worden besteld. Het is ook niet vanzelfsprekend dat dit niet de eerste keer is dat dezelfde apparatuur uitvalt.
Een tijdje hebben we dit soort documenten bewaard, maar toen ontdekten we Excel :)
MMS naar Excel. In de loop van de tijd is de documentatiestructuur gemigreerd naar Excel. Het was gebaseerd op een lijst met apparatuur, met daaraan gekoppeld onderhoudsschema's, checklists en links naar voltooiingscertificaten:
De lijst met apparatuur gaf de belangrijkste kenmerken en locatie in het datacenter aan:
Het resultaat is een soort navigator waaruit u snel begrijpt wat er met de apparatuur en het onderhoud ervan gebeurt. Indien nodig kunt u via de links individuele handelingen uit het onderhoudsschema bekijken:
Als u gewetensvol een document in Excel bijhoudt, is de oplossing zeer geschikt voor een kleine serverruimte. Maar het is ook tijdelijk. Zelfs als we één airconditioner gebruiken en één keer per maand onderhoud plegen, zullen we over vijf jaar honderden fouten verzamelen en zal onze Excel toenemen. Als u nog een airconditioner, één dieselgenerator, één UPS toevoegt, moet u meerdere bladen maken en deze aan elkaar koppelen. Hoe langer het verhaal, hoe lastiger het is om meteen de benodigde informatie te pakken te krijgen.
Het eerste "volwassen" systeem. In 2014 ondergingen wij de eerste Management & Operations audit volgens de Operational Sustainability standaarden van het Uptime Institute. We hebben vrijwel hetzelfde Excel-programma doorlopen, maar in de loop van een jaar hebben we het sterk verbeterd: we hebben links toegevoegd naar instructies en checklists voor engineers. De controleurs vonden dit format behoorlijk werkbaar. Ze konden alle handelingen met de apparatuur volgen en ervoor zorgen dat de informatie up-to-date was en dat de processen op orde waren. De audit verliep vervolgens met een knal en scoorde 92 van de 100 mogelijke punten.
De vraag rees: hoe verder te leven. We besloten dat we een ‘serieuze’ MMS nodig hadden, keken naar verschillende betaalde programma’s, maar besloten uiteindelijk de software zelf te schrijven. Hetzelfde Excel werd gebruikt als uitgebreide technische specificatie. Dit zijn de taken die we voor MMS hebben ingesteld.
Wat we wilden van MMS
In de meeste gevallen bestaat MMS uit een reeks mappen en rapporten. Onze directoryhiërarchie ziet er ongeveer zo uit:
Het allereerste naslagwerk op topniveau is dat wel lijst met gebouwen: machinekamers, magazijnen waar apparatuur staat.
Het volgende komt lijst met technische apparatuur. We hebben het verzameld volgens de volgende systemen:
- Airconditioningsysteem: airconditioners, koelmachines, pompen.
- Voedingssysteem: UPS, dieselgeneratorsets, verdeelborden.
Voor elk apparaat verzamelen we basisgegevens: type, model, serienummer, fabrikantgegevens, bouwjaar, datum van inbedrijfstelling, garantieperiode.
Wanneer we de lijst met apparatuur hebben ingevuld, maken we deze op onderhoudsprogramma: hoe en hoe vaak onderhoud uitvoeren. In het onderhoudsprogramma dat we beschrijven reeks operatiesbijvoorbeeld: vervang deze batterij, pas de werking van een specifiek onderdeel aan, enzovoort. De werkzaamheden beschrijven wij in een apart naslagwerk. Als een bewerking in verschillende programma's wordt herhaald, is het niet nodig om deze elke keer opnieuw te beschrijven - we nemen eenvoudigweg een kant-en-klaar exemplaar uit het naslagwerk:
De handelingen “Temperatuurinstelpunten wijzigen” en “Snelle kabelverbindingen vervangen” zullen gebruikelijk zijn voor koelmachines en airconditioningsystemen van dezelfde fabrikant.
Nu kunnen we voor elke apparatuur creëren onderhoudsschema. We koppelen het onderhoudsprogramma aan specifieke apparatuur, het systeem kijkt in het programma zelf hoe vaak er onderhoud moet plaatsvinden en berekent de werktijd vanaf de inbedrijfstellingsdatum:
U kunt het opstellen van een dergelijke planning zelfs automatiseren met behulp van Excel-formules.
Niet geheel voor de hand liggend verhaal: we onderhouden een aparte directory uitgesteld werk. Het schema is een schema, maar we zijn allemaal levende mensen en we begrijpen dat er van alles kan gebeuren. Een verbruiksartikel is bijvoorbeeld niet op tijd aangekomen en de service moet een week worden uitgesteld. Dit is een normale situatie als je er goed op let. We houden statistieken bij over uitgesteld en onvoltooid werk en proberen ervoor te zorgen dat onderhoudsannuleringen vrijwel nul zijn.
Er worden ook statistieken bijgehouden voor elke apparatuur ongevallen en ongeplande reparaties. We gebruiken statistieken om aankopen te plannen en zwakke punten in de infrastructuur te vinden. Als een compressor bijvoorbeeld drie keer achter elkaar op dezelfde plek doorbrandt, is dit een signaal om op zoek te gaan naar de oorzaak van de storing.
Deze geschiedenis van onderhoud en reparaties heeft zich voor een specifieke airconditioner gedurende 4 jaar verzameld.
De volgende gids is Reserveonderdelen. Er wordt rekening gehouden met welke verbruiksartikelen nodig zijn voor de apparatuur, waar en in welke hoeveelheid deze zijn opgeslagen. Hier slaan we ook informatie op over levertijden om aankomsten in het magazijn beter te kunnen plannen.
Het aantal reserveonderdelen berekenen wij uit de jaarlijkse reparatiestatistieken per apparaat. Voor alle reserveonderdelen geven we het minimumsaldo aan: welke reserveonderdelen er minimaal nodig zijn in elke vestiging. Als de reserveonderdelen bijna op zijn, wordt het aantal ervan in de directory gemarkeerd:
Het minimale saldo van hogedruksensoren moet minimaal twee zijn, maar er is er nog maar één over. Het is nu tijd om een bestelling te plaatsen.
Zodra er een zending reserveonderdelen arriveert, vullen wij het register in met de gegevens van de factuur en geven we de opslaglocatie aan. We zien meteen het huidige saldo van dergelijke reserveonderdelen in het magazijn:
Wij houden een aparte lijst met contacten bij. Wij voeren daarin de gegevens in van leveranciers en opdrachtnemers die onderhoud uitvoeren:
Certificaten en groepen voor elektrische veiligheidsmachtigingen zijn bij de kaart van elke aannemer-ingenieur gevoegd. Bij het opstellen van een planning kunnen wij zien welke specialisten over de benodigde bevoegdheid beschikken.
Sinds het bestaan van MMS is het werken met terreinvergunningen veranderd. Zo zijn er documenten toegevoegd met methodologische instructies voor het uitvoeren van onderhoud. Als voorheen een reeks operaties in een kleine checklist paste, omvatten gedetailleerde instructies alles: hoe u zich moet voorbereiden, welke voorwaarden nodig zijn, enzovoort.
Hij zal aan de hand van een voorbeeld vertellen hoe het hele proces nu werkt. .
Hoe werkt het onderhoud in MMS?
Er was eens lang geleden voltooid werk dat achteraf werd gedocumenteerd. We hebben eenvoudigweg onderhoud uitgevoerd en daarna een certificaat van voltooiing van de werkzaamheden ondertekend. 99% van de servers doet dit, maar uit ervaring is dit niet genoeg. Om niets te vergeten, vormen we eerst werkvergunning. Dit is een document waarin de werkzaamheden en de voorwaarden voor de uitvoering ervan worden beschreven. Elk onderhoud en reparatie aan ons systeem begint ermee. Hoe gebeurde dit:
- In het onderhoudsschema kijken we naar de volgende geplande werkzaamheden:
- Wij maken een nieuwe vergunning aan. Wij selecteren een onderhoudsaannemer die van onze kant het proces beheert en de werkzaamheden met ons coördineert. We geven aan waar en wanneer de werkzaamheden zullen plaatsvinden, selecteren het type apparatuur en het programma dat we zullen volgen:
- Nadat u de kaart hebt opgeslagen, gaat u verder met de details. Wij wijzen de aannemer aan en controleren of hij toestemming heeft om de benodigde werkzaamheden uit te voeren. Als er geen toestemming is, wordt het veld rood gemarkeerd en kunt u geen werkorder afgeven:
- Wij geven specifieke apparatuur aan. Afhankelijk van het soort werk worden in het onderhoudsprogramma voorbereidende activiteiten voorgeschreven, bijvoorbeeld: brandstof bestellen op de locatie, een introductiebriefing voor monteurs plannen en collega's op de hoogte stellen. De lijst met activiteiten verschijnt automatisch, maar we kunnen onze eigen items toevoegen , alles is vrij flexibel:
- We bewaren de bestelling, sturen een brief naar de goedkeurende persoon en wachten op zijn reactie:
- Wanneer de monteur arriveert, printen wij de werkbon rechtstreeks vanuit het systeem.
- De werkorder bevat een checklist met handelingen voor het onderhoudsprogramma. De werkmanager van het datacenter controleert het onderhoud en controleert de vakjes.
Een korte checklist was een tijdje voldoende. Vervolgens introduceerden we methodologische instructies, of MOP (werkwijze). Met behulp van een dergelijk document kan elke gecertificeerde ingenieur alle apparatuur inspecteren.
Alles wordt zo gedetailleerd mogelijk beschreven, tot en met sjablonen voor meldingsbrieven en weersomstandigheden:
Het afgedrukte document ziet er als volgt uit:
Volgens de normen van het Uptime Institute zou er voor alle activiteiten een dergelijke MOP moeten zijn. Dit is een behoorlijk grote hoeveelheid documentatie. Op basis van de ervaring raden wij aan deze geleidelijk te ontwikkelen, bijvoorbeeld één MOP per maand.
- Na de werkzaamheden geeft de ingenieur een certificaat van voltooiing af. Wij scannen het en plakken het op de kaart, samen met scans van andere documenten: vergunning en MOP.
- In de werkorder noteren wij de uitgevoerde werkzaamheden:
- De materieelkaart bevat de onderhoudshistorie:
We hebben laten zien hoe ons systeem nu werkt. Maar het werk aan MMS is nog niet voorbij: er zijn al verschillende verbeteringen gepland. Tegenwoordig slaan we bijvoorbeeld veel informatie op in scans. In de toekomst zijn we van plan om het onderhoud papierloos te maken: sluit een mobiele applicatie aan waar de monteur de vakjes kan aanvinken en de informatie onmiddellijk op een kaart kan opslaan.
Natuurlijk zijn er veel kant-en-klare producten op de markt met vergelijkbare functies. Maar we wilden laten zien dat zelfs een klein Excel-bestand kan worden ontwikkeld tot een volwaardig product. U kunt dit zelf doen of aannemers inschakelen, het belangrijkste is de juiste aanpak. En het is nooit te laat om te beginnen.
Bron: www.habr.com