Stel je voor dat je een volledige serverinfrastructuur hebt: tientallen airconditioners, een hoop noodaggregaten en ononderbroken stroomvoorzieningen. Om ervoor te zorgen dat de hardware goed functioneert, controleer je regelmatig de werking en vergeet je niet om preventief onderhoud uit te voeren: je voert teststarts uit, controleert het oliepeil en vervangt onderdelen. Zelfs voor één server moet je veel informatie opslaan: een register van de apparatuur, een lijst van verbruiksmaterialen op voorraad, een schema voor preventief onderhoud, en daarnaast garantie documenten, contracten met leveranciers en aannemers.
Laten we nu het aantal racks met tien vermenigvuldigen. Er ontstaan logistieke vragen. Waar moet je wat opslaan, zodat je niet voor elk onderdeel hoeft te rennen? Hoe vul je de voorraad tijdig aan, zodat een onverwachte reparatie je niet overvalt? Als je veel apparatuur hebt, is het onmogelijk om alle technische werkzaamheden in je hoofd te houden, en op papier is het moeilijk. Hier komt MMS, of maintenance management system, in beeld – een systeem voor het beheer van technisch onderhoud van apparatuur.
In de MMS stellen we schema's op voor preventief en reparatieonderhoud, en we slaan instructies voor technici op. Niet alle datacentra hebben zo'n systeem; velen beschouwen het als een te dure oplossing. Maar uit onze ervaring blijkt dat het niet om het instrument gaat, maar om de aanpak van informatiebeheer. Het eerste systeem hebben we in Excel gemaakt en geleidelijk verder ontwikkeld tot een softwareproduct.
Samen met we besloten onze ervaring met de ontwikkeling van onze eigen MMS te delen. Ik zal laten zien hoe het systeem is geëvolueerd en hoe het heeft geholpen om de beste praktijken voor onderhoud te implementeren. Alexey zal vertellen hoe hij de MMS heeft geërfd, wat er sindsdien is veranderd en hoe het systeem het leven van technici nu vereenvoudigt.
Hoe we tot onze eigen MMS zijn gekomen
Eerst waren er mappen. 8-10 jaar geleden werd informatie in een verspreide vorm bewaard. Na het technisch onderhoud ondertekenden we de akten van uitgevoerde werkzaamheden, bewaarden we de papieren originelen in archieven, en de scan-kopieën op netwerkmappen. Op dezelfde manier verzamelden we in mappen, gesorteerd op apparatuur, informatie over reserveonderdelen: onderdelen, gereedschappen en accessoires. Je kunt zo leven als je een structuur en toegangslevels voor deze mappen opzet.
Maar dan heb je drie problemen:
- Navigatie: het kost veel tijd om tussen verschillende mappen te schakelen. Als je de reparaties aan specifieke apparatuur over meerdere jaren wilt bekijken, moet je veel klikken.
- Statistieken: je hebt geen toegang tot deze, en zonder is het moeilijk te voorspellen hoe snel verschillende apparatuur uitvalt of hoeveel reserveonderdelen je voor het komende jaar moet plannen.
- Tijdigheid van reactie: niemand zal je eraan herinneren dat de onderdelen bijna op zijn en dat je opnieuw moet bestellen. Bovendien is het niet altijd duidelijk dat dezelfde apparatuur al meerdere keren is uitgevallen.
Enige tijd hebben we documenten zo opgeslagen, maar toen ontdekten we Excel 🙂
MMS in Excel. In de loop der tijd is de documentatiestructuur overgezet naar Excel. De basis was een lijst van apparatuur, waaraan we onderhoudsschema's, checklists en links naar voltooide werkdocumenten hebben gekoppeld:
In de apparatuurlijst hebben we de belangrijkste kenmerken en de locatie in de datacenter vermeld:
Het werd een soort navigatietool, waaruit snel te begrijpen valt wat er met de apparatuur en het onderhoud aan de hand is. Indien nodig kun je vanuit het onderhoudsschema naar afzonderlijke documenten via de links kijken:
Als je het document zorgvuldig in Excel bijhoudt, is de oplossing prima voor een kleine serverruimte. Maar het is ook maar tijdelijk. Zelfs als we één airconditioner gebruiken en eens per maand onderhoud plegen, zullen we in vijf jaar honderdzoveel fouten accumuleren, en zal ons Excel-document uitgroeien. Als we nog een airconditioner, één dieselgenerator, en één UPS toevoegen, moeten we meerdere bladen maken en deze met elkaar linken. Hoe langer het verhaal, hoe moeilijker het wordt om snel de benodigde informatie te vinden.
Het eerste 'volwassen' systeem. In 2014 ondergingen we de eerste audit Management & Operations volgens de normen voor Operationele Duurzaamheid van het Uptime Institute. We gingen bijna met diezelfde Excel, maar hebben het in een jaar flink verbeterd: we hebben links toegevoegd naar instructies en checklists voor technici. De auditors vonden dit formaat heel functioneel. Ze konden alle operaties met apparatuur volgen en waren ervan verzekerd dat de informatie actueel was en de processen goed waren ingericht. We hebben de audit toen 'met vlag en wimpel' gehaald, met 92 punten van de 100 mogelijke.
Er kwam de vraag op: hoe verder te gaan. We besloten dat we een 'serieuze' MMS nodig hadden, bekeken een aantal betaalde programma's, maar besloten uiteindelijk om zelf software te ontwikkelen. We gebruikten diezelfde Excel als een uitgebreid functioneel ontwerp. Dit waren de taken die we aan de MMS stelden.
Wat we wilden van MMS
In de meeste gevallen is MMS een verzameling van registerboeken en rapporten. Onze hiërarchie van registerboeken ziet er ongeveer zo uit:
Het eerste register op het hoogste niveau is de lijst van gebouwen: machinekamers, magazijnen waar de apparatuur is geplaatst.
Daarna komt de lijst van technische apparatuur. Deze hebben we verzameld per systeem:
- Airconditioningsysteem: airconditioners, chillers, pompen.
- Electrificatiesysteem: UPS, diesel-generatorinstallaties, verdeelkasten.
Voor elke apparatuur verzamelen we de basisgegevens: type, model, serienummer, gegevens van de fabrikant, jaar van fabricage, datum van ingebruikname, garantieperiode.
Wanneer we de lijst van apparatuur hebben gevuld, stellen we een onderhoudsprogrammaop: op welke manier en hoe vaak onderhoud moet worden uitgevoerd. In het onderhoudsprogramma beschrijven we de set van handelingen, bijvoorbeeld: vervang deze accu, stel de werking van een specifiek onderdeel af, enzovoort. Handelingen beschrijven we in een apart register. Als een handeling in verschillende programma's herhaald wordt, hoeven we deze niet telkens opnieuw te beschrijven – we nemen gewoon de al bestaande uit het register:
De handelingen 'Temperatuurinstellingen wijzigen' en 'Vervangen van snelkoppelingen van kabels' zullen gemeenschappelijk zijn voor chillers en airconditioningsystemen van dezelfde fabrikant.
Nu kunnen we voor elke apparatuur een onderhoudsschemaopstellen. We koppelen het onderhoudsprogramma aan specifieke apparatuur, en het systeem kijkt zelf in het programma hoe vaak onderhoud moet worden uitgevoerd en berekent de werktijden vanaf de datum van ingebruikname:
Het opstellen van zo'n schema kan zelfs worden geautomatiseerd met behulp van Excel-formules.
Een niet helemaal voor de hand liggende situatie: we houden een apart register bij van uitgestelde werkzaamheden. Een schema is een schema, maar we zijn allemaal mensen en begrijpen dat er van alles kan gebeuren. Bijvoorbeeld, een verbruiksgoed is niet op tijd aangekomen en het onderhoud moet een week later worden verschoven. Dit is een normale situatie, zolang we het in de gaten houden. Voor uitgestelde en ongeplande werkzaamheden houden we statistieken bij en streven we ernaar om annuleringen van onderhoud tot nul te reduceren.
Ook voor elke apparatuur wordt statistiek bijgehouden van storingen en ongeplande reparaties.. We use statistics for planning purchases and identifying weak points in the infrastructure. For example, if a compressor burns out three times in the same spot, that's a signal to look for the cause of the breakdowns.
Such a history of maintenance and repairs has accumulated over 4 years for a specific air conditioner.
The next directory is – ZIP. Here we account for the consumables needed for the equipment, where and in what quantities they are stored. We also keep information about delivery times to better plan incoming supplies to the warehouse.
The quantity of ZIP is calculated from the annual repair statistics for each unit of equipment. For all ZIP, we specify a minimum residual level: the minimum parts required at each site. If the ZIP runs low, its quantity in the directory is highlighted:
The minimum residual level of high-pressure sensors should be no less than two, but there is only one left. It's urgent to place an order.
As soon as a batch of ZIP arrives, we fill the directory with data from the delivery note and specify the storage location. We can immediately see the current stock of these ZIP in the warehouse:
We maintain a separate contact directory. We record the details of suppliers and contractors who perform maintenance:
Each contractor-engineer's card is linked to certificates and groups of permissions for electrical safety. When creating the schedule, we can check which specialists have the required clearance.
Over the time MMS has existed, the work with access permissions on site has changed. For example, documents with methodological instructions for conducting maintenance have been added. Whereas before, the set of operations could fit in a small checklist, detailed instructions now cover everything: how to prepare, what conditions are needed, and so on.
How the entire process is set up now will be illustrated by an example from .
How maintenance is conducted in MMS
A long time ago, completed work was documented only after the fact. We simply conducted maintenance and signed the work completion report afterwards. This is how 99% of server providers operate, but from experience, this is insufficient. To ensure nothing is forgotten, we first create a work permit. This is a document that describes the work and the conditions for its execution. Any maintenance and repair in our system starts with it. Here’s how it works:
- We look at the nearest scheduled work in the maintenance schedule:
- We creëren een nieuwe werktoelating. We kiezen de aannemer voor het onderhoud, die het proces aan onze kant leidt en de werkzaamheden met ons afstemt. We geven aan waar en wanneer het werk zal plaatsvinden, kiezen het type apparatuur en het programma waarmee we aan de slag gaan:
- Na het opslaan van de kaart gaan we naar de details. We geven de uitvoerder aan en controleren of hij toestemming heeft voor de benodigde werkzaamheden. Als er geen toestemming is, wordt het veld rood gemarkeerd en kan de werktoelating niet worden uitgeschreven:
- We geven specifieke apparatuur op. Afhankelijk van het type werk zijn er in het onderhoudsprogramma al voorbereidingsmaatregelen vastgelegd, zoals: brandstof bestellen op de locatie, een inleidende training voor ingenieurs plannen en collega's informeren. De lijst met maatregelen verschijnt automatisch, maar we kunnen ook onze eigen items toevoegen; alles is vrij flexibel:
- We slaan de werktoelating op, sturen een e-mail naar de goedkeurder en wachten op zijn reactie:
- Bij de komst van de ingenieur printen we de werktoelating rechtstreeks uit het systeem.
- In de werktoelating is er een checklist voor de onderhoudsprogramma's. De projectleider in de datacenters controleert het onderhoud en zet vinkjes.
Een tijdje gaf een korte checklist genoeg. Daarna hebben we methodologische instructies geïmplementeerd, of MOP (method of procedure). Dankzij dit document kan elke gecertificeerde ingenieur de controle van elke apparatuur uitvoeren.
Alles is tot in detail beschreven, inclusief sjablonen van notificatie-e-mails en weersomstandigheden:
Het afgedrukte document ziet er zo uit:
Volgens de standaarden van het Uptime Institute moet er een MOP zijn voor elke operatie. Dit is een vrij grote hoeveelheid documentatie. Uit ervaring raden we aan deze geleidelijk op te stellen, bijvoorbeeld één MOP per maand.
- Na de werkzaamheden stelt de ingenieur een verslag van de volbrachte werkzaamheden op. We scannen deze en voegen deze toe aan de kaart, samen met de scans van andere documenten: werktoelating en MOP.
- In de werktoelating markeren we de volbrachte werkzaamheden:
- In de apparatuurkaart is de onderhoudsgeschiedenis bewaard gebleven:
We hebben laten zien hoe ons systeem er nu uitziet. Maar het werk aan het MMS is nog niet afgelopen: er zijn al verschillende verbeteringen gepland. Bijvoorbeeld, momenteel bewaren we veel informatie in scans. In de toekomst zijn we van plan het onderhoud papierloos te maken: het aansluiten van een mobiele applicatie waarin de ingenieur vinkjes kan zetten en de informatie direct in de kaart kan opslaan.
Natuurlijk zijn er op de markt veel kant-en-klare producten met vergelijkbare functies. Maar we wilden laten zien dat je zelfs een eenvoudige Excel-sheet kunt ontwikkelen tot een volwaardig product. Dit kan je zelf doen of door aannemers in te schakelen, het belangrijkste is de juiste aanpak. En het is nooit te laat om te beginnen.
Bron: habr.com
