Forestil dig, at du har en komplet serverinfrastruktur: et dusin airconditionanlæg, en masse nødstrømsgeneratorer og UPS-enheder. For at sikre, at "hardwaren" fungerer som den skal, tjekker du regelmæssigt dens drift og glemmer ikke vedligeholdelsen: du kører tests, tjekker olie-niveauet, skifter dele. Selv for en server skal der opbevares en masse information: registrering af udstyr, liste over forbrugsvarer på lager, tidsplan for vedligeholdelsesarbejde, samt garantidokumenter, kontrakter med leverandører og entreprenører.
Nu ganget med ti, er der logistikspørgsmål. Hvad skal opbevares hvor for ikke at skulle løbe efter hver eneste reservedel? Hvordan kan man sikre, at lagrene bliver fyldt op i tide, så uforudsete reparationer ikke kommer bag på en? Hvis der er meget udstyr, er det umuligt at holde alle tekniske opgaver i hovedet, og på papir er det besværligt. Her kommer MMS, eller vedligeholdelsesstyringssystem, ind i billedet – en system til styring af teknisk vedligeholdelse af udstyr.
I MMS udarbejder vi tidsplaner for forebyggende og reparationsarbejde, og vi opbevarer instruktioner til ingeniørerne. Ikke alle datacentre har et sådant system, mange mener, at det er en for dyr løsning. Men ud fra vores erfaring har vi indset, at det ikke er værktøjet, der er vigtigt, men tilgangen til arbejdet med information. Vi oprettede det første system i Excel og har gradvist udviklet det til et softwareprodukt.
Sammen med vi besluttede at dele erfaringen med at udvikle vores eget MMS. Jeg vil vise, hvordan systemet har udviklet sig, og hvordan det har hjulpet med at implementere de bedste vedligeholdelsespraksisser. Alexei vil fortælle, hvordan han arvede MMS, hvad der er ændret i denne tid og hvordan systemet letter ingeniørernes liv nu.
Hvordan vi kom til vores eget MMS
Først var der mapper. For 8-10 år siden blev oplysninger opbevaret fragmenteret. Efter teknisk vedligeholdelse underskrev vi udførelsesakter, opbevarede papiroriginaler i arkiver og scannede kopier i netmapper. På samme måde blev information om forbrugsvarer: reservedele, værktøjer og tilbehør, samlet i mapper opdelt efter udstyr. Man kan klare sig med det, hvis man bygger en struktur og adgangsniveauer for disse mapper.
Men du har tre problemer:
- Navigation: It takes a long time to switch between different folders. If you want to look at repairs for specific equipment over several years, you will have to make a lot of clicks.
- Statistics: You won't have it, and without it, it's difficult to predict how quickly different equipment fails or how much ZIP to plan for the next year.
- Timeliness of response: No one will remind you that parts are running low and need to be reordered. Additionally, it isn't obvious that the same equipment has failed more than once.
For a while, we stored documents this way, but then we discovered Excel 🙂
MMS in Excel. Over time, the structure of the documentation moved to Excel. It was based on a list of equipment, to which we linked maintenance schedules, checklists, and links to completed work reports:
In the list of equipment, we indicated the main characteristics and location in the data center:
We ended up with a sort of navigator that allows you to quickly understand what is happening with the equipment and its maintenance. If necessary, from the maintenance schedule, you can view individual reports using the links:
If you diligently maintain the document in Excel, this solution is quite suitable for a small server room. But it's also temporary. Even if we use one air conditioner and perform maintenance once a month, over five years we will accumulate hundreds of errors, and our Excel file will bloat. If we add another air conditioner, a diesel generator, and an UPS, we will need to create several sheets and link them together. The longer the history, the harder it is to extract the necessary information at a glance.
The first 'serious' system. In 2014, we underwent our first Management & Operations audit according to the Operational Sustainability standards from the Uptime Institute. We went through with almost the same Excel file, but upgraded it significantly over the year: we added links to instructions and checklists for engineers. The auditors deemed this format quite workable. They were able to track all operations with the equipment and confirmed that the information was current and the processes were structured. The audit went 'great', scoring 92 out of 100 possible points.
The question arose: how to proceed. We decided that we needed a 'serious' MMS, looked at several paid programs, but ultimately decided to develop the software ourselves. We used that very Excel file as a detailed specification. Here are the tasks we set for the MMS.
What we wanted from the MMS
I de fleste tilfælde er MMS en samling af datakilder og rapporter. Vores hierarki af datakilder ser cirka sådan her ud:
Den allerøverste datakilde er listen over bygninger: maskinhaller, lagre, hvor udstyret er placeret.
Derefter følger listen over teknisk udstyr. Denne har vi samlet efter systemer:
- Klimaanlæg: airconditionere, chillere, pumper.
- Strømforsyning: UPS-enheder, dieselgeneratorer, fordelingstavler.
For hver enhed samler vi grundlæggende data: type, model, serienummer, producentoplysninger, årgang, dato for idriftsættelse, garantiperiode.
Når vi har udfyldt listen over udstyr, sammensætter vi en vedligeholdelsesplan: hvordan og hvor ofte vedligeholdelse skal udføres. I vedligeholdelsesplanen beskriver vi sættet af operationer, for eksempel: udskift denne batteri, justere funktionaliteten af en bestemt komponent osv. Vi beskriver operationerne i en separat datakilde. Hvis en operation gentages i forskellige planer, behøver vi ikke at beskrive den igen hver gang – vi tager blot den færdige fra datakilden:
Operationerne "Justering af temperaturindstillinger" og "Udskiftning af hurtigkoblinger til kabler" vil være fælles for chillere og klimaanlæg fra en producent.
Nu kan vi for hver enhed oprette en vedligeholdelsesplan. Vi forbinder vedligeholdelsesprogrammet med den specifikke enhed, og systemet ser selv i programmet, hvor ofte vedligeholdelse skal udføres, og beregner arbejdstiden fra datoen for idriftsættelse:
Det er muligt at automatisere oprettelsen af en sådan plan endda ved hjælp af Excel-formler.
En mindre åbenlys historie: vi holder en separat datakilde afventende arbejde. Planen er én ting, men vi er alle mennesker og forstår, at der kan ske alting. For eksempel er forbrugsstoffer ikke ankommet til tiden, og vedligeholdelse skal flyttes en uge. Det er en normal situation, hvis vi holder øje med den. For udskudte og uafsluttede opgaver fører vi statistik og forsøger at sikre, at aflysninger af vedligeholdelse stræber mod nul.
Derudover opretholdes der statistik for nødsituationer og planlagte reparationer. Vi bruger statistikker til at planlægge indkøb og finde svage punkter i infrastrukturen. For eksempel, hvis en kompressor brænder sammen tre gange i træk på samme sted, er det et signal om at undersøge årsagen til fejlene.
Denne historik over vedligeholdelse og reparationer er samlet i løbet af 4 år for en konkret airconditioner.
Den næste håndbog – ZIP. I den registrerer vi, hvilke forbrugsvarer der er nødvendige for udstyret, hvor og i hvilken mængde de opbevares. Her gemmer vi også information om leveringstider for bedre at planlægge modtagelsen på lageret.
Mængden af ZIP beregnes ud fra den årlige statistik for reparationer pr. enhed udstyr. For alle ZIP angiver vi en minimumsbeholdning: hvor mange reservedele der er nødvendige for hver installation. Hvis ZIP'en løber tør, vil dens mængde i håndbogen blive fremhævet:
Minimumsbeholdningen af højtryksensorer skal være mindst to, men der er kun én tilbage. Det er tid til at placere en ordre.
Når en forsendelse af ZIP ankommer, fylder vi håndbogen med oplysninger fra følgesedlen og angiver opbevaringsstedet. Vi kan straks se den nuværende beholdning af sådanne ZIP på lageret:
Vi fører også en separat kontaktliste. Her indtaster vi oplysninger om leverandører og entreprenører, der udfører vedligeholdelse:
Til hvert entreprenøringeniørs kort er der tilknyttet certifikater og sikkerhedsgodkendelsesgrupper. Når vi laver planen, kan vi se, hvilke specialister der har den nødvendige godkendelse.
I løbet af MMS' eksistens er arbejdet med adgangstilladelser på pladsen ændret. For eksempel er der kommet dokumenter med vejledninger til vedligeholdelse. Hvis tidligere operationerne kunne rummes i en lille tjekliste, så dækker de detaljerede instrukser alt: hvordan man forbereder sig, hvilke betingelser der er nødvendige osv.
Hvordan hele processen fungerer nu, vil eksemplet fortælle .
Hvordan vedligeholdelse foregår i MMS
For længe siden dokumenterede vi udførte opgaver efterfølgende. Vi udførte blot vedligeholdelse og underskrev derefter en erklæring om udførte arbejder. Sådan gør 99% af serverne, men efter erfaring er det ikke tilstrækkeligt. For ikke at glemme noget, starter vi med at danne arbejdstilladelse.. Dette er et dokument med en beskrivelse af arbejdet og betingelserne for deres udførelse. Enhver vedligeholdelse og reparation i vores system begynder med dette. Hvordan det foregår:
- Vi ser på de nærmeste planlagte opgaver i vedligeholdelsesplanen:
- Vi opretter et nyt arbejdsordreseddel. Vi vælger en entreprenør til vedligeholdelse, som leder processen fra vores side og godkender arbejderne her. Vi angiver, hvor og hvornår arbejdet skal udføres, vælger type udstyr og programmet, som vi vil følge:
- Efter vi har gemt kortet, går vi videre til detaljerne. Vi angiver udføreren og kontrollerer, om han har adgang til de nødvendige arbejder. Hvis der ikke er adgang, bliver feltet fremhævet i rødt, og arbejdsordren kan ikke udstedes:
- Vi angiver det specifikke udstyr. Afhængigt af arbejdets type er der i vedligeholdelsesprogrammet angivet forberedende aktiviteter, for eksempel: bestille brændstof til stedet, planlægge et indledende kursus for ingeniører og informere kolleger. Listen over aktiviteter vises automatisk, men vi kan også tilføje vores egne punkter, alt er ret fleksibelt:
- Vi gemmer arbejdsordren, sender en e-mail til godkenderen og venter på hans svar:
- Når ingeniøren ankommer, udskriver vi arbejdsordren direkte fra systemet.
- Arbejdsordren indeholder en tjekliste over operationer til vedligeholdelsesprogrammet. Arbejdslederen i datacentret kontrollerer vedligeholdelsen og sætter flueben.
I nogen tid var en kort tjekliste tilstrækkelig. Senere implementerede vi metodiske instruktioner, eller MOP (metode for procedure). Med et sådant dokument kan enhver certificeret ingeniør udføre inspektion af ethvert udstyr.
Alt er beskrevet så detaljeret som muligt, helt ned til skabeloner for informationsbreve og vejrmæssige forhold:
Det udskrevne dokument ser således ud:
Ifølge Uptime Institute-standarder skal en sådan MOP være til alle operationer. Det er en ganske stor mængde dokumentation. Af erfaring anbefaler vi at udvikle dem gradvist, for eksempel én MOP om måneden.
- Efter arbejdet udarbejder ingeniøren en udførelsesattest. Vi scanner den og vedhæfter den til kortet sammen med scannede kopier af andre dokumenter: arbejdsordreseddel og MOP.
- I arbejdsordren registrerer vi de udførte arbejder:
- I udstyrskortet er historikken for vedligeholdelsen gemt:
Vi har vist, hvordan vores system fungerer nu. Men arbejdet med MMS slutter ikke her: flere forbedringer er allerede planlagt. For eksempel gemmer vi nu mange oplysninger i scannede dokumenter. I fremtiden planlægger vi at gøre vedligeholdelsen papirløs: forbinde en mobilapp, hvor ingeniøren kan sætte flueben og straks gemme oplysningerne i kortet.
Selvfølgelig er der mange færdige produkter på markedet med lignende funktioner. Men vi ønskede at vise, at selv en lille Excel-fil kan udvikles til et fuldt funktionelt produkt. Det kan gøres selvstændigt eller ved at inddrage entreprenører; det vigtigste er den rette tilgang. Og det er aldrig for sent at begynde.
Kilde: habr.com
