MMS-system i datacenter: hur vi automatiserade hanteringen av tekniskt underhåll

Föreställ dig att du har en komplett serverinfrastruktur: flera dussin luftkonditioneringar, massor av dieselgeneratorer och UPS-enheter. För att "hårdvaran" ska fungera som den ska kontrollerar du regelbundet dess funktionalitet och glömmer inte underhållet: kör teststarter, kontrollerar oljenivåer och byter ut delar. Även för en enda server måste mycket information lagras: utrustningsregister, lista över förbrukningsartiklar på lagret, schema för förebyggande arbete, samt garanti dokument, avtal med leverantörer och entreprenörer. 

Nu multiplicerar vi antalet hallar med tio. Det dyker upp logistikfrågor. Var ska man lagra vad för att slippa springa efter varje reservdel? Hur fyller man på lagret i tid så att oförutsedda reparationer inte överraskar? Om det finns mycket utrustning är det omöjligt att hålla alla tekniska arbeten i huvudet, och på papper är det svårt. Här kommer MMS, eller underhållshanteringssystemet, in i bilden – ett system för att hantera tekniskt underhåll av utrustning. 

I MMS skapar vi scheman för förebyggande och reparationsarbeten och lagrar instruktioner för tekniker. Inte alla datacenter har ett sådant system; många anser att det är en för dyr lösning. Men utifrån vår egen erfarenhet har vi konstaterat att det är inte verktyget som är viktigt, utan tillvägagångssättet till informationshantering. Vi skapade det första systemet i Excel och utvecklade det gradvis till en programvara. 

Tillsammans med alexddropp vi bestämde oss för att dela med oss av vår erfarenhet av att utveckla vårt eget MMS. Jag kommer att visa hur systemet har utvecklats och hur det har hjälpt oss att införa bästa praxis inom tekniskt underhåll. Alexey kommer att berätta om hur han fick MMS i arv, vad som har förändrats under denna tid och hur systemet underlättar livet för tekniker nu. 

Hur vi kom till vårt eget MMS

Till en början fanns det mappar. För 8-10 år sedan lagrades informationen i en fragmenterad form. Efter tekniskt underhåll signerade vi protokoll för utförda arbeten, lagrade pappersoriginal i arkiv och skannade kopior i nätverksmappar. På samma sätt samlade vi information om reservdelar, verktyg och tillbehör i mappar med uppdelning efter utrustning. Så kan man leva, om man bygger en struktur och tillgångsnivåer för dessa mappar.
Men då har du tre problem: 

• Navigation: att byta mellan olika mappar tar tid. Om du vill se reparationer på specifik utrustning under flera år måste du göra många klick.
• Statistik: ni kommer inte ha det, och utan det är det svårt att förutsäga hur snabbt olika utrustningar går sönder eller hur mycket ZIPlan som ska planeras för nästa år.  
• Reaktionens snabbhet: ingen påminner om att komponenterna håller på att ta slut och att ni behöver beställa fler. Det är också oklart att samma utrustning inte går sönder för första gången.  

Vi förvarade dokumenten så ett tag, men sedan upptäckte vi Excel 🙂

MMS i Excel. Med tiden flyttade dokumentationsstrukturen till Excel. I grunden fanns en lista över utrustning, och vi kopplade ihop den med scheman för underhåll, checklistor och länkar till utförda arbeten: 

I listan över utrustning angav vi de viktigaste egenskaperna och platsen i datacentret:

Det blev en sorts navigator där man snabbt kan förstå vad som händer med utrustningen och dess underhåll. Om det behövs kan man från underhållsschemat kolla specifika handlingar via länkar:

Om man noggrant för en dokumentation i Excel fungerar lösningen bra för ett litet serverrum. Men det är också temporärt. Även om vi använder en luftkonditionering och gör underhåll en gång i månaden, kommer vi under fem år att samla hundratals fel, och vår Excel-fil kommer att växa. Om vi lägger till en till luftkonditionering, en dieselgenerator och en UPS, måste vi skapa flera blad och länka dem med varandra. Ju längre historik, desto svårare blir det att snabbt få fram den information man behöver. 

Första "vuxna" systemet. År 2014 genomgick vi den första granskningen av Management & Operations enligt Uptime Institute:s standarder för Operativ Hållbarhet. Vi gick nästan igenom med just den Excel-filen, men under året förbättrade vi den rejält: vi la till länkar till instruktioner och checklistor för ingenjörerna. Revisorerna ansåg att detta format var fullt fungerande. De kunde spåra alla operationer med utrustningen och försäkra sig om att informationen var aktuell och att processerna var uppbyggda. Granskningen klarade vi "med bravur", vi fick 92 poäng av 100 möjliga.

Frågan uppstod: hur går vi vidare. Vi beslutade att en "seriös" MMS krävs, tittade på flera betalprogram, men beslutade till slut att skriva mjukvaran själva. Den där Excel användes som en detaljerad kravspecifikation. Här är de uppgifter vi ställde till MMS. 

Vad ville vi ha från MMS

I de flesta fall är MMS en uppsättning register och rapporter. Vår hierarki av register ser ungefär ut så här:

Det allra första registret på översta nivån är förteckningen över byggnader: maskinhallar, lager där utrustning finns.

Därefter kommer förteckningen över ingenjörsutrustning. Den har vi samlat in enligt system:

• Klimatsystem: luftkonditionering, kylmaskiner, pumpar.
• Elförsörjningssystem: UPS, dieselgeneratoranläggningar, distributionspaneler.

För varje utrustning samlar vi in ​​grundläggande data: typ, modell, serienummer, tillverkarens data, tillverkningsår, datum för idrifttagning, garantiperiod.

När vi har fyllt i listan över utrustning, upprättar vi ett underhållsprogram: hur och hur ofta underhåll ska göras. I underhållsprogrammet beskriver vi ett antal åtgärder, till exempel: byta ut det här batteriet, justera en specifik del och så vidare. Åtgärderna beskrivs i ett separat register. Om åtgärden upprepas i olika program behöver vi inte beskriva den på nytt varje gång – vi tar bara en färdig från registret:

Åtgärderna "Ändring av temperaturinställningar" och "Byte av snabbkopplingar för kablar" kommer att vara gemensamma för kylmaskiner och klimatsystem från samma tillverkare.

Nu kan vi skapa ett underhållsschema. Vi kopplar underhållsprogrammet till en specifik utrustning, och systemet kontrollerar automatiskt i programmet hur ofta underhåll ska göras och beräknar arbetstiden från datumet för idrifttagning:
Det är möjligt att automatisera skapandet av ett sådant schema även med hjälp av Excel-format.

En inte helt uppenbar historia: vi håller ett separat register över utsatta arbeten. Schema är ett schema, men vi är alla människor och förstår att det kan hända mycket. Till exempel har en förbrukningsvara inte kommit i tid och underhållet måste flyttas en vecka. Det är en normal situation om man övervakar den. Vi håller statistik över uppskjutna och ouppfyllda arbeten och strävar efter att avbokningar av underhåll ska ligga på noll.  

Även för varje utrustning hålls statistik över olyckor och akuta reparationerVi använder statistik för att planera inköp och identifiera svaga punkter i infrastrukturen. Till exempel, om en kompressor brinner ut tre gånger i rad på samma plats, är det en signal att leta efter orsaken till felen.   

Historiken över underhåll och reparationer har samlats under fyra år för en specifik luftkonditionering.

Den nästa handboken – ZIPP. I den tar vi hänsyn till vilka förbrukningsvaror som behövs för utrustningen, var och i vilken mängd de lagras. Här sparar vi också information om leveranstider för att bättre kunna planera inkomster till lagret. 

Antalet ZIPP beräknas utifrån årlig statistik över reparationer per enhet av utrustning. För alla ZIPP anges en miniminivå: vilken minimiantal reservdelar som behövs för varje objekt. Om ZIPP tar slut, markeras kvantiteten i handboken:

Minimala kvantiteten för trycksensorer bör vara minst två, men det finns bara en kvar. Det är dags att lägga en beställning. 

Så snart en sändning av ZIPP kommer, fyller vi handboken med data från fraktsedeln och anger lagringsplatsen. Vi ser omedelbart nuvarande lager av sådana ZIPP på lagret: 

Vi för även en separat kontaktkatalog. Här registrerar vi uppgifter om leverantörer och entreprenörer som utför underhåll: 

Till varje entreprenörs karta kopplas certifikat och behörighetsgrupper för elsäkerhet. När vi upprättar scheman kan vi se vem av specialisterna som har rätt behörighet. 

Under tiden som MMS har existerat har hanteringen av behörigheter på plats förändrats. Till exempel har dokument med metodiska instruktioner för utförande av underhåll tillkommit. Tidigare fick vi plats med åtgärderna i en liten checklista, men i de detaljerade instruktionerna finns allt: hur man förbereder sig, vilka villkor som behövs och så vidare.   

Hur hela processen är organiserad nu, berättar ett exempel alexddropp. 

Hur underhåll utförs i MMS

För länge sedan dokumenterades utförda arbeten i efterhand. Vi genomförde helt enkelt underhåll och signerade sedan protokollet för utförda arbeten. Det gör 99% av serverar, men utifrån erfarenhet är det otillräckligt. För att inte glömma något, upprättar vi först arbetsorder. Detta är ett dokument som beskriver arbetet och villkoren för dess utförande. Varje underhåll och reparation i vårt system börjar med detta. Hur det går till: 

1. Vi tittar på de närmaste planerade arbetena i underhållsschemat:
   
2. Vi skapar en ny arbetsorder. Välj entreprenör för underhåll, som leder processen från vår sida och godkänner arbetet hos oss. Ange var och när arbetet ska utföras, välj typ av utrustning och programmet vi ska använda: 
   
3. Efter att ha sparat kortet går vi vidare till detaljerna. Ange utföraren och kontrollera om de har tillstånd för de nödvändiga arbetena. Om det inte finns något tillstånd markeras fältet i rött, och det går inte att utfärda arbetsordern:  
   
4. Ange specifik utrustning. Beroende på typ av arbete har underhållsprogrammet specificerade förberedande åtgärder, till exempel: beställ bränsle till platsen, planera en introduktionsinstruktion för ingenjörerna och informera kollegorna. Listan med åtgärder kommer att visas automatiskt, men vi kan också lägga till egna punkter, allt är ganska flexibelt:
   
5. Spara arbetsordern, skicka ett mail till godkännaren och vänta på deras svar:
   
6. Vid ingenjörens ankomst skriver vi ut arbetsordern direkt från systemet.
   
7. I arbetsordern finns en checklist för underhållsprogrammet. Arbetsledaren i datacentret övervakar underhållet och sätter en bock.
   

   Under en tid räckte en kort checklista. Sedan införde vi metodiska instruktioner, eller MOP (metod för procedur). Med hjälp av ett sådant dokument kan varje certifierad ingenjör utföra kontroll av vilken utrustning som helst. 

   Allt är skrivet så detaljerat som möjligt, ner till mallar för informationsbrev och väderförhållanden: 

   

   Det utskrivna dokumentet ser ut så här:

   

   Enligt standarderna från Uptime Institute bör en sådan MOP finnas för alla operationer. Detta är en ganska stor mängd dokumentation. Utifrån erfarenhet rekommenderar vi att utveckla dem gradvis, till exempel en MOP per månad.

8. Efter arbetet utfärdar ingenjören en rapport om utförda arbeten. Vi skannar den och bifogar den till kortet tillsammans med skanningar av andra dokument: arbetsorder och MOP. 
   
9. I arbetsordern markerar vi utförda arbeten: 
   
10. I utrustningskortet har historiken för underhåll bevarats:
    

Vi har visat hur vårt system ser ut just nu. Men arbetet med MMS är inte slut, flera förbättringar är redan planerade. Till exempel lagrar vi just nu mycket information i skanningar. I framtiden planerar vi att göra underhållet papperslöst: koppla ihop en mobilapp där ingenjören kan sätta bockar och direkt spara informationen i kortet. 

Självklart finns det många färdiga produkter på marknaden med liknande funktioner. Men vi ville visa att även en liten Excel-fil kan utvecklas till en fullt fungerande produkt. Detta kan göras själv eller med hjälp av entreprenörer, det viktigaste är rätt tillvägagångssätt. Det är aldrig för sent att börja.

Källa: habr.com