Stellen Sie sich vor, Sie haben eine vollständige Serverinfrastruktur: mehrere Dutzend Klimaanlagen, eine Menge Notstromaggregate und unterbrechungsfreie Stromversorgungen. Damit die „Hardware“ einwandfrei funktioniert, überprüfen Sie regelmäßig ihre Betriebsbereitschaft und vergessen nicht die Wartung: Sie führen Teststarts durch, kontrollieren den Ölstand und wechseln Teile aus. Selbst für ein einziges Rechenzentrum müssen viele Informationen gespeichert werden: das Inventar der Geräte, eine Liste der Ersatzteile auf Lager, einen Wartungsplan sowie Garantieunterlagen, Verträge mit Lieferanten und Auftragnehmern.
Jetzt multiplizieren wir die Anzahl der Räume mit zehn. Es stellen sich Fragen zur Logistik. Wo soll was gelagert werden, um nicht für jedes Ersatzteil herumlaufen zu müssen? Wie können die Bestände rechtzeitig aufgefüllt werden, damit ungeplante Reparaturen nicht unangekündigt kommen? Wenn es viele Geräte gibt, ist es unmöglich, alle technischen Arbeiten im Kopf zu behalten, und auf Papier ist es schwierig. Hier kommt das MMS, oder Maintenance Management System, ins Spiel – ein System zur Verwaltung der Wartung von Geräten.
Bei MMS erstellen wir Zeitpläne für Wartungs- und Reparaturarbeiten und speichern Anleitungen für Ingenieure. Nicht alle Rechenzentren verfügen über ein solches System, viele betrachten es als zu kostspielige Lösung. Doch aus unserer Erfahrung haben wir festgestellt, dass nicht das Werkzeug, sondern der Ansatz zum Umgang mit Informationen wichtig ist. Das erste System haben wir in Excel erstellt und es schrittweise zu einem Softwareprodukt weiterentwickelt.
Zusammen mit wir haben uns entschieden, unsere Erfahrungen mit der Entwicklung unseres eigenen MMS zu teilen. Ich werde zeigen, wie sich das System entwickelt hat und wie es half, die besten Praktiken der Wartung umzusetzen. Alexej wird erzählen, wie er MMS geerbt hat, was sich seitdem verändert hat und wie das System das Leben der Ingenieure heute erleichtert.
Wie wir zu unserem eigenen MMS gekommen sind
Zunächst gab es nur Ordner. Vor 8-10 Jahren wurden Informationen in zerstreuter Form gespeichert. Nach der technischen Wartung unterzeichneten wir die Berichte über durchgeführte Arbeiten, bewahrten die Papieroriginale in Archiven auf und speicherten die Scan-Kopien in Netzwerkordnern. Ähnlich sammelten wir in Ordnern, die nach Ausrüstung unterteilt waren, Informationen zu ZIП: Ersatzteilen, Werkzeugen und Zubehör. So kann man leben, wenn man für diese Ordner eine Struktur und Zugriffsebenen festlegt.
Aber dann haben Sie drei Probleme:
- Navigation: Es dauert lange, zwischen verschiedenen Ordnern zu wechseln. Wenn Sie die Wartungen für bestimmte Geräte über mehrere Jahre einsehen möchten, müssen Sie viele Klicks durchführen.
- Statistik: Sie werden keine haben, und ohne sie ist es schwierig vorherzusagen, wie schnell verschiedene Geräte ausfallen oder wie viel ZEP für das nächste Jahr eingeplant werden muss.
- Reaktionszeit: Niemand wird daran erinnern, dass die Komponenten zur Neige gehen und nachbestellt werden müssen. Und es ist auch nicht sofort offensichtlich, dass das gleiche Gerät schon wieder ausfällt.
Eine Zeit lang haben wir die Dokumente so aufbewahrt, aber dann haben wir Excel für uns entdeckt 🙂
MMS in Excel. Im Laufe der Zeit wurde die Struktur der Dokumentation in Excel übertragen. Grundlage war eine Liste von Geräten, zu der wir Wartungspläne, Checklisten und Links zu den durchgeführten Arbeiten hinzugefügt haben:
In der Geräteliste haben wir die wichtigsten Eigenschaften und den Standort im Rechenzentrum angegeben:
Es entstand eine Art Navigator, aus dem man schnell erkennen kann, was mit den Geräten und deren Wartung passiert. Bei Bedarf kann man aus dem Wartungsplan auf die einzelnen Berichte über die Links zugreifen:
Wenn Sie das Dokument in Excel gewissenhaft führen, eignet sich die Lösung gut für einen kleinen Server. Aber sie ist auch nur vorübergehend. Selbst wenn wir eine Klimaanlage verwenden und alle sechs Monate Wartung durchführen, sammeln wir in fünf Jahren Hunderte von Fehlern, und unser Excel-Dokument wird unübersichtlich. Wenn wir eine weitere Klimaanlage, einen Dieselgenerator und eine USV hinzufügen, müssen wir mehrere Blätter erstellen und diese miteinander verknüpfen. Je länger die Historie, desto schwieriger wird es, die benötigten Informationen auf Anhieb zu erfassen.
Das erste „ernsthafte“ System. Im Jahr 2014 haben wir das erste Audit im Bereich Management & Operations nach den Standards der Operational Sustainability vom Uptime Institute durchgeführt. Wir haben dies fast mit demselben Excel-Dokument gemacht, aber im Laufe des Jahres haben wir es stark überarbeitet: Wir haben Links zu Anleitungen und Checklisten für Ingenieure hinzugefügt. Die Auditoren betrachteten dieses Format als durchaus praktikabel. Sie konnten alle Operationen mit der Ausrüstung nachverfolgen und sich vergewissern, dass die Informationen aktuell sind und die Prozesse gut strukturiert sind. Das Audit haben wir damals mit Bravour bestanden und 92 Punkte von 100 möglichen erreicht.
Die Frage stellt sich: wie geht es weiter? Wir haben entschieden, dass wir eine „ernsthafte“ MMS benötigen. Wir haben uns einige kostenpflichtige Programme angesehen, sind aber letztendlich zu dem Schluss gekommen, dass wir die Software selbst entwickeln müssen. Excel haben wir als umfassendes Pflichtenheft verwendet. Das sind die Aufgaben, die wir vor MMS gestellt haben.
Was wir von MMS wollen
In den meisten Fällen ist MMS eine Sammlung von Verzeichnissen und Berichten. Unsere Hierarchie der Verzeichnisse sieht ungefähr so aus:
Das allererste Verzeichnis der obersten Ebene ist die Liste der Gebäude: Maschinenräume, Lager, wo sich die Ausrüstung befindet.
Darauf folgt die Liste der technischen Ausstattungen. Diese haben wir nach Systemen gesammelt:
- Klimaanlagen-System: Klimaanlagen, Chiller, Pumpen.
- Stromversorgungssystem: USV-Anlagen, Dieselgeneratoren, Verteilungstafeln.
Für jede Ausrüstung sammeln wir die wesentlichen Daten: Typ, Modell, Seriennummer, Herstellerdaten, Herstellungsjahr, Inbetriebnahmedatum, Garantiezeitraum.
Nachdem wir die Liste der Ausrüstung ausgefüllt haben, erstellen wir dafür ein Wartungsprogramm: wie und wie oft Wartungen durchgeführt werden sollen. Im Wartungsprogramm beschreiben wir eine Reihe von Operationen, zum Beispiel: diesen Akku ersetzen, die Funktion eines bestimmten Teils einstellen usw. Die Vorgänge beschreiben wir in einem separaten Nachschlagewerk. Wenn ein Vorgang in verschiedenen Programmen wiederholt wird, brauchen wir ihn nicht jedes Mal neu zu beschreiben – wir nehmen einfach die fertige aus dem Nachschlagewerk:
Die Vorgänge „Änderung der Temperatureinstellungen“ und „Austausch der Schnellanschlüsse des Kabels“ sind für Chiller und Klimaanlagen eines Herstellers gemeinsam.
Jetzt können wir für jede Ausstattung einen Wartungsplan. Wir verknüpfen das Wartungsprogramm mit der spezifischen Ausstattung, und das System schaut selbst im Programm nach, wie oft die Wartung durchgeführt werden muss, und berechnet die Arbeitszeiten vom Datum der Inbetriebnahme:
Die Erstellung eines solchen Plans kann sogar mit Excel-Formeln automatisiert werden.
Eine nicht ganz offensichtliche Geschichte: Wir führen ein separates Nachschlagewerk von aufgeschobenen Arbeiten. Der Zeitplan ist wichtig, aber wir sind alle Menschen und wissen, dass immer etwas Unvorhergesehenes passieren kann. Zum Beispiel kann es sein, dass ein Verbrauchsmaterial nicht rechtzeitig ankommt und die Wartung um eine Woche verschoben werden muss. Das ist eine normale Situation, die sich überblicken lässt. Für verschobene und unerledigte Arbeiten führen wir eine Statistik und bemühen uns, die Stornierungen von Wartungen auf ein Minimum zu reduzieren.
Auch für jedes Gerät wird eine Statistik geführt von Ausfällen und außerplanmäßigen Reparaturen. Die Statistik nutzen wir zur Planung von Einkäufen und zur Identifizierung von Schwachstellen in der Infrastruktur. Zum Beispiel, wenn an derselben Stelle dreimal hintereinander ein Kompressor ausfällt, ist das ein Signal, die Ursache für die Defekte zu suchen.
Eine solche Geschichte der Wartung und Reparaturen hat sich über 4 Jahre für einen bestimmten Klimagerät angesammelt.
Das nächste Verzeichnis – Zubehör. Darin führen wir auf, welche Verbrauchsmaterialien für die Geräte benötigt werden, wo und in welcher Menge sie gelagert werden. Hier speichern wir auch Informationen über die Lieferzeiten, um die Lieferungen besser zu planen.
Die Anzahl der Zählerschutzmasnahmen wird aus der jährlichen Reparaturstatistik für jede Geräteeinheit berechnet. Für alle Ersatzteile geben wir den Mindestbestand an: welche Mindestanzahl an Ersatzteilen an jedem Standort benötigt wird. Wenn der Bestand an Ersatzteilen zur Neige geht, wird die Menge im Verzeichnis hervorgehoben:
Der Mindestbestand an Hochdrucksensoren sollte nicht weniger als zwei betragen, aber es ist nur noch einer vorhanden. Es wird dringend Zeit, eine Bestellung aufzugeben.
Sobald die Lieferung an Ersatzteilen eintrifft, fügen wir die Daten aus der Rechnung in unser Verzeichnis ein und geben den Lagerort an. Sofort sehen wir den aktuellen Bestand solcher Ersatzteile im Lager:
Separat führen wir ein Verzeichnis von Kontakten. Darin speichern wir die Daten von Lieferanten und Auftragnehmern, die die Wartung durchführen:
Jeder Auftragnehmer-Techniker ist mit Zertifikaten und Gruppen für die elektrische Sicherheit verknüpft. Bei der Erstellung des Zeitplans können wir sehen, welche Fachkräfte die erforderliche Genehmigung haben.
Im Laufe der Zeit hat sich die Arbeit mit Zulassungen im MMS geändert. Zum Beispiel wurden Dokumente mit methodischen Anweisungen für die Durchführung von Wartungen hinzugefügt. Während früher die Operationen in einer kleinen Checkliste zusammengefasst waren, sind in den detaillierten Anleitungen jetzt alle Aspekte vorgesehen: wie man sich vorbereitet, welche Bedingungen erforderlich sind und so weiter.
Wie der gesamte Prozess jetzt funktioniert, zeigt das Beispiel .
Wie die Wartung im MMS abläuft
Früher wurden durchgeführte Arbeiten erst nach der Tatsache dokumentiert. Wir führten einfach die Wartung durch und unterzeichneten danach das Protokoll der durchgeführten Arbeiten. So machen es 99 % der Serveranbieter, aber aus Erfahrung ist das nicht ausreichend. Um nichts zu vergessen, erstellen wir zuerst eine Zutrittsgenehmigung für die Arbeiten. Dies ist ein Dokument mit einer Beschreibung der Arbeiten und der Bedingungen für deren Durchführung. Jede Wartung und Reparatur in unserem System beginnt damit. So läuft das ab:
- Wir sehen uns die nächstgelegenen geplanten Arbeiten im Wartungsplan an:
- Wir erstellen eine neue Zutrittsgenehmigung. Wir wählen einen Auftragnehmer für die Wartung, der den Prozess von unserer Seite aus leitet und die Arbeiten mit uns abstimmt. Wir geben an, wo und wann die Arbeiten stattfinden werden, wählen den Gerätetyp und das Programm, nach dem wir vorgehen werden:
- Nach dem Speichern der Karte wechseln wir zu den Details. Wir geben den Auftragnehmer an und überprüfen, ob er die erforderliche Genehmigung für die entsprechenden Arbeiten hat. Wenn die Genehmigung fehlt, wird das Feld rot markiert und der Auftrag kann nicht ausgestellt werden:
- Wir geben die spezifische Ausrüstung an. Je nach Art der Arbeiten sind im Wartungsprogramm vorläufige Maßnahmen vorgesehen, z. B.: Kraftstoff für die Baustelle bestellen, eine Einweisungsveranstaltung für die Ingenieure planen und die Kollegen informieren. Die Liste der Maßnahmen wird automatisch angezeigt, aber wir können auch eigene Punkte hinzufügen; alles ist flexibel genug:
- Wir speichern den Auftrag, senden eine E-Mail an den Genehmigenden und warten auf seine Antwort:
- Vor der Ankunft des Ingenieurs drucken wir den Auftrag direkt aus dem System aus.
- Im Auftrag gibt es eine Checkliste der Operationen für das Wartungsprogramm. Der verantwortliche Mitarbeiter im Rechenzentrum überwacht die Wartung und setzt Häkchen.
Eine Zeit lang reichte eine kurze Checkliste aus. Dann haben wir methodische Anleitungen eingeführt, oder MOP (method of procedure). Mit Hilfe eines solchen Dokuments kann jeder zertifizierte Ingenieur die Überprüfung jeder Ausrüstung durchführen.
Alles ist bis ins kleinste Detail beschrieben, einschließlich Vorlagen für Benachrichtigungsmails und Wetterbedingungen:
Das gedruckte Dokument sieht so aus:
Laut den Standards des Uptime Institute sollte ein solcher MOP für alle Operationen vorliegen. Das ist eine erhebliche Menge an Dokumentation. Aus Erfahrung empfehlen wir, diese schrittweise zu entwickeln, zum Beispiel einen MOP pro Monat.
- Nach den Arbeiten stellt der Ingenieur ein Abschlussprotokoll aus. Dieses scannen wir und fügen es zusammen mit den Scans anderer Dokumente, wie dem Zutrittsgenehmigungsschein und dem MOP, zur Karte hinzu.
- Im Zutrittsgenehmigungsschein vermerken wir die durchgeführten Arbeiten:
- In der Gerätekarten wurde die Historie der Wartungsarbeiten gespeichert:
Wir haben gezeigt, wie unser System derzeit aufgebaut ist. Doch die Arbeit an MMS endet nicht hier: Es sind bereits mehrere Verbesserungen geplant. Derzeit speichern wir viele Informationen in Scans. In Zukunft planen wir, die Wartung papierlos zu gestalten: Wir werden eine mobile Anwendung anschließen, in der der Ingenieur Häkchen setzen und die Informationen direkt in der Karte speichern kann.
Natürlich gibt es auf dem Markt viele fertige Produkte mit ähnlichen Funktionen. Aber wir wollten zeigen, dass man selbst aus einer einfachen Excel-Datei ein vollwertiges Produkt entwickeln kann. Das kann man selbst tun oder Auftragnehmer engagieren, das Wichtigste ist der richtige Ansatz. Und es ist nie zu spät, damit zu beginnen.
Quelle: habr.com
