Immagina di avere una sala server completamente attrezzata: diverse decine di climatizzatori, una miriade di gruppi di continuità e sistemi di alimentazione UPS. Affinché l'hardware funzioni come si deve, è necessario controllarne regolarmente il funzionamento e non dimenticare la manutenzione: eseguire avvii di prova, controllare il livello dell'olio, sostituire i componenti. Anche per una sola sala server è necessario conservare molteplici informazioni: il registro delle attrezzature, l'elenco dei materiali di consumo in magazzino, il programma delle attività di manutenzione, oltre ai documenti di garanzia, ai contratti con fornitori e appaltatori.
Ora moltiplichiamo il numero di sale per dieci. Emergerebbero questioni logistiche. Dove conservare cosa in magazzino per non dover correre dietro a ogni pezzo di ricambio? Come rifornire tempestivamente le scorte per non essere colti di sorpresa da riparazioni impreviste? Se ci sono molte attrezzature, è impossibile tenere a mente tutte le attività tecniche, e farlo su carta è complicato. Qui interviene il MMS, ovvero il sistema di gestione della manutenzione degli impianti.
In MMS, creiamo grafici per la manutenzione preventiva e le riparazioni, conserviamo le istruzioni per gli ingegneri. Non tutti i datacenter dispongono di un sistema simile; molti lo considerano una soluzione troppo costosa. Ma dalla nostra esperienza abbiamo capito che non è lo strumento, ma l'approccio al lavoro con le informazioni che conta. Il primo sistema l'abbiamo creato in Excel e man mano l'abbiamo sviluppato fino a diventare un prodotto software.
Insieme a abbiamo deciso di condividere la nostra esperienza nello sviluppo di un MMS proprietario. Mostrerò come è evoluto il sistema e come ha aiutato a implementare le migliori pratiche di manutenzione. Alexey racconterà come ha ereditato l'MMS, cosa è cambiato nel frattempo e come il sistema semplifica la vita degli ingegneri oggi.
Come siamo arrivati al nostro MMS
Inizialmente c'erano le cartelle. 8-10 anni fa le informazioni erano conservate in modo disorganizzato. Dopo la manutenzione tecnica, firmavamo i documenti di lavoro eseguito, conservavamo le copie cartacee negli archivi e le scansioni nelle cartelle di rete. Allo stesso modo, raccoglievamo nelle cartelle, suddivise per attrezzature, le informazioni sui materiali di consumo: pezzi di ricambio, strumenti e accessori. Si può andare avanti così, se si crea una struttura e livelli di accesso per queste cartelle.
Ma in questo caso hai tre problemi:
- navigazione: ci vuole tempo per passare tra le diverse cartelle. Se si desidera rivedere i lavori di riparazione su specifiche attrezzature nel tempo, sarà necessario fare molti clic.
- statistiche: non ne avrete, e senza di esse è difficile prevedere quanto velocemente si guasta diversa attrezzatura o quanti pezzi di ricambio pianificare per l'anno successivo.
- tempestività di reazione: nessuno ricorderà che le componenti stanno per esaurirsi e che è necessario fare un nuovo ordine. Inoltre, non è ovvio che la stessa attrezzatura si guasta già per la seconda volta.
Per un certo periodo abbiamo conservato i documenti in questo modo, ma poi ci siamo aperti a Excel 🙂
MMS in Excel. Col tempo, la struttura della documentazione è passata a Excel. Alla base c'era un elenco di attrezzature, a cui sono stati collegati piani di manutenzione, checklist e link ai rapporti di lavoro eseguiti:
Nell'elenco delle attrezzature abbiamo indicato le principali caratteristiche e la posizione nel data center:
È diventato una sorta di navigatore, da cui è possibile capire rapidamente cosa sta succedendo con l'attrezzatura e la sua manutenzione. Se necessario, dal piano di manutenzione si possono consultare i singoli rapporti tramite i link:
Se si tiene un registro accurato in Excel, la soluzione è adatta per un piccolo server. Ma è anche una soluzione temporanea. Anche se utilizziamo un condizionatore e facciamo la manutenzione una volta al mese, in cinque anni accumuleremo centinaia di errori e il nostro Excel aumenterà. Se aggiungiamo un altro condizionatore, un generatore diesel, un UPS, sarà necessario creare diversi fogli e collegarli tra loro. Più lunga è la storia, più difficile è estrarre rapidamente le informazioni necessarie.
Il primo sistema "adulto". Nel 2014 abbiamo sostenuto il primo audit di Management & Operations secondo gli standard di Operational Sustainability dell'Uptime Institute. Abbiamo utilizzato quasi lo stesso Excel, ma nell'arco di un anno l'abbiamo notevolmente migliorato: abbiamo aggiunto collegamenti a istruzioni e checklist per gli ingegneri. Gli auditor hanno ritenuto che questo formato fosse del tutto funzionale. Sono stati in grado di monitorare tutte le operazioni con l'attrezzatura e hanno confermato che le informazioni erano aggiornate e che i processi erano ben strutturati. L'audit è andato molto bene, ottenendo 92 punti su 100 disponibili.
Ci siamo trovati di fronte a una questione: come andare avanti. Abbiamo deciso che ci serviva un MMS 'serio', abbiamo esaminato diversi programmi a pagamento, ma alla fine abbiamo optato per sviluppare il software da soli. Proprio Excel è stato utilizzato come una specifica dettagliata. Ecco quali obiettivi abbiamo posto per l'MMS.
Cosa volevamo dall'MMS
Nella maggior parte dei casi, l'MMS è un insieme di registri e report. La nostra gerarchia dei registri appare in questo modo:
Il primo registro di livello superiore è l'elenco degli edifici: delle sale macchine, dei magazzini, dove si trova l'attrezzatura.
Poi segue l'elenco delle attrezzature ingegneristiche. Lo abbiamo raccolto per sistemi:
- Sistema di condizionamento: climatizzatori, chiller, pompe.
- Sistema di alimentazione elettrica: UPS, gruppi elettrogeni diesel, quadri di distribuzione.
Per ciascuna attrezzatura raccogliamo i dati principali: tipo, modello, numero di serie, dati del produttore, anno di produzione, data di messa in servizio, durata della garanzia.
Una volta completato l'elenco dell'attrezzatura, prepariamo per essa un programma di manutenzione: in che modo e quanto spesso eseguire la manutenzione. Nel programma di manutenzione descriviamo l'insieme delle operazioni, ad esempio: sostituire questa batteria, configurare il funzionamento di un componente specifico e così via. Le operazioni sono descritte in un'apposita guida. Se un'operazione si ripete in programmi diversi, non è necessario descriverla di nuovo ogni volta: basta prenderla pronta dalla guida.
Le operazioni «Modifica delle impostazioni di temperatura» e «Sostituzione delle connessioni rapide del cavo» saranno comuni per i chiller e i sistemi di climatizzazione di un singolo produttore.
Ora per ciascun equipaggiamento possiamo creare un programma di manutenzione. Colleghiamo il programma di manutenzione a un equipaggiamento specifico, e il sistema verifica automaticamente nel programma quanto spesso deve essere effettuata la manutenzione, calcolando il tempo di lavoro dalla data di messa in servizio:
È possibile automatizzare la creazione di tale programma anche utilizzando formule di Excel.
Una questione non del tutto ovvia: teniamo un registro separato dei lavori rinviati.. È vero che ci possono essere imprevisti. Ad esempio, se un ricambio non arriva in tempo, può essere necessario posticipare la manutenzione di una settimana. Questa è una situazione normale a cui prestiamo attenzione. Teniamo traccia delle lavorazioni rimandate e non effettuate, cercando di ridurre a zero le cancellazioni della manutenzione.
Inoltre, per ogni attrezzatura teniamo delle statistiche sugli incidenti e le riparazioni straordinarie. Utilizziamo queste statistiche per pianificare gli acquisti e individuare i punti deboli dell'infrastruttura. Ad esempio, se un compressore si guasta tre volte di seguito nello stesso punto, è il momento di indagare sulle cause dei guasti.
Questa storia di manutenzione e riparazioni è stata accumulata nell'arco di 4 anni per un particolare condizionatore.
Il prossimo documento è – ZIP. Qui teniamo traccia dei ricambi necessari per l'attrezzatura, di dove e in quale quantità sono conservati. Salviamo anche le informazioni sui tempi di consegna per pianificare meglio gli arrivi in magazzino.
La quantità di ZIP è calcolata sulla base delle statistiche annuali di riparazione per ogni unità di attrezzatura. Per tutti i ZIP indichiamo il minimo necessario: quali sono le parti di ricambio richieste per ciascun oggetto. Se il ZIP finisce, la sua quantità nel catalogo viene evidenziata:
Il minimo residuo dei sensori di alta pressione deve essere di almeno due unità, ma ne è rimasta solo una. È urgente effettuare un ordine.
Non appena arriva un lotto di ZIP, riempiamo il catalogo con i dati della bolla di accompagnamento e indichiamo il luogo di stoccaggio. Possiamo subito vedere il saldo attuale di tali ZIP in magazzino:
Teniamo separatamente un elenco di contatti. Al suo interno registriamo i dati dei fornitori e dei contraenti che eseguono la manutenzione:
Ogni scheda dei contraenti ingegneri è associata a certificati e gradi di accesso per la sicurezza elettrica. Quando redigiamo il programma, possiamo vedere quali specialisti hanno il permesso necessario.
Nel corso della sua esistenza, il lavoro con i permessi per le strutture di MMS è cambiato. Ad esempio, sono stati aggiunti documenti con istruzioni metodologiche per l'esecuzione della manutenzione. Se prima il set di operazioni era racchiuso in una piccola lista di controllo, ora le istruzioni dettagliate prevedono tutto: come prepararsi, quali condizioni sono necessarie e così via.
Come è organizzato tutto il processo ora, ce lo spiegherà un esempio .
Come si svolge la manutenzione in MMS
Un tempo, i lavori eseguiti venivano documentati a posteriori. Semplicemente svolgevamo la manutenzione e, dopo di essa, firmavamo il verbale dei lavori completati. Così fa il 99% dei server, ma, per esperienza, non è sufficiente. Per non dimenticare nulla, iniziamo con la richiesta di permesso per i lavori. Questo è un documento che descrive i lavori e le condizioni per la loro esecuzione. Ogni manutenzione e riparazione nel nostro sistema inizia da qui. Ecco come si svolge:
- Controlliamo i lavori pianificati più vicini nel programma di manutenzione:
- Creiamo una nuova richiesta di permesso. Scegliamo il fornitore per la manutenzione, chi dirige il processo da parte nostra e concorda i lavori con noi. Indichiamo dove e quando si svolgeranno i lavori, scegliamo il tipo di attrezzatura e il programma che seguiremo:
- Dopo aver salvato la scheda, passiamo ai dettagli. Indichiamo l'esecutore e verifichiamo se ha il permesso per i lavori richiesti. Se il permesso non è presente, il campo si evidenzia in rosso e non è possibile emettere l'ordine:
- Indichiamo l'attrezzatura specifica. A seconda del tipo di lavoro, nel programma di manutenzione preventiva sono previsti preliminari come: ordinare combustibile per il sito, pianificare un briefing introduttivo per gli ingegneri e informare i colleghi. L'elenco delle attività apparirà automaticamente, ma possiamo anche aggiungere i nostri punti, il tutto è piuttosto flessibile:
- Salviamo l'ordine, inviamo un'email al responsabile e attendiamo la sua risposta:
- All'arrivo dell'ingegnere, stampiamo l'ordine direttamente dal sistema.
- Nell'ordine è presente un checklist delle operazioni per il programma di manutenzione. Il responsabile dei lavori nel data center controlla la manutenzione e segna le caselle.
Per un certo periodo è stato sufficiente un breve checklist. Poi abbiamo implementato le istruzioni metodologiche, o MOP (metodologia di procedura). Con un documento di questo tipo, qualsiasi ingegnere certificato può eseguire la verifica di qualsiasi attrezzatura.
Tutto è descritto nel massimo dettaglio, fino ai modelli di email di avviso e alle condizioni meteorologiche:
Un documento stampato appare in questo modo:
Secondo gli standard dell'Uptime Institute, questo MOP deve essere presente per tutte le operazioni. Si tratta di una quantità considerevole di documentazione. Da esperienza, consigliamo di svilupparli gradualmente, ad esempio, uno MOP al mese.
- Dopo il lavoro, l'ingegnere redige un verbale di lavoro eseguito. Lo scanniamo e lo alleghiamo alla scheda insieme agli scan di altri documenti: il permesso di lavoro e il MOP.
- Nel permesso di lavoro segnaliamo i lavori eseguiti:
- Nella scheda dell'attrezzatura è conservata la storia della manutenzione:
Abbiamo mostrato come è attualmente strutturato il nostro sistema. Ma il lavoro su MMS non finisce qui: sono già previsti diversi miglioramenti. Ad esempio, attualmente conserviamo molte informazioni in scansioni. In futuro prevediamo di rendere la manutenzione senza carta: collegare un'app mobile, dove l'ingegnere può spuntare le caselle e salvare immediatamente le informazioni nella scheda.
Certo, ci sono molti prodotti già pronti sul mercato con funzionalità simili. Ma volevamo dimostrare che anche un semplice foglio Excel può essere sviluppato in un prodotto completo. Questo può essere fatto da soli o coinvolgendo appaltatori, l'importante è avere l'approccio giusto. E non è mai troppo tardi per iniziare.
Fonte: habr.com
