Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

Immagina di avere una sala server piena di apparecchiature tecniche: diverse dozzine di condizionatori d'aria, un mucchio di gruppi elettrogeni diesel e gruppi di continuità. Affinché l'hardware funzioni come dovrebbe, controlla regolarmente le sue prestazioni e non dimenticare la manutenzione preventiva: esegui corse di prova, controlla il livello dell'olio, cambia le parti. Anche per una sala server è necessario archiviare molte informazioni: un registro delle apparecchiature, un elenco dei materiali di consumo in magazzino, un programma di manutenzione preventiva, nonché documenti di garanzia, contratti con fornitori e appaltatori. 

Ora moltiplichiamo il numero di sale per dieci. Sono sorti problemi logistici. In quale magazzino dovresti conservare cosa per non dover correre dietro a ogni pezzo di ricambio? Come rifornire tempestivamente le scorte in modo che le riparazioni non programmate non ti sorprendano? Se c'è molta attrezzatura, è impossibile tenere tutto il lavoro tecnico nella testa ed è difficile sulla carta. È qui che l'MMS, o sistema di gestione della manutenzione, viene in soccorso. 

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
Alla MMS elaboriamo programmi per i lavori di prevenzione e riparazione e conserviamo le istruzioni per gli ingegneri. Non tutti i data center dispongono di un sistema del genere; molti la considerano una soluzione troppo costosa. Ma per nostra esperienza ne siamo convinti Non è lo strumento che conta, ma l’approccio lavorare con le informazioni. Abbiamo creato il primo sistema in Excel e lo abbiamo gradualmente sviluppato in un prodotto software. 

Con alexdropp abbiamo deciso di condividere la nostra esperienza nello sviluppo del nostro MMS. Mostrerò come si è sviluppato il sistema e come ha contribuito a introdurre le migliori pratiche di manutenzione. Alexey ti racconterà come ha ereditato l'MMS, cosa è cambiato durante questo periodo e come il sistema ora semplifica la vita agli ingegneri. 

Come siamo arrivati ​​al nostro MMS

Prima c'erano le cartelle. 8-10 anni fa, le informazioni venivano archiviate in forma sparsa. Dopo la manutenzione, abbiamo firmato i rapporti del lavoro completato, archiviato gli originali cartacei negli archivi e scansionato le copie nelle cartelle di rete. Allo stesso modo, le informazioni relative ai ricambi: pezzi di ricambio, utensili e accessori sono state raccolte in cartelle suddivise per attrezzatura. Ecco come puoi vivere se costruisci una struttura e livelli di accesso per queste cartelle.
Ma poi hai tre problemi: 

  • navigazione: ci vuole molto tempo per passare da una cartella all'altra. Se desideri vedere le riparazioni su apparecchiature specifiche per diversi anni, dovrai fare molti clic.
  • statistiche: non le avrai, e senza di esse è difficile prevedere quanto velocemente si romperanno le varie apparecchiature o quanti pezzi di ricambio pianificare per il prossimo anno.  
  • risposta tempestiva: nessuno ti ricorderà che i componenti sono già in esaurimento e devono essere riordinati. Non è nemmeno ovvio che questa non è la prima volta che la stessa attrezzatura si guasta.  

Per un po' abbiamo archiviato documenti come questo, ma poi abbiamo scoperto Excel :)

MMS in Excel. Nel corso del tempo, la struttura della documentazione è migrata in Excel. Si basava su un elenco di attrezzature, con allegati programmi di manutenzione, liste di controllo e collegamenti ai certificati di completamento dei lavori: 

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

L'elenco delle apparecchiature indicava le principali caratteristiche e l'ubicazione nel data center:
Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

Il risultato è una sorta di navigatore dal quale è possibile capire rapidamente cosa sta succedendo all'attrezzatura e alla sua manutenzione. Se necessario, puoi consultare i singoli atti del programma di manutenzione utilizzando i collegamenti:

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

Se mantieni coscienziosamente un documento in Excel, la soluzione è abbastanza adatta per una piccola sala server. Ma è anche temporaneo. Anche se usiamo un solo condizionatore e facciamo la manutenzione una volta al mese, in cinque anni accumuleremo centinaia di errori e il nostro Excel si gonfierà. Se aggiungi un altro condizionatore d'aria, un generatore diesel, un UPS, devi creare diversi fogli e collegarli insieme. Più lunga è la storia, più difficile sarà cogliere immediatamente le informazioni necessarie. 

Il primo sistema "adulto".. Nel 2014 siamo stati sottoposti al primo audit di gestione e operazioni secondo gli standard di sostenibilità operativa dell'Uptime Institute. Abbiamo utilizzato quasi lo stesso programma Excel, ma nel corso di un anno lo abbiamo notevolmente migliorato: abbiamo aggiunto collegamenti a istruzioni ed elenchi di controllo per gli ingegneri. I revisori hanno ritenuto che questo formato fosse abbastanza praticabile. Sono stati in grado di monitorare tutte le operazioni con l'attrezzatura e si sono assicurati che le informazioni fossero aggiornate e che i processi fossero in atto. L'audit è poi passato alla grande, ottenendo 92 punti su 100 possibili.

Sorse la domanda: come vivere ulteriormente. Abbiamo deciso che avevamo bisogno di un MMS "serio", abbiamo esaminato diversi programmi a pagamento, ma alla fine abbiamo deciso di scrivere noi stessi il software. Lo stesso Excel è stato utilizzato come specifica tecnica ampliata. Questi sono i compiti che abbiamo impostato per gli MMS. 

Quello che volevamo da MMS

Nella maggior parte dei casi, gli MMS sono un insieme di directory e report. La nostra gerarchia di directory è simile a questa:

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

La primissima directory di livello superiore è elenco degli edifici: sale macchine, magazzini dove si trovano le attrezzature.

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

Poi arriva elenco delle attrezzature tecniche. Lo abbiamo raccolto secondo i seguenti sistemi:

  • Sistema di climatizzazione: condizionatori, refrigeratori, pompe.
  • Sistema di alimentazione: UPS, gruppi elettrogeni diesel, quadri di distribuzione.

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
Per ogni apparecchiatura raccogliamo dati di base: tipo, modello, numero di serie, dati del produttore, anno di produzione, data di messa in servizio, periodo di garanzia.

Dopo aver compilato l'elenco delle attrezzature, lo redigiamo programma di manutenzione: come e quanto spesso fare la manutenzione. Nel programma di manutenzione descriviamo insieme di operazioni, ad esempio: sostituire questa batteria, regolare il funzionamento di una parte specifica e così via. Descriviamo le operazioni in un libro di consultazione separato. Se un'operazione viene ripetuta in programmi diversi, non è necessario descriverla ogni volta di nuovo: ne prendiamo semplicemente una già pronta dal libro di consultazione:

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
Le operazioni “Modifica dei setpoint di temperatura” e “Sostituzione dei collegamenti dei cavi a sgancio rapido” saranno comuni per i refrigeratori e i sistemi di condizionamento dello stesso produttore.

Ora per ogni attrezzatura possiamo creare programma di manutenzione. Colleghiamo il programma di manutenzione ad apparecchiature specifiche e il sistema stesso controlla nel programma la frequenza con cui è necessario eseguire la manutenzione e calcola il tempo di lavoro dalla data di messa in servizio:
Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzionePuoi anche automatizzare la preparazione di tale pianificazione utilizzando le formule di Excel.

Storia non del tutto ovvia: manteniamo una directory separata lavoro differito. Il programma è programma, ma siamo tutti persone vive e comprendiamo che tutto può succedere. Ad esempio, un materiale di consumo non è arrivato in tempo e il servizio deve essere riprogrammato di una settimana. Questa è una situazione normale se la tieni d'occhio. Manteniamo statistiche sul lavoro differito e incompleto e cerchiamo di garantire che le cancellazioni di manutenzione tendano a zero.  

Vengono inoltre conservate le statistiche per ciascuna apparecchiatura incidenti e riparazioni non programmate. Utilizziamo le statistiche per pianificare gli acquisti e individuare i punti deboli delle infrastrutture. Ad esempio, se un compressore si brucia nello stesso punto tre volte di seguito, questo è un segnale per cercare la causa del guasto.   

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
Questa storia di manutenzione e riparazioni si è accumulata in 4 anni per un condizionatore d'aria specifico.

La seguente guida è Pezzi di ricambio. Tiene conto di quali materiali di consumo sono necessari per l'attrezzatura, dove e in quale quantità sono immagazzinati. Qui conserviamo anche le informazioni sui tempi di consegna per poter pianificare al meglio gli arrivi in ​​magazzino. 

Calcoliamo il numero di pezzi di ricambio dalla statistica annuale delle riparazioni per pezzo di attrezzatura. Per tutti i pezzi di ricambio indichiamo il saldo minimo: quali pezzi di ricambio minimi sono necessari in ogni struttura. Se i pezzi di ricambio stanno per esaurirsi, viene evidenziata la loro quantità nella directory:

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzioneIl saldo minimo dei sensori di alta pressione dovrebbe essere almeno due, ma ne rimane solo uno. È il momento di effettuare un ordine adesso. 

Non appena arriva una spedizione di pezzi di ricambio, compiliamo la directory con i dati della fattura e indichiamo il luogo di stoccaggio. Vediamo immediatamente il saldo attuale di tali pezzi di ricambio nel magazzino: 
Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

Manteniamo una directory separata di contatti. Inseriamo al suo interno i dati dei fornitori e degli appaltatori che effettuano la manutenzione: 

Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

I certificati ed i gruppi di nulla osta di sicurezza elettrica sono allegati alla scheda di ciascun ingegnere-impresario. Quando si stila un programma, possiamo vedere quali specialisti hanno l'autorizzazione richiesta. 
Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

Dall'esistenza dell'MMS, il lavoro con i permessi dei siti è cambiato. Ad esempio, sono stati aggiunti documenti con istruzioni metodologiche per effettuare la manutenzione. Se in precedenza una serie di operazioni rientrava in una piccola lista di controllo, le istruzioni dettagliate coprivano tutto: come prepararsi, quali condizioni sono necessarie e così via.   

Ti dirà come funziona l'intero processo ora, usando un esempio. alexdropp

Come funziona la manutenzione in MMS?

Un tempo i lavori completati molto tempo fa venivano documentati a posteriori. Abbiamo semplicemente effettuato la manutenzione e successivamente firmato un certificato di completamento dei lavori. Il 99% dei server lo fa ma, per esperienza, questo non è sufficiente. Per non dimenticare nulla, prima formiamo permesso di lavoro. Si tratta di un documento che descrive il lavoro e le condizioni per la sua attuazione. Qualsiasi manutenzione e riparazione nel nostro sistema inizia con questo. Come avviene questo: 

  1. Vediamo i prossimi interventi previsti nel programma di manutenzione:
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  2. Creiamo un nuovo permesso. Selezioniamo un appaltatore di manutenzione che gestisce il processo da parte nostra e coordina il lavoro con noi. Indichiamo dove e quando si svolgeranno i lavori, selezioniamo il tipo di attrezzatura e il programma che seguiremo: 
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  3. Dopo aver salvato la carta, passa ai dettagli. Indichiamo l'appaltatore e controlliamo se ha il permesso di svolgere il lavoro richiesto. Se non è presente alcuna autorizzazione, il campo è evidenziato in rosso e non è possibile emettere un ordine di lavoro:  
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  4. Indichiamo l'attrezzatura specifica. A seconda del tipo di lavoro, nel programma di manutenzione sono prescritte attività preliminari, ad esempio: ordinare carburante sul posto, programmare un briefing introduttivo per gli ingegneri e avvisare i colleghi. L'elenco delle attività apparirà automaticamente, ma possiamo aggiungere le nostre voci , tutto è abbastanza flessibile:
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  5. Salviamo l'ordine, inviamo una lettera alla persona che approva e aspettiamo la sua risposta:
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  6. Quando arriva l'ingegnere, stampiamo l'ordine di lavoro direttamente dal sistema.
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  7. L'ordine di lavoro contiene una lista di controllo delle operazioni per il programma di manutenzione. Il responsabile del lavoro presso il data center controlla la manutenzione e seleziona le caselle.
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

    Per un po’ è stata sufficiente una breve lista di controllo. Quindi abbiamo introdotto istruzioni metodologiche, o MOP (metodo procedurale). Con l'aiuto di tale documento, qualsiasi ingegnere certificato può ispezionare qualsiasi apparecchiatura. 

    Tutto è descritto nel modo più dettagliato possibile, fino ai modelli per le lettere di notifica e alle condizioni meteorologiche: 

    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

    Il documento stampato si presenta così:

    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

    Secondo gli standard dell’Uptime Institute, dovrebbe esserci un MOP di questo tipo per tutte le operazioni. Si tratta di una quantità di documentazione piuttosto elevata. In base all'esperienza, consigliamo di svilupparli gradualmente, ad esempio un MOP al mese.

  8. Dopo il lavoro, l'ingegnere rilascia un certificato di completamento. Lo scannerizziamo e lo alleghiamo alla tessera insieme alle scansioni degli altri documenti: permesso e MOP. 
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  9. Nell'ordine di lavoro annotiamo il lavoro eseguito: 
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione
  10. La scheda dell'apparecchiatura contiene lo storico della manutenzione:
    Sistema MMS in un data center: come abbiamo automatizzato la gestione della manutenzione

Abbiamo mostrato come funziona il nostro sistema ora. Ma il lavoro sugli MMS non è finito: sono già previsti diversi miglioramenti. Ad esempio, ora memorizziamo molte informazioni nelle scansioni. In futuro, prevediamo di rendere la manutenzione senza supporto cartaceo: collegare un'applicazione mobile dove il tecnico può selezionare le caselle e salvare immediatamente le informazioni in una scheda. 

Naturalmente sul mercato ci sono molti prodotti già pronti con funzioni simili. Ma volevamo dimostrare che anche un piccolo file Excel può essere trasformato in un prodotto a tutti gli effetti. Puoi farlo da solo o coinvolgere gli appaltatori, l'importante è l'approccio giusto. E non è mai troppo tardi per iniziare.

Fonte: habr.com