Immagina di avere un'intera sala server con attrezzature ingegneristiche: dozzine di condizionatori, una miriade di gruppi di continuità e sistemi di alimentazione non interrotta. Affinché l'hardware funzioni come dovrebbe, controlli regolarmente il suo funzionamento e non dimentichi la manutenzione: esegui avvii di prova, controlli il livello dell'olio e sostituisci i componenti. Anche per un singolo server è necessario conservare molte informazioni: registri delle apparecchiature, un elenco delle scorte in magazzino, un programma di lavori di manutenzione, oltre ai documenti di garanzia e ai contratti con fornitori e appaltatori.
Ora moltiplichiamo il numero di sale per dieci. Sorgono domande logistiche. Dove conservare cosa in magazzino per non dover correre dietro a ogni pezzo di ricambio? Come integrare le scorte in modo che riparazioni impreviste non ci colgano di sorpresa? Se ci sono molte attrezzature, è impossibile tenere a mente tutti i lavori tecnici, e sulla carta è complicato. Qui entra in gioco il MMS, o sistema di gestione della manutenzione, che è un sistema di gestione della manutenzione delle attrezzature.
Nel MMS redigiamo programmi di lavori di manutenzione e riparazione e conserviamo istruzioni per gli ingegneri. Non tutte le strutture di data center hanno un sistema di questo tipo, molti lo considerano una soluzione troppo costosa. Ma dalla nostra esperienza, abbiamo constatato che ciò che conta non è lo strumento, ma l'approccio alla gestione delle informazioni. Abbiamo creato il primo sistema in Excel e lo abbiamo gradualmente sviluppato in un prodotto software.
Insieme a abbiamo deciso di condividere la nostra esperienza nello sviluppo del nostro MMS. Mostrerò come si è evoluto il sistema e come ha aiutato a implementare le migliori pratiche di manutenzione. Aleksej parlerà di come ha ereditato il MMS, cosa è cambiato nel frattempo e come il sistema facilita la vita agli ingegneri oggi.
Come siamo arrivati al nostro MMS
Inizialmente c'erano soltanto cartelle. 8-10 anni fa, le informazioni venivano conservate in modo frammentario. Dopo la manutenzione, firmavamo i rapporti di lavoro effettuati, conservavamo gli originali cartacei negli archivi e le copie scannerizzate nelle cartelle di rete. Allo stesso modo, nelle cartelle suddivise per attrezzature raccoglievamo informazioni sui materiali di ricambio: pezzi di ricambio, strumenti e accessori. Si può vivere in questo modo, se strutturi bene queste cartelle e livelli di accesso.
Ma allora hai tre problemi:
- Navigazione: ci vuole tempo per passare tra varie cartelle. Se vuoi vedere i lavori di riparazione per attrezzature specifiche negli ultimi anni, è necessario cliccare molto.
- Statistiche: non avrai statistiche, e senza di esse è difficile prevedere quanto velocemente si guastano le diverse attrezzature o quanti materiali di consumo pianificare per l'anno successivo.
- Tempestività della reazione: nessuno ti ricorderà che i componenti stanno finendo e che devi fare un nuovo ordine. Inoltre, non è evidente che lo stesso equipaggiamento si guasta già per la seconda volta.
Per un po' abbiamo conservato i documenti in questo modo, ma poi abbiamo scoperto Excel 🙂
MMS in Excel. Col tempo, la struttura della documentazione è passata a Excel. Alla base c'era un elenco di attrezzature, a cui abbiamo collegato i grafici di manutenzione, le liste di controllo e i link ai verbali di lavoro svolto:
Nell'elenco delle attrezzature abbiamo indicato le caratteristiche principali e la posizione nel Data Center:
È emerso una sorta di navigatore, da cui è possibile comprendere rapidamente cosa sta succedendo con l'attrezzatura e la sua manutenzione. Se necessario, dal programma di manutenzione puoi accedere ai documenti separati tramite i link:
Se gestisci seriamente il documento in Excel, la soluzione è adatta per una piccola server room. Ma anche questa è temporanea. Anche se utilizziamo un condizionatore e facciamo manutenzione mensilmente, accumuleremo centinaia di errori in cinque anni, e il nostro file di Excel diventerà ingombrante. Se aggiungiamo un altro condizionatore, un generatore diesel e un UPS, sarà necessario creare più fogli e linkarli tra loro. Più lunga è la storia, più difficile sarà recuperare le informazioni necessarie.
Il primo sistema "serio". Nel 2014 abbiamo effettuato il primo audit di Management & Operations secondo gli standard di Operational Sustainability dell'Uptime Institute. Abbiamo presentato quasi lo stesso file di Excel, ma in un anno abbiamo apportato notevoli miglioramenti: abbiamo aggiunto link alle istruzioni e alle liste di controllo per gli ingegneri. Gli auditor hanno ritenuto tale formato abbastanza operativo. Sono stati in grado di monitorare tutte le operazioni con l'attrezzatura e hanno verificato che le informazioni erano aggiornate e i processi strutturati. Abbiamo superato l'audit con un punteggio di 92 su 100.
Si è posto il problema: come procedere. Abbiamo deciso che avevamo bisogno di un software di MMS "serio", abbiamo guardato diversi programmi a pagamento, ma alla fine abbiamo deciso di sviluppare il software da soli. Abbiamo usato proprio Excel come specifiche dettagliate. Ecco quali obiettivi abbiamo fissato per la MMS.
Cosa desideravamo dalla MMS
Nella maggior parte dei casi, l'MMS è un insieme di registri e report. La nostra gerarchia dei registri appare più o meno così:
Il primo registro di livello superiore è l'elenco degli edifici: sale macchine, magazzini in cui sono collocati gli impianti.
Poi abbiamo l'elenco delle attrezzature ingegneristiche. Lo abbiamo raccolto per sistemi:
- Sistema di condizionamento: condizionatori, chiller, pompe.
- Sistema di alimentazione elettrica: UPS, gruppi elettrogeni, quadri di distribuzione.
Per ciascun impianto raccogliamo i dati principali: tipo, modello, numero di serie, dati del produttore, anno di produzione, data di messa in servizio, garanzia.
Quando abbiamo compilato l'elenco delle attrezzature, creiamo per esso un programma di manutenzione: come e con che frequenza effettuare la manutenzione. Nel programma di manutenzione descriviamo un insieme di operazioni, ad esempio: sostituire questa batteria, regolare il funzionamento di un specifico componente e così via. Le operazioni sono descritte in un registro separato. Se un'operazione si ripete in diversi programmi, non è necessario descriverla di nuovo ogni volta: basta prenderla pronta dal registro:
Le operazioni "Modifica delle impostazioni di temperatura" e "Sostituzione delle connessioni rapide del cavo" saranno comuni per i chiller e i sistemi di condizionamento di un produttore.
Ora per ogni attrezzatura possiamo creare un piano di manutenzione. Colleghiamo il programma di manutenzione a un'attrezzatura specifica, e il sistema controlla automaticamente nel programma con quale frequenza deve essere effettuata la manutenzione e calcola il tempo di lavoro dalla data di messa in servizio:
È possibile automatizzare la creazione di un tale programma anche utilizzando formule di Excel.
Una storia non del tutto ovvia: teniamo un registro separato dei lavori posticipati. Il programma è il programma, ma siamo tutti esseri umani e comprendiamo che può succedere di tutto. Ad esempio, un ricambio non è arrivato in tempo e la manutenzione deve essere posticipata di una settimana. È una situazione normale, se se ne tiene conto. Teniamo statistiche sui lavori posticipati e non completati e ci impegniamo affinché le cancellazioni della manutenzione tendano a zero.
Inoltre, per ciascun impianto vengono tenute statistiche sugli incidenti e le riparazioni straordinarie. Utilizziamo le statistiche per pianificare gli acquisti e identificare i punti deboli nell'infrastruttura. Ad esempio, se in un determinato luogo un compressore si guasta tre volte consecutive, è un segnale per cercare la causa dei guasti.
Una tale storia di manutenzione e riparazioni si è accumulata negli ultimi 4 anni per un singolo condizionatore.
Il prossimo repertorio è – ZIP. Qui registriamo quali materiali di consumo sono necessari per l'attrezzatura, dove e in che quantità sono conservati. Qui conserviamo anche informazioni sui tempi di consegna, per pianificare meglio le forniture in magazzino.
La quantità di ZIP viene calcolata sulla base delle statistiche annuali delle riparazioni per ogni unità di attrezzatura. Per tutti i ZIP indichiamo una scorta minima: il numero minimo di pezzi di ricambio necessari in ogni sito. Se il ZIP è esaurito, la quantità nel repertorio viene evidenziata:
La scorta minima dei sensori di alta pressione deve essere di almeno due, ma ne è rimasto solo uno. È urgente fare un ordine.
Non appena arriva un lotto di ZIP, riempiamo il repertorio con i dati della bolla di consegna e indichiamo il luogo di stoccaggio. Vedi immediatamente la scorta attuale di tali ZIP in magazzino:
Tenendo un repertorio contatti separato. Registriamo i dati dei fornitori e dei contraenti che effettuano la manutenzione:
A ogni scheda di ogni ingegnere contraente sono legati certificati e gruppi di autorizzazione per la sicurezza elettrica. Durante la programmazione possiamo vedere quali specialisti hanno la necessaria autorizzazione.
Nel tempo in cui esiste MMS, il lavoro con le autorizzazioni per il sito è cambiato. Ad esempio, sono stati aggiunti documenti con istruzioni metodologiche per la manutenzione. Se prima le operazioni si concentravano in una breve lista di controllo, ora le istruzioni dettagliate prevedono tutto: come prepararsi, quali condizioni sono necessarie e così via.
Come è strutturato ora l'intero processo, lo racconterà un esempio .
Come si svolge la manutenzione in MMS
Un tempo i lavori svolti venivano documentati a posteriori. Effettuavamo semplicemente la manutenzione e dopo firmavamo l'atto di lavori completati. Così fa il 99% dei server, ma, per esperienza, non è sufficiente. Per non dimenticare nulla, iniziamo formando un autorizzazione per i lavori. Questo è un documento con la descrizione dei lavori e delle condizioni per la loro esecuzione. Qualsiasi manutenzione e riparazione nel nostro sistema inizia da qui. Come avviene:
- Controlliamo i prossimi lavori programmati nel piano di manutenzione:
- Creiamo una nuova autorizzazione. Selezioniamo l'appaltatore per la manutenzione, chi gestisce il processo da parte nostra e concorda i lavori con noi. Indichiamo dove e quando si svolgeranno i lavori, scegliamo il tipo di attrezzatura e il programma da seguire:
- Dopo aver salvato la scheda, passiamo ai dettagli. Indichiamo l'esecutore e controlliamo se ha l'autorizzazione per i lavori richiesti. Se non c'è autorizzazione, il campo viene evidenziato in rosso e non è possibile emettere l'autorizzazione:
- Indichiamo l'attrezzatura specifica. A seconda del tipo di lavori, il programma di manutenzione prevede attività preliminari, ad esempio: ordinare carburante per il sito, pianificare un briefing introduttivo per gli ingegneri e informare i colleghi. L'elenco delle attività apparirà automaticamente, ma possiamo aggiungere anche i nostri elementi, è tutto abbastanza flessibile:
- Salviamo l'autorizzazione, inviamo un'email per l'approvazione e aspettiamo la risposta:
- Alla visita dell'ingegnere, stampiamo l'autorizzazione direttamente dal sistema.
- Nell'autorizzazione c'è un checklist delle operazioni per il programma di manutenzione. Il responsabile dei lavori in data center controlla la manutenzione e segna le attività completate.
Per un certo periodo era sufficiente un breve checklist. Poi abbiamo implementato delle istruzioni metodologiche, o MOP (metodo di procedura). Con questo documento, qualsiasi ingegnere certificato può effettuare il controllo di qualsiasi attrezzatura.
Tutto è descritto nel massimo dettaglio, fino ai modelli di email di avviso e alle condizioni meteorologiche:
Il documento stampato appare in questo modo:
Secondo gli standard dell'Uptime Institute, un MOP deve essere presente per tutte le operazioni. Si tratta di una quantità considerevole di documentazione. Dall'esperienza, consigliamo di svilupparli gradualmente, ad esempio, uno MOP al mese.
- Dopo i lavori, l'ingegnere emette un verbale di lavori eseguiti. Lo scannerizziamo e lo alleghiamo alla scheda insieme con le scansioni di altri documenti: autorizzazione e MOP.
- Nell'autorizzazione segniamo i lavori eseguiti:
- Nella scheda dell'attrezzatura è rimasta la storia della manutenzione:
Abbiamo mostrato come è organizzato attualmente il nostro sistema. Ma il lavoro su MMS non finisce qui: sono già pianificati diversi miglioramenti. Ad esempio, attualmente conserviamo molte informazioni in scansioni. In futuro prevediamo di rendere la manutenzione senza carta: collegando un'app mobile, dove l'ingegnere può segnare le completamenti e salvare immediatamente le informazioni nella scheda.
Certamente, sul mercato ci sono già molti prodotti pronti con funzioni simili. Ma volevamo dimostrare che anche un piccolo foglio Excel può essere trasformato in un prodotto completo. Questo può essere fatto autonomamente o coinvolgendo appaltatori, l'importante è avere l'approccio giusto. E non è mai troppo tardi per iniziare.
Fonte: habr.com
