MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Уявіце, што ў вас поўная серверная інжынернага абсталявання: некалькі дзясяткаў кандыцыянераў, куча ДДУ і бесперабойнікаў. Каб «жалеза» працавала як трэба, вы рэгулярна правяраеце яго працаздольнасць і не забываеце аб прафілактыцы: праводзіце тэставыя запускі, правяраеце ўзровень алею, змяняеце дэталі. Нават для адной сервернай трэба захоўваць шмат інфармацыі: рэестр абсталявання, спіс расходнікаў на складзе, графік прафілактычных работ, а таксама гарантыйныя дакументы, дагаворы з пастаўшчыкамі і падрадчыкамі. 

Цяпер памножым колькасць залаў на дзесяць. Узніклі пытанні лагістыкі. На якім складзе што захоўваць, каб не бегаць за кожнай запчасткай? Як своечасова папаўняць запасы, каб пазапланавы рамонт не заспеў знянацку? Калі абсталявання шмат, трымаць усе тэхнічныя працы ў галаве немагчыма, а на паперы - складана. Тут на дапамогу прыходзіць MMS, або maintenance management system, - сістэма кіравання тэхнічным абслугоўваннем абсталявання (ТО). 

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
У MMS мы складаем графікі прафілактычных і рамонтных работ, захоўваем інструкцыі для інжынераў. Не ва ўсіх ЦАД такая сістэма ёсць, многія лічаць яе занадта дарагім рашэннем. Але на сваім досведзе мы пераканаліся, што важны не інструмент, а падыход да працы з інфармацыяй. Першую сістэму мы стварылі ў Excel і паступова дапрацавалі яе да праграмнага прадукта. 

Разам з alexddropp мы вырашылі падзяліцца досведам развіцця ўласнай MMS. Я пакажу, як развівалася сістэма і як дапамагла ўкараніць лепшыя практыкі ТО. Аляксей раскажа, як атрымаў MMS у спадчыну, што змянілася за гэты час і як сістэма палягчае жыццё інжынерам зараз. 

Як мы прыйшлі да ўласнай MMS

Спачатку былі тэчкі. 8-10 гадоў таму інфармацыя захоўвалася ў разрозненым выглядзе. Пасля тэхнічнага абслугоўвання мы падпісвалі акты выкананых работ, захоўвалі папяровыя арыгіналы ў архівах, а скан-копіі - на сеткавых тэчках. Гэтак жа ў тэчках з разбіўкай па абсталяванні збіралі інфармацыю пра ЗІП: запчасткам, прыладам і прыладдзем. Так можна жыць, калі выбудаваць для гэтых тэчак структуру і ўзроўні доступу.
Але тады ў вас тры праблемы: 

  • рух: доўга перамыкацца паміж рознымі тэчкамі. Калі захочацца паглядзець рамонты па канкрэтным абсталяванні за некалькі гадоў, давядзецца зрабіць вельмі шмат клікаў.
  • статыстыка: у вас яе не будзе, а без яе складана прадказаць, як хутка выходзіць са строю рознае абсталяванне або колькі ЗІП запланаваць на наступны год.  
  • своечасовасць рэакцыі: ніхто не нагадае, што камплектуючыя ўжо заканчваюцца і трэба дазаказаць. А яшчэ невідавочна, што адно і тое ж абсталяванне выходзіць са строю ўжо не першы раз.  

Нейкі час мы захоўвалі дакументы так, але потым адкрылі для сябе Excel 🙂

MMS у Excel. З часам структура дакументацыі перавандравала ў Excel. У аснове быў спіс абсталявання, да яго прывязалі графікі ТО, чэк-лісты і спасылкі на акты выкананых работ: 

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

У спісе абсталявання паказалі асноўныя характарыстыкі і месца ў ЦАД:
MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Атрымаўся свайго роду навігатар, з якога можна хутка зразумець, што адбываецца з абсталяваннем і яго ТО. Пры неабходнасці, з графіка ТО можна зазірнуць у асобныя акты па спасылках:

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Калі добрасумленна весткі дакумент у Excel, рашэнне суцэль падыдзе для невялікай сервернай. Але яно таксама часовае. Нават калі мы выкарыстоўваем адзін кандыцыянер і які робіцца ТО раз у месяц, за пяць гадоў назапасім сотні памылак, а наша экселька распухне. Калі дадаць яшчэ адзін кандыцыянер, адзін дызель-генератар, адзін КБС, тое трэба зрабіць некалькі лістоў і пералінкаваць паміж сабой. Чым даўжэй гісторыя, тым складаней з ходу выхопліваць патрэбную інфармацыю. 

Першая дарослая сістэма. У 2014 годзе мы праходзілі першы аўдыт Management & Operations па стандартах Operational Sustainability ад Uptime Institute. Праходзілі амаль з той самай экселькай, але за год моцна дапрацавалі яе: дадалі спасылкі на інструкцыі і чэк-лісты для інжынераў. Аўдытары палічылі такі фармат суцэль працоўным. Яны змаглі адсачыць усе аперацыі з абсталяваннем і пераканаліся, што інфармацыя актуальная, а працэсы выбудаваны. Аўдыт тады прайшлі "на ўра", набраўшы 92 балы са 100 магчымых.

Паўстала пытанне: як жыць далей. Вырашылі, што патрэбна "сур'ёзная" MMS, паглядзелі некалькі платных праграм, але ў выніку вырашылі пісаць софт самі. Той самы Excel выкарыстоўвалі як разгорнутае ТЗ. Вось якія задачы мы ставілі перад MMS. 

Што мы хацелі ад MMS

У большасці выпадкаў MMS - гэта набор даведнікаў і справаздач. Наша іерархія даведнікаў выглядае прыкладна так:

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Самы першы даведнік верхняга ўзроўню - гэта спіс будынкаў: машзалаў, складоў, дзе размешчана абсталяванне.

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Далей ідзе спіс інжынернага абсталявання. Яго мы збіралі па сістэмах:

  • Сістэма кандыцыянавання: кандыцыянеры, чылеры, помпы.
  • Сістэма электразабеспячэння: КБС, дызель-генератарныя ўстаноўкі, размеркавальныя шчыты.

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
Па кожным абсталяванні збіраем асноўныя дадзеныя: тып, мадэль, серыйны нумар, дадзеныя вытворцы, год выпуску, дату ўводу ў эксплуатацыю, гарантыйны тэрмін.

Калі мы запоўнілі спіс абсталявання, складаем для яго праграму тэхабслугоўвання: якім чынам і як часта рабіць ТО. У праграме ТО апісваем набор аперацый, напрыклад: замяніць вось гэтую акумулятарную батарэю, наладзіць працу канкрэтнай дэталі і гэтак далей. Аперацыі апісваем у асобным даведніку. Калі аперацыя паўтараецца ў розных праграмах, то не трэба кожны раз апісваць яе нанова - проста бярэм гатовую з даведніка:

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
Аперацыі "Змена ўставак тэмпературы" і "Замена хутказдымных злучэнняў кабеля" будуць агульнымі для чылераў і сістэм кандыцыянавання аднаго вытворцы.

Цяпер для кожнага абсталявання мы можам стварыць графік ТО. Прывязваем праграму ТО да канкрэтнага абсталявання, а сістэма сама глядзіць у праграме, як часта трэба рабіць ТО, і вылічае час прац ад даты ўводу ў эксплуатацыю:
MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннемАўтаматызаваць складанне такога графіка можна нават з дапамогай формул Excel.

Не зусім відавочная гісторыя: мы вядзем асобны даведнік адкладзеных работ. Графік графікам, але ўсе мы жывыя людзі і разумеем, што можа здарыцца ўсякае. Напрыклад, расходнік не прыйшоў у час і трэба перанесці абслугоўванне на тыдзень. Гэта нармальная сітуацыя, калі за ёю сачыць. Па адкладзеным і нявыкананым працам мы вядзём статыстыку і імкнемся, каб адмены ТО імкнуліся да нуля.  

Таксама па кожным абсталяванні вядзецца статыстыка аварый і пазапланавых рамонтаў. Статыстыку выкарыстоўваем для планавання закупак, пошуку слабых месцаў у інфраструктуры. Напрыклад, калі ў адным і тым жа месцы тры разы запар згарае кампрэсар, гэта сігнал пашукаць чыннік паломак.   

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
Такая гісторыя ТО і рамонтаў назапасілася за 4 гады па канкрэтным кандыцыянеры.

Наступны даведнік - ЗІП. У ім улічваем, якія расходнікі патрэбныя для абсталявання, дзе і ў якой колькасці яны захоўваюцца. Тутака ж захоўваем інфармацыю аб тэрмінах пастаўкі, каб лепш планаваць паступленні на склад. 

Колькасць ЗІП разлічваем са штогадовай статыстыкі рамонтаў на адну адзінку абсталявання. Для ўсіх ЗІП паказваем незніжальны астатак: які мінімум запчастак патрэбен на кожным аб'екце. Калі ЗІП заканчваецца, яго колькасць у даведніку падсвятляецца:

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннемНязніжаемы астатак датчыкаў высокага ціску павінен быць не менш за два, а застаўся ўсяго адзін. Тэрмінова пара зрабіць замову. 

Як толькі прыходзіць партыя ЗІП, мы запаўняем даведнік дадзенымі з накладной і паказваем месца захоўвання. Адразу бачым бягучую рэшту такіх ЗІП на складзе: 
MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Асобна вядзём даведнік кантактаў. У яго заносім дадзеныя пастаўшчыкоў і падрадчыкаў, якія праводзяць ТО: 

MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Да карткі кожнага падрадчыка-інжынера прывязаны сертыфікаты і групы допуску па электрабяспецы. Пры складанні графіка мы можам паглядзець, у каго са спецыялістаў ёсць патрэбны допуск. 
MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

За час існавання MMS праца з допускамі на пляцоўку змянілася. Напрыклад, дадаліся дакументы з метадычнымі інструкцыямі для правядзення ТО. Калі раней набор аперацый змяшчаўся ў невялікі чэк-ліст, то ў падрабязных інструкцыях прадугледжана ўсё: як падрыхтавацца, якія ўмовы патрэбны і гэтак далей.   

Як увесь працэс уладкованы зараз, на прыкладзе раскажа alexddropp

Як праходзіць ТО ў MMS

Некалі даўно выкананыя работы дакументавалі ўжо па факце. Мы проста праводзілі ТО і пасля яго падпісвалі акт выкананых работ. Так робяць 99% серверных, але, па досведзе, гэтага нядосыць. Каб нічога не забыць, спачатку фармуем нарад-допуск на працы. Гэта дакумент з апісаннем работ і ўмоў іх выканання. Любое ТО і рамонт у нашай сістэме пачынаецца з яго. Як гэта адбываецца: 

  1. Глядзім бліжэйшыя запланаваныя працы ў графіцы ТО:
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  2. Ствараем новы ўбор-допуск. Выбіраемы падрадчыка на ТО, хто кіруе працэсам з нашага боку і ўзгадняе працы ў нас. Указваем, дзе і калі будуць работы, выбіраем тып абсталявання і праграму, па якой пойдзем: 
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  3. Пасля захавання карткі пераходзім да дэталяў. Указваем выканаўцу і правяраем, ці ёсць у яго допуск на патрэбныя работы. Калі допуску няма, поле падсвятляецца чырвоным, а выпісаць убор нельга:  
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  4. Указваем канкрэтнае абсталяванне. У залежнасці ад тыпу прац у праграме ТО прапісаны папярэднія мерапрыемствы, напрыклад: замовіць паліва на пляцоўку, запланаваць уступны інструктаж інжынераў і апавясціць калег. Спіс мерапрыемстваў з'явіцца аўтаматычна, але можам дадаць і свае пункты, усё досыць гнутка:
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  5. Захоўваем убор, адпраўляем ліст які ўзгадняе і чакаем яго адказу:
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  6. Да прыезду інжынера мы раздрукоўваем убор прама з сістэмы.
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  7. Ва ўборы ёсць чэк-ліст аперацый для праграмы ТО. Кіраўнік работ у ЦАД кантралюе ТО і ставіць галачкі.
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

    Нейкі час хапала кароткага чэк-ліста. Потым мы ўкаранілі метадычныя інструкцыі, ці MOP (method of procedure). З дапамогай такога дакумента любы сертыфікаваны інжынер можа выканаць праверку любога абсталявання. 

    Усё распісана максімальна падрабязна, аж да шаблонаў лістоў-апавяшчэнняў і ўмоў надвор'я: 

    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

    Раздрукаваны дакумент выглядае вось так:

    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

    Па стандартах Uptime Institute такі MOP павінен быць на ўсе аперацыі. Гэта дастаткова вялікі аб'ём дакументацыі. Па досведзе, рэкамендуемы распрацоўваць іх паступова, напрыклад, па адным MOP у месяц.

  8. Пасля работ інжынер выстаўляе акт выкананых работ. Яго сканіруем і прымацоўваем да карткі разам са сканамі іншых дакументаў: убору-допуску і MOP. 
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  9. Ва ўборы адзначаем выкананыя працы: 
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем
  10. У картцы абсталявання захавалася гісторыя ТО:
    MMS-сістэма ў дата-цэнтры: як мы аўтаматызавалі кіраванне тэхнічным абслугоўваннем

Мы паказалі, як наша сістэма ўладкованая зараз. Але праца над MMS не заканчваецца: ужо запланавана некалькі паляпшэнняў. Напрыклад, зараз шмат інфармацыі захоўваем у сканах. У будучыні плануем зрабіць ТО беспапяровым: падлучыць мабільнае прыкладанне, дзе інжынер можа праставіць галкі і адразу захаваць інфармацыю ў картцы. 

Вядома, на рынку шмат ужо гатовых прадуктаў з падобнымі функцыямі. Але мы жадалі паказаць, што нават невялікую эксельку можна развіць у паўнавартасны прадукт. Зрабіць гэта можна самастойна або прыцягнуць падрадчыкаў, галоўнае - правільны падыход. І ніколі не позна гэта пачаць.

Крыніца: habr.com