MMS-система в дата-центъра: как автоматизирахме управлението на техническото обслужване

Представете си, че имате пълно техническо оборудване за сървъри: десетки климатици, куп генератори и UPS устройства. За да работи „железото“ правилно, редовно проверявате неговата работоспособност и не забравяте профилактиката: провеждате тестови стартирания, проверявате нивото на маслото, сменяте части. Дори за един сървър трябва да се съхранява много информация: регистър на оборудването, списък с консумативи на склада, график за профилактика, а също така гаранционни документи, договори с доставчици и подизпълнители. 

Сега умножаваме броя на залите по десет. Възникват логистични въпроси. На кой склад какво да съхраняваме, за да не тичаме за всяка част? Как навреме да попълваме запаси, за да не ни изненада непланиран ремонт? Ако оборудването е много, е невъзможно да запомните всичките технически работи, а на хартия – сложно. Тук на помощ идва MMS, или система за управление на техническото обслужване на оборудването. 

В MMS съставяме графици за профилактика и ремонтни дейности, съхраняваме инструкции за инженерите. Не всички центрове за данни разполагат с такава система, много от тях смятат, че е твърде скъпо решение. Но от собствения си опит сме се уверили, че важен е не инструментът, а подходът к работата с информацията. Първата система създадохме в Excel и постепенно я доразвихме до софтуерен продукт. 

Вместо alexddropp решихме да споделим опита си в развитието на собствената MMS. Ще покажа как системата се е развивала и как е помогнала да внедрим най-добрите практики за ТО. Алексей ще разкаже как е наследил MMS, какво се е променило оттогава и как системата улеснява живота на инженерите в момента. 

Как стигнахме до собствена MMS

Първо имаше папки. 8-10 години назад информацията се съхраняваше разрознено. След техническото обслужване подписвахме актове за извършени работи, съхранявахме хартиени оригинали в архиви, а сканирани копия – в мрежови папки. По същия начин в папки, разделени по оборудване, събирахме информация за ЗИП: резервни части, инструменти и принадлежности. Може да се живее така, ако изградите структура и нива на достъп за тези папки.
Но тогава имате три проблема: 

• навигация: дълго е да се превключва между различни папки. Ако искате да видите ремонти по конкретно оборудване през последните години, ще трябва да извършите много кликове.
• статистика: няма да я имате и без нея е трудно да се предскаже колко бързо излиза от строя различно оборудване или колко ZIP да планирате за следващата година.  
• своевременност на реакцията: никой няма да ви напомни, че компонентите вече свършват и трябва да поръчате нови. Също така не е очевидно, че едно и също оборудване излиза от строя не за първи път.  

Някога съхранявахме документите така, но после открихме Excel 🙂

MMS в Excel. С времето структурата на документацията премина в Excel. В основата беше списък с оборудване, към него привързахме графици за поддръжка, контролни списъци и линкове към изпълнените актове: 

В списъка с оборудване посочихме основните характеристики и местоположението в ЦОД:

Получихме един вид навигатор, от който бързо можете да разберете какво се случва с оборудването и неговата поддръжка. При необходимост, от графика за поддръжка можете да погледнете в отделните актове по линковете:

Ако старателно водите документа в Excel, решението е напълно подходящо за малък сървър. Но и то е временно. Дори ако използваме един климатик и правим поддръжка веднъж месечно, за пет години ще натрупаме стотици грешки, а нашето Excel ще се надуе. Ако добавим още един климатик, един дизел генератор, един UPS, ще трябва да направим няколко листа и да ги свържем помежду им. Колкото по-дълга е историята, толкова по-трудно е веднага да се извлече нужната информация. 

Първата „възрастна“ система. През 2014 г. преминахме през първия одит на Management & Operations по стандартите Operational Sustainability от Uptime Institute. Преминахме почти с онзи Excel, но за година го доработихме значително: добавихме линкове към инструкции и контролни списъци за инженерите. Одиторите сметнаха такъв формат за напълно работещ. Те успяха да проследят всички операции с оборудването и се увериха, че информацията е актуална, а процесите са структурирани. Одитът тогава премина „на ура“, получавайки 92 точки от 100 възможни.

Въпросът стана: как да продължим напред. Решихме, че ни е нужна „сериозна“ MMS, разгледахме няколко платени програми, но в крайна сметка решихме да напишем софтуера сами. Този Excel използвахме като разширено ТЗ. Ето какви задачи поставихме пред MMS. 

Какво искахме от MMS

В повечето случаи MMS е набор от справочници и отчети. Нашата йерархия на справочниците изглежда по следния начин:

Най-първият справочник на най-високо ниво е списък на сгради: машзалите, складовете, където е разположено оборудването.

Следва списъкът на инженерното оборудване. Събрахме го по системи:

• Система за климатизация: климатици, чилъри, помпи.
• Система за електрическо захранване: UPS устройства, дизел генератори, разпределителни табла.

За всяко оборудване събираме основни данни: тип, модел, сериен номер, данни на производителя, година на производство, дата на пускане в експлоатация, гаранционен срок.

Когато попълним списъка с оборудване, съставяме за него програма за техническо обслужване: как и колко често да се извършва ТО. В програмата за ТО описваме набор от операции, например: да заменим тази акумулаторна батерия, да настроим работата на конкретна част и т.н. Операциите описваме в отделен справочник. Ако операцията се повтаря в различни програми, не е необходимо всеки път да я описваме отново – просто я взимаме готова от справочника:

Операции «Промяна на настройките на температурата» и «Смяна на бързосвързващите съединения на кабела» ще бъдат общи за чилърите и системите за климатизация на един производител.

Сега за всяко оборудване можем да създадем график за ТО. Привързваме програмата за ТО към конкретното оборудване, а системата сама проверява в програмата как често трябва да се извършва ТО и изчислява времето за работа от датата на пускане в експлоатация:
Автоматизация на съставянето на такъв график е възможна дори с помощта на формули в Excel.

Не съвсем очевидна история: ние водим отделен справочник на отложени работи. Графикът е график, но всички ние сме живи хора и разбираме, че може да се случи всичко. Например, консумативът не е дошъл навреме и трябва да преместим обслужването с една седмица. Това е нормална ситуация, ако се следи. По отложените и неизпълнени работи водим статистика и се стараем отмените на ТО да стремят към нулата.  

Също така за всяко оборудване се води статистика на аварии и извънредни ремонти. Статистиката я използваме за планиране на покупките, за търсене на слаби места в инфраструктурата. Например, ако на едно и също място три пъти поред се повреди компресор, това е сигнал да се потърси причината за повредите.   

Такава история на ОВД и ремонти се е натрупала за 4 години по конкретен климатик.

Следващият справочник – ЗИП. В него отчитаме какви консумативи са необходими за оборудването, къде и в какво количество се съхраняват. Тук се запазва информация за сроковете на доставка, за да можем по-добре да планираме постъпленията на склад. 

Броят на ЗИП изчисляваме от годишната статистика за ремонтите на едно оборудване. За всички ЗИП указваме минимален остатък: какъв минимум резервни части са необходими на всеки обект. Ако ЗИП завършва, количеството му в справочника се подсветва:

Минималният остатък на датчици за налягане трябва да бъде не по-малко от два, а е останал само един. Спешно е време да направим поръчка. 

Когато пристигне партида ЗИП, попълваме справочника с данни от товарителницата и обозначаваме мястото на съхранение. Веднага виждаме текущия остатък на такива ЗИП на склада: 

Отделно водим справочник с контакти. В него записваме данните на доставчиците и подизпълнителите, които извършват ОВД: 

Към картата на всеки подизпълнител-инженер са свързани сертификати и групи за достъп по електробезопасност. При съставяне на графика можем да видим на кого от специалистите му е предоставен необходимият достъп. 

През времето на съществуването на ММС работата с достъпите на площадката се промени. Например, добавиха се документи с методически инструкции за извършване на ОВД. Ако преди имаше само малък чеклист, то в подробните инструкции е предвидено всичко: как да се подготвим, какви условия са нужни и т.н.   

Как е устроен целият процес в момента, ще разкаже примерът alexddropp. 

Как протича ОВД в ММС

Някога извършените работи се документираха след факта. Просто извършвахме ОВД и след това подписвахме акта за извършените работи. Така правят 99% от сървърните специалисти, но, според опита, това е недостатъчно. За да не забравим нищо, първо съставяме разрешение за работа. Това е документ с описание на работите и условията за тяхното изпълнение. Всяко ОВД и ремонт в нашата система започва от него. Как става това: 

1. Гледаме най-близките планирани работи в графика на ОВД:
   
2. Създаваме нов наряд-допуск. Избираме подизпълнител за ТО, който ръководи процеса от наша страна и координира работата с нас. Уточняваме къде и кога ще се извършват работите, избираме тип оборудване и програмата, по която ще работим: 
   
3. След запазване на картата преминаваме към детайлите. Уточняваме изпълнителя и проверяваме дали има достъп до необходимите дейности. Ако няма достъп, полето се подсвети в червено и не може да бъде издаден наряд:  
   
4. Уточняваме конкретното оборудване. В зависимост от типа работи в програмата за ТО са заложени предварителни мероприятия, напр. поръчка на гориво за площадката, планиране на въвеждащ инструктаж за инженерите и известяване на колегите. Списъкът с мероприятия ще се появи автоматично, но можем да добавим и свои точки, всичко е достатъчно гъвкаво:
   
5. Запазваме наряда, изпращаме имейл до одобряващия и чакаме отговора му:
   
6. При пристигането на инженера отпечатваме наряда директно от системата.
   
7. В наряда има чеклист с операции за програмата за ТО. Ръководителят на работите в ЦОД контролира ТО и поставя галочки.
   

   В определен момент краткият чеклист беше достатъчен. След това въведохме методически инструкции, или MOP (метод на процедура). С помощта на такъв документ всеки сертифициран инженер може да извърши проверка на всяко оборудване. 

   Всичко е описано максимално подробно, до шаблони за уведомителни писма и метеорологични условия: 

   

   Отпечатаният документ изглежда така:

   

   Според стандартите на Uptime Institute такъв MOP трябва да бъде за всички операции. Това е доста голям обем документация. От опит препоръчваме да се разработват постепенно, напр. по един MOP на месец.

8. След работите инженерът издава акт за извършените работи. Сканираме го и го прикрепваме към картата заедно със сканирани копия на други документи: наряд-допуск и MOP. 
   
9. В наряда отбелязваме извършените работи: 
   
10. В картата на оборудването е запазена историята на ТО:
    

Показахме как е устроена нашата система в момента. Но работата по MMS не приключва: вече са планирани няколко подобрения. Например, в момента много информация съхраняваме в сканирани копия. В бъдеще планираме да направим ТО без хартия: да интегрираме мобилно приложение, където инженерът може да постави галочки и веднага да запази информацията в картата. 

Разбира се, на пазара има много готови продукти с подобни функции. Но искахме да покажем, че дори една малка екселска таблица може да бъде развита в пълноценен продукт. Можете да го направите сами или да привлечете изпълнители, важното е правилният подход. И никога не е късно да започнете.

Източник: habr.com