ММС систем у дата центру: како смо аутоматизовали управљање одржавањем

Замислите да имате пуну серверску собу инжењерске опреме: неколико десетина клима уређаја, гомилу дизел агрегата и беспрекидних извора напајања. Да би хардвер радио како треба, редовно проверавате његове перформансе и не заборавите на превентивно одржавање: извршите пробне вожње, проверите ниво уља, промените делове. Чак и за једну серверску собу потребно је да ускладиштите много информација: регистар опреме, списак потрошног материјала у магацину, распоред превентивног одржавања, као и гарантне документе, уговоре са добављачима и извођачима. 

Сада помножимо број сала са десет. Појавила су се питања логистике. У ком магацину шта да складиштите да не бисте морали да трчите за сваким резервним делом? Како на време допунити залихе како вас непланиране поправке не би изненадиле? Ако има пуно опреме, немогуће је све техничке послове држати у глави, а тешко на папиру. Овде ММС, или систем за управљање одржавањем, долази у помоћ. 

У ММС-у састављамо распореде превентивних и ремонтних радова и складиштимо упутства за инжењере. Немају сви дата центри такав систем, многи га сматрају прескупим решењем. Али из сопственог искуства смо у то уверени Није битан алат, важан је приступ за рад са информацијама. Направили смо први систем у Екцел-у и постепено га развили у софтверски производ. 

Са алекдропп одлучили смо да поделимо наше искуство у развоју сопственог ММС-а. Показаћу како се систем развијао и како је помогао увођењу најбољих пракси одржавања. Алексеј ће вам рећи како је наследио ММС, шта се променило за то време и како систем сада олакшава живот инжењерима. 

Како смо дошли до сопственог ММС-а

Прво су биле фасцикле. Пре 8-10 година информације су се чувале у расутом облику. Након одржавања, потписивали смо извештаје о обављеним радовима, чували папирне оригинале у архиви, а скенирали копије у мрежним фасциклама. На исти начин, подаци о резервним деловима: резервни делови, алати и прибор прикупљани су у фасциклама по опреми. Овако можете живети ако изградите структуру и нивое приступа за ове фасцикле.
Али онда имате три проблема: 

• навигација: потребно је много времена за пребацивање између различитих фасцикли. Ако желите да видите поправке одређене опреме током неколико година, мораћете да направите много кликова.
• статистика: нећете га имати, а без њега је тешко предвидети колико брзо се разна опрема поквари или колико резервних делова планирати за следећу годину.  
• правовремени одговор: нико вас неће подсетити да су компоненте већ на измаку и да их треба поново наручити. Такође није очигледно да ово није први пут да иста опрема отказује.  

Неко време смо чували овакве документе, али онда смо открили Екцел :)

ММС у Екцел. Временом је структура документације мигрирала у Екцел. Заснован је на листи опреме, са распоредима одржавања, контролним листама и везама до сертификата о завршетку радова који су приложени уз њега: 

Списак опреме указао је на главне карактеристике и локацију у дата центру:

Резултат је нека врста навигатора из којег можете брзо разумети шта се дешава са опремом и њеним одржавањем. По потреби појединачне акте из распореда одржавања можете погледати на линковима:

Ако савесно одржавате документ у Екцел-у, решење је сасвим прикладно за малу серверску собу. Али и то је привремено. Чак и ако користимо једну климу и одржавамо једном месечно, током пет година нагомилаћемо стотине грешака, а наш Екцел ће набубрити. Ако додате још један клима уређај, један дизел генератор, један УПС, онда морате направити неколико листова и повезати их заједно. Што је прича дужа, то је теже одмах зграбити потребне информације. 

Први систем "одраслих".. У 2014. години, прошли смо прву ревизију управљања и пословања у складу са стандардима оперативне одрживости од Уптиме Института. Прошли смо кроз скоро исти Екцел програм, али смо га током године увелико побољшали: додали смо линкове до упутстава и контролне листе за инжењере. Ревизори су утврдили да је овај формат прилично изводљив. Могли су да прате све операције са опремом и уверили су се да су информације ажурне и да су процеси на месту. Ревизија је тада прошла са праском, са 92 поена од 100 могућих.

Поставило се питање: како даље живети. Одлучили смо да нам је потребан „озбиљан“ ММС, погледали неколико плаћених програма, али смо на крају одлучили да сами напишемо софтвер. Исти Екцел је коришћен као проширена техничка спецификација. Ово су задаци које постављамо за ММС. 

Оно што смо желели од ММС-а

У већини случајева, ММС је скуп директоријума и извештаја. Наша хијерархија директоријума изгледа отприлике овако:

Први директоријум највишег нивоа је списак зграда: машинске просторије, складишта у којима се налази опрема.

Следеће долази списак инжењерске опреме. Прикупили смо га према следећим системима:

• Систем климатизације: клима уређаји, расхладни уређаји, пумпе.
• Систем напајања: УПС, дизел агрегати, разводне табле.

За сваку опрему прикупљамо основне податке: тип, модел, серијски број, податке произвођача, годину производње, датум пуштања у рад, гарантни рок.

Када попунимо листу опреме, састављамо је програм одржавања: како и колико често радити одржавање. У програму одржавања који описујемо скуп операција, на пример: замените ову батерију, подесите рад одређеног дела и тако даље. Операције описујемо у посебном приручнику. Ако се операција понавља у различитим програмима, онда нема потребе да је сваки пут изнова описујемо - једноставно узимамо готову из референтне књиге:

Операције „Промена задатих вредности температуре“ и „Замена кабловских веза за брзо отпуштање“ биће уобичајене за расхладне уређаје и системе климатизације истог произвођача.

Сада за сваку опрему коју можемо да направимо Распоред одржавања. Програм одржавања повезујемо са одређеном опремом, а сам систем гледа у програму колико често треба да се ради одржавање и рачуна време рада од датума пуштања у рад:
Можете чак и аутоматизовати припрему таквог распореда користећи Екцел формуле.

Не сасвим очигледна прича: одржавамо посебан директоријум одложени рад. Распоред је распоред, али сви смо ми живи људи и разумемо да свашта може да се деси. На пример, потрошни материјал није стигао на време и услуга треба да се одложи за недељу дана. Ово је нормална ситуација ако је држите на оку. Водимо статистику о одложеним и незавршеним пословима и трудимо се да осигурамо да отказивање одржавања има тенденцију да буде нула.  

За сваку опрему се такође води статистика незгоде и ванредне поправке. Користимо статистику да планирамо куповину и пронађемо слабе тачке у инфраструктури. На пример, ако компресор три пута заредом прегори на истом месту, то је сигнал да се тражи узрок квара.   

Ова историја одржавања и поправки акумулирана је више од 4 године за одређени клима уређај.

Следећи водич је резервни делови. Узима у обзир који су потрошни материјали потребни за опрему, где и у којој количини се чувају. Овде такође чувамо информације о роковима испоруке како бисмо боље планирали доласке у складиште. 

Број резервних делова израчунавамо из годишње статистике поправки по комаду опреме. За све резервне делове наводимо минимални биланс: који минимум резервних делова је потребан у сваком објекту. Ако резервни делови понестају, њихова количина у каталогу је истакнута:

Минимални баланс сензора високог притиска треба да буде најмање два, али остаје само један. Сада је време да наручите. 

Чим стигне пошиљка резервних делова, попуњавамо именик подацима са рачуна и назначавамо место складиштења. Одмах видимо тренутни биланс таквих резервних делова у складишту: 

Одржавамо посебан именик контаката. У њега уносимо податке добављача и извођача радова који обављају одржавање: 

Сертификати и електробезбедносне групе приложене су уз картицу сваког извођача-инжењера. Приликом састављања распореда можемо видети који специјалисти имају потребну дозволу. 

Од када постоји ММС, рад са дозволама за сајт се променио. На пример, додата су документа са методолошким упутствима за спровођење одржавања. Ако се претходно скуп операција уклапа у малу контролну листу, онда детаљна упутства покривају све: како се припремити, који услови су потребни и тако даље.   

Он ће вам рећи како цео процес сада функционише, користећи пример. алекдропп. 

Како функционише одржавање у ММС-у?

Некада давно завршени радови су документовани накнадно. Једноставно смо извршили одржавање и након тога потписали потврду о завршетку радова. 99% сервера то ради, али, из искуства, то није довољно. Да ништа не заборавимо, прво формирамо радна дозвола. Ово је документ који описује рад и услове за његово спровођење. Свако одржавање и поправка у нашем систему почиње са њим. Како се ово дешава: 

1. Следеће планиране радове гледамо у плану одржавања:
   
2. Израђујемо нову дозволу. Бирамо извођача одржавања који са наше стране управља процесом и координира рад са нама. Назначавамо где и када ће се радити, бирати врсту опреме и програм који ћемо пратити: 
   
3. Након што сачувате картицу, пређите на детаље. Наводимо извођача радова и проверавамо да ли он има дозволу за обављање траженог посла. Ако нема дозволе, поље је истакнуто црвеном бојом и не можете издати радни налог:  
   
4. Наводимо специфичну опрему. У зависности од врсте посла, прелиминарне активности су прописане у програму одржавања, на пример: наручивање горива на градилиште, заказивање уводног брифинга за инжењере и обавештавање колега. Листа активности ће се појавити аутоматски, али можемо да додамо своје ставке , све је прилично флексибилно:
   
5. Чувамо наруџбу, шаљемо писмо особи која одобрава и чекамо његов одговор:
   
6. Када дође инжењер, штампамо радни налог директно из система.
   
7. Радни налог садржи контролну листу операција за програм одржавања. Руководилац рада у центру података контролише одржавање и означава поља за потврду.
   

   Неко време је била довољна кратка контролна листа. Затим смо увели методичка упутства, одн МОП (метода поступка). Уз помоћ таквог документа, сваки сертификовани инжењер може прегледати било коју опрему. 

   Све је описано што је могуће детаљније, све до шаблона за писма обавештења и временских услова: 

   

   Одштампани документ изгледа овако:

   

   Према стандардима Уптиме Института, такав МОП би требало да постоји за све операције. Ово је прилично велика количина документације. На основу искуства, препоручујемо да их постепено развијате, на пример, један МОП месечно.

8. По завршетку радова, инжењер издаје потврду о завршеном раду. Скенирамо га и приложимо на картицу заједно са скенирањем других докумената: дозволе и МОП. 
   
9. У радном налогу наводимо обављени рад: 
   
10. Картица опреме садржи историју одржавања:
    

Показали смо како наш систем сада функционише. Али рад на ММС-у није завршен: неколико побољшања је већ планирано. На пример, сада чувамо много информација у скенирањима. У будућности планирамо да одржавање буде без папира: повежите мобилну апликацију где инжењер може да означи поља и одмах сачува податке на картици. 

Наравно, на тржишту постоји много готових производа са сличним функцијама. Али желели смо да покажемо да се чак и мала Екцел датотека може развити у пуноправни производ. То можете учинити сами или укључити извођаче, главна ствар је прави приступ. И никад није касно за почетак.

Извор: ввв.хабр.цом