И демонстрирајте, или како ја поминавме ревизијата за оперативна одржливост на Институтот Uptime

Шефот на оперативниот оддел се качи во отворот на подземниот складиште за гориво за да ги покаже ознаките на електромагнетниот вентил.

На почетокот на февруари, нашиот најголем центар за податоци Tier III NORD-4 Повторно сертифициран од Институтот за време на работа (UI) според стандардот за оперативна одржливост. Денес ќе ви кажеме што гледаат ревизорите и со какви резултати завршивме.

За оние кои се запознаени со центрите за податоци, ајде накратко да го разгледаме хардверот. Стандарди за нивоа ги оценува и сертифицира центрите за податоци во три фази:

• проект (Дизајн): се проверува пакетот проектна документација.Тука добро познатите Група. Ги има вкупно 4: Ниво I–IV. Последново е, соодветно, највисоко.
• изграден објект (Објект): се проверува инженерската инфраструктура на центарот за податоци и неговата усогласеност со проектот. Центарот за податоци се проверува под целосно оптоварување на дизајнот со користење на различни тестови со приближно следнава содржина: еден од UPS-ите (DGS, чилери, прецизни климатизери, дистрибутивни кабинети, собирници итн.) се отстранува од употреба за одржување или поправка , а градското напојување е исклучено. Центрите за податоци од ниво III и погоре треба да бидат способни да се справат со ситуацијата без никакво влијание врз товарот на ИТ.

  Објектот може да се земе ако центарот за податоци веќе има положено сертификација за дизајн.
  NORD-4 го доби сертификатот за дизајн во 2015 година, а Facility во 2016 година.

• Оперативна одржливост. Всушност, најважната и сложена сертификација. Сеопфатно ги проценува процесите и компетенциите на операторот во одржувањето и управувањето со центар за податоци со воспоставено ниво на ниво (за да ја поминете Оперативната одржливост, веќе мора да имате сертификат за капацитет). На крајот на краиштата, без соодветно структурирани оперативни процеси и квалификуван тим, дури и центарот за податоци од Ниво IV може да се претвори во бескорисна зграда со многу скапа опрема.
  
  Тука има и нивоа: бронза, сребро и злато. На последната ресертификација завршивме со резултат 88,95 од 100 можни поени, а ова е Сребрена. Заостана само помалку од злато - 1,05 поени. 

Како да проверите дали потребните процеси се изградени и функционираат како што треба? Покрај тоа, како да го направите тоа за два дена - толку време е потребно за повторна сертификација. Накратко, сертификацијата се заснова на макотрпна споредба на она што е напишано во прописите, приказни за „како сè функционира“ и вистински практики. Информациите за второто се добиваат од прошетките на центарот за податоци и разговорите со инженерите на центарот за податоци - „конфронтации“, како што ние со љубов ги нарекуваме. Тоа е она што тие го гледаат.

Тим

Пред сè, ревизорите на UI проверуваат дали центарот за податоци има доволно персонал за поддршка. Тие ја земаат табелата за персонал, распоредот на дежурства и селективно ги проверуваат со извештаи за смена и податоци за контрола на пристап за да се уверат дека потребниот број инженери навистина биле на лице место тој ден.

Ревизорите внимателно го разгледуваат и бројот на прекувремени часови. Ова понекогаш се случува кога доаѓа голем клиент и треба да се инсталираат десетици лавици во исто време. Во такви моменти на помош доаѓаат момци од други смени, а за ова им се плаќаат дополнителни пари.

На NORD-4 работат 7 инженери по смена: 6 дежурни и еден виш инженер. Тоа се оние кои го следат мониторингот 24x7, се среќаваат со клиенти, помагаат при инсталирање опрема и други рутински барања. Ова е првата линија на техничка поддршка на клиентите. Нивните одговорности вклучуваат снимање на вонредни ситуации и нивно ескалирање на специјализирани инженери. Работата на инженерската инфраструктура ја следат поединечни лица - инфраструктурни дежурни. Исто така 24x7.

Директорот на производство и менаџерот на NORD им кажува на ревизорите колку луѓе работат на локацијата во моментов.

Кога ќе се средат бројките, се проверуваат квалификациите на тимот. Ревизорите по случаен избор ги прегледуваат досиејата за персоналот на инженерите за да се уверат дека ги имаат потребните дипломи, сертификати и документи за овластување (на пример, сертификати за електрична безбедност) за работа на дадена позиција.

Проверуваат и како го обучуваме нашиот персонал. Дури и за време на последната ревизија, нашиот систем за обука на нови дежурни инженери ги импресионираше специјалистите за UI. За нив поминуваме три месеци курс за обука како платена пракса, при што ги запознаваме со процесите и принципите на работа во нашиот центар за податоци.

Инженерите кои веќе работат мора да поминат редовна обука, вклучително и за работа во итни ситуации. Ревизорите дефинитивно ќе ги проверат програмите за обука и материјалите на таквите обуки, а исто така по случаен избор ќе ги испитаат инженерите. Од никого нема да биде побарано да се префрли на дизел генератор, но ќе биде побарано да ви каже чекор по чекор што треба да направите кога градското напојување е исклучено. Врз основа на резултатите од ревизијата, ќе ги доведеме сите програми за обука и едукација на единствен стандард за да не се разликуваат за различни тимови.

На ревизорите им ја покажуваме просторијата за одмор за инженери во смена.

Работење и одржување на инженерски системи 

Во овој голем дел од ревизијата, покажуваме дека целата инженерска опрема и системи добиваат редовно одржување според распоредот препорачан од продавачите, магацинот ги има потребните резервни делови, валидни договори за услуги со изведувачите, а секоја операција со опрема има своја процедури и алгоритми за работа на различни случаи.

ММС. Кога ракувате со десетици UPS-и, комплети за дизел генератори, клима уреди и други работи, треба некаде да ги соберете сите информации за овој објект. Ние го креираме приближно следното досие за секое парче опрема:

• модел и сериски број;
• означување;
• технички карактеристики и поставки;
• локација за инсталација;
• датуми на производство, пуштање во работа, истекување на гаранцијата;
• договори за услуги;
• распоред и историја на одржување;
• и целата „медицинска историја“ - дефекти, поправки.

Како и каде да се соберат сите овие информации зависи од секој оператор на центарот за податоци сам да одлучи. UI не е ограничен во алатки. Ова може да биде едноставен Excel (почнавме со ова) или самонапишан систем за управување со одржување (MMS), како што имаме сега. Патем, работно биро, магацинско сметководство, онлајн дневник, мониторинг се исто така самостојно напишани.

Постои такво „лично досие“ за секое парче опрема.

Ги демонстриравме нашите практики во овој поглед, вклучително и користење на примерот на оваа инфраструктура UPS-от (на сликата), кој донираше еден од неговите делови на UPS-от што го опслужува товарот на ИТ. Да, според стандардот, таквата „донација“ може да се изврши само со инфраструктурна опрема што ги напојува клима уредите и осветлувањето за итни случаи, но не и ИТ оптоварувањето.

Потоа, ревизорите побараа да го покажат соодветниот билет во Сервисот:

И профилот на UPS-от во MMS:

Резервни Делови За навремено одржување и итни поправки на инженерска опрема, ние чуваме сопствени резервни делови и додатоци. Има општ магацин со големи резервни делови за опрема и мали кабинети со резервни делови во инженерските простории (за да не треба да трчате далеку).

На фотографијата: ја проверуваме достапноста на резервни делови за комплетот на дизел генератор. Изброивме 12 филтри. Потоа ги проверивме податоците во MMS.  

Слична вежба беше изведена и во главниот магацин, каде што се чуваат големи резервни делови: компресори, контролери, автоматизација, вентилатори, навлажнувачи на пареа и стотици други артикли. Селективно ги препишувавме ознаките и ги „удривме“ преку MMS.

Податоци за залиха на резервни делови. Црвено - Ова е она што недостасува и треба да се купи.

Превентивно одржување. Покрај одржувањето и поправките, UI препорачува и превентивно одржување. Тоа помага да се претвори потенцијалната несреќа во планирана поправка. За секој параметар, ги конфигурираме вредностите на прагот во следењето. Доколку се надминат, одговорните добиваат аларми и ги преземаат потребните активности. На пример, ние:

• Ние ги проверуваме електричните панели со термичка слика за брзо откривање на дефекти во електричните инсталации: слаб контакт, локално прегревање на проводник или прекинувач. 
• Ги следиме индикаторите за вибрации и тековната потрошувачка на пумпите на системот за ладење. Ова ви овозможува да ги идентификувате отстапувањата на време и да планирате делови за замена без брзање.
• Вршиме анализи на гориво и масло на комплети и компресори на дизел генератори.
• Го тестираме гликолот во системот за ладење за концентрација.

Дијаграм за вибрации на пумпата пред и по поправка.

Работа со изведувачи. Одржувањето и поправките на опремата ги вршат надворешни изведувачи. На наша страна има посебни специјалисти за дизел генератори, клима уреди и UPS кои го контролираат нивното работење. Тие проверуваат дали изведувачите ги имаат потребните алатки и материјали за поправка/одржување, професионални сертификати, сертификати за електрична безбедност и дозволи. Ја прифаќаат целата работа.

Вака изгледа списокот за проверка за прифаќање работи за одржување на климатизерот.

Во пропусницата проверуваме дали пропусниците се издадени на овластени претставници на изведувачите, дали тие биле подложени на одржување во наведеното време и дали ги прочитале правилата.

Документација. Воспоставените процеси за одржување на системи и опрема се половина од битката. Сите постапки што ги вршат луѓето во центарот за податоци мора да бидат документирани. Целта на ова е едноставна: така што сè не е ограничено на една конкретна личност, а во случај на несреќа, секој инженер може да преземе јасни упатства и да ги направи сите потребни операции за да го елиминира.

UI има своја методологија за ваква документација.

За едноставни и повторливи активности, воспоставени се стандардни оперативни процедури (СОП). На пример, постојат SOP за вклучување/исклучување на чилерот и поставување на UPS-от да заобиколува.

За одржување или сложени операции, како што е замена на батерии во UPS-от, се креираат процедури за одржување (Методи на процедури, MOPs). Тие може да вклучуваат СОП. Секој тип на инженерска опрема мора да има свои MOPs.

Конечно, постојат итни оперативни процедури (EOPs) - инструкции во случај на вонредна состојба. Се составува список на конкретни итни ситуации и се пишуваат упатства за нив. Еве дел од списокот на итни ситуации, во кој се детално опишани знаците на несреќа, дејствијата, одговорните лица и лицата што треба да се известат:

• исклучување на градското напојување: дизел генераторите започнаа/не стартуваа;
• Несреќи на UPS-от; 
• несреќи на системот за следење на центарот за податоци;
• прегревање на машинската просторија;
• истекување на системот за ладење;
• дефект на мрежата и компјутерската опрема;

и така натаму.

Составувањето таков обем на документација е трудоинтензивна задача сама по себе. Уште потешко е да се одржува ажуриран (патем, и ревизорите го проверуваат ова). И што е најважно, персоналот мора да ги знае овие упатства, да работи според нив и да прави подобрувања доколку е потребно.

Да, инструкциите треба да бидат достапни таму каде што може да бидат потребни, а не само да се собира прашина во архивите.

Забелешки за промените во прописите за одржување на инженерските системи на центри за податоци.

За време на ревизијата, тие ја разгледуваат и техничката документација за системите, извршната и работната документација и актите за ставање во функција на системите. 

Обележување Додека шетаа низ центарот за податоци, го проверуваа секаде каде што можеа да стигнат. Каде што не можеа да стигнат, стигнаа од скалила :). Го разгледавме неговото присуство на секоја разводна табла, машина и вентил. Ја проверивме уникатноста, недвосмисленоста и усогласеноста со тековните шеми на како-изградената документација. На фотографијата подолу: ние сме во просторијата за пумпа за складирање гориво и ги споредуваме ознаките на електромагнетните вентили со дијаграмот на документацијата што е изградена. 

Сè се согласуваше со неа, но со локалниот „декоративен“ аксонометриски дијаграм на ѕидот во еден параметар не се совпадна.

Во просториите на центарот за податоци треба да бидат поставени и дијаграми на системите лоцирани таму. Во случај на несреќа, тие ви помагаат брзо да дознаете каде е сè и да донесете информирана одлука. На фотографијата, на пример, е прикажан дијаграм со една линија во главната просторија на разводната табла.

Релевантноста на дијаграмите беше проверена на следниов начин: тие го именуваа обележувањето на елементот на дијаграмот и побараа да го прикажат „во реалниот живот“. 

Овде ревизорот ги фотографира поставките (поставките) на прекинувачот за влез на главната разводна табла, за подоцна да ги спореди со индикаторите на еднолинискиот дијаграм во хартиени и електронски копии. На една од машините, QF-3, индикаторот не одговараше на хартиената шема и заработивме казнен поен. Сега двајца инженери ќе проверат дали ознаките во еднолиниските дијаграми одговараат на фактот.

Ова не е се што проверуваа ревизорите во однос на сервисните процеси. Еве што друго беше на дневен ред:

• систем за следење. Тука заработивме придобивки од карма со добра визуелизација, присуство на мобилна апликација и ситуациони екрани поставени во ходниците на центрите за податоци. Овде детално напишавме како работиме следење.

  
  Ова е MCC со визуелни информации за статусот на главните инженерски системи на NORD-4 и нашите други центри за податоци кои работат на страницата.

• планирање на животниот циклус на инженерска опрема;
• управување со капацитетот (управување со капацитет);
• буџетирање (зборуваше малку тука);
• постапка за анализа на несреќи;
• процесот на прифаќање, пуштање во работа и тестирање на опремата (напишавме за тестови тука).

Што друго гледаше интерфејсот?

Безбедност и контрола на пристап. Ревизијата ја проверува и работата на безбедносните и безбедносните системи. На пример, ревизорот се обиде да влезе во една од просториите каде што немаше пристап, а потоа провери дали тоа се рефлектира во системот за контрола на пристап и дали обезбедувањето е известено за ова (спојлер - беше).

Ако во нашите центри за податоци вратата на која било просторија остане отворена повеќе од две минути, тогаш се активира предупредување на безбедносната станица. За да го тестираат ова, ревизорите отворија една од вратите со апарат за гаснење пожар. Точно, никогаш не добивме сирена - обезбедувањето виде дека нешто не е во ред преку видео камерите и порано пристигна на „местото на злосторството“.

Ред и чистота. Ревизорите бараат прашина, кутии за опрема што лежат наоколу хаотично и колку често се чистат просториите. Еве, на пример, ревизорите се заинтересираа за неидентификуван објект во коридорот за вентилација. Ова е блок од системот за вентилација, кој веќе се подготвуваше да го заземе своето место. Но, тие сепак ме замолија да потпишам.

Исто така на тема нарачка во центарот за податоци - овие ормари со сите потребни алатки за итна работа на опремата се сместени во главната просторија на разводната табла. 

Локација Центарот за податоци се оценува врз основа на условите за локација - дали во близина има воени бази, аеродроми, реки, вулкани и други опасни објекти. На фотографијата само покажуваме дека од последната сертификација во 2017 година, ниту една нуклеарна централа или капацитет за складирање нафта не порасна околу центарот за податоци. Но, таму се гради нов центар за податоци NORD-5, кој исто така ќе треба да ги помине сите нивоа на сертификација на Институтот за време на работа, ниво III. Но, тоа е сосема друга приказна).

Извор: www.habr.com