И демонстрирайте или как преминахме одита за оперативна устойчивост в Uptime Institute

Началникът на оперативния отдел се качи в люка на подземното хранилище за гориво, за да покаже маркировките на електромагнитния клапан.

В началото на февруари нашият най-голям център за данни от ниво III НОРД-4 Повторно сертифициран от Uptime Institute (UI) по стандарта за оперативна устойчивост. Днес ще ви разкажем какво гледат одиторите и с какви резултати завършихме.

За тези, които са запознати с центровете за данни, нека прегледаме накратко хардуера. Стандарти на ниво оценява и сертифицира центрове за данни на три етапа:

• проект (Проектиране): проверява се пакетът проектна документация.Тук е добре познатото ред. Те са общо 4: Tier I–IV. Последният съответно е най-високият.
• изградено съоръжение (Facility): проверява се инженерната инфраструктура на центъра за данни и нейното съответствие с проекта. Центърът за данни се проверява при пълно проектно натоварване, като се използват различни тестове с приблизително следното съдържание: един от UPS (DGS, чилъри, прецизни климатици, разпределителни шкафове, шини и т.н.) се извежда от експлоатация за поддръжка или ремонт , а градското електрозахранване е изключено. Центровете за данни от ниво III и по-високо трябва да могат да се справят със ситуацията без никакво въздействие върху ИТ полезния товар.

  Съоръжението може да бъде взето, ако центърът за данни вече е преминал сертификат за проектиране.
  NORD-4 получи своя сертификат за проектиране през 2015 г. и съоръжение през 2016 г.

• Оперативна устойчивост. Всъщност най-важната и сложна сертификация. Той изчерпателно оценява процесите и компетенциите на оператора при поддържането и управлението на център за данни с установено ниво на Tier (за да преминете Operational Sustainability, трябва вече да имате Facility сертификат). В крайна сметка, без правилно структурирани оперативни процеси и квалифициран екип, дори Tier IV център за данни може да се превърне в безполезна сграда с много скъпо оборудване.
  
  Тук също има нива: Бронз, Сребро и Злато. На последната ресертификация завършихме с резултат 88,95 от 100 възможни точки и това е сребро. Той падна малко по-малко от златото - 1,05 пункта. 

Как да проверите дали необходимите процеси са изградени и работят както трябва? Освен това как да го направите за два дни - толкова време отнема пресертифицирането. Накратко, сертифицирането се основава на старателно сравнение на написаното в разпоредбите, истории за това „как работи всичко“ и реални практики. Информацията за последните се получава от обиколки на центъра за данни и разговори с инженери на центъра за данни – „конфронтации“, както ги наричаме галено. Това е, което те гледат.

Отбор

На първо място, UI одиторите проверяват дали центърът за данни разполага с достатъчно помощен персонал. Те вземат таблицата с персонала, графика на дежурствата и го проверяват селективно с отчети за смени и данни за контрол на достъпа, за да се уверят, че необходимият брой инженери действително са били на място този ден.

Одиторите също следят внимателно броя на часовете извънреден труд. Това понякога се случва, когато идва голям клиент и трябва да се монтират десетки стелажи едновременно. В такива моменти момчета от други смени идват на помощ и им се плащат допълнителни пари за това.

На NORD-4 работят 7 инженера на смяна: 6 дежурни и един старши инженер. Това са тези, които наблюдават 24x7 наблюдение, срещат се с клиенти, помагат при инсталиране на оборудване и други рутинни заявки. Това е първата линия за техническа поддръжка на клиенти. Техните отговорности включват записване на аварийни ситуации и предаването им на специализирани инженери. Работата на инженерната инфраструктура се наблюдава от отделни лица – дежурни по инфраструктурата. Също така 24x7.

Производственият директор и мениджърът на обекта на NORD казва на одиторите колко хора работят на обекта в момента.

Когато се подредят номерата, се проверява квалификацията на отбора. Одиторите преглеждат произволно личните досиета на инженерите, за да се уверят, че имат необходимите дипломи, сертификати и документи за упълномощаване (например сертификати за електрическа безопасност) за работа на дадена позиция.

Те също така проверяват как обучаваме персонала си. Още по време на последния одит нашата система за обучение на нови дежурни инженери впечатли UI специалистите. За тях отделяме три месеца курс на обучение като платен стаж, по време на който ги запознаваме с процесите и принципите на работа в нашия център за данни.

Вече работещите инженери също трябва да преминават редовно обучение, включително за работа в извънредни ситуации. Одиторите определено ще проверяват програмите за обучение и материалите за такива обучения, а също така ще проверяват инженерите на случаен принцип. Никой няма да бъде помолен да премине към дизел генератор, но ще бъде помолен да ви каже стъпка по стъпка какво трябва да се направи, когато градското захранване е изключено. Въз основа на резултатите от одита ние ще приведем всички програми за обучение и обучение към един стандарт, така че да не се различават за различните екипи.

Показваме на одиторите стаята за почивка за сменен инженер.

Експлоатация и поддръжка на инженерни системи 

В този голям раздел от одита показваме, че цялото инженерно оборудване и системи получават редовна поддръжка според графика, препоръчан от доставчиците, складът разполага с необходимите резервни части, валидни споразумения за обслужване с изпълнители и всяка операция с оборудването има собствен процедури и алгоритми за работа по различни случаи.

MMS. Когато работите с десетки UPS, дизел генератори, климатици и други неща, трябва да съберете цялата информация за това съоръжение някъде. Създаваме приблизително следното досие за всяка част от оборудването:

• модел и сериен номер;
• маркиране;
• технически характеристики и настройки;
• място за монтаж;
• дати на производство, въвеждане в експлоатация, изтичане на гаранцията;
• договори за услуги;
• график и история на поддръжката;
• и цялата "медицинска история" - повреди, ремонти.

Как и къде да събере цялата тази информация зависи от всеки оператор на център за данни да реши сам. Потребителският интерфейс не е ограничен в инструментите. Това може да бъде обикновен Excel (започнахме с това) или самостоятелно написана система за управление на поддръжката (MMS), каквато имаме сега. Между другото, бюро услуги, складово счетоводство, онлайн дневник, мониторинг също се пишат самостоятелно.

Има такова „лично досие“ за всяко оборудване.

Ние демонстрирахме нашите практики в това отношение, включително използвайки примера на този инфраструктурен UPS (на снимката), който дари една от своите части на UPS, обслужващ ИТ товара. Да, според стандарта подобно „дарение“ може да се извършва само от инфраструктурни съоръжения, които захранват климатици и аварийно осветление, но не и ИТ товара.

След това одиторите поискаха да покажат съответния билет в сервизното бюро:

И UPS профилът в MMS:

Резервни части За навременна поддръжка и аварийни ремонти на инженерно оборудване поддържаме собствени резервни части и аксесоари. Има общ склад с големи резервни части за оборудване и малки шкафове с резервни части в инженерните помещения (за да не се налага да бягате далеч).

На снимката: проверяваме наличността на резервни части за дизел генератора. Преброихме 12 филтъра. След това провериха данните в MMS.  

Подобно учение беше проведено и в основния склад, където се съхраняват големи резервни части: компресори, контролери, автоматика, вентилатори, пароовлажнители и стотици други артикули. Избирателно пренаписахме маркировките и ги „пробихме“ чрез MMS.

Данни за запасите от резервни части. червен - Това е, което липсва и трябва да бъде закупено.

Превантивна поддръжка. В допълнение към поддръжката и ремонтите, потребителският интерфейс препоръчва извършването на превантивна поддръжка. Помага да превърнете потенциална авария в планиран ремонт. За всеки параметър конфигурираме прагови стойности в мониторинга. При превишаването им отговорните лица получават сигнали и предприемат необходимите действия. Например ние:

• Проверяваме ел. табла с термовизионна камера за бързо откриване на дефект в ел. инсталациите: лош контакт, локално прегряване на проводник или прекъсвач. 
• Следим вибрационни индикатори и консумация на ток на помпите на хладилната система. Това ви позволява да идентифицирате отклоненията навреме и да планирате резервни части без бързане.
• Извършваме анализи на гориво и масло на дизел генератори и компресори.
• Тестваме гликол в хладилната система за концентрация.

Диаграма на вибрациите на помпата преди и след ремонт.

Работа с контрагенти. Поддръжката и ремонтите на оборудването се извършват от външни изпълнители. От наша страна има отделни специалисти по дизел генератори, климатици и UPS, които контролират работата им. Те проверяват дали изпълнителите разполагат с необходимите инструменти и материали за ремонтни дейности/поддръжка, професионални сертификати, сертификати за електробезопасност и разрешителни. Приемат всяка работа.

Ето как изглежда контролният лист за приемане на работа по поддръжката на климатика.

В пропускателната служба проверяваме дали пропуските са издадени на упълномощени представители на изпълнители, дали са били на профилактика в определеното време и дали са се запознали с правилата.

Документация. Установените процеси за поддръжка на системи и оборудване са половината от битката. Всички процедури, извършвани от хора в центъра за данни, трябва да бъдат документирани. Целта на това е проста: така че всичко да не се ограничава до едно конкретно лице и в случай на авария всеки инженер може да вземе ясни инструкции и да извърши всички необходими операции, за да я премахне.

UI има собствена методология за такава документация.

За прости и повтарящи се дейности са установени стандартни оперативни процедури (SOP). Например, има SOP за включване/изключване на охладителя и настройка на UPS на байпас.

За поддръжка или сложни операции, като смяна на батерии в UPS, се създават процедури за поддръжка (Методи на процедурите, MOP). Те могат да включват SOP. Всеки тип инженерно оборудване трябва да има свои собствени MOP.

И накрая, има аварийни оперативни процедури (EOPs) - инструкции в случай на спешност. Съставя се списък на конкретни извънредни ситуации и се изписват инструкции за тях. Ето част от списъка с аварийни ситуации, в който са описани признаците на авария, действията, отговорните лица и лицата за уведомяване:

• изключване на градското електрозахранване: стартирали/не стартирали дизел генератори;
• аварии на UPS; 
• аварии в системата за мониторинг на центъра за данни;
• прегряване на машинното помещение;
• изтичане на хладилна система;
• повреда на мрежово и изчислително оборудване;

и така нататък.

Съставянето на такъв обем документация само по себе си е трудоемка задача. Още по-трудно е да го поддържате актуален (между другото, одиторите също проверяват това). И най-важното, персоналът трябва да знае тези инструкции, да работи според тях и да прави подобрения, ако е необходимо.

Да, инструкциите трябва да са достъпни там, където може да са необходими, а не просто да събират прах в архивите.

Бележки относно промените в разпоредбите за поддръжка на инженерни системи за центрове за данни.

По време на одита те също така разглеждат техническата документация на системите, изпълнителната и работната документация и актовете за въвеждане в експлоатация на системите. 

Маркировка. Докато се разхождаха из центъра за данни, те го проверяваха навсякъде, където можеха да достигнат. Където не успяха да стигнат, стигнаха от стълба :). Разгледахме наличието му на всяко табло, машина и вентил. Проверихме уникалността, недвусмислеността и съответствието с актуалните схеми на изпълнителната документация. На снимката по-долу: ние сме в помпената стая за съхранение на гориво и сравняваме маркировките на електромагнитните клапани с диаграмата на документацията за изпълнение. 

Всичко се съгласи с нея, но с местната „декоративна“ аксонометрична диаграма на стената в един параметър не съвпадна.

Схеми на разположените там системи също трябва да бъдат поставени в помещенията на центъра за данни. В случай на инцидент те ви помагат бързо да разберете къде е всичко и да вземете информирано решение. Снимката например показва еднолинейна схема в стаята на главното табло.

Уместността на диаграмите беше проверена по следния начин: те назоваха елемента, маркиран на диаграмата и поискаха да го покажат „в реалния живот“. 

Тук одиторът прави снимки на настройките (настройките) на входния прекъсвач на главното разпределително табло, за да ги сравни по-късно с показателите на едноредовата диаграма в хартиени и електронни копия. На една от машините, QF-3, индикаторът не съвпадна с хартиената диаграма и спечелихме наказателна точка. Сега двама инженери ще проверят дали маркировките в едноредовите диаграми отговарят на факта.

Това не е всичко, което провериха одиторите по отношение на процесите на обслужване. Ето какво още беше на дневен ред:

• система за наблюдение. Тук спечелихме карма предимства с добра визуализация, наличие на мобилно приложение и ситуационни екрани, поставени в коридорите на центровете за данни. Тук сме писали подробно как работим мониторинг.

  
  Това е МКЦ с визуална информация за състоянието на основните инженерни системи на НОРД-4 и другите ни центрове за данни, работещи на обекта.

• планиране на жизнения цикъл на инженерното оборудване;
• управление на капацитета (управление на капацитета);
• бюджетиране (говорихме малко тук);
• процедура за анализ на аварии;
• процесът на приемане, пускане в експлоатация и тестване на оборудването (писахме за тестове тук).

Какво друго гледа потребителският интерфейс?

Сигурност и контрол на достъпа. Одитът проверява и работата на системите за безопасност и сигурност. Например одиторът се опита да влезе в едно от помещенията, където нямаше достъп, след което провери дали това е отразено в системата за контрол на достъпа и дали охраната е уведомена за това (спойлер - беше).

Ако в нашите центрове за данни вратата на някоя стая остане отворена за повече от две минути, тогава се задейства предупреждение на охранителния пост. За да проверят това, одиторите отвориха една от вратите с пожарогасител. Вярно, никога не получихме сирена - охраната видя нещо нередно чрез видеокамери и пристигна на „местопрестъплението“ по-рано.

Ред и чистота. Одиторите търсят прах, хаотично разхвърляни кутии с оборудване и колко често се почистват помещенията. Ето, например, одиторите се заинтересуваха от неидентифициран обект във вентилационния коридор. Това е блок от вентилационната система, който вече се подготвяше да заеме мястото си. Но все пак ме помолиха да подпиша.

Още по темата за реда в дата центъра - тези шкафове с всички необходими инструменти за аварийна работа на оборудването се намират в стаята на главното табло. 

Местоположение. Центърът за данни се оценява въз основа на условията на местоположение – дали в близост има военни бази, летища, реки, вулкани и други опасни обекти. На снимката просто показваме, че от последното сертифициране през 2017 г. около центъра за данни не са израснали атомни електроцентрали или петролни съоръжения. Но там се изгражда нов център за данни NORD-5, който също ще трябва да премине всички нива на сертифициране Tier III на Uptime Institute. Но това е съвсем различна история).

Източник: www.habr.com