И демонстрирајте, или како смо прошли ревизију оперативне одрживости на Уптиме Институту

Шеф оперативног одељења попео се у отвор подземног складишта горива да покаже ознаке на магнетном вентилу.

Почетком фебруара, наш највећи центар података Тиер ИИИ НОРД-4 Поново сертификован од стране Уптиме Институте (УИ) према стандарду оперативне одрживости. Данас ћемо вам рећи шта гледају ревизори и са каквим смо резултатима завршили.

За оне који су упознати са центрима података, хајде да укратко пређемо на хардвер. Стандарди нивоа процењује и сертификује центре података у три фазе:

• пројекат (Дизајн): проверава се пакет пројектне документације.Овде добро познато Ниво. Укупно их има 4: И–ИВ ниво. Ово последње је, сходно томе, највише.
• изграђени објекат (Фацилити): проверава се инжењерска инфраструктура дата центра и њена усклађеност са пројектом. Дата центар се проверава под пуним пројектованим оптерећењем коришћењем низа тестова са приближно следећим садржајем: један од УПС-ова (ДГС, расхладни уређаји, прецизни клима уређаји, разводни ормани, сабирнице, итд.) се ставља из употребе ради одржавања или поправке , а градско напајање је искључено. Центри података нивоа ИИИ и изнад би требало да буду у стању да се изборе са ситуацијом без икаквог утицаја на носивост ИТ-а.

  Објекат се може узети ако је дата центар већ прошао сертификат дизајна.
  НОРД-4 је добио сертификат за пројектовање 2015. године, а објекат 2016. године.

• Оперативна одрживост. У ствари, најважнија и најкомплекснија сертификација. Он свеобухватно процењује процесе и компетенције оператера у одржавању и управљању центром података са утврђеним нивоом нивоа (да бисте положили Оперативну одрживост, морате већ имати сертификат о објекту). На крају крајева, без правилно структурираних оперативних процеса и квалификованог тима, чак и центар података Тиер ИВ може се претворити у бескорисну зграду са веома скупом опремом.
  
  Овде такође постоје нивои: бронзани, сребрни и златни. На последњој рецертификацији завршили смо са оценом 88,95 од 100 могућих поена, а ово је сребро. То је мало мање од злата - 1,05 поена. 

Како проверити да ли су потребни процеси изграђени и раде како треба? Штавише, како то учинити за два дана - толико је потребно за поновну сертификацију. Укратко, сертификација се заснива на мукотрпном поређењу онога што пише у прописима, причама о томе „како све функционише“ и стварним праксама. Информације о овом последњем добијају се обиласком дата центра и разговорима са инжењерима дата центра - „сукобама“, како их ми од миља зовемо. То је оно што они гледају.

Тим

Пре свега, ревизори корисничког интерфејса проверавају да ли центар података има довољно особља за подршку. Они узимају табелу особља, распоред дежурстава и селективно га проверавају са извештајима о сменама и подацима о контроли приступа како би били сигурни да је потребан број инжењера заиста био на лицу места тог дана.

Ревизори такође пажљиво прате број прековремених сати. Ово се понекад дешава када дође велики клијент и на десетине регала треба да се инсталирају истовремено. У таквим тренуцима у помоћ прискачу момци из других смена и за ово им се додатно плаћа.

На НОРД-4 ради 7 инжењера по смени: 6 дежурних и један виши инжењер. То су они који прате 24к7 мониторинг, излазе у сусрет клијентима, помажу у инсталацији опреме и другим рутинским захтевима. Ово је прва линија техничке подршке корисницима. Њихове одговорности укључују снимање ванредних ситуација и њихово прослеђивање специјализованим инжењерима. Рад инжењерске инфраструктуре прате поједини људи – инфраструктурни дежурни. Такође 24к7.

НОРД-ов директор производње и менаџер локације говори ревизорима колико људи тренутно ради на градилишту.

Када се сложе бројеви, проверавају се квалификације тима. Ревизори насумично прегледају досијее особља инжењера како би се уверили да имају потребне дипломе, сертификате и документе о овлашћењу (на пример, сертификате о електричној безбедности) за рад на датој позицији.

Проверавају и како обучавамо наше кадрове. Чак и током последње ревизије, наш систем за обуку нових дежурних инжењера импресионирао је стручњаке за УИ. За њих трошимо три месеца обука као плаћену праксу, током које их упознајемо са процесима и принципима рада у нашем дата центру.

Инжењери који већ раде морају такође да пролазе редовну обуку, укључујући и рад у ванредним ситуацијама. Ревизори ће свакако проверити програме обуке и материјале таквих обука, а такође ће насумично испитати инжењере. Нико неће бити затражен да пређе на дизел агрегат, али ће се тражити да вам корак по корак каже шта треба да се уради када се градско напајање искључи. На основу резултата ревизије, све програме обуке и едукације ћемо довести до јединственог стандарда како се не би разликовали за различите тимове.

Показујемо ревизорима просторију за одмор за инжењере смена.

Рад и одржавање инжењерских система 

У овом великом делу ревизије показујемо да се сва инжењерска опрема и системи редовно одржавају по распореду који препоручују продавци, магацин има неопходне резервне делове, важеће уговоре о сервису са извођачима, а свака операција са опремом има своју процедуре и алгоритми за рад на различитим случајевима.

ММС. Када користите десетине УПС-ова, дизел агрегата, клима уређаја и осталог, потребно је негде да прикупите све податке о овом објекту. За сваки комад опреме креирамо отприлике следећи досије:

• модел и серијски број;
• обележавање;
• техничке карактеристике и подешавања;
• место инсталације;
• датуми производње, пуштања у рад, истека гаранције;
• уговори о услугама;
• распоред одржавања и историјат;
• и цела „историја медицине“ - кварови, поправке.

Како и где ће прикупити све ове информације, сваки оператер центра података одлучује сам. УИ није ограничен у алатима. Ово може бити једноставан Екцел (почели смо са овим) или самописани систем за управљање одржавањем (ММС), какав имамо сада. Између осталог, сервисни сто, магацинско књиговодство, онлајн дневник, праћење су такође сами писани.

Постоји такав „лични досије“ за сваки комад опреме.

Ми смо демонстрирали нашу праксу у том погледу, укључујући и коришћење примера ове инфраструктуре УПС-а (на слици), који је донирао један од својих делова УПС-у који служи за ИТ оптерећење. Да, према стандарду, такву „донацију“ може извршити само инфраструктурна опрема која напаја клима уређаје и расвету у случају нужде, али не и ИТ оптерећење.

Након тога, ревизори су тражили да покажу одговарајућу карту у сервисном деску:

И УПС профил у ММС-у:

Резервни делови За благовремено одржавање и хитне поправке инжењерске опреме чувамо сопствене резервне делове и прибор. Постоји општи магацин са великим резервним деловима за опрему и малим орманима са резервним деловима у инжењерским просторијама (тако да не морате да бежите далеко).

На фотографији: проверавамо доступност резервних делова за дизел агрегат. Избројали смо 12 филтера. Затим смо проверили податке у ММС-у.  

Слична вежба изведена је и у главном магацину, где се налазе велики резервни делови: компресори, контролери, аутоматика, вентилатори, парни овлаживачи и стотине других артикала. Ознаке смо селективно преписивали и „пробијали“ их преко ММС-а.

Подаци о залихама резервних делова. Црвени - Ово је оно што недостаје и треба га купити.

Превентивно одржавање. Поред одржавања и поправки, УИ препоручује извођење превентивног одржавања. Помаже да се потенцијална несрећа претвори у планирану поправку. За сваки параметар конфигуришемо граничне вредности у надгледању. Ако су прекорачени, одговорни добијају аларме и предузимају потребне радње. На пример, ми:

• Електричне плоче проверавамо термовизиром како бисмо брзо открили кварове на електричним инсталацијама: лош контакт, локално прегревање проводника или прекидача. 
• Пратимо индикаторе вибрација и тренутну потрошњу пумпи система за хлађење. Ово вам омогућава да на време идентификујете одступања и без журбе планирате замену делова.
• Радимо анализе горива и уља дизел агрегата и компресора.
• Тестирамо концентрацију гликола у систему за хлађење.

Дијаграм вибрација пумпе пре и после поправке.

Рад са извођачима радова. Одржавање и поправке опреме врше спољни извођачи. На нашој страни постоје посебни стручњаци за дизел агрегате, клима уређаје и УПС који контролишу њихов рад. Проверавају да ли извођачи имају неопходан алат и материјал за поправке/одржавање, стручне сертификате, сертификате о електричној безбедности и дозволе. Они прихватају сав посао.

Овако изгледа контролна листа за прихватање радова на одржавању клима уређаја.

У бироу за пропуснице проверавамо да ли су пропуснице издате овлашћеним представницима извођача радова, да ли су били на одржавању у назначено време и да ли су прочитали правила.

Документација. Успостављени процеси за одржавање система и опреме су пола битке. Све процедуре које изводе људи у центру података морају бити документоване. Сврха овога је једноставна: тако да све није ограничено на једну конкретну особу, ау случају несреће, сваки инжењер може да преузме јасна упутства и уради све неопходне радње да га елиминише.

УИ има своју методологију за такву документацију.

За једноставне и понављајуће активности, успостављене су стандардне оперативне процедуре (СОП). На пример, постоје СОП-ови за укључивање/искључивање чилера и подешавање УПС-а на бајпас.

За одржавање или сложене операције, као што је замена батерија у УПС-у, креирају се процедуре одржавања (Методе процедура, МОП). То може укључивати СОП. Свака врста инжењерске опреме мора имати своје МОП.

Коначно, постоје хитне оперативне процедуре (ЕОП)—упутства у случају нужде. Саставља се листа конкретних ванредних ситуација и за њих се пишу упутства. Ево дела листе ванредних ситуација у којој су детаљно наведени знаци удеса, радње, одговорна лица и лица која треба обавестити:

• искључење градског напајања: дизел агрегати покренули/нису стартовали;
• УПС незгоде; 
• незгоде на систему за праћење дата центра;
• прегревање машинске собе;
• цурење расхладног система;
• квар на мрежи и рачунарској опреми;

и тако даље.

Састављање такве количине документације је само по себи напоран задатак. Још теже га је ажурирати (и ово, иначе, проверавају ревизори). И што је најважније, особље мора познавати ова упутства, радити у складу са њима и вршити побољшања ако је потребно.

Да, упутства треба да буду доступна тамо где би могла да буду потребна, а не само да скупљају прашину по архивама.

Напомене о изменама у прописима о одржавању инжењерских система дата центара.

Приликом ревизије прегледају и техничку документацију о системима, извршну и радну документацију и акте пуштања система у рад. 

Означавање Док су шетали по дата центру, проверавали су га свуда где су могли да дођу. Где нису могли стићи, стигли су са мердевина :). Погледали смо његово присуство на свакој централи, машини и вентилу. Проверили смо јединственост, недвосмисленост и усклађеност са актуелним шемама урађене документације. На слици испод: налазимо се у просторији за складиштење горива и упоређујемо ознаке на електромагнетним вентилима са дијаграмом урађене документације. 

Све се слагало са њом, али са локалним „декоративним“ аксонометријским дијаграмом на зиду у једном параметру није се поклопило.

Дијаграми система који се тамо налазе такође треба да буду постављени у просторијама центра података. У случају незгоде, помажу вам да брзо сазнате где се све налази и донесете информисану одлуку. Фотографија, на пример, приказује једнолинијски дијаграм у просторији главне централе.

Релевантност дијаграма је проверавана на следећи начин: давали су назив елементу који је обележен на дијаграму и тражио да се прикаже „у стварном животу“. 

Овде ревизор фотографише подешавања (подешавања) улазног прекидача главне централе, да би их касније упоредио са индикаторима на једнолинијском дијаграму у папирним и електронским копијама. На једној од машина, КФ-3, индикатор није одговарао папирном дијаграму и зарадили смо казнени поен. Сада ће два инжењера проверити да ли ознаке на једнолинијским дијаграмима одговарају чињеници.

Ово није све што су ревизори проверили у погледу процеса услуга. Ево шта је још било на дневном реду:

• Мониторинг систем. Овде смо зарадили карма погодности добром визуелизацијом, присуством мобилне апликације и ситуационим екранима постављеним у ходницима дата центара. Овде смо детаљно писали о томе како радимо надгледање.

  
  Ово је МЦЦ са визуелним информацијама о статусу главних инжењерских система НОРД-4 и других наших центара података који раде на сајту.

• планирање животног циклуса инжењерске опреме;
• управљање капацитетима (управљање капацитетима);
• буџетирање (мало причао овде);
• поступак анализе удеса;
• процес пријема, пуштања у рад и испитивања опреме (писали смо о тестовима овде).

Шта је још гледао кориснички интерфејс?

Сигурност и контрола приступа. Ревизија такође проверава рад система безбедности и безбедности. На пример, ревизор је покушао да уђе у једну од просторија у коју није имао приступ, а затим је проверио да ли се то одражава на систем контроле приступа и да ли је обезбеђење о томе обавештено (спојлер - јесте).

Ако у нашим дата центрима врата било које собе остану отворена дуже од два минута, тада се активира упозорење на сигурносном месту. Да би ово тестирали, ревизори су отворили једна од врата апаратом за гашење пожара. Истина, никада нисмо добили сирену – обезбеђење је преко видео камера видело да нешто није у реду и раније је стигло на „место злочина“.

Ред и чистоћа. Ревизори траже прашину, кутије са опремом које хаотично леже около и колико често се просторије чисте. Ево, на пример, ревизори су се заинтересовали за неидентификовани објекат у вентилационом ходнику. Ово је блок из вентилационог система, који се већ спремао да заузме своје место. Али су ме ипак тражили да потпишем.

Такође на тему реда у дата центру - ови ормани са свим потребним алатима за хитне радове на опреми налазе се у просторији главне централе. 

Локација. Дата центар се процењује на основу локацијских услова – да ли се у близини налазе војне базе, аеродроми, реке, вулкани и други опасни објекти. На фотографији управо показујемо да од последње сертификације 2017. године око дата центра није израсла ниједна нуклеарна електрана или складиште нафте. Али тамо се гради нови НОРД-5 дата центар, који ће такође морати да прође све нивое Уптиме Институте Тиер ИИИ сертификата. Али то је сасвим друга прича).

Извор: ввв.хабр.цом