Кіраўнік аддзела эксплуатацыі залез у люк падземнага палівасховішча, каб паказаць маркіроўку на электрамагнітным клапане.
У пачатку лютага наш самы вялікі дата-цэнтр Tier III мінуў паўторную сертыфікацыю Uptime institute (UI) па стандарце Operational Sustainability. Сёння раскажам, на што глядзяць аўдытары і з якімі вынікамі мы фінішавалі.
Для тых, хто з дата-цэнтрамі на "вы", коратка пройдземся па матчы. ацэньвае і сертыфікуе дата-цэнтры на трох этапах:
- праект (Dеsign): правяраецца пакет праектнай дакументацыі.Тут як раз прысвойваюцца ўсім вядомыя . Усяго іх 4: Tier I-IV. Апошні, адпаведна, самы высокі.
- пабудаваны аб'ект (Facility): правяраецца інжынерная інфраструктура дата-цэнтра і яе адпаведнасць праекту. Дата-цэнтр правяраюць пад поўнай праектнай загрузкай з дапамогай мноства тэстаў прыкладна такога зместу: адзін з КБС (ДДУ, чылераў, прэцызійных кандыцыянераў, размеркавальных шаф, шынаправодаў і да т.п.) выводзіцца з эксплуатацыі на абслугоўванне або рамонт, пры гэтым адключаецца гарадское энергазабеспячэнне . ЦАД ўзроўню Tier III і вышэй павінен справіцца з сітуацыяй без якіх-небудзь наступстваў для карыснай ІТ-нагрузкі.
Facility можна здаваць, калі дата-цэнтр ужо мінуў сертыфікацыю Design.
NORD-4 атрымаў свой сертыфікат Design у 2015 годзе, а Facility – у 2016. - эксплуатацыя (Operational Sustainability). Па сутнасці, самая галоўная і складаная сертыфікацыя. Яна ў комплексе ацэньвае працэсы і кампетэнцыі аператара па абслугоўванні і кіраванні дата-цэнтрам з усталяваным узроўнем Tier (каб здаць Operational Sustainability, вы ўжо павінны мець сертыфікат Facility). Бо без правільна пабудаваных працэсаў эксплуатацыі і кваліфікаванай каманды нават дата-цэнтр Tier IV можа ператварыцца ў бескарысны будынак з вельмі дарагім абсталяваннем.
Тут таксама свае ўзроўні: Bronze, Silver і Gold. На апошняй рэсертыфікацыі фінішавалі з вынікам 88,95 са 100 магчымых балаў, і гэта Silver. Да Gold не хапіла трошкі - 1,05 бала.
Як праверыць, што патрэбныя працэсы выбудаваны і працуюць як трэба? Тым больш, як зрабіць гэта за два дні - менавіта столькі ідзе паўторная сертыфікацыя. Калі коратка, то сертыфікацыя будуецца на карпатлівым супастаўленні напісанага ў рэгламентах, апавяданняў "як усё ўладкавана" і рэальных практык. Інфармацыя пра апошнія здабываецца з абыходаў дата-цэнтра і гутарак з інжынерамі дата-цэнтра – «вочных ставак», як мы іх ласкава завём. Вось на што глядзяць.
Каманда
У першую чаргу аўдытары UI правяраюць, ці хапае ў дата-цэнтры абслуговага персанала. Бяруць штатны расклад, графік дзяжурства і выбарачна звяраюць са справаздачамі змен і дадзенымі СКУД, каб пераканацца, што патрэбная колькасць інжынераў сапраўды была ў той дзень на пляцоўцы.
Таксама аўдытары пільна глядзяць на колькасць гадзін перапрацоўкі. Такое часам здараецца, калі заязджае буйны кліент і адначасова трэба паставіць дзясяткі стоек. У такія моманты хлопцы з іншых змен прыходзяць на дапамогу, і ім за гэта выплачваюць дадатковыя грошы.
У змене на NORD-4 працуюць 7 інжынераў: 6 дзяжурных і адзін старэйшы інжынер. Гэта тыя, хто сочыць за маніторынгам 24х7, сустракаюць кліентаў, дапамагаюць з усталёўкай абсталявання і іншымі штатнымі запытамі. Гэта першая лінія кліенцкай тэхпадтрымкі. У іх жа абавязкі ўваходзіць фіксацыя аварыйных сітуацый і эскалацыя на спецыялізаваных інжынераў. За працай інжынернай інфраструктуры сочаць асобныя людзі - дзяжурныя па інфраструктуры. Таксама 24х7.
Дырэктар па вытворчасці і старэйшы па пляцоўцы NORD расказвае аўдытарам, колькі чалавек працуе на пляцоўцы прама цяпер.
Калі з колькасцю разабраліся, правяраюць кваліфікацыю каманды. Аўдытары выпадковым чынам праглядаюць асабістыя справы інжынераў, каб пераканацца, што ў іх ёсць неабходныя дыпломы, сертыфікаты, якія дазваляюць дакументы (напрыклад, пасведчанні па электрабяспецы) для працы на дадзенай пазіцыі.
А яшчэ правяраюць тое, як мы навучаем персанал. Наша сістэма падрыхтоўкі новых дзяжурных інжынераў яшчэ падчас мінулага аўдыту ўразіла адмыслоўцаў UI. Для іх мы праводзім трохмесячны у рэжыме аплачванай стажыроўкі, падчас якой знаёмім іх з працэсамі і прынцыпамі працы менавіта ў нашым дата-цэнтры.
Ужо якія працуюць інжынеры таксама павінны рэгулярна праходзіць трэнінгі, у тым ліку і па працы ў аварыйных сітуацыях. Аўдытары абавязкова правераць навучальныя праграмы і матэрыялы такіх трэнінгаў, а яшчэ выбарачна праэкзаменуюць інжынераў. Пераключацца на ДДУ нікога не будуць прасіць, а вось расказаць пакрокава, што трэба рабіць пры адключэнні гарадскога электразабеспячэння, папросяць. Па выніках аўдыту мы будзем прыводзіць усе праграмы навучання і трэніровак да адзінага стандарту, каб яны не адрозніваліся для розных каманд.
Паказваем аўдытарам пакой адпачынку для зменных інжынераў.
Эксплуатацыя і абслугоўванне інжынерных сістэм
У гэтым вялікім раздзеле аўдыту мы паказваем, што ўсё інжынернае абсталяванне і сістэмы атрымліваюць рэгулярнае тэхнічнае абслугоўванне па рэкамендуемым вендарамі графіку, на складзе ёсць неабходны ЗІП, дзеючыя дагаворы з падрадчыкамі на абслугоўванне, а для кожнай аперацыі з абсталяваннем прапісаны свае працэдуры і алгарытмы працы на розныя выпадкі.
MMS. Калі эксплуатуеш дзясяткі КБС, ДДУ, кандыцыянераў і іншага, трэба недзе збіраць усю інфармацыю аб гэтай гаспадарцы. Вось прыкладна такое дасье ствараецца на кожную адзінку абсталявання ў нас:
- мадэль і серыйны нумар;
- маркіроўка;
- тэхнічныя характарыстыкі і наладкі;
- месца ўстаноўкі;
- даты вытворчасці, уводу ў эксплуатацыю, заканчэння гарантыі;
- дагаворы на абслугоўванне;
- расклад і гісторыя ТО;
- і ўся «гісторыя хваробы» - паломкі, рамонты.
Як і дзе збіраць усю гэтую інфармацыю, кожны аператар дата-цэнтра вырашае сам. UI не абмяжоўвае ў інструментах. Гэта можа быць простая Excel (мы пачыналі з такога) ці самапісная Maintenance Management System (MMS), як у нас зараз. Дарэчы, , складскі ўлік, сеткавы часопіс, маніторынг таксама самапісныя.
Вось такая "асабістая справа" ёсць на кожную адзінку абсталявання.
Свае практыкі па гэтай частцы мы паказвалі ў тым ліку на прыкладзе вось гэтага інфраструктурнага КБС (на фота), які ахвяраваў адну са сваіх дэталяў КБС, які абслугоўвае ІТ-нагрузку. Так, па стандарце такім «донарствам» можа займацца толькі інфраструктурнае абсталяванне, якое сілкуе кандыцыянеры, аварыйнае асвятленне, але не ІТ-нагрузку.
Пасля аўдытары папрасілі паказаць адпаведны тыкет у Service Desk:
І профіль КБС у MMS:
ЗІП. Для своечасовага абслугоўвання і аварыйных рамонтаў інжынернага абсталявання мы трымаем свой ЗІП. Ёсць агульны склад з буйнымі запчасткамі для абсталявання і невялікія шафы з ЗІП у інжынерных памяшканнях (каб не трэба было далёка бегчы).
На здымку: мы правяраем наяўнасць ЗІП для ДДУ. Налічылі 12 фільтраў. Потым звяраліся з дадзенымі ў MMS.
Аналагічнае практыкаванне прарабілі на асноўным складзе, дзе захоўваюцца буйныя запчасткі: кампрэсары, кантролеры, аўтаматыка, вентылятары, параўвільгатняльнікі і яшчэ сотні пазіцый. Выбарачна перапісалі маркіроўкі і "прабілі" іх па MMS.
Даныя па запасах ЗІП. Чырвонае - гэта тое, чаго не хапае і трэба дакупіць.
Папераджальнае абслугоўванне. Апроч ТО і рамонтаў UI рэкамендуе займацца папераджальным абслугоўваннем. Яно дапамагае ператварыць патэнцыйную аварыю ў планавы рамонт. Па кожным параметры мы наладжваем парогавыя значэнні ў маніторынгу. Калі яны перавышаюцца, адказныя атрымліваюць алармы і робяць неабходныя дзеянні. Напрыклад, мы:
- Правяраем цеплавізарам электрычныя шчыты, каб своечасова знайсці дэфект у электраўстаноўках: дрэнны кантакт, лакальны перагрэў правадыра або аўтамата.
- Сочым за паказчыкамі вібрацыі і спажыванага току помпаў сістэмы холадазабеспячэння. Гэта дазваляе своечасова выявіць адхіленні і без спешкі запланаваць замену дэталяў.
- Робім аналізы паліва і маслы ДДУ, кампрэсараў.
- Тэстуем гліколь у сістэме холадазабеспячэння на канцэнтрацыю.
Графік вібрацыі помпаў да і пасля рамонту.
Праца з падрадчыкамі. ТО і рамонты абсталявання робяць вонкавыя падрадчыкі. З нашага ж боку ёсць асобныя спецыялісты па ДДУ, кандыцыянерах, КБС, якія кантралююць іх працу. Яны правяраюць, ці ёсць у падрадчыкаў неабходныя прылады і матэрыялы для рамонтных прац/ТО, прафесійныя сертыфікаты, скарыначкі электрабяспекі, допускі. Яны ж прымаюць усе працы.
Прыкладна так выглядае чэк-ліст для прыёмкі прац па ТО кандыцыянера.
У бюро пропускаў правяраем, ці аформлены пропускі на аўтарызаваных прадстаўнікоў падрадчыкаў, ці праходзілі яны ў паказаны час ТО і ці азнаёміліся яны з правіламі.
Дакументацыя. Выбудаваныя працэсы па абслугоўванні сістэм і абсталявання - гэта паўсправы. Усе працэдуры, якія выконваюцца чалавекам у дата-цэнтры, павінны быць задакументаваны. Мэта гэтага простая: каб усё не замыкалася на адным пэўным чалавеку і ў выпадку аварыі любы інжынер мог узяць зразумелую інструкцыю і зрабіць усе неабходныя аперацыі для яе ліквідацыі.
У UI свая метадалогія па такой дакументацыі.
Для простых і паўтаральных дзеянняў складаюць стандартныя эксплуатацыйныя працэдуры (Standard Operational Procedure, SOP). Напрыклад, SOP'ы ёсць для ўключэння/выключэнні чылера, пастаноўкі КБС на bypass.
Для тэхнічнага абслугоўвання або складаных аперацый, напрыклад, замены батарэй у КБС, ствараюцца працэдуры па вядзенні абслуговых прац (Methods of Procedures, MOP). Яны могуць уключаць у сябе SOP'ы. У кожнага тыпу інжынернага абсталявання павінны быць свае MOP'ы.
Нарэшце, ёсць аварыйныя эксплуатацыйныя працэдуры (Emergency Operating Procedures, EOP) - інструкцыі на выпадак аварыі. Складаецца спіс канкрэтных аварыйных сітуацый, і для іх пішуцца інструкцыі. Вось частка спісу аварыйных сітуацый, па якіх падрабязна распісваюцца прыкметы аварыі, дзеянні, адказныя асобы і асобы для апавяшчэння:
- адключэнне гарадскога электразабеспячэння: ДДУ запусціліся/не запусціліся;
- аварыі на КБС;
- аварыі на сістэме маніторынгу ЦАД;
- перагрэў машыннай залы;
- працёк сістэмы холадазабеспячэння;
- аварыя на сеткавым і вылічальным абсталяванні;
і іншае.
Скласці такі аб'ём дакументацыі - сама па сабе працаёмкая праца. Яшчэ больш складана падтрымліваць яе ў актуальным стане (гэта, дарэчы, аўдытары таксама правяраюць). І галоўнае - персанал павінен ведаць гэтыя інструкцыі, працаваць па іх і ўносіць паляпшэнні пры неабходнасці.
Так, інструкцыі павінны быць даступныя там, дзе яны могуць спатрэбіцца, а не проста пыліцца ў архівах.
Адзнакі аб зменах у рэгламенце абслугоўвання інжынерных сістэм дата-цэнтра.
У ходзе аўдыту таксама глядзяць на тэхнічную дакументацыю па сістэмах, выканаўчую і працоўную дакументацыю, акты здачы сістэм у эксплуатацыю.
Маркіроўка. Падчас абыходу па дата-цэнтры правяралі яе ўсюды, куды толькі маглі дацягнуцца. Куды не маглі дацягнуцца – дацягваліся са драбінак:). Глядзелі на яе наяўнасць на кожным шчыце, аўтамаце, клапане. Правяралі ўнікальнасць, адназначнасць і адпаведнасць актуальным схемам выканаўчай дакументацыі. На фота ніжэй: мы ў помпавай палівасховішчы параўноўваем маркіроўку на электрамагнітных клапанах са схемай выканаўчай дакументацыі.
З ёй усё сышлося, а вось з мясцовай дэкаратыўнай аксанаметрычнай схемай на сцяне ў адным параметры не супала.
У памяшканнях дата-цэнтра таксама павінны вісець схемы размешчаных там сістэм. У выпадку аварый яны дапамагаюць хутка зарыентавацца, дзе што знаходзіцца, і прыняць інфармаванае рашэньне. На фота, напрыклад, адналінейная схема ў памяшканні ГРШ.
Актуальнасць схем правяралі так: звалі маркіроўку элемента на схеме і прасілі паказаць "на натуры".
Вось тут аўдытар фатаграфуе налады (пастаўкі) расцепителя ўступнага аўтамата ГРЩ, каб потым зверыць з паказчыкамі на адналінейнай схеме ў папяровым і электронным асобніках. На адным з аўтаматаў, QF-3, паказчык не супаў з папяровай схемай, і мы зарабілі штрафны бал. Цяпер два інжынеры будуць правяраць на адпаведнасць маркіроўку ў адналінейных схемах з фактам.
Гэта далёка не ўсё, што правяралі аўдытары ў частцы працэсаў абслугоўвання. Вось што яшчэ было на позве:
- сістэма маніторынгу. Тут мы зарабілі плюсы ў карму добрай візуалізацыяй, наяўнасцю мабільнага прыкладання і сітуацыйнымі экранамі, расстаўленымі ў калідорах дата-цэнтраў. Тут падрабязна пісалі пра тое, як у нас уладкованы .
Вось такі ЦКП з нагляднай інфармацыяй аб стане асноўных інжынерных сістэм NORD-4 і іншых нашых дата-цэнтраў працуе на пляцоўцы. - планаванне жыццёвага цыкла інжынернага абсталявання;
- кіраванне магутнасцямі ();
- бюджэтаваньне (крыху распавядалі );
- працэдура па аналізе аварый;
- працэс прыёмкі, уводу ў эксплуатацыю і тэсціравання абсталявання (пра тэсты пісалі ).
На што яшчэ глядзеў UI
Бяспека і кантроль доступу. Падчас аўдыту таксама правяраюць працу сістэм аховы і бяспекі. Напрыклад, аўдытар паспрабаваў патрапіць у адно з памяшканняў, куды ў яго няма доступу, а потым праверыў, ці адбілася гэта ў сістэме СККД і ці было апавяшчэнне аб гэтым у аховы (спойлер - было).
Калі ў нашых дата-цэнтрах дзверы ў любое памяшканне застаюцца адчыненымі больш за дзве хвіліны, то на пасадзе аховы спрацоўвае апавяшчэнне. Каб праверыць гэта, аўдытары падперлі адну з дзвярэй вогнетушыцелем. Праўда, сірэны мы так і не дачакаліся - ахова ўбачыла нядобрае праз відэакамеры і прыбыла на «месца злачынства» раней.
Парадак і чысціня. Аўдытары глядзяць, ці няма пылу, хаатычна якія валяюцца скрынак ад абсталявання, з якой перыядычнасцю прыбіраюць памяшканні. Вось тут, напрыклад, аўдытараў зацікавіў неапазнаны аб'ект у вентыляцыйным калідоры. Гэта блёк ад сыстэмы вентыляцыі, які ўжо рыхтаваўся заняць сваё месца. Але ўсё роўна папрасілі падпісаць.
Яшчэ ў тэму парадку ў дата-цэнтры - вось такія шафы з усімі неабходнымі прыладамі для аварыйных работ на абсталяванні стаяць у памяшканні ГРЩ.
Месцазнаходжанне. Дата-цэнтр ацэньваюць па ўмовах месцазнаходжання - ці няма паблізу ваенных баз, аэрапортаў, рэк, вулканаў і іншых небяспечных аб'ектаў. На фота мы якраз паказваем, што з моманту мінулай сертыфікацыі ў 2017 годзе вакол дата-цэнтра не вырасла ніякіх АЭС і нафтасховішчаў. Затое вунь там будуецца новы дата-цэнтр NORD-5, якому таксама трэба будзе прайсці ўсе ступені сертыфікацыі Uptime Institute Tier III. Але гэта ўжо зусім іншая гісторыя).
Крыніца: habr.com