Uptime институтында операциялық тұрақтылық аудитінен қалай өткенімізді көрсетіңіз

Пайдалану бөлімінің бастығы электромагниттік клапандағы белгілерді көрсету үшін жерасты отын қоймасының люкіне көтерілді.

Ақпан айының басында біздің ең ірі III деңгейлі деректер орталығы NORD-4 Uptime институты (UI) операциялық тұрақтылық стандартына қайта сертификатталған. Бүгін біз аудиторлардың не қарап жатқанын және қандай нәтижелермен аяқтағанымызды айтамыз.

Деректер орталықтарымен таныстар үшін аппараттық құралдарға қысқаша тоқталайық. Деңгейлік стандарттар деректер орталықтарын үш кезеңде бағалайды және сертификаттайды:

• жоба (Дизайн): жобалық құжаттаманың пакеті тексеріледі.Бұл жерде белгілі Tier. Олардың барлығы 4: I–IV деңгей. Соңғысы, сәйкесінше, ең жоғары.
• салынған объект (объект): деректер орталығының инженерлік инфрақұрылымы және оның жобаға сәйкестігі тексеріледі. Деректер орталығы толық жобалық жүктемеде шамамен келесі мазмұндағы әртүрлі сынақтар арқылы тексеріледі: UPS-тердің бірі (DGS, салқындатқыштар, дәлме-дәл кондиционерлер, тарату шкафтары, шиналар және т.б.) техникалық қызмет көрсету немесе жөндеу үшін жұмыстан шығарылды. , және қалалық қуат көзі өшірілген. . III деңгей және одан жоғары деректер орталықтары жағдайды АТ жүктемесіне әсер етпей шеше алуы керек.

  Деректер орталығы Дизайн сертификатынан өткен болса, нысанды алуға болады.
  NORD-4 жобалық сертификатын 2015 жылы, ал нысанды 2016 жылы алды.

• Операциялық тұрақтылық. Шын мәнінде, ең маңызды және күрделі сертификаттау. Ол орнатылған деңгей деңгейі бар деректер орталығына қызмет көрсету және басқару бойынша оператордың процестері мен құзыреттерін жан-жақты бағалайды (Операциялық тұрақтылықты өту үшін сізде Құрылым сертификаты болуы керек). Өйткені, дұрыс құрылымдалған операциялық процестер мен білікті команда болмаса, тіпті IV деңгейлі деректер орталығы өте қымбат жабдықтары бар пайдасыз ғимаратқа айналуы мүмкін.
  
  Мұнда да деңгейлер бар: қола, күміс және алтын. Соңғы қайта аттестацияда біз мүмкін болатын 88,95 ұпайдан 100 ұпаймен аяқтадық, бұл күміс. Ол «Алтынға» жетпей қалды – 1,05 ұпай. 

Қажетті процестердің құрастырылғанын және олардың жұмыс істеп тұрғанын қалай тексеруге болады? Оның үстіне, мұны екі күнде қалай жасауға болады - қайта сертификаттауға қанша уақыт кетеді. Қысқаша айтқанда, сертификаттау ережелерде жазылғандарды, «бәрі қалай жұмыс істейтіні» туралы әңгімелер мен нақты тәжірибелерді мұқият салыстыруға негізделген. Соңғысы туралы ақпарат деректер орталығының серуендеуінен және деректер орталығының инженерлерімен әңгімелесуден алынады - біз оларды сүйіспеншілікпен атайтын «қақтығыстар». Олардың қарап отырғаны осы.

команда

Ең алдымен, UI аудиторлары деректер орталығында қолдау көрсететін қызметкерлердің жеткіліктілігін тексереді. Олар штаттық кестені, кезекшілік кестесін алып, оны ауысымдық есептермен және қол жеткізуді бақылау деректерімен таңдап тексеріп, сол күні инженерлердің қажетті саны іс жүзінде болғанына көз жеткізеді.

Аудиторлар қосымша жұмыс сағаттарының санын да мұқият қарайды. Бұл кейде үлкен клиент келгенде және бір уақытта ондаған тіректерді орнату қажет болғанда орын алады. Сондай сәттерде басқа ауысымдағы жігіттер көмекке келеді, бұл үшін оларға қосымша ақша төленеді.

НОРД-4 бір ауысымда 7 инженер жұмыс істейді: 6 кезекші және бір аға инженер. Бұл 24x7 мониторингті қадағалайтын, клиенттермен кездесетін, жабдықты орнатуға және басқа да күнделікті сұрауларға көмектесетіндер. Бұл тұтынушыларға техникалық қолдау көрсетудің бірінші желісі. Олардың міндеттеріне төтенше жағдайларды тіркеу және оларды мамандандырылған инженерлерге жеткізу кіреді. Инженерлік инфрақұрылымның жұмысын жекелеген адамдар – инфрақұрылым бойынша кезекшілер қадағалайды. Сондай-ақ 24x7.

NORD өндірістік директоры және учаске менеджері аудиторларға дәл қазір сайтта қанша адам жұмыс істеп жатқанын айтады.

Сандар реттелген кезде команданың біліктілігі тексеріледі. Аудиторлар инженерлердің жеке құжаттарын кездейсоқ қарап, оларда берілген лауазымда жұмыс істеу үшін қажетті дипломдар, сертификаттар және рұқсат құжаттары (мысалы, электр қауіпсіздігі сертификаттары) бар екеніне көз жеткізеді.

Олар біздің қызметкерлерді қалай оқытатынымызды да тексереді. Соңғы аудит кезінде де біздің жаңа кезекші инженерлерді дайындау жүйесі UI мамандарын таң қалдырды. Біз олар үшін үш ай уақытымызды өткіземіз оқу курсы ақылы тағылымдама ретінде, оның барысында біз оларды дата орталығындағы жұмыс процестерімен және принциптерімен таныстырамыз.

Қазірдің өзінде жұмыс істеп тұрған инженерлер, сонымен қатар төтенше жағдайларда жұмыс істеуді қоса алғанда, тұрақты дайындықтан өтуі керек. Аудиторлар міндетті түрде оқу бағдарламалары мен мұндай тренингтердің материалдарын тексереді, сонымен қатар инженерлерді кездейсоқ тексереді. Ешкім дизельдік генератор қондырғысына ауысуды сұрамайды, бірақ олар сізге қалалық электрмен жабдықтауды өшірген кезде не істеу керектігін кезең-кезеңімен айтып беруді сұрайды. Аудит нәтижелері бойынша біз барлық оқу және білім беру бағдарламаларын әртүрлі командалар үшін ерекшеленбеуі үшін бір стандартқа келтіреміз.

Аудиторларға ауысымдағы инженерлерге арналған демалыс бөлмесін көрсетеміз.

Инженерлік жүйелерді пайдалану және техникалық қызмет көрсету 

Аудиттің осы үлкен бөлімінде біз барлық инженерлік жабдықтар мен жүйелер жеткізушілер ұсынған кестеге сәйкес тұрақты техникалық қызмет көрсететінін, қоймада қажетті қосалқы бөлшектер бар екенін, мердігерлермен жарамды қызмет көрсету келісім-шарттары бар екенін және жабдықпен жасалған әрбір операцияның өзіндік ерекшеліктері бар екенін көрсетеміз. әртүрлі жағдайлармен жұмыс істеу процедуралары мен алгоритмдері.

MMS. Сіз ондаған UPS, дизельдік генератор қондырғыларын, кондиционерлерді және басқа заттарды пайдаланған кезде, сізге бұл нысан туралы барлық ақпаратты бір жерде жинау керек. Жабдықтың әрбір бөлігі үшін шамамен келесі құжаттаманы жасаймыз:

• үлгі және сериялық нөмірі;
• таңбалау;
• техникалық сипаттамалары мен параметрлері;
• орнату орны;
• өндіру, пайдалануға беру, кепілдік мерзімінің аяқталу мерзімдері;
• қызмет көрсету шарттары;
• техникалық қызмет көрсету кестесі мен тарихы;
• және бүкіл «медициналық тарих» - бұзылулар, жөндеулер.

Барлық осы ақпаратты қалай және қайдан жинауды әрбір деректер орталығының операторы өзі шешеді. UI құралдармен шектелмейді. Бұл қарапайым Excel (біз осыдан бастадық) немесе қазір біздегідей өздігінен жазылған техникалық қызмет көрсетуді басқару жүйесі (MMS) болуы мүмкін. Айтпақшы, қызмет көрсету үстелі, қоймалық есеп, онлайн журнал, бақылау да өздігінен жазылады.

Әрбір жабдық үшін осындай «жеке файл» бар.

Біз осыған байланысты тәжірибемізді, соның ішінде АТ жүктемесіне қызмет ететін UPS-ке оның бір бөлігін сыйға алған UPS (суретте) инфрақұрылымының мысалын қолданып көрсеттік. Иә, стандартқа сәйкес, мұндай «қайырымдылықты» тек кондиционерлер мен апаттық жарықтандыруды қамтамасыз ететін инфрақұрылымдық жабдық жүзеге асыра алады, бірақ АТ жүктемесі емес.

Осыдан кейін аудиторлар қызмет көрсету үстелінде тиісті билетті көрсетуді сұрады:

Және MMS ішіндегі UPS профилі:

Қосалқы бөлшектер Инженерлік жабдыққа уақтылы техникалық қызмет көрсету және авариялық жөндеу үшін біз өзіміздің қосалқы бөлшектер мен керек-жарақтарды сақтаймыз. Жабдықтардың үлкен қосалқы бөлшектері бар жалпы қойма және инженерлік бөлмелерде қосалқы бөлшектері бар шағын шкафтар бар (алысқа жүгірмеу үшін).

Суретте: біз дизельдік генератор жинағының қосалқы бөлшектерінің бар-жоғын тексеріп жатырмыз. Біз 12 сүзгіні санадық. Содан кейін біз MMS-тегі деректерді тексердік.  

Осындай оқу-жаттығу ірі қосалқы бөлшектер: компрессорлар, контроллерлер, автоматика, желдеткіштер, бу дымқылдатқыштары және басқа да жүздеген заттар сақталатын негізгі қоймада өткізілді. Біз таңбаларды таңдап қайта жазып, MMS арқылы «тестік».

Қосалқы бөлшектерді түгендеу деректері. Қызыл - Бұл жетіспейді және сатып алу керек.

Профилактикалық қызмет көрсету. Техникалық қызмет көрсету мен жөндеуден басқа, UI профилактикалық қызмет көрсетуді ұсынады. Бұл ықтимал апатты жоспарлы жөндеуге айналдыруға көмектеседі. Әрбір параметр үшін біз мониторингте шекті мәндерді конфигурациялаймыз. Егер олар асып кетсе, жауаптылар дабыл алып, қажетті шараларды қабылдайды. Мысалы, біз:

• Электр қондырғыларындағы ақауларды: нашар жанасу, өткізгіштің немесе автоматты ажыратқыштың жергілікті қызып кетуін жылдам анықтау үшін электр панельдерін тепловизор арқылы тексереміз. 
• Біз діріл көрсеткіштерін және тоңазытқыш жүйесінің сорғыларының ағымдағы тұтынуын бақылаймыз. Бұл уақытында ауытқуларды анықтауға және қосалқы бөлшектерді асықпай жоспарлауға мүмкіндік береді.
• Біз дизельдік генератор қондырғылары мен компрессорлардың отын мен майына талдау жасаймыз.
• Концентрация үшін тоңазытқыш жүйесінде гликолды сынаймыз.

Жөндеуге дейін және жөндеуден кейінгі сорғы діріл диаграммасы.

Мердігерлермен жұмыс. Жабдықтарға техникалық қызмет көрсету және жөндеу жұмыстарын сыртқы мердігерлер жүзеге асырады. Біздің тарапымызда дизельдік генераторлар, кондиционерлер және олардың жұмысын бақылайтын UPS бойынша жеке мамандар бар. Олар мердігерлерде жөндеу жұмыстарына/техникалық қызмет көрсетуге қажетті құралдар мен материалдардың, кәсіби сертификаттардың, электр қауіпсіздігі сертификаттарының және рұқсаттардың бар-жоғын тексереді. Олар барлық жұмысты қабылдайды.

Кондиционерге техникалық қызмет көрсету жұмыстарын қабылдауға арналған бақылау парағы осылай көрінеді.

Өткізу кассасында біз рұқсаттамалардың мердігерлердің уәкілетті өкілдеріне берілген-берілмегенін, көрсетілген уақытта техникалық қызмет көрсетуден өткен-өтпегенін және ережелерді оқыған-оқымағанын тексереміз.

Құжаттама. Жүйелер мен жабдықтарға техникалық қызмет көрсетудің белгіленген процестері - бұл шайқастың жартысы. Деректер орталығында адамдар орындайтын барлық процедуралар құжатталуы керек. Мұның мақсаты қарапайым: барлығы бір нақты адаммен шектеліп қалмауы үшін және апат болған жағдайда кез келген инженер нақты нұсқаулар алып, оны жою үшін барлық қажетті операцияларды жасай алады.

UI-де мұндай құжаттаманың өзіндік әдістемесі бар.

Қарапайым және қайталанатын әрекеттер үшін стандартты операциялық процедуралар (SOP) белгіленеді. Мысалы, салқындатқышты қосу/өшіру және UPS-ті айналып өтуге орнату үшін SOP бар.

Техникалық қызмет көрсету немесе күрделі операциялар үшін, мысалы, UPS жүйесіндегі батареяларды ауыстыру, техникалық қызмет көрсету процедуралары (Methods of Processes, MOPs) жасалады. Оларға SOP кіруі мүмкін. Инженерлік жабдықтың әрбір түрінің өз МОҚ болуы керек.

Соңында, Төтенше жағдайдағы операциялық процедуралар (EOPs) — төтенше жағдай кезіндегі нұсқаулар бар. Нақты төтенше жағдайлардың тізбесі құрастырылып, оларға нұсқаулықтар жазылады. Мұнда апат белгілерін, әрекеттерді, жауапты тұлғаларды және хабарлау қажет адамдарды егжей-тегжейлі сипаттайтын төтенше жағдайлар тізімінің бөлігі берілген:

• қалалық электрмен жабдықтауды тоқтату: дизельдік генераторлық қондырғылар іске қосылды/қосылмады;
• UPS апаттары; 
• деректер орталығының мониторинг жүйесіндегі апаттар;
• машина бөлмесінің қызып кетуі;
• тоңазытқыш жүйесінің ағып кетуі;
• желілік және есептеуіш техниканың істен шығуы;

және тағы басқалар.

Мұндай көлемдегі құжаттаманы құрастыру – өз алдына көп еңбекті қажет ететін жұмыс. Оны жаңартып отыру одан да қиын (айтпақшы, мұны аудиторлар да тексереді). Ең бастысы, қызметкерлер осы нұсқауларды біліп, соларға сәйкес жұмыс істеуі және қажет болған жағдайда жақсартулар енгізуі керек.

Иә, нұсқаулықтар мұрағаттарда шаң жинап қана қоймай, қажет жерде болуы керек.

Деректер орталығының инженерлік жүйелеріне техникалық қызмет көрсету ережелеріндегі өзгерістер туралы ескертпелер.

Аудит барысында олар сондай-ақ жүйелер бойынша техникалық құжаттаманы, атқарушы және жұмыс құжаттамасын, жүйелерді іске қосу актілерін қарайды. 

Таңбалау Деректер орталығын аралап жүріп, олар қол жеткізе алатын барлық жерде оны тексерді. Олар жете алмаған жерге баспалдақпен жетті :). Біз оның әрбір коммутаторда, машинада және клапанда болуын қарастырдық. Біз құрастырылған құжаттаманың бірегейлігін, анық еместігін және ағымдағы схемаларға сәйкестігін тексердік. Төмендегі суретте: біз жанармай қоймасының сорғы бөлмесінде электромагниттік клапандардағы белгілерді құрастырылған құжаттаманың диаграммасымен салыстырамыз. 

Барлығы онымен келісті, бірақ қабырғадағы жергілікті «сәндік» аксонометриялық диаграммамен бір параметрде сәйкес келмеді.

Онда орналасқан жүйелердің диаграммалары да деректер орталығының үй-жайларында орналастырылуы керек. Жазатайым оқиға болған жағдайда олар барлығының қайда екенін тез біліп, саналы шешім қабылдауға көмектеседі. Фотосуретте, мысалы, негізгі коммутатор бөлмесіндегі бір сызықты диаграмма көрсетілген.

Диаграммалардың өзектілігі келесі жолмен тексерілді: олар диаграммадағы таңбалау элементін атады және оны «нақты өмірде» көрсетуді сұрады. 

Дәл осы жерде аудитор қағаз және электронды көшірмелердегі бір сызықты диаграммадағы көрсеткіштермен кейінірек салыстыру үшін негізгі қалқанның кіріс сөндіргішінің параметрлерін (баптауларын) фотосуретке түсіреді. Машиналардың бірінде, QF-3 индикаторы қағаз диаграммасына сәйкес келмеді, сондықтан біз айыппұл ұпайына ие болдық. Енді екі инженер бір сызықты диаграммалардағы белгілердің фактіге сәйкес келетінін тексереді.

Бұл аудиторлардың қызмет көрсету процестері тұрғысынан тексергенінің бәрі емес. Күн тәртібінде тағы не болды:

• мониторинг жүйесі. Мұнда біз жақсы визуализация, мобильді қосымшаның болуы және деректер орталықтарының дәліздерінде орналастырылған ситуациялық экрандар арқылы карма артықшылықтарын алдық. Мұнда біз қалай жұмыс істейтініміз туралы егжей-тегжейлі жаздық мониторинг.

  
  Бұл NORD-4 негізгі инженерлік жүйелерінің және сайтта жұмыс істейтін басқа да деректер орталықтарының күйі туралы көрнекі ақпараты бар MCC.

• инженерлік жабдықтың өмірлік циклін жоспарлау;
• әлеуетті басқару (потенциалды басқару);
• бюджеттеу (аздап айтты осында);
• жазатайым оқиғаны талдау тәртібі;
• жабдықты қабылдау, іске қосу және сынау процесі (біз сынақтар туралы жаздық осында).

UI тағы нені қарады?

Қауіпсіздік және қол жеткізуді басқару. Аудит сонымен қатар қауіпсіздік және қауіпсіздік жүйелерінің жұмысын тексереді. Мысалы, аудитор өзі кірмейтін үй-жайлардың біріне кіруге тырысты, содан кейін бұл рұқсатты басқару жүйесінде көрініс тапты ма және бұл туралы қауіпсіздікке хабарланды ма (спойлер - солай болды).

Егер біздің деректер орталықтарымызда кез келген бөлменің есігі екі минуттан астам ашық болса, қауіпсіздік бекетінде ескерту іске қосылады. Мұны тексеру үшін аудиторлар есіктердің бірін өрт сөндіргішпен ашты. Рас, бізде сирена ешқашан болған емес – қауіпсіздік қызметкерлері бірдеңенің дұрыс емес екенін бейнекамералар арқылы көріп, «қылмыс орнына» ертерек жеткен.

Тазалық пен тәртіп. Аудиторлар шаң-тозаңды, бейберекет жатқан жабдық қораптарын және үй-жайдың қаншалықты жиі тазаланатынын іздейді. Мұнда, мысалы, аудиторларды желдету дәлізіндегі белгісіз нысан қызықтырды. Бұл өз орнын алуға дайындалып жатқан желдету жүйесінен блок. Бірақ олар бәрібір қол қоюымды өтінді.

Сондай-ақ деректер орталығындағы тәртіп тақырыбы бойынша - жабдықта авариялық жұмыстарға арналған барлық қажетті құралдармен жабдықталған бұл шкафтар негізгі коммутаторлық бөлмеде орналасқан. 

Орналасуы Деректер орталығы орналасу жағдайларына қарай бағаланады - жақын жерде әскери базалар, әуежайлар, өзендер, жанартаулар және басқа да қауіпті нысандар бар ма. Фотосуретте біз 2017 жылғы соңғы сертификаттаудан бері деректер орталығының айналасында бірде-бір атом электр станциясы немесе мұнай сақтау қоймалары өспегенін көрсетеміз. Бірақ бұл жерде жаңа NORD-5 деректер орталығы салынуда, ол да Uptime Institute Tier III сертификатының барлық деңгейлерінен өтуі керек. Бірақ бұл мүлдем басқа әңгіме).

Ақпарат көзі: www.habr.com