Եվ ցույց տվեք, կամ ինչպես ենք մենք անցել Գործառնական կայունության աուդիտը Uptime Institute-ում

Շահագործման բաժնի պետը բարձրացել է վառելիքի ստորգետնյա պահեստարանի լյուկը՝ էլեկտրամագնիսական փականի վրայի գծանշումները ցույց տալու համար։

Փետրվարի սկզբին մեր խոշորագույն Tier III տվյալների կենտրոնը NORD-4 Վերահաստատվել է Uptime Institute-ի (UI) կողմից՝ գործառնական կայունության ստանդարտին: Այսօր մենք ձեզ կասենք, թե ինչ են նայում աուդիտորները և ինչ արդյունքներով ենք մենք ավարտում:

Նրանց համար, ովքեր ծանոթ են տվյալների կենտրոններին, եկեք համառոտ անդրադառնանք սարքավորմանը: Շրջանի ստանդարտներ գնահատում և հավաստագրում է տվյալների կենտրոնները երեք փուլով.

• նախագիծ (Դիզայն)՝ նախագծային փաստաթղթերի փաթեթը ստուգված է Այստեղ հայտնի Դասարան. Ընդհանուր առմամբ դրանք 4-ն են՝ I–IV աստիճան: Վերջինս, համապատասխանաբար, ամենաբարձրն է։
• կառուցված օբյեկտ (Facility). Ստուգվում է տվյալների կենտրոնի ինժեներական ենթակառուցվածքը և դրա համապատասխանությունը նախագծին: Տվյալների կենտրոնը ստուգվում է լրիվ նախագծային ծանրաբեռնվածության տակ՝ օգտագործելով մի շարք թեստեր՝ մոտավորապես հետևյալ բովանդակությամբ. UPS-ներից մեկը (DGS, chillers, ճշգրիտ օդորակիչներ, բաշխիչ պահարաններ, ավտոբուսներ և այլն) դուրս է բերվել սպասարկումից կամ վերանորոգումից: , իսկ քաղաքի էլեկտրամատակարարումն անջատված է։ III և բարձր մակարդակի տվյալների կենտրոնները պետք է կարողանան կարգավորել իրավիճակը՝ առանց ՏՏ ծանրաբեռնվածության վրա որևէ ազդեցության:

  Հաստատությունը կարող է ընդունվել, եթե տվյալների կենտրոնն արդեն անցել է Դիզայնի հավաստագրում:
  NORD-4-ը ստացել է նախագծման վկայականը 2015 թվականին, իսկ Facility-ը՝ 2016 թվականին:

• Գործառնական կայունություն. Փաստորեն, ամենակարևոր և բարդ սերտիֆիկացում: Այն համակողմանիորեն գնահատում է օպերատորի գործընթացներն ու իրավասությունները՝ հաստատված մակարդակով տվյալների կենտրոնի պահպանման և կառավարման գործում (գործառնական կայունություն անցնելու համար դուք պետք է արդեն ունենաք Գործարքի վկայական): Ի վերջո, առանց պատշաճ կառուցված գործառնական գործընթացների և որակյալ թիմի, նույնիսկ Tier IV տվյալների կենտրոնը կարող է վերածվել անպետք շենքի՝ շատ թանկ սարքավորումներով:
  
  Այստեղ կան նաև մակարդակներ՝ բրոնզ, արծաթ և ոսկի: Վերջին վերատեստավորման ժամանակ մենք ավարտեցինք 88,95 հնարավոր միավորից 100 միավոր, և սա Արծաթն է: Այն զիջել է ոսկին՝ 1,05 միավոր: 

Ինչպե՞ս ստուգել, ​​որ անհրաժեշտ գործընթացները կառուցված են և աշխատում են այնպես, ինչպես պետք է: Ավելին, ինչպես դա անել երկու օրվա ընթացքում, ահա թե որքան ժամանակ է պահանջվում վերահաստատման համար: Մի խոսքով, հավաստագրումը հիմնված է կանոնակարգերում գրվածի, «ինչպես է ամեն ինչ աշխատում» պատմությունների և իրական պրակտիկայի համադրման վրա: Վերջիններիս մասին տեղեկատվությունը ստացվում է տվյալների կենտրոնի զբոսանքներից և տվյալների կենտրոնի ինժեներների հետ զրույցներից՝ «առերեսումներ», ինչպես մենք սիրալիրորեն անվանում ենք դրանք: Ահա թե ինչ են նրանք նայում:

Թիմ

Առաջին հերթին, UI աուդիտորները ստուգում են, թե արդյոք տվյալների կենտրոնն ունի բավարար օժանդակ անձնակազմ: Նրանք վերցնում են անձնակազմի աղյուսակը, հերթապահության ժամանակացույցը և ընտրովի ստուգում են այն հերթափոխի հաշվետվություններով և մուտքի վերահսկման տվյալներով՝ համոզվելու համար, որ անհրաժեշտ թվով ինժեներներ իրականում այդ օրը տեղում են եղել:

Աուդիտորները նաև ուշադիր հետևում են արտաժամյա ժամերի քանակին: Սա երբեմն տեղի է ունենում, երբ մեծ հաճախորդ է մտնում, և միևնույն ժամանակ անհրաժեշտ է տեղադրել տասնյակ դարակաշարեր: Նման պահերին օգնության են հասնում այլ հերթափոխի տղաներ, որոնց համար հավելյալ գումար են վճարում։

NORD-4-ով մեկ հերթափոխով աշխատում է 7 ինժեներ՝ 6 հերթապահ և մեկ ավագ ինժեներ։ Սրանք նրանք են, ովքեր վերահսկում են 24x7 մոնիտորինգը, հանդիպում են հաճախորդներին, օգնում են սարքավորումների տեղադրմանը և սովորական այլ պահանջներին: Սա հաճախորդների տեխնիկական աջակցության առաջին գիծն է: Նրանց պարտականությունները ներառում են արտակարգ իրավիճակների գրանցումը և դրանք մասնագիտացված ինժեներներին հասցնելը: Ինժեներական ենթակառուցվածքի աշխատանքին վերահսկում են առանձին մարդիկ՝ ենթակառուցվածքի հերթապահները։ Նաև 24x7:

NORD-ի արտադրության տնօրենը և կայքի մենեջերը աուդիտորներին ասում են, թե քանի մարդ է այժմ աշխատում տեղում:

Երբ թվերը դասավորվում են, ստուգվում է թիմի որակավորումը։ Աուդիտորները պատահականորեն ուսումնասիրում են ինժեներների անձնակազմի ֆայլերը՝ համոզվելու համար, որ նրանք ունեն անհրաժեշտ դիպլոմներ, վկայականներ և թույլտվության փաստաթղթեր (օրինակ՝ էլեկտրական անվտանգության վկայագրեր) տվյալ պաշտոնում աշխատելու համար:

Նրանք նաև ստուգում են, թե ինչպես ենք մենք պատրաստում մեր անձնակազմին։ Նույնիսկ վերջին աուդիտի ժամանակ նոր հերթապահ ինժեներների վերապատրաստման մեր համակարգը տպավորեց UI մասնագետներին: Մենք երեք ամիս ծախսում ենք նրանց համար դասընթաց որպես վճարովի պրակտիկա, որի ընթացքում մենք նրանց ծանոթացնում ենք մեր տվյալների կենտրոնում աշխատանքի գործընթացներին և սկզբունքներին:

Արդեն աշխատող ինժեներները նույնպես պետք է կանոնավոր վերապատրաստում անցնեն, այդ թվում՝ արտակարգ իրավիճակներում աշխատելու համար: Աուդիտորներն անպայման կստուգեն նման դասընթացների վերապատրաստման ծրագրերն ու նյութերը, ինչպես նաև պատահականության սկզբունքով կուսումնասիրեն ինժեներներին: Ոչ ոքի չի պահանջվի անցնել դիզելային գեներատորի սարքի, բայց նրանցից կխնդրեն քայլ առ քայլ պատմել, թե ինչ է պետք անել, երբ քաղաքի էլեկտրամատակարարումն անջատված է: Աուդիտի արդյունքների հիման վրա մենք բոլոր վերապատրաստման և կրթական ծրագրերը կբերենք մեկ ստանդարտի, որպեսզի դրանք չտարբերվեն տարբեր թիմերի համար:

Մենք աուդիտորներին ցույց ենք տալիս հերթափոխի ինժեներների ընդմիջման սենյակը:

Ինժեներական համակարգերի շահագործում և սպասարկում 

Աուդիտի այս մեծ հատվածում մենք ցույց ենք տալիս, որ բոլոր ինժեներական սարքավորումները և համակարգերը պարբերաբար սպասարկում են վաճառողների կողմից առաջարկված ժամանակացույցի համաձայն, պահեստն ունի անհրաժեշտ պահեստամասեր, վավեր սպասարկման պայմանագրեր կապալառուների հետ, և սարքավորումների հետ յուրաքանչյուր գործողություն ունի իր սեփականը: տարբեր դեպքերի վրա աշխատելու ընթացակարգեր և ալգորիթմներ:

MMS: Երբ աշխատեցնում եք տասնյակ UPS-ներ, դիզելային գեներատորների հավաքածուներ, օդորակիչներ և այլ բաներ, դուք պետք է ինչ-որ տեղ հավաքեք այս օբյեկտի մասին ամբողջ տեղեկատվությունը: Մենք ստեղծում ենք մոտավորապես հետևյալ դոսյեն յուրաքանչյուր սարքավորման համար.

• մոդել և սերիական համար;
• նշում;
• տեխնիկական բնութագրեր և պարամետրեր;
• տեղադրման վայրը;
• արտադրության ամսաթվերը, շահագործման հանձնելը, երաշխիքի ժամկետի ավարտը.
• սպասարկման պայմանագրեր;
• պահպանման ժամանակացույց և պատմություն;
• և ամբողջ «բժշկական պատմությունը»՝ վթարներ, վերանորոգումներ։

Ինչպես և որտեղ հավաքել այս ամբողջ տեղեկատվությունը, կախված է տվյալների կենտրոնի յուրաքանչյուր օպերատորի որոշելիքից: UI-ն սահմանափակված չէ գործիքներով: Սա կարող է լինել պարզ Excel (մենք սկսել ենք սրանով) կամ ինքնուրույն գրված Maintenance Management System (MMS), ինչպես մենք ունենք հիմա: Իմիջայլոց, սպասարկման սեղան, պահեստային հաշվառում, առցանց մատյան, մոնիտորինգ նույնպես գրված է ինքնուրույն։

Նման «անձնական ֆայլ» կա յուրաքանչյուր սարքավորման համար:

Մենք ցույց տվեցինք մեր պրակտիկան այս առումով, այդ թվում՝ օգտագործելով այս ենթակառուցվածքի UPS-ի օրինակը (նկարում), որն իր մասերից մեկը նվիրաբերեց ՏՏ բեռը սպասարկող UPS-ին: Այո, ստանդարտի համաձայն, նման «նվիրատվությունը» կարող է իրականացվել միայն ենթակառուցվածքային սարքավորումներով, որոնք սնուցում են օդորակիչները և վթարային լուսավորությունը, բայց ոչ ՏՏ ծանրաբեռնվածությունը:

Այնուհետև աուդիտորները խնդրել են սպասարկման սեղանին ցույց տալ համապատասխան տոմսը.

Եվ UPS-ի պրոֆիլը MMS-ում.

Պահեստամասեր Ինժեներական սարքավորումների ժամանակին սպասարկման և շտապ վերանորոգման համար մենք պահում ենք մեր սեփական պահեստամասերը և պարագաները: Առկա է ընդհանուր պահեստ՝ սարքավորումների մեծ պահեստամասերով և ինժեներական սենյակներում պահեստամասերով փոքր պահարաններ (որ ստիպված չլինեք հեռու վազել):

Լուսանկարում` մենք ստուգում ենք դիզելային գեներատորի հավաքածուի պահեստամասերի առկայությունը: Մենք հաշվել ենք 12 ֆիլտր։ Հետո մենք ստուգեցինք տվյալները MMS-ում:  

Նմանատիպ վարժություն իրականացվել է հիմնական պահեստում, որտեղ պահվում են մեծ պահեստամասեր՝ կոմպրեսորներ, կարգավորիչներ, ավտոմատացում, օդափոխիչներ, գոլորշու խոնավացուցիչներ և հարյուրավոր այլ իրեր։ Մենք ընտրողաբար վերագրում էինք գծանշումները և «խփում» դրանք MMS-ի միջոցով:

Պահեստամասերի գույքագրման տվյալներ. Կարմիր - Սա այն է, ինչ բացակայում է և պետք է գնել:

Կանխարգելիչ սպասարկում. Բացի սպասարկումից և վերանորոգումից, UI-ն խորհուրդ է տալիս կատարել կանխարգելիչ սպասարկում: Այն օգնում է հնարավոր վթարը վերածել պլանային վերանորոգման: Յուրաքանչյուր պարամետրի համար մենք կարգավորում ենք մոնիտորինգի շեմային արժեքները: Դրանք գերազանցելու դեպքում պատասխանատուներն ահազանգեր են ստանում և ձեռնարկում անհրաժեշտ գործողություններ։ Օրինակ, մենք.

• Մենք ստուգում ենք էլեկտրական վահանակները ջերմային պատկերիչով, որպեսզի արագ հայտնաբերենք էլեկտրական կայանքների թերությունները՝ վատ շփում, հաղորդիչի կամ անջատիչի տեղային գերտաքացում: 
• Մենք վերահսկում ենք թրթռման ցուցիչները և սառնարանային համակարգի պոմպերի ընթացիկ սպառումը: Սա թույլ է տալիս ժամանակին հայտնաբերել շեղումները և առանց շտապելու պլանավորել փոխարինող մասերը:
• Կատարում ենք դիզելային գեներատորների և կոմպրեսորների վառելիքի և յուղի անալիզներ։
• Մենք փորձարկում ենք գլիկոլը սառնարանային համակարգում կոնցենտրացիայի համար:

Պոմպի թրթռումների դիագրամ վերանորոգումից առաջ և հետո:

Աշխատանք կապալառուների հետ: Սարքավորումների սպասարկումն ու վերանորոգումն իրականացվում է արտաքին կապալառուների կողմից: Մեր կողմից կան դիզելային գեներատորների, օդորակիչների, UPS-ի առանձին մասնագետներ, որոնք վերահսկում են դրանց աշխատանքը։ Նրանք ստուգում են, թե արդյոք կապալառուներն ունեն վերանորոգման աշխատանքների/սպասարկման համար անհրաժեշտ գործիքներ և նյութեր, մասնագիտական ​​վկայականներ, էլեկտրական անվտանգության վկայագրեր և թույլտվություններ: Նրանք ընդունում են բոլոր աշխատանքները:

Ահա թե ինչ տեսք ունի օդորակիչի սպասարկման աշխատանքների ընդունման ստուգաթերթը։

Անցումային գրասենյակում մենք ստուգում ենք, թե արդյոք անցագրերը տրվել են կապալառուների լիազոր ներկայացուցիչներին, արդյոք դրանք ենթարկվել են տեխնիկական սպասարկման նշված ժամին և կարդացե՞լ են արդյոք կանոնները:

Փաստաթղթավորում: Համակարգերի և սարքավորումների պահպանման համար հաստատված գործընթացները գործի կեսն են: Տվյալների կենտրոնում մարդկանց կողմից իրականացվող բոլոր ընթացակարգերը պետք է փաստաթղթավորվեն: Սրա նպատակը պարզ է՝ որպեսզի ամեն ինչ չսահմանափակվի մեկ կոնկրետ անձով, և դժբախտ պատահարի դեպքում ցանկացած ինժեներ կարողանա հստակ հրահանգներ վերցնել և անել բոլոր անհրաժեշտ գործողությունները՝ այն վերացնելու համար։

UI-ն ունի նման փաստաթղթերի իր մեթոդաբանությունը:

Պարզ և կրկնվող գործողությունների համար սահմանվում են ստանդարտ գործառնական ընթացակարգեր (SOPs): Օրինակ, կան SOP-ներ՝ սառեցնող սարքը միացնելու/անջատելու և UPS-ը շրջանցելու համար:

Սպասարկման կամ բարդ գործառնությունների համար, ինչպիսիք են UPS-ում մարտկոցների փոխարինումը, ստեղծվում են սպասարկման ընթացակարգեր (Մեթոդների ընթացակարգեր, MOPs): Դրանք կարող են ներառել ԳՍԸ-ները: Ինժեներական սարքավորումների յուրաքանչյուր տեսակ պետք է ունենա իր սեփական MOP-ները:

Վերջապես, կան Արտակարգ իրավիճակների գործառնական ընթացակարգեր (EOPs)՝ հրահանգներ արտակարգ իրավիճակների դեպքում: Կազմվում է հատուկ արտակարգ իրավիճակների ցանկ և գրվում հրահանգներ: Ահա արտակարգ իրավիճակների ցանկի մի մասը, որտեղ մանրամասն ներկայացված են վթարի նշանները, գործողությունները, պատասխանատու անձինք և ծանուցման ենթակա անձինք.

• քաղաքային էլեկտրամատակարարման անջատում. դիզելային գեներատորների հավաքածուները սկսվել են/չգործարկվել;
• UPS-ի վթարներ; 
• վթարներ տվյալների կենտրոնի մոնիտորինգի համակարգում.
• հաստոցների սենյակի գերտաքացում;
• սառնարանային համակարգի արտահոսք;
• ցանցի և հաշվողական սարքավորումների ձախողում;

եւ այլն:

Փաստաթղթերի նման ծավալ կազմելն ինքնին աշխատատար խնդիր է։ Էլ ավելի դժվար է այն արդիական պահելը (ի դեպ, աուդիտորները նույնպես սա են ստուգում): Եվ ամենակարևորը, անձնակազմը պետք է իմանա այս հրահանգները, աշխատի դրանց համաձայն և անհրաժեշտության դեպքում բարելավումներ կատարի:

Այո, հրահանգները պետք է հասանելի լինեն այնտեղ, որտեղ դրանք կարող են անհրաժեշտ լինել, և ոչ միայն արխիվներում փոշի հավաքելը:

Ծանոթություններ տվյալների կենտրոնների ինժեներական համակարգերի պահպանման կանոնակարգերի փոփոխությունների վերաբերյալ:

Աուդիտի ընթացքում նրանք նաև դիտարկում են համակարգերի վերաբերյալ տեխնիկական փաստաթղթերը, գործադիր և աշխատանքային փաստաթղթերը և համակարգերը շահագործման հանձնելու ակտերը: 

Նշում Տվյալների կենտրոնի շուրջը շրջելիս նրանք ստուգում էին այն ամենուր, ուր կարող էին հասնել: Ուր չէին կարող հասնել, սանդուղքից հասան :): Մենք նայեցինք դրա առկայությանը յուրաքանչյուր կոմուտատորի, մեքենայի և փականի վրա: Մենք ստուգեցինք եզակիությունը, միանշանակությունը և համապատասխանությունը կառուցված փաստաթղթերի ընթացիկ սխեմաներին: Ստորև բերված լուսանկարում. մենք վառելիքի պահեստավորման պոմպի սենյակում ենք և համեմատում ենք էլեկտրամագնիսական փականների գծանշումները կառուցված փաստաթղթերի գծապատկերի հետ: 

Նրա հետ ամեն ինչ համաձայն էր, բայց պատի տեղական «դեկորատիվ» աքսոնոմետրիկ դիագրամի հետ մեկ պարամետրով այն չէր համընկնում:

Այնտեղ տեղակայված համակարգերի դիագրամները նույնպես պետք է փակցվեն տվյալների կենտրոնի տարածքում: Վթարի դեպքում նրանք օգնում են ձեզ արագ պարզել, թե որտեղ է ամեն ինչ և կայացնել տեղեկացված որոշում: Լուսանկարը, օրինակ, ցույց է տալիս մեկ տողով դիագրամ գլխավոր կոմուտատորի սենյակում:

Դիագրամների համապատասխանությունը ստուգվել է հետևյալ կերպ. նրանք անվանել են գծապատկերի վրա նշվող տարրը և խնդրել այն ցույց տալ «իրական կյանքում»: 

Սա այն վայրն է, որտեղ աուդիտորը լուսանկարում է հիմնական կոմուտատորի մուտքային անջատիչի կարգավորումները (պարամետրերը), որպեսզի հետագայում դրանք համեմատի թղթային և էլեկտրոնային պատճենների մեկ տողային դիագրամի ցուցիչների հետ: Մեքենաներից մեկի՝ QF-3-ի վրա ցուցիչը չէր համապատասխանում թղթի գծապատկերին, և մենք վաստակեցինք տուգանային միավոր։ Այժմ երկու ինժեներ կստուգեն, թե արդյոք գծանշումները համապատասխանում են փաստին։

Սա այն ամենը չէ, ինչ աուդիտորները ստուգել են սպասարկման գործընթացների առումով։ Ահա թե ինչ այլ բան էր օրակարգում.

• մոնիտորինգի համակարգ. Այստեղ մենք կարմայի առավելություններ ենք վաստակել լավ վիզուալիզացիայի, բջջային հավելվածի առկայության և տվյալների կենտրոնների միջանցքներում տեղադրված իրավիճակային էկրանների միջոցով: Այստեղ մենք մանրամասն գրել ենք, թե ինչպես ենք աշխատում Դիտարկման.

  
  Սա ՀՄԿ-ն է՝ տեսողական տեղեկություններով NORD-4-ի հիմնական ինժեներական համակարգերի և կայքում աշխատող մեր այլ տվյալների կենտրոնների կարգավիճակի մասին:

• ինժեներական սարքավորումների կյանքի ցիկլի պլանավորում;
• կարողությունների կառավարում (կարողությունների կառավարում);
• բյուջետավորում (մի փոքր խոսեց այստեղ);
• վթարի վերլուծության ընթացակարգը;
• սարքավորումների ընդունման, շահագործման և փորձարկման գործընթացը (մենք գրել ենք թեստերի մասին այստեղ).

Էլ ի՞նչ էր նայում UI-ն:

Անվտանգություն և մուտքի վերահսկում: Աուդիտը ստուգում է նաև անվտանգության և անվտանգության համակարգերի աշխատանքը: Օրինակ, աուդիտորը փորձեց մտնել այն տարածքներից մեկը, որտեղ նա մուտք չուներ, և այնուհետև ստուգեց, թե արդյոք դա արտացոլված է մուտքի վերահսկման համակարգում և արդյոք անվտանգությանը ծանուցվել է այս մասին (փչացած է):

Եթե ​​մեր տվյալների կենտրոններում ցանկացած սենյակի դուռը բաց է մնում երկու րոպեից ավելի, ապա անվտանգության կետում ահազանգ է ստացվում: Դա ստուգելու համար աուդիտորները կրակմարիչով բացեցին դռներից մեկը: Ճիշտ է, մենք երբեք ազդանշան չենք ստացել. անվտանգության աշխատակիցները տեսախցիկների միջոցով տեսել են, որ ինչ-որ բան այն չէ և ավելի վաղ հասել են «հանցագործության վայր»:

Կարգ ու մաքրություն։ Աուդիտորները փնտրում են փոշին, սարքավորումների արկղերը, որոնք քաոսային վիճակում են, և որքան հաճախ են մաքրվում տարածքները: Այստեղ, օրինակ, աուդիտորները հետաքրքրվել են օդափոխության միջանցքում գտնվող անհայտ օբյեկտով։ Սա մի բլոկ է օդափոխության համակարգից, որն արդեն պատրաստվում էր իր տեղը զբաղեցնել։ Բայց դեռ խնդրեցին ստորագրել։

Նաև տվյալների կենտրոնում պատվերի թեմայի վերաբերյալ. սարքավորումների վրա շտապ աշխատանքի համար անհրաժեշտ բոլոր գործիքներով այս պահարանները գտնվում են գլխավոր կոմուտատորի սենյակում: 

Գտնվելու վայրը. Տվյալների կենտրոնը գնահատվում է՝ ելնելով գտնվելու վայրի պայմաններից՝ արդյոք մոտակայքում կան ռազմակայաններ, օդանավակայաններ, գետեր, հրաբուխներ և այլ վտանգավոր օբյեկտներ: Լուսանկարում մենք պարզապես ցույց ենք տալիս, որ 2017 թվականի վերջին հավաստագրումից հետո տվյալների կենտրոնի շուրջ ոչ մի ատոմակայան կամ նավթի պահեստավորման կայան չի աճել: Բայց այնտեղ կառուցվում է նոր NORD-5 տվյալների կենտրոն, որը նույնպես պետք է անցնի Uptime Institute Tier III-ի բոլոր մակարդակները: Բայց դա բոլորովին այլ պատմություն է):

Source: www.habr.com