At ipakita, o Paano namin naipasa ang pag-audit ng Operational Sustainability sa Uptime Institute

Ang pinuno ng departamento ng operasyon ay umakyat sa hatch ng underground fuel storage facility upang ipakita ang mga marka sa solenoid valve.

Noong unang bahagi ng Pebrero, ang aming pinakamalaking Tier III data center NORD-4 Muling na-certify ng Uptime Institute (UI) sa pamantayan ng Operational Sustainability. Ngayon sasabihin namin sa iyo kung ano ang tinitingnan ng mga auditor at kung anong mga resulta ang natapos namin.

Para sa mga pamilyar sa mga data center, tingnan natin sandali ang hardware. Mga Pamantayan sa Tier sinusuri at pinapatunayan ang mga data center sa tatlong yugto:

• proyekto (Disenyo): ang pakete ng dokumentasyon ng proyekto ay nasuri. Dito ang kilalang baitang. Mayroong 4 sa kanila sa kabuuan: Tier I–IV. Ang huli ay, nang naaayon, ang pinakamataas.
• itinayong pasilidad (Pasilidad): ang imprastraktura ng engineering ng data center ay sinusuri at ang pagsunod nito sa proyekto. Ang data center ay sinusuri sa ilalim ng buong pagkarga ng disenyo gamit ang iba't ibang pagsubok na may humigit-kumulang sumusunod na nilalaman: isa sa mga UPS (DGS, chiller, precision air conditioner, distribution cabinet, busbar, atbp.) ay tinanggal sa serbisyo para sa pagpapanatili o pagkumpuni , at naka-off ang power supply ng lungsod. . Ang Tier III at mas mataas na mga data center ay dapat na makayanan ang sitwasyon nang walang anumang epekto sa IT payload.

  Maaaring kunin ang pasilidad kung ang data center ay nakapasa na sa Design certification.
  Natanggap ng NORD-4 ang sertipiko ng Disenyo nito noong 2015, at Pasilidad noong 2016.

• Pagpapanatili ng Operasyon. Sa katunayan, ang pinakamahalaga at kumplikadong sertipikasyon. Komprehensibong sinusuri nito ang mga proseso at kakayahan ng isang operator sa pagpapanatili at pamamahala ng isang data center na may itinatag na antas ng Tier (upang makapasa sa Operational Sustainability, dapat mayroon ka nang sertipiko ng Pasilidad). Pagkatapos ng lahat, nang walang maayos na nakabalangkas na mga proseso sa pagpapatakbo at isang kwalipikadong koponan, kahit na ang isang Tier IV data center ay maaaring maging isang walang kwentang gusali na may napakamahal na kagamitan.
  
  Mayroon ding mga antas dito: Bronze, Silver at Gold. Sa huling recertification, natapos namin ang score na 88,95 sa 100 posibleng puntos, at ito ay Silver. Kulang lang ito sa Gold - 1,05 points. 

Paano suriin na ang mga kinakailangang proseso ay binuo at gumagana ayon sa nararapat? Bukod dito, kung paano ito gagawin sa loob ng dalawang araw - ganoon katagal ang kinakailangan para sa muling sertipikasyon. Sa madaling salita, ang sertipikasyon ay batay sa isang maingat na paghahambing ng kung ano ang nakasulat sa mga regulasyon, mga kuwento ng "kung paano gumagana ang lahat" at mga tunay na kasanayan. Ang impormasyon tungkol sa huli ay nakuha mula sa mga walk-through ng data center at mga pakikipag-usap sa mga inhinyero ng data center - "mga paghaharap", gaya ng magiliw naming tawag sa kanila. Yan ang tinitignan nila.

Koponan

Una sa lahat, sinusuri ng mga auditor ng UI kung ang data center ay may sapat na kawani ng suporta. Kinukuha nila ang talahanayan ng mga tauhan, iskedyul ng tungkulin at piling tinitingnan ito gamit ang mga ulat ng shift at data ng kontrol sa pag-access upang matiyak na ang kinakailangang bilang ng mga inhinyero ay nasa site sa araw na iyon.

Tinitingnan din ng mga auditor ang bilang ng mga oras ng overtime. Nangyayari ito minsan kapag may pumasok na malaking kliyente at dose-dosenang mga rack ang kailangang i-install nang sabay. Sa ganitong mga sandali, ang mga lalaki mula sa ibang mga shift ay sumagip, at sila ay binabayaran ng dagdag na pera para dito.

Mayroong 4 inhinyero na nagtatrabaho sa NORD-7 bawat shift: 6 na naka-duty at isang senior engineer. Ito ang mga sumusubaybay sa 24x7 na pagsubaybay, nakakatugon sa mga kliyente, tumulong sa pag-install ng kagamitan at iba pang mga karaniwang kahilingan. Ito ang unang linya ng suportang teknikal ng customer. Kasama sa kanilang mga responsibilidad ang pagtatala ng mga sitwasyong pang-emergency at pagdadala ng mga ito sa mga dalubhasang inhinyero. Ang gawain ng imprastraktura ng engineering ay sinusubaybayan ng mga indibidwal na tao - mga opisyal ng tungkulin sa imprastraktura. 24x7 din.

Sinasabi ng production director at site manager ng NORD sa mga auditor kung gaano karaming tao ang nagtatrabaho sa site ngayon.

Kapag ang mga numero ay inayos, ang mga kwalipikasyon ng pangkat ay nasuri. Random na sinusuri ng mga auditor ang mga file ng tauhan ng mga inhinyero upang matiyak na mayroon silang mga kinakailangang diploma, sertipiko, at dokumento ng awtorisasyon (halimbawa, mga sertipiko ng kaligtasan sa kuryente) para magtrabaho sa isang partikular na posisyon.

Sinusuri din nila kung paano namin sinasanay ang aming mga tauhan. Kahit noong huling pag-audit, hinangaan ng aming system para sa pagsasanay ng mga bagong duty engineer ang mga UI specialist. Tatlong buwan kaming gumugugol para sa kanila kursong pagsasanay bilang isang bayad na internship, kung saan ipinakilala namin sila sa mga proseso at prinsipyo ng trabaho sa aming data center.

Ang mga nagtatrabaho nang inhinyero ay dapat ding sumailalim sa regular na pagsasanay, kabilang ang pagtatrabaho sa mga sitwasyong pang-emergency. Tiyak na susuriin ng mga auditor ang mga programa sa pagsasanay at materyales ng naturang mga pagsasanay, at random ding susuriin ang mga inhinyero. Walang hihilingin na lumipat sa isang diesel generator set, ngunit hihilingin sa kanila na sabihin sa iyo ang hakbang-hakbang kung ano ang kailangang gawin kapag naka-off ang power supply ng lungsod. Batay sa mga resulta ng pag-audit, dadalhin namin ang lahat ng mga programa sa pagsasanay at edukasyon sa isang pamantayan upang hindi sila mag-iba para sa iba't ibang mga koponan.

Ipinakita namin sa mga auditor ang break room para sa mga shift engineer.

Operasyon at pagpapanatili ng mga sistema ng engineering 

Sa malaking seksyong ito ng pag-audit, ipinapakita namin na ang lahat ng kagamitan at sistema ng engineering ay tumatanggap ng regular na pagpapanatili ayon sa iskedyul na inirerekomenda ng mga vendor, ang bodega ay may mga kinakailangang ekstrang bahagi, wastong mga kasunduan sa serbisyo sa mga kontratista, at bawat operasyon na may kagamitan ay may sarili nitong mga pamamaraan at algorithm para sa pagtatrabaho sa iba't ibang mga kaso.

MMS. Kapag nagpapatakbo ka ng dose-dosenang UPS, diesel generator set, air conditioner at iba pang bagay, kailangan mong kolektahin ang lahat ng impormasyon tungkol sa pasilidad na ito sa isang lugar. Lumilikha kami ng tinatayang sumusunod na dossier para sa bawat piraso ng kagamitan:

• modelo at serial number;
• pagmamarka;
• teknikal na katangian at setting;
• lokasyon ng pag-install;
• mga petsa ng paggawa, pag-commissioning, pag-expire ng warranty;
• mga kontrata sa serbisyo;
• iskedyul at kasaysayan ng pagpapanatili;
• at ang buong "kasaysayang medikal" - mga pagkasira, pag-aayos.

Kung paano at saan kukunin ang lahat ng impormasyong ito ay nasa bawat operator ng data center na magpasya para sa kanyang sarili. Ang UI ay hindi limitado sa mga tool. Ito ay maaaring isang simpleng Excel (nagsimula tayo dito) o isang self-written na Maintenance Management System (MMS), gaya ng mayroon tayo ngayon. Siya nga pala, desk ng serbisyo, warehouse accounting, online log, monitoring ay nakasulat din sa sarili.

Mayroong isang "personal na file" para sa bawat piraso ng kagamitan.

Ipinakita namin ang aming mga kasanayan sa bagay na ito, kabilang ang paggamit ng halimbawa ng imprastraktura na ito na UPS (nakalarawan), na nag-donate ng isa sa mga bahagi nito sa UPS na nagsisilbi sa IT load. Oo, ayon sa pamantayan, ang naturang "donasyon" ay maaari lamang isagawa ng mga kagamitan sa imprastraktura na nagpapagana sa mga air conditioner at emergency na ilaw, ngunit hindi sa IT load.

Pagkatapos, hiniling ng mga auditor na ipakita ang kaukulang tiket sa Service Desk:

At ang profile ng UPS sa MMS:

Mga ekstrang bahagi Para sa napapanahong pagpapanatili at pang-emerhensiyang pag-aayos ng mga kagamitang pang-inhinyero, pinapanatili namin ang aming sariling mga ekstrang bahagi at accessories. Mayroong isang pangkalahatang bodega na may malalaking ekstrang bahagi para sa kagamitan at maliliit na cabinet na may mga ekstrang bahagi sa mga silid ng engineering (upang hindi mo na kailangang tumakbo nang malayo).

Sa larawan: sinusuri namin ang pagkakaroon ng mga ekstrang bahagi para sa set ng generator ng diesel. Nagbilang kami ng 12 filter. Pagkatapos ay sinuri namin ang data sa MMS.  

Ang isang katulad na ehersisyo ay isinagawa sa pangunahing bodega, kung saan naka-imbak ang malalaking ekstrang bahagi: mga compressor, controllers, automation, fan, steam humidifiers at daan-daang iba pang mga item. Pinili naming muling isinulat ang mga marka at "pinuntok" ang mga ito sa pamamagitan ng MMS.

Data ng imbentaryo ng mga ekstrang bahagi. Pula - Ito ang kulang at kailangang bilhin.

Preventative na pagpapanatili. Bilang karagdagan sa pagpapanatili at pag-aayos, inirerekomenda ng UI ang pagsasagawa ng preventive maintenance. Nakakatulong ito na gawing isang nakaplanong pagkukumpuni ang isang potensyal na aksidente. Para sa bawat parameter, i-configure namin ang mga halaga ng threshold sa pagsubaybay. Kung lumampas sila, ang mga responsable ay makakatanggap ng mga alarma at gagawa ng mga kinakailangang aksyon. Halimbawa, kami:

• Sinusuri namin ang mga de-koryenteng panel na may thermal imager upang mabilis na makakita ng mga depekto sa mga electrical installation: mahinang contact, lokal na overheating ng conductor o circuit breaker. 
• Sinusubaybayan namin ang mga tagapagpahiwatig ng panginginig ng boses at kasalukuyang pagkonsumo ng mga pump ng refrigeration system. Nagbibigay-daan ito sa iyo na matukoy ang mga paglihis sa oras at magplano ng mga kapalit na bahagi nang walang pagmamadali.
• Gumagawa kami ng fuel at oil analysis ng mga diesel generator set at compressor.
• Sinusubukan namin ang glycol sa sistema ng pagpapalamig para sa konsentrasyon.

Pump vibration diagram bago at pagkatapos ng pagkumpuni.

Nagtatrabaho sa mga kontratista. Ang pagpapanatili at pag-aayos ng kagamitan ay isinasagawa ng mga panlabas na kontratista. Sa aming panig, may mga hiwalay na espesyalista sa mga diesel generator set, air conditioner, at UPS na kumokontrol sa kanilang operasyon. Sinusuri nila kung ang mga kontratista ay may mga kinakailangang kasangkapan at materyales para sa pagkukumpuni/pagpapanatili, mga propesyonal na sertipiko, mga sertipiko ng kaligtasan sa kuryente, at mga permit. Tinatanggap nila ang lahat ng trabaho.

Ito ang hitsura ng checklist para sa pagtanggap ng trabaho sa pagpapanatili ng air conditioner.

Sa opisina ng pass, sinusuri namin kung ang mga pass ay naibigay sa mga awtorisadong kinatawan ng mga kontratista, kung sumailalim sila sa pagpapanatili sa tinukoy na oras at kung nabasa nila ang mga patakaran.

Dokumentasyon. Ang mga naitatag na proseso para sa pagpapanatili ng mga sistema at kagamitan ay kalahati ng labanan. Ang lahat ng mga pamamaraan na ginawa ng mga tao sa data center ay dapat na dokumentado. Ang layunin nito ay simple: upang ang lahat ay hindi limitado sa isang partikular na tao, at sa kaganapan ng isang aksidente, sinumang inhinyero ay maaaring kumuha ng malinaw na mga tagubilin at gawin ang lahat ng kinakailangang operasyon upang maalis ito.

Ang UI ay may sariling pamamaraan para sa naturang dokumentasyon.

Para sa mga simple at paulit-ulit na aktibidad, ang mga standard operating procedure (SOP) ay itinatag. Halimbawa, may mga SOP para sa pag-on/off ng chiller at pag-set ng UPS para mag-bypass.

Para sa pagpapanatili o kumplikadong mga operasyon, tulad ng pagpapalit ng mga baterya sa isang UPS, ang mga pamamaraan sa pagpapanatili (Mga Paraan ng Pamamaraan, mga MOP) ay nilikha. Maaaring kabilang dito ang mga SOP. Ang bawat uri ng kagamitang pang-inhinyero ay dapat may sariling MOP.

Panghuli, mayroong Emergency Operating Procedures (EOPs)—mga tagubilin kung sakaling magkaroon ng emergency. Ang isang listahan ng mga partikular na sitwasyong pang-emergency ay pinagsama-sama at ang mga tagubilin ay nakasulat para sa kanila. Narito ang bahagi ng listahan ng mga sitwasyong pang-emergency, na nagdedetalye ng mga palatandaan ng isang aksidente, mga aksyon, mga responsableng tao at mga taong dapat ipaalam:

• shutdown ng city power supply: ang mga diesel generator set ay nagsimula/hindi nagsimula;
• mga aksidente sa UPS; 
• mga aksidente sa sistema ng pagmamanman ng data center;
• sobrang pag-init ng silid ng makina;
• pagtagas ng sistema ng pagpapalamig;
• pagkabigo sa network at computing equipment;

at iba pa.

Ang pagsasama-sama ng ganoong dami ng dokumentasyon ay isang matrabahong gawain mismo. Mas mahirap pa itong panatilihing napapanahon (nga pala, sinusuri din ito ng mga auditor). At higit sa lahat, dapat malaman ng mga tauhan ang mga tagubiling ito, magtrabaho ayon sa mga ito at gumawa ng mga pagpapabuti kung kinakailangan.

Oo, ang mga tagubilin ay dapat na magagamit kung saan maaaring kailanganin ang mga ito, at hindi lamang pagtitipon ng alikabok sa mga archive.

Mga tala sa mga pagbabago sa mga regulasyon sa pagpapanatili para sa mga sistema ng engineering ng data center.

Sa panahon ng pag-audit, tinitingnan din nila ang teknikal na dokumentasyon sa mga sistema, dokumentasyon ng ehekutibo at gumagana, at mga pagkilos ng paglalagay ng mga sistema sa operasyon. 

Pagmamarka. Habang naglalakad sa paligid ng data center, sinuri nila ito saanman nila maabot. Kung saan hindi nila maabot, naabot nila mula sa isang stepladder :). Tiningnan namin ang presensya nito sa bawat switchboard, makina, at balbula. Sinuri namin ang pagiging natatangi, hindi malabo at pagsunod sa kasalukuyang mga scheme ng as-built na dokumentasyon. Sa larawan sa ibaba: kami ay nasa fuel storage pump room na inihahambing ang mga marka sa solenoid valves sa diagram ng as-built na dokumentasyon. 

Ang lahat ay sumang-ayon sa kanya, ngunit sa lokal na "pandekorasyon" na diagram ng axonometric sa dingding sa isang parameter ay hindi ito nag-tutugma.

Ang mga diagram ng mga system na matatagpuan doon ay dapat ding i-post sa lugar ng data center. Sa kaganapan ng isang aksidente, tinutulungan ka nilang mabilis na malaman kung nasaan ang lahat at gumawa ng matalinong desisyon. Ang larawan, halimbawa, ay nagpapakita ng single-line diagram sa pangunahing switchboard room.

Ang kaugnayan ng mga diagram ay sinuri sa sumusunod na paraan: pinangalanan nila ang pagmamarka ng elemento sa diagram at hiniling na ipakita ito "sa totoong buhay". 

Dito kumukuha ang auditor ng mga larawan ng mga setting (mga setting) ng pangunahing switchboard input circuit breaker, upang ihambing ang mga ito sa ibang pagkakataon sa mga indicator sa single-line diagram sa papel at mga elektronikong kopya. Sa isa sa mga makina, QF-3, hindi tumugma ang indicator sa papel na diagram, at nakakuha kami ng penalty point. Ngayon, susuriin ng dalawang inhinyero kung ang mga marka sa mga single-line na diagram ay tumutugma sa katotohanan.

Hindi lang ito ang sinuri ng mga auditor sa mga tuntunin ng mga proseso ng serbisyo. Narito kung ano pa ang nasa agenda:

• systemang pang-monitor. Dito kami nakakuha ng mga benepisyo ng karma na may magandang visualization, ang pagkakaroon ng isang mobile application at mga situational na screen na inilagay sa mga corridors ng mga data center. Dito ay isinulat namin nang detalyado kung paano kami nagtatrabaho pagmamanman.

  
  Ito ang MCC na may visual na impormasyon tungkol sa katayuan ng mga pangunahing sistema ng engineering ng NORD-4 at ang aming iba pang mga data center na nagtatrabaho sa site.

• pagpaplano ng siklo ng buhay ng mga kagamitan sa engineering;
• Pamamahala ng kapasidad (Pamamahala ng kapasidad);
• pagbabadyet (nag-usap ng kaunti dito);
• pamamaraan ng pagsusuri ng aksidente;
• ang proseso ng pagtanggap, pag-commissioning at pagsubok ng kagamitan (isinulat namin ang tungkol sa mga pagsubok dito).

Ano pa ang tinitingnan ng UI?

Seguridad at kontrol sa pag-access. Sinusuri din ng audit ang pagpapatakbo ng mga sistema ng kaligtasan at seguridad. Halimbawa, sinubukan ng auditor na pumasok sa isa sa mga lugar kung saan wala siyang access, at pagkatapos ay sinuri kung ito ay makikita sa access control system at kung ang seguridad ay naabisuhan tungkol dito (spoiler - ito ay).

Kung sa aming mga sentro ng data ang pinto sa anumang silid ay nananatiling bukas nang higit sa dalawang minuto, pagkatapos ay ma-trigger ang isang alerto sa post ng seguridad. Upang subukan ito, itinukod ng mga auditor ang isa sa mga pinto gamit ang isang fire extinguisher. Totoo, hindi kami nakakuha ng sirena - nakita ng security na may mali sa pamamagitan ng mga video camera at nakarating sila sa "eksena ng krimen" nang mas maaga.

Kaayusan at kalinisan. Ang mga auditor ay naghahanap ng alikabok, mga kahon ng kagamitan na magulo, at kung gaano kadalas nililinis ang lugar. Dito, halimbawa, ang mga auditor ay naging interesado sa isang hindi kilalang bagay sa koridor ng bentilasyon. Ito ay isang bloke mula sa sistema ng bentilasyon, na naghahanda nang kunin ang lugar nito. Pero pinapirma pa rin nila ako.

Gayundin sa paksa ng pagkakasunud-sunod sa data center - ang mga cabinet na ito na may lahat ng kinakailangang tool para sa emergency na trabaho sa kagamitan ay matatagpuan sa pangunahing switchboard room. 

Lokasyon Ang data center ay tinatasa batay sa mga kondisyon ng lokasyon - kung may mga base militar, paliparan, ilog, bulkan at iba pang mapanganib na bagay sa malapit. Sa larawan ay ipinapakita lang namin na mula noong huling sertipikasyon noong 2017, walang nuclear power plants o oil storage facility ang lumaki sa paligid ng data center. Ngunit doon ay isang bagong NORD-5 data center ang itinatayo, na kakailanganin ding pumasa sa lahat ng antas ng sertipikasyon ng Uptime Institute Tier III. Ngunit iyon ay isang ganap na naiibang kuwento).

Pinagmulan: www.habr.com