Uptime Institute'taki Operasyonel Sürdürülebilirlik denetimini nasıl geçtiğimizi gösterin

Operasyon departmanı başkanı, solenoid valf üzerindeki işaretleri göstermek için yer altı yakıt depolama tesisinin kapağına tırmandı.

Şubat ayı başında en büyük Tier III veri merkezimiz NORD-4 Uptime Institute (UI) tarafından Operasyonel Sürdürülebilirlik standardına göre yeniden onaylandı. Bugün size denetçilerin neye baktığını ve hangi sonuçları elde ettiğimizi anlatacağız.

Veri merkezlerine aşina olanlar için kısaca donanımlardan bahsedelim. Seviye Standartları veri merkezlerini üç aşamada değerlendirir ve sertifikalandırır:

• proje (Tasarım): proje dokümantasyon paketi kontrol edilir.Burada iyi bilinenler aşama. Toplamda 4 tane var: Seviye I–IV. Buna göre ikincisi en yüksek olanıdır.
• İnşa edilen tesis (Tesis): Veri merkezinin mühendislik altyapısı kontrol edilerek projeye uygunluğu kontrol edilir. Veri merkezi tam tasarım yükü altında yaklaşık olarak aşağıdaki içeriğe sahip çeşitli testler kullanılarak kontrol edilir: UPS'lerden birinin (DGS, soğutma grupları, hassas klimalar, dağıtım dolapları, baralar vb.) bakım veya onarım için hizmet dışı bırakılması ve şehir güç kaynağı kapatılır. Seviye III ve üzeri veri merkezleri, BT yükü üzerinde herhangi bir etki yaratmadan durumu yönetebilmelidir.

  Veri merkezinin Tasarım sertifikasyonunu geçmiş olması durumunda tesis alınabilir.
  NORD-4, Tasarım sertifikasını 2015 yılında, Tesis sertifikasını ise 2016 yılında almıştır.

• Operasyonel Sürdürülebilirlik. Aslında en önemli ve karmaşık sertifikasyondur. Bir operatörün, belirlenmiş bir Katman düzeyine sahip bir veri merkezinin bakımı ve yönetimi konusundaki süreçlerini ve yeterliliklerini kapsamlı bir şekilde değerlendirir (Operasyonel Sürdürülebilirliği geçmek için zaten bir Tesis sertifikasına sahip olmanız gerekir). Sonuçta, uygun şekilde yapılandırılmış operasyonel süreçler ve kalifiye bir ekip olmadan, Seviye IV bir veri merkezi bile çok pahalı ekipmanlara sahip, işe yaramaz bir binaya dönüşebilir.
  
  Burada ayrıca seviyeler var: Bronz, Gümüş ve Altın. Son yeniden sertifikalandırmayı 88,95 olası puan üzerinden 100 puanla bitirdik ve bu Gümüş. Altının biraz gerisinde kaldı - 1,05 puan. 

Gerekli süreçlerin oluşturulduğu ve olması gerektiği gibi çalıştığı nasıl kontrol edilir? Üstelik bunu iki günde nasıl yapacağınız, yeniden sertifikalandırmanın ne kadar sürdüğü anlamına gelir. Kısacası sertifikasyon, yönetmeliklerde yazılanların, “her şeyin nasıl çalıştığına” dair hikayelerin ve gerçek uygulamaların özenli bir karşılaştırmasına dayanıyor. İkincisi hakkındaki bilgiler, veri merkezinin gözden geçirilmesinden ve veri merkezi mühendisleriyle yapılan görüşmelerden - bizim sevgiyle adlandırdığımız "yüzleşmelerden" elde edilir. Baktıkları şey bu.

Ekip

Öncelikle UI denetçileri veri merkezinin yeterli destek personelinin olup olmadığını kontrol eder. Gerekli sayıda mühendisin o gün sahada olduğundan emin olmak için personel tablosunu, görev programını alıp vardiya raporları ve erişim kontrol verileriyle seçici olarak kontrol ediyorlar.

Denetçiler ayrıca fazla mesai saatlerinin sayısını da yakından inceler. Bu bazen büyük bir istemci geldiğinde ve düzinelerce rafın aynı anda kurulması gerektiğinde meydana gelir. Böyle anlarda diğer vardiyalardan adamlar kurtarmaya geliyor ve bunun için onlara ekstra para ödeniyor.

NORD-4'te vardiya başına 7 mühendis çalışıyor: 6'sı görevli ve bir kıdemli mühendis. Bunlar, 24x7 izlemeyi izleyen, müşterilerle tanışan, ekipman kurulumuna ve diğer rutin taleplere yardımcı olan kişilerdir. Bu, müşteri teknik desteğinin ilk hattıdır. Sorumlulukları arasında acil durumların kaydedilmesi ve uzman mühendislere iletilmesi yer almaktadır. Mühendislik altyapısının çalışmaları bireysel kişiler - altyapı görevli memurları tarafından izlenir. Ayrıca 24x7.

NORD'un üretim müdürü ve saha müdürü denetçilere şu anda sahada kaç kişinin çalıştığını söylüyor.

Sayılar sıralanırken takımın niteliklerine bakılır. Denetçiler, belirli bir pozisyonda çalışmak için gerekli diplomalara, sertifikalara ve yetki belgelerine (örneğin, elektrik güvenliği sertifikaları) sahip olduklarından emin olmak amacıyla mühendislerin personel dosyalarını rastgele inceler.

Ayrıca personelimize nasıl eğitim verdiğimizi de kontrol ediyorlar. Son denetimde bile yeni görev mühendislerinin yetiştirilmesine yönelik sistemimiz UI uzmanlarını etkiledi. Üç ayı onlara ayırıyoruz Eğitim Kursu Ücretli staj olarak onlara veri merkezimizdeki çalışma süreçlerini ve ilkelerini tanıtıyoruz.

Halihazırda çalışan mühendislerin acil durumlarda çalışma da dahil olmak üzere düzenli eğitim almaları gerekiyor. Denetçiler bu eğitimlerin eğitim programlarını ve materyallerini mutlaka kontrol edecek, ayrıca mühendisleri rastgele inceleyeceklerdir. Kimseden dizel jeneratör setine geçmesi istenmeyecek ancak şehir elektriği kesildiğinde ne yapılması gerektiğini adım adım anlatması istenecek. Denetim sonuçlarına göre tüm eğitim ve öğretim programlarını, farklı ekiplere göre farklılık göstermeyecek şekilde tek standartta buluşturacağız.

Denetçilere vardiya mühendislerinin dinlenme odasını gösteriyoruz.

Mühendislik sistemlerinin işletimi ve bakımı 

Denetimin bu büyük bölümünde, tüm mühendislik ekipmanlarının ve sistemlerinin satıcılar tarafından önerilen programa göre düzenli bakım aldığını, deponun gerekli yedek parçalara sahip olduğunu, yüklenicilerle geçerli servis anlaşmalarının olduğunu ve ekipmanla yapılan her operasyonun kendine ait olduğunu gösteriyoruz. Farklı vakalar üzerinde çalışmaya yönelik prosedürler ve algoritmalar.

mms. Onlarca UPS, dizel jeneratör seti, klima ve benzeri şeyleri çalıştırdığınızda bu tesise ait tüm bilgileri bir yerde toplamanız gerekiyor. Her ekipman parçası için yaklaşık olarak aşağıdaki dosyayı oluşturuyoruz:

• model ve seri numarası;
• işaretleme;
• teknik özellikler ve ayarlar;
• yükleme konumu;
• üretim, devreye alma, garantinin sona ermesi tarihleri;
• hizmet sözleşmeleri;
• bakım programı ve geçmişi;
• ve tüm “tıbbi geçmiş” - arızalar, onarımlar.

Tüm bu bilgilerin nasıl ve nerede toplanacağı her veri merkezi operatörünün kendi kararına bağlıdır. Kullanıcı arayüzü araçlarla sınırlı değildir. Bu basit bir Excel (bununla başladık) veya şu anda sahip olduğumuz gibi kendi kendine yazılan bir Bakım Yönetim Sistemi (MMS) olabilir. Bu arada, servis masası, depo muhasebesi, ağ günlüğü, izleme de kendi kendine yazılır.

Her ekipman için böyle bir “kişisel dosya” vardır.

Bu konudaki uygulamalarımızı, parçalarından birini BT yüküne hizmet veren UPS'e bağışlayan UPS'in (resimde) bu altyapı örneğini kullanarak gösterdik. Evet, standarda göre bu tür bir “bağış” yalnızca klimalara ve acil durum aydınlatmalarına güç sağlayan altyapı ekipmanları tarafından gerçekleştirilebiliyor, ancak BT yükü tarafından gerçekleştirilemiyor.

Daha sonra denetçiler ilgili biletin Hizmet Masasında gösterilmesini istedi:

Ve MMS'deki UPS profili:

Yedek parça Mühendislik ekipmanlarının zamanında bakımı ve acil onarımları için kendi yedek parça ve aksesuarlarımızı saklıyoruz. Mühendislik odalarında ekipman için büyük yedek parçaların bulunduğu genel bir depo ve yedek parçaların bulunduğu küçük dolaplar bulunmaktadır (böylece uzağa koşmanıza gerek kalmaz).

Fotoğrafta: Dizel jeneratör seti için yedek parçaların bulunup bulunmadığını kontrol ediyoruz. 12 filtre saydık. Daha sonra MMS'teki verileri kontrol ettiler.  

Benzer bir uygulama, büyük yedek parçaların depolandığı ana depoda da gerçekleştirildi: kompresörler, kontrolörler, otomasyon, fanlar, buharlı nemlendiriciler ve yüzlerce başka ürün. İşaretleri seçerek yeniden yazdık ve MMS aracılığıyla "deldik".

Yedek parça envanter verileri. Kırmızı - Eksik olan ve satın alınması gereken şey budur.

Önleyici bakım. UI, bakım ve onarımların yanı sıra önleyici bakım yapılmasını da önerir. Olası bir kazayı planlı bir onarıma dönüştürmeye yardımcı olur. İzlemede her parametre için eşik değerlerini yapılandırıyoruz. Aşılması durumunda sorumlular alarm alır ve gerekli aksiyonları alır. Örneğin biz:

• Elektrik tesisatlarındaki kusurları hızlı bir şekilde tespit etmek için elektrik panellerini termal görüntüleme cihazıyla kontrol ediyoruz: zayıf temas, bir iletkenin veya devre kesicinin yerel aşırı ısınması. 
• Soğutma sistemi pompalarının titreşim göstergelerini ve mevcut tüketimini takip ediyoruz. Bu, zamandaki sapmaları tespit etmenize ve yedek parçaları acele etmeden planlamanıza olanak tanır.
• Dizel jeneratör setleri ve kompresörlerin yakıt ve yağ analizlerini yapıyoruz.
• Soğutma sistemindeki glikolü konsantrasyon açısından test ediyoruz.

Onarım öncesi ve sonrası pompa titreşim diyagramı.

Müteahhitlerle çalışmak. Ekipman bakım ve onarımları dış yükleniciler tarafından gerçekleştirilmektedir. Bizim tarafımızda dizel jeneratör setleri, klimalar ve UPS'lerin çalışmasını kontrol eden ayrı uzmanlar bulunmaktadır. Yüklenicilerin onarım işi/bakım için gerekli araç ve malzemelere, mesleki sertifikalara, elektrik güvenliği sertifikalarına ve izinlere sahip olup olmadığını kontrol ederler. Her işi kabul ediyorlar.

Klima bakım işini kabul etmek için kontrol listesi böyle görünüyor.

Geçiş ofisinde, yüklenicilerin yetkili temsilcilerine geçiş kartlarının verilip verilmediğini, belirtilen zamanda bakım yaptırıp yaptırmadıklarını ve kuralları okuyup okumadıklarını kontrol ediyoruz.

Belgeler. Sistem ve ekipmanların bakımına yönelik yerleşik süreçler savaşın yarısıdır. Veri merkezinde insanlar tarafından gerçekleştirilen tüm prosedürler belgelenmelidir. Bunun amacı basittir: Her şeyin belirli bir kişiyle sınırlı olmaması ve bir kaza durumunda herhangi bir mühendisin açık talimatlar alabilmesi ve bunu ortadan kaldırmak için gerekli tüm işlemleri yapabilmesi.

Kullanıcı arayüzünün bu tür belgeler için kendi metodolojisi vardır.

Basit ve tekrarlanan faaliyetler için standart işletim prosedürleri (SOP'ler) oluşturulmuştur. Örneğin, soğutucuyu açmak/kapatmak ve UPS'yi baypasa ayarlamak için SOP'lar vardır.

Bir UPS'deki akülerin değiştirilmesi gibi bakım veya karmaşık işlemler için bakım prosedürleri (Prosedür Yöntemleri, MOP'lar) oluşturulur. Bunlar SOP'ları içerebilir. Her tür mühendislik ekipmanının kendi MOP'ları olmalıdır.

Son olarak, Acil Durum Operasyon Prosedürleri (EOP'ler) vardır; acil durumlara ilişkin talimatlar. Belirli acil durumların bir listesi derlenir ve bunlar için talimatlar yazılır. Kaza belirtilerinin, eylemlerin, sorumlu kişilerin ve bildirilecek kişilerin ayrıntılarını içeren acil durumlar listesinin bir kısmı aşağıda verilmiştir:

• şehir güç kaynağının kapatılması: dizel jeneratör setleri çalıştırıldı/çalıştırılmadı;
• UPS kazaları; 
• veri merkezi izleme sistemindeki kazalar;
• makine odasının aşırı ısınması;
• soğutma sisteminin sızıntısı;
• ağ ve bilgi işlem ekipmanında arıza;

ve benzeri.

Bu kadar çok sayıda belgenin derlenmesi başlı başına emek yoğun bir iştir. Güncel tutmak daha da zordur (bu arada denetçiler de bunu kontrol eder). Ve en önemlisi personelin bu talimatları bilmesi, ona göre çalışması ve gerekiyorsa iyileştirme yapması gerekmektedir.

Evet, talimatlar sadece arşivlerde toz toplamakla kalmamalı, ihtiyaç duyulabilecek her yerde bulunmalıdır.

Veri merkezi mühendislik sistemleri için bakım düzenlemelerindeki değişikliklere ilişkin notlar.

Denetim sırasında ayrıca sistemlere ilişkin teknik belgelere, idari ve çalışma belgelerine ve sistemleri devreye alma eylemlerine de bakarlar. 

İşaretleme. Veri merkezini dolaşırken ulaşabilecekleri her yeri kontrol ettiler. Ulaşamadıkları yere merdivenle ulaştılar :). Her santral, makine ve vanadaki varlığına baktık. Yapım aşamasındaki belgelerin benzersizliğini, belirsizliğini ve mevcut şemalara uygunluğunu kontrol ettik. Aşağıdaki fotoğrafta: yakıt depolama pompası odasındayız ve solenoid valflerdeki işaretleri, yapım aşamasındaki dokümantasyon şemasıyla karşılaştırıyoruz. 

Her şey onunla aynı fikirdeydi, ancak duvardaki yerel "dekoratif" aksonometrik diyagramla bir parametrede örtüşmüyordu.

Orada bulunan sistemlerin şemaları da veri merkezi tesislerine asılmalıdır. Bir kaza durumunda her şeyin nerede olduğunu hızla öğrenmenize ve bilinçli bir karar vermenize yardımcı olurlar. Örneğin fotoğraf, ana santral odasındaki tek hatlı bir diyagramı göstermektedir.

Diyagramların uygunluğu şu şekilde kontrol edildi: diyagram üzerinde işaretlenen öğeye isim verildi ve onu “gerçek hayatta” göstermesi istendi. 

Burası denetçinin, daha sonra kağıt ve elektronik kopyalardaki tek hat şemasındaki göstergelerle karşılaştırmak için ana santral giriş devre kesicisinin ayarlarının (ayarlarının) fotoğraflarını çektiği yerdir. Makinelerden biri olan QF-3'teki gösterge kağıttaki diyagramla eşleşmedi ve ceza puanı kazandık. Şimdi iki mühendis tek hat şemalarındaki işaretlerin gerçeğe uygun olup olmadığını kontrol edecek.

Denetçilerin hizmet süreçleri açısından kontrol ettiği tek şey bu değildir. İşte gündemde başka neler vardı:

• izleme sistemi. Burada iyi görselleştirme, mobil uygulamanın varlığı ve veri merkezlerinin koridorlarına yerleştirilen durumsal ekranlarla karma faydalar elde ettik. Burada nasıl çalıştığımızı detaylı olarak yazdık izleme.

  
  NORD-4'ün ana mühendislik sistemlerinin ve sitede çalışan diğer veri merkezlerimizin durumu hakkında görsel bilgilerin yer aldığı MCC'dir.

• mühendislik ekipmanının yaşam döngüsü planlaması;
• kapasite yönetimi (kapasite yönetimi);
• bütçeleme (biraz konuştu burada);
• kaza analizi prosedürü;
• ekipmanın kabulü, devreye alınması ve test edilmesi süreci (testler hakkında yazdık) burada).

Kullanıcı arayüzü başka neye bakıyordu?

Güvenlik ve erişim kontrolü. Denetim aynı zamanda emniyet ve güvenlik sistemlerinin işleyişini de kontrol eder. Örneğin denetçi, erişiminin olmadığı binalardan birine girmeye çalıştı ve ardından bunun erişim kontrol sistemine yansıtılıp yansıtılmadığını ve güvenliğe bu konuda bilgi verilip verilmediğini (spoiler - öyleydi) kontrol etti.

Veri merkezlerimizde herhangi bir odanın kapısı iki dakikadan fazla açık kalırsa güvenlik noktasında bir uyarı tetiklenir. Bunu test etmek için denetçiler kapılardan birini bir yangın söndürücüyle açtılar. Doğru, hiçbir zaman sireni alamadık - güvenlik, video kameralar aracılığıyla bir şeylerin ters gittiğini gördü ve "olay mahalline" daha erken ulaştı.

Düzen ve temizlik. Denetçiler tozu, dağınık haldeki ekipman kutularını ve tesislerin ne sıklıkla temizlendiğini araştırır. Örneğin burada denetçiler havalandırma koridorundaki tanımlanamayan bir nesneyle ilgilenmeye başladı. Bu, halihazırda yerini almaya hazırlanan havalandırma sisteminden bir blok. Ama yine de imzalamamı istediler.

Ayrıca veri merkezindeki sipariş konusuna gelince - ekipman üzerinde acil durum çalışmaları için gerekli tüm araçları içeren bu dolaplar, ana santral odasında bulunmaktadır. 

Yer. Veri merkezi, yakınlarda askeri üsler, havaalanları, nehirler, yanardağlar ve diğer tehlikeli nesnelerin bulunup bulunmadığı konum koşullarına göre değerlendirilir. Fotoğrafta, 2017'deki son sertifikasyondan bu yana veri merkezi çevresinde hiçbir nükleer santral veya petrol depolama tesisinin büyümediğini gösteriyoruz. Ancak orada yeni bir NORD-5 veri merkezi inşa ediliyor ve bunun aynı zamanda Uptime Institute Tier III sertifikasyonunun tüm seviyelerini geçmesi gerekecek. Ama bu tamamen farklı bir hikaye).

Kaynak: habr.com