Cześć, Habr! Nazywam się Taras Czirkow i jestem dyrektorem centrum danych Linxdatacenter w Petersburgu. Dziś na naszym blogu opowiem o tym, jak ważne jest utrzymanie czystości w pomieszczeniach dla prawidłowego działania nowoczesnego centrum danych, jak prawidłowo ją mierzyć, osiągać i utrzymywać na odpowiednim poziomie.
Wyzwalacz czystości
Pewnego dnia zwrócił się do nas klient centrum danych w Petersburgu w sprawie warstwy kurzu na dole szafy z urządzeniami. To stało się punktem wyjścia dla dochodzenia, którego pierwsze hipotezy zakładały następujące możliwości:
- kurz dostaje się do sal serwerowych na podeszwach butów pracowników i klientów centrum danych,
- jest wciągany przez system wentylacji,
- i jedno, i drugie.
Niebieskie ochraniacze na buty – na śmietnik historii
Zaczęliśmy od obuwia. W tym momencie problem czystości rozwiązywano tradycyjną metodą: pojemnik z ochraniaczami przy wejściu. Efektywność tego podejścia nie osiągała pożądanych rezultatów: kontrolowanie ich użycia przez gości centrum danych było trudne, a sam format – niewygodny. Szybko zrezygnowaliśmy na rzecz bardziej zaawansowanej technologii w postaci maszyny do zakupu ochraniaczy. Pierwszy model takiego urządzenia, który u nas zainstalowano, nie zdał egzaminu: maszyna zbyt często rwała ochraniacze podczas próby założenia ich na obuwie, jej użycie bardziej denerwowało, niż ułatwiało życie.
Odniesienie się do doświadczeń kolegów z Warszawy i Moskwy nie rozwiązało problemu, w końcu zdecydowano się na technologię wtapiania folii termicznej w obuwie. Dzięki folii termicznej można nałożyć «ochraniacze» na buty z każdą podeszwą – aż do cienkiego damskiego obcasa. Tak, folia również czasami się zsuwa, ale znacznie rzadziej niż klasyczne niebieskie ochraniacze, a sama technologia jest wielokrotnie wygodniejsza dla odwiedzających i nowocześniejsza. Jeszcze jednym ważnym (dla mnie) plusem – folia łatwo pokrywa największe rozmiary obuwia, w przeciwieństwie do tradycyjnych ochraniaczy, które rwiemy podczas próby nałożenia ich na 45. rozmiar. Dla większej nowoczesności procesu zainstalowano kosze z automatycznym otwieraniem pokrywy na czujnik ruchu.
Proces wygląda tak:
Goście od razu docenili nowość.
Kurz na wietrze
Porządkując najbardziej oczywisty kanał możliwego zanieczyszczenia przestrzeni, zabraliśmy się za bardziej subtelne kwestie – za powietrze. Całkiem prawdopodobne, że znaczna część kurzu dostaje się do serwerowni przez wentylację z powodu niewystarczającej filtracji lub wnosi się z zewnątrz. A może to wszystko przez niską jakość sprzątania? Śledztwo trwało.
Postanowiliśmy zmierzyć zawartość cząstek w powietrzu wewnątrz centrum danych i zaprosiliśmy do przeprowadzenia tych prac laboratorium specjalizujące się w kontroli jakości powietrza w pomieszczeniach czystych specjalnego przeznaczenia.
Pracownicy laboratorium zmierzyli liczbę punktów kontrolnych (20), sporządzili harmonogram pobierania próbek w celu śledzenia dynamiki i stworzenia maksymalnie dokładnego obrazu. Koszt pełnego procesu pomiarów w laboratorium wyniósł około 1 mln rubli, co wydawało nam się całkowicie nieuzasadnione, jednak dało szereg pomysłów do samodzielnej realizacji. Przy okazji stało się jasne, że laboratorium to dobrze, ale analizy trzeba przeprowadzać dynamicznie, a ciągłe korzystanie z ich usług jest niezwykle niewygodne.
Patrząc na planowane działania laboratorium, postanowiliśmy poszukać bardziej użytkowych urządzeń do samodzielnej pracy. Ostatecznie udało nam się znaleźć niezbędne do tego zadania narzędzie – analizator jakości powietrza. Taki:
Urządzenie pokazuje zawartość cząstek o różnych średnicach (w mikrometrach).
Przeglądając standardy
To urządzenie analizuje liczbę cząstek, temperaturę, wilgotność i pokazuje wyniki w jednostkach pomiarowych zgodnie z normami ISO dla tego parametru. Na wyświetlaczu widać poziomy zawartości cząstek o różnych średnicach w próbce powietrza.
Równolegle obwinialiśmy filtry: w tamtym czasie używano wewnątrz serwerowni modeli filtrów G4. Ten model zapewnia grubą filtrację powietrza, dlatego dopuszczano możliwość przepuszczania cząstek prowadzących do zanieczyszczenia. Postanowiliśmy zakupić na próbę filtry do finezji F5, stosowane w systemach klimatyzacji i wentylacji jako filtry drugiego etapu oczyszczania (dooczyszczania).
Przeprowadzono badanie – można przystąpić do kontrolnych pomiarów. Jako punkt odniesienia postanowiono użyć wymagań normy ISO 14644-1 dotyczących ilości ważonych cząstek.
Klasyfikacja czystych pomieszczeń według ilości ważonych cząstek.
Z pozoru wystarczy tylko mierzyć i porównywać wyniki w tabeli. Ale nie wszystko jest takie proste: w praktyce okazało się, że znalezienie standardów czystości powietrza dla serwerowni w centrum danych jest dość trudne. Wprost nie zostało to nigdzie zapisane, ani przez żadną organizację, ani przez instytut branżowy. Dopiero na wewnętrznym forum Uptime Inside Track (dostęp mają tylko osoby, które ukończyły szkolenia w programach Uptime Institute) znalazła się osobna dyskusja na ten temat. Po jej przestudiowaniu skłoniliśmy się do odniesienia do standardu ISO 8 – przedostatniego w klasyfikacji.
Pierwsze pomiary pokazały, że niedostatecznie ocenialiśmy naszą sytuację – wyniki kontroli powietrza wewnętrznego były zgodne z wymaganiami ISO 5 w pomieszczeniach wewnętrznych, co znacznie przewyższało normy pożądane przez uczestników Uptime Inside Track. Przy tym – z dużym zapasem. Mamy centrum danych, a nie laboratoria biologiczne, oczywiście, ale aby stężenie cząstek w powietrzu odpowiadało ISO 8 – to obiekt musi być klasy przynajmniej „cementownia”. Jak można zastosować ten sam standard do centrum danych – nie jest to bardzo jasne. Przy tym, wynik ISO 5 uzyskaliśmy, dokonując pomiarów przy filtracji powietrza filtrami G4. To znaczy, że kurz nie może dostawać się do szaf z powietrzem, filtry F5 okazały się zbędne, dlatego nawet ich nie używano.
Negatywny wynik – to też wynik: kontynuowaliśmy poszukiwanie przyczyny zanieczyszczenia w innych kierunkach, a kontrolę jakości powietrza włączyliśmy do kwartalnych przeglądów, łącząc je z kontrolą czujników BMS przez zweryfikowane urządzenia (wymagania ISO 9000 i audyty klientów).
Poniżej znajduje się przykład raportu, który jest wypełniany na podstawie danych uzyskanych podczas pomiaru. Dla większej dokładności pomiary są dokonywane dwoma urządzeniami – Testo 610 i czujnikiem BMS. W nagłówku tabeli wskazane są wartości graniczne dla urządzeń. Odchylenie wskazanych parametrów jest automatycznie wyróżniane kolorem, aby ułatwić identyfikację problematycznych obszarów lub okresów czasowych.
Mamy wszystko jasne: różnica w pomiarach urządzeń jest minimalna, a stężenie cząstek znacznie poniżej dopuszczalnej granicy.
Przez tylne wejście
Ponieważ w pomieszczeniach czystych było jeszcze kilka innych wejść oprócz głównego dla klientów, gdzie zainstalowaliśmy maszynę do zakupu ochraniaczy, pozostała konieczność wyeliminowania brudu z wejść do centrum danych.
Zakładanie/zdejmowanie ochraniaczy podczas procedur odciążania sprzętu jest niewygodne, dlatego znaleźliśmy automatyczną maszynę do czyszczenia podeszew. Jest wygodna, funkcjonalna, ale widać czynniki ludzkie w postaci nieprzykładania się do tego urządzenia. W zasadzie to samo co z ochraniaczami przy głównym wejściu.
Aby rozwiązać problem, zaczęliśmy szukać opcji czyszczenia, od których nie można uciec: najlepiej radziły sobie z tym samoprzylepne maty z odklejanymi warstwami. Podczas autoryzacji przy drzwiach wejściowych, gość zawsze staje na takiej macie, usuwając zbędny kurz z podeszew swojego obuwia.
Sprzątaczki zrywają górną warstwę takiej maty każdego dnia, w sumie ma ona 60 warstw - wystarcza na około 2 miesiące.
Odwiedzając centrum danych Ericsson w Sztokholmie, zwróciłem uwagę na to, jak tam rozwiązują te kwestie: obok odrywalnych warstw w Szwecji wykorzystywane są wielokrotnego użytku maty antybakteryjne Dycem. Pomysł mi się spodobał z powodu zasady wielokrotnego użytku i możliwości zapewnienia większego obszaru pokrycia.
Czarodziejka antybakteryjna mata. Szkoda, że to nie samolot, inna cena by była!
Z trudnością znaleźliśmy w Rosji przedstawicieli firmy i dokonaliśmy oceny wartości rozwiązania do naszego data center. W efekcie otrzymaliśmy kwotę prawie 100 razy droższą niż rozwiązania z wielowarstwowymi matami - około 1 miliona rubli, co jest podobne do projektu z pomiarami czystości powietrza. Ponadto okazała się konieczność używania specjalnych środków czyszczących, dostępnych tylko u tego producenta. Rozwiązanie także odpadło, zdecydowaliśmy się na wersję wielowarstwową.
Praca ręczna
Szczególną uwagę warto zwrócić na to, że wszystkie podjęte środki nie zrezygnowały z zatrudnienia personelu sprzątającego. W ramach przygotowań do certyfikacji Centrum Danych Linxdatacenter według standardu Uptime Institute Management & Operations konieczne było dokładne określenie działań pracowników służby sprzątającej na terenie Centrum Danych. Opracowano szczegółowe instrukcje, określające, gdzie, co i w jaki sposób powinny wykonywać.
Oto kilka fragmentów z instrukcji:
Jak widać, opisano wszystko, dosłownie każdy aspekt pracy w danym pomieszczeniu, dopuszczalne środki czyszczące, materiały itd. Żaden szczegół, nawet najmniejszy, nie pozostaje bez uwagi. Instruktaż – pod podpis każdego pracownika służby. W pomieszczeniach serwerowych, elektrycznych itd. sprzątanie odbywa się tylko w obecności upoważnionych pracowników Centrum Danych, na przykład inżyniera dyżurnego.
Ale to jeszcze nie wszystko
Wśród działań gwarantujących czystość w Centrum Danych znajdują się również wizyty z wizualnym przeglądem pomieszczeń, w tym cotygodniowe przeglądy stojaków pod kątem wykrywania pozostawionych wewnątrz odcinków kabli, pozostałości opakowań sprzętu i komponentów. W każdym takim przypadku zakładany jest incydent, a klient otrzymuje powiadomienie o konieczności usunięcia naruszeń w jak najkrótszym czasie.
Stworzyliśmy również osobny pokój do rozpakowywania i konfiguracji sprzętu – to również część polityki sprzątania naszej firmy.
Kolejnym środkiem, który zaczerpnęliśmy z praktyki Ericsson, jest utrzymywanie stałego nadciśnienia powietrza w pomieszczeniach serwerowych: ciśnienie w pomieszczeniach jest wyższe niż na zewnątrz, aby nie było ciągu powietrza do wewnątrz – o tym rozwiązaniu opowiemy szczegółowo w osobnym materiale.
Wreszcie, zaopatrzyliśmy się w roboty asystujące do pomieszczeń, które są wyłączone z wykazu dostępnych dla personelu sprzątającego.
Siatka na górze nie tylko zwiększa ochronę robota o +10, ale również zapobiega zaplątaniu się pod pionowymi korytami kablowymi stojaków.
Niespodziewane odkrycie jako konkluzja
Czystość w centrum danych jest kluczowa dla prawidłowego działania sprzętu serwerowego i sieciowego, który zasysa powietrze. Przekroczenie dopuszczalnych norm zanieczyszczenia prowadzi do gromadzenia się kurzu na komponentach i ogólnego wzrostu temperatury o maksymalnie 1 stopień Celsjusza. Kurz obniża skuteczność chłodzenia, co w skali roku może prowadzić do znaczących pośrednich kosztów, a także wpływać na niezawodność obiektu.
Można to nazwać czysto teoretycznym założeniem, ale eksperci z Uptime Institute, którzy przeprowadzili certyfikację centrum danych Linxdatacenter według standardu zarządzania operacyjnego (Management & Operations), przykładają ogromną wagę do czystości. Tym bardziej cieszyły nas wyjątkowo pozytywne oceny w tym zakresie: nasze centrum danych w Petersburgu w znacznym stopniu przewyższa wymagania certyfikacji. Ekspert instytutu określił nas jako "najczystsze centrum danych, jakie kiedykolwiek widział", a nasze centrum danych jest używane przez Uptime jako przykład rozwiązania problemu czystości pomieszczeń serwerowych. Dodatkowo z łatwością przechodzimy wszelkie audyty klientów pod tym kątem – spełniamy najbardziej rygorystyczne wymagania najbardziej wymagających klientów.
Wracając do początku historii. Skąd zatem pojawiły się zanieczyszczenia, o których była mowa na początku artykułu? Ta część szafy klienta, która stała się przyczyną rozpoczęcia całego projektu "czystość w centrum danych", była zanieczyszczona od momentu dostaw i instalacji szafy w centrum danych. Klient nie oczyścił szafy przed wprowadzeniem jej do pomieszczenia serwerowego – podczas inspekcji sąsiednich szaf, zainstalowanych w tym samym czasie, okazało się, że sytuacja z zanieczyszczeniem jest podobna. Ta sytuacja stała się podstawą dodania punktu kontrolnego dotyczącego czyszczenia do listy kontrolnej klienta dotyczącej instalacji szafy. O prawdopodobieństwie podobnych sytuacji również nigdy nie należy zapominać – uprzedzony, więc uzbrojony. To wszystko o "czystości i dyktaturze" w naszym centrum danych, w następnej części opiszę czujniki ciśnienia, a tymczasem zachęcam do zadawania pytań w komentarzach.
Źródło: habr.com
