Witaj, Habro! Nazywam się Taras Chirkov i jestem dyrektorem centrum danych Linxdatacenter w St. Petersburgu. A dzisiaj na naszym blogu opowiem o tym, jaką rolę odgrywa utrzymanie czystości pomieszczeń w normalnej pracy nowoczesnego centrum danych, jak ją prawidłowo mierzyć, osiągać i utrzymywać na wymaganym poziomie.
Czystość wyzwalania
Któregoś dnia skontaktował się z nami klient centrum danych w Petersburgu w sprawie warstwy kurzu na dnie szafy ze sprzętem. Stało się to punktem wyjścia do badań, których pierwsze hipotezy sugerowały, co następuje:
- kurz przedostaje się do serwerowni spod podeszew butów pracowników i klientów centrum danych,
- wprowadzane poprzez system wentylacji,
- Zarówno.
Niebieskie ochraniacze na buty - wyrzucone na śmietnik historii
Zaczęliśmy od butów. W tamtym czasie problem czystości rozwiązywano w tradycyjny sposób: przy wejściu ustawiano kontener z ochraniaczami na buty. Skuteczność podejścia nie osiągnęła pożądanego poziomu: trudno było kontrolować ich wykorzystanie przez gości centrum danych, a sam format był niewygodny. Szybko je porzucono na rzecz bardziej zaawansowanej technologii w postaci maszyny do ochraniaczy na buty. Pierwszy model takiego urządzenia, który zainstalowaliśmy, okazał się porażką: maszyna zbyt często rozdzierała ochraniacze na buty przy próbie założenia ich na buty, jej użycie bardziej irytowało niż ułatwiało życie.
Sięgnięcie do doświadczeń kolegów z Warszawy i Moskwy nie rozwiązało problemu i ostatecznie zdecydowano się na technologię wtapiania folii termicznej na buty. Za pomocą folii termicznej możesz założyć „ochraniacze na buty” na buty o dowolnej podeszwie – nawet na cienkim damskim obcasie. Tak, folia też czasem się ślizga, jednak znacznie rzadziej niż klasyczne niebieskie ochraniacze na buty, a sama technologia jest dużo wygodniejsza dla widza i nowocześniejsza. Kolejnym ważnym (dla mnie) plusem jest to, że folia bez problemu zakrywa największe rozmiary butów, w przeciwieństwie do tradycyjnych ochraniaczy na buty, które rozrywają się przy próbie założenia ich na rozmiar 45. Aby proces był bardziej nowoczesny, zainstalowano pojemniki z automatycznym otwieraniem pokrywy za pomocą czujnika ruchu.
Proces wygląda następująco:
Goście od razu docenili innowację.
Pył na wietrze
Po uporządkowaniu najbardziej oczywistego kanału możliwego zanieczyszczenia kosmosu zajęliśmy się bardziej subtelnymi sprawami – powietrzem. Jest prawdopodobne, że znaczna część pyłu przedostaje się do serwerowni przez wentylację z powodu niewystarczającej filtracji lub jest przynoszona z ulicy. A może chodzi o złą jakość sprzątania? Dochodzenie było kontynuowane.
Postanowiliśmy wykonać pomiary zawartości cząstek w powietrzu wewnątrz centrum danych i do wykonania tych prac zaprosiliśmy laboratorium specjalizujące się w monitorowaniu jakości powietrza w specjalnych pomieszczeniach czystych.
Personel laboratorium zmierzył liczbę punktów kontrolnych (20) i stworzył harmonogram pobierania próbek w celu śledzenia dynamiki i stworzenia najdokładniejszego obrazu. Koszt całego procesu pomiarowego przez laboratorium wyniósł około 1 miliona rubli, co wydawało nam się całkowicie niepraktyczne, ale dało nam szereg pomysłów na samodzielne wdrożenie. Po drodze okazało się, że laboratorium jest dobre, ale analizy muszą być prowadzone dynamicznie, a ciągłe korzystanie z ich usług jest wyjątkowo niewygodne.
Po zapoznaniu się z planowaną działalnością laboratorium postanowiliśmy przyjrzeć się urządzeniom bardziej użytkowym do samodzielnej pracy. Dzięki temu udało nam się znaleźć narzędzie niezbędne do tego zadania – analizator jakości powietrza. Lubię to:
Urządzenie pokazuje zawartość cząstek o różnej średnicy (w mikrometrach).
Redefinicja standardów
Urządzenie to analizuje liczbę cząstek, temperaturę, wilgotność i wyświetla wyniki w jednostkach miary zgodnie z normami ISO dla tego parametru. Wyświetlacz pokazuje poziom cząstek o różnych średnicach w próbce powietrza.
Jednocześnie popełnili błąd z filtrami: w serwerowniach używali wówczas modeli filtrów G4. Model ten zapewnia zgrubne oczyszczanie powietrza, założono więc możliwość braku cząstek prowadzących do zanieczyszczeń. Do testów zdecydowaliśmy się na zakup filtrów dokładnych F5, które stosowane są w instalacjach klimatyzacyjnych i wentylacyjnych jako filtry drugiego stopnia (doczyszczania).
Badanie zostało przeprowadzone - można przystąpić do pomiarów kontrolnych. Jako wskazówkę postanowiliśmy wykorzystać wymagania normy ISO 14644-1 dotyczące liczby zawieszonych cząstek.
Klasyfikacja pomieszczeń czystych ze względu na liczbę zawieszonych cząstek.
Wydawałoby się - zmierz i porównaj zgodnie z tabelą. Ale nie wszystko jest takie proste: w praktyce dość trudno było znaleźć standardy czystości powietrza w serwerowniach centrów danych. Nie jest to wyraźnie określone nigdzie, ani przez żadną organizację, ani instytut branżowy. I dopiero na wewnętrznym forum Uptime Inside Track (dostęp do niego mają osoby, które ukończyły szkolenia w programach Uptime Institute) odbyła się osobna dyskusja na ten temat. Bazując na wynikach jej badania, byliśmy skłonni skupić się na normie ISO 8 – przedostatniej w klasyfikacji.
Już pierwsze pomiary pokazały, że się nie doceniliśmy – wyniki testów powietrza wewnętrznego wykazały spełnienie wymagań ISO 5 w pomieszczeniach wewnętrznych, co znacznie przekroczyło standardy pożądane przez uczestników Uptime Inside Track. Jednocześnie z dużym marginesem. Mamy data center, a nie laboratorium biologiczne oczywiście, ale aby stężenie cząstek w powietrzu było równe ISO 8, musi to być obiekt co najmniej klasy „cementownia”. Nie jest zbyt jasne, w jaki sposób ten sam standard można zastosować w centrum danych. Jednocześnie wynik na poziomie ISO 5 uzyskaliśmy dokonując pomiarów przy filtrowaniu powietrza filtrami G4. Oznacza to, że kurz nie może dostać się do stojaków przez powietrze, filtry F5 okazały się zbędne i nawet nie były używane.
Wynik negatywny to także konsekwencja: kontynuowaliśmy poszukiwania przyczyny zanieczyszczeń w innych kierunkach, a monitoring jakości powietrza został włączony do przeglądów kwartalnych, połączonych z przeglądami czujników BMS przez zweryfikowane urządzenia (wymagania ISO 9000 i audyty klientów).
Poniżej znajduje się przykład raportu wypełnianego na podstawie danych uzyskanych podczas pomiaru. Dla większej dokładności pomiarów dokonujemy dwoma urządzeniami – Testo 610 i czujnikiem BMS. Nagłówek tabeli pokazuje wartości graniczne dla urządzeń. Odchylenia w określonych parametrach są automatycznie podświetlane kolorem, aby ułatwić identyfikację obszarów problematycznych lub okresów.
U nas wszystko jest jasne: różnica we wskaźnikach urządzeń jest minimalna, a stężenie cząstek znacznie niższe niż maksymalny limit.
Przez tylne wejście
Ponieważ oprócz głównego wejścia dla klientów, gdzie zainstalowaliśmy maszynę do czyszczenia butów, do pomieszczeń czystych znajdowały się inne wejścia, nadal istniała potrzeba zapobiegania przedostawaniu się przez nie brudu do centrum danych.
Zakładanie/zdejmowanie ochraniaczy na buty podczas rozładunku sprzętu jest niewygodne, dlatego znaleźliśmy automatyczną maszynę do czyszczenia podeszew. Wygodny, funkcjonalny, ale wpływa na to czynnik ludzki w postaci opcjonalnego podejścia do tego urządzenia. Zasadniczo takie same jak w przypadku nakładek na buty przy głównym wejściu.
Aby rozwiązać problem, zaczęto szukać opcji czyszczenia, których nie można było uniknąć: najlepiej radziły sobie z tym lepkie dywany z odpinanymi warstwami. Podczas procesu autoryzacji przy drzwiach wejściowych zwiedzający musi stanąć na takiej macie, usuwając nadmiar kurzu z podeszew swoich butów.
Sprzątaczki codziennie zrywają wierzchnią warstwę takiego dywanu, w sumie jest ich 60 - wystarczy na około 2 miesiące.
Odwiedzając między innymi centrum danych Ericsson w Sztokholmie, zauważyłem, jak rozwiązano tam te problemy: w Szwecji oprócz warstw zrywalnych stosuje się antybakteryjne dywany Dycem wielokrotnego użytku. Pomysł spodobał mi się ze względu na zasadę wielokrotnego użycia i możliwość zapewnienia dużego obszaru krycia.
Magiczny dywan antybakteryjny. Szkoda, że nie samolot, ale mógłby być – za taką a taką cenę!
Z trudem znaleźliśmy przedstawicieli firmy w Rosji i oszacowaliśmy koszt rozwiązania dla naszego centrum danych. W rezultacie otrzymaliśmy kwotę prawie 100 razy droższą niż rozwiązanie z dywanami wielowarstwowymi - w przybliżeniu taki sam 1 milion rubli jak w projekcie z pomiarami czystości powietrza. Dodatkowo okazało się, że konieczne jest zastosowanie specjalnych środków czyszczących, dostępnych oczywiście wyłącznie u tego producenta. Rozwiązanie również zniknęło samoistnie, zdecydowaliśmy się na opcję wielowarstwową.
Praca fizyczna
Chciałbym szczególnie zwrócić uwagę na fakt, że wszystkie te środki nie zniweczyły wykorzystania siły roboczej sprzątaczek. Przygotowując się do certyfikacji centrum danych Linxdatacenter zgodnie ze standardem Uptime Institute Management & Operations, konieczne było jasne uregulowanie działań pracowników serwisu sprzątającego na terenie data center. Sporządzono szczegółowe instrukcje określające, gdzie, co i jak należy wykonać.
Kilka fragmentów instrukcji:
Jak widać wszystko jest przepisane, dosłownie każdy aspekt pracy w konkretnym pomieszczeniu, środki czystości, materiały itp. dopuszczalne do użycia. Żaden, nawet najmniejszy szczegół nie pozostał bez opieki. Instrukcja – podpisana przez każdego pracownika serwisu. W serwerowniach, pomieszczeniach elektrycznych itp. są one usuwane wyłącznie w obecności upoważnionych pracowników centrum danych, np. dyżurującego inżyniera.
Ale to nie wszystko
Na liście środków zapewniających czystość w centrum danych znajdują się także przejścia z oględzinami obiektu, w tym cotygodniowe przeglądy regałów w celu wykrycia pozostawionych w nich resztek drutu, pozostałości opakowań po urządzeniach i komponentach. Dla każdego takiego odcinka otwierane jest zdarzenie, a Klient otrzymuje powiadomienie o konieczności jak najszybszego usunięcia naruszeń.
Stworzyliśmy także osobne pomieszczenie do rozpakowywania i ustawiania sprzętu – to też wpisuje się w politykę porządkową firmy.
Kolejnym środkiem, którego nauczyliśmy się z praktyki Ericssona, jest utrzymywanie stałego ciśnienia powietrza w serwerowniach: ciśnienie wewnątrz pomieszczeń jest większe niż na zewnątrz, dzięki czemu nie ma przeciągów do wewnątrz – o tym rozwiązaniu porozmawiamy szerzej w osobnym artykule.
Wreszcie udało nam się pozyskać robotycznych asystentów do lokali, które są wyłączone z listy dostępnych do zwiedzania przez personel sprzątający.
Kratka na górze nie tylko daje +10 do ochrony robota, ale także zapobiega jego utknięciu pod pionowymi korytkami kablowymi stojaków.
Nieoczekiwane znalezisko na zakończenie
Czystość w centrum danych jest istotna dla pracy serwerów i sprzętu sieciowego, który przez nie przeciąga powietrze. Przekroczenie dopuszczalnego poziomu zapylenia spowoduje gromadzenie się kurzu na elementach i całkowity wzrost temperatury nawet o 1 stopień Celsjusza. Pył zmniejsza wydajność chłodzenia, co może skutkować znacznymi kosztami pośrednimi w skali roku, a także wpływać na odporność na awarie obiektu jako całości.
Może to być założenie spekulacyjne, ale eksperci Uptime Institute, którzy certyfikowali centrum danych Linxdatacenter zgodnie ze standardem jakości Management & Operations, przywiązują najwyższą wagę do czystości. A jeszcze przyjemniej było otrzymywać najbardziej pochlebne oceny w tej dziedzinie: nasze centrum danych w St. Petersburgu znacznie przekracza wymagania certyfikacyjne. Ekspert z instytutu nazwał nas „najczystszym centrum danych, jakie widział”, a nasze centrum danych jest wykorzystywane przez Uptime jako przykład rozwiązania problemu czystych serwerowni. Również z łatwością przechodzimy każdy audyt klienta pod tym parametrem - najpoważniejsze wymagania najbardziej kapryśnych klientów są zaspokajane ponad miarę.
Wróćmy do początku historii. Skąd wzięło się zanieczyszczenie zgodnie z samą skargą z początku artykułu? Część szafy klienta, która była powodem uruchomienia całego projektu „czyszczenia w centrum danych”, była zanieczyszczona od momentu importu szafy i jej zainstalowania w centrum danych. Klient nie wyczyścił szafy do czasu wniesienia jej do serwerowni - podczas sprawdzania sąsiadujących szafek zainstalowanych w tym samym czasie okazało się, że tam z kurzem jest podobnie. Sytuacja ta spowodowała dodanie elementu kontroli czyszczenia do listy kontrolnej instalacji w szafie klienta. Nigdy nie powinniśmy zapominać o prawdopodobieństwie wystąpienia takich sytuacji – przezorny jest uzbrojony. Chodzi o „czystość i dyktaturę” w naszym data center, w następnym artykule opowiem o czujnikach ciśnienia, ale na razie pytania zadawajcie w komentarzach.
Źródło: www.habr.com