🥇Życie w centrum danych: nieoczywiste szczegóły po 7 latach eksploatacji. I kontynuacja o szczurze

Od razu powiem: ta mysz, którą parę lat temu napoiśmy herbatą po porażeniu prądem, najprawdopodobniej uciekła. Bo w trakcie inspekcji widzieliśmy jej koleżankę. I od razu postanowiliśmy zamontować ultradźwiękowe odstraszacze.

Teraz wokół centrum danych jest przeklęta ziemia: ptaki nie siadają na budynku i, prawdopodobnie, wszystkie krety i dżdżownice uciekły. Martwiliśmy się, że dźwięk może spowodować uszkodzenie HDD, ale sprawdziliśmy, to nie te częstotliwości.

Kolejna historia jest o wiele zabawniejsza. Pewnego razu otrzymaliśmy sprzęt wart kilka milionów rubli w pudełku z czujnikami nachylenia, wibracji i wilgotności. Wszystko było całe. Ostrożnie zdjęliśmy opakowanie, a sprzęt był wygięty. Mistyka.

Obudowa była jak łuk. Tak ładnie.

Detektyw

Nie nadaliśmy temu większego znaczenia, ponieważ wygięta metalowa obudowa wyglądała niemal designersko. Tak pięknie, bez odprysków. Gdyby nie inne, podobne urządzenia obok, w czasie rozpakowywania nawet nie pomyślelibyśmy, że coś jest nie tak. Ale obok były takie same, tylko w bardziej poprawnej geometrycznej formie.

Na szczęście rozpakowywanie takiego sprzętu nagrywa się na wideo (polecam wszystkim przyjąć taki nawyk), dlatego udało się udowodnić producentowi, że tak przyjechało. Całe opakowanie i starannie wygięta obudowa — to nie jest uderzenie od pracowników ładunkowych. Prawdopodobnie zostało uszkodzone jeszcze przed wyjazdem do Rosji.

Producent mówi: „Eee, chłopaki, a może od razu wymienimy to na gwarancji”. I tu czekała nas epicka pułapka.

Faktem jest, że celnik pozwala na wprowadzenie nam takiego sprzętu dokumentnie bez prawa eksportu. To znaczy można przywieźć, ale nie można odsprzedawać nikomu poza granicami Rosji. Kiedy wysyłamy z powrotem spaloną zasilacz, na przykład, wszystko jest jasne. To część zamienna, zasilacz.

A tutaj trzeba było odesłać wszystko:
— Chłopaki, patrzcie, wysyłamy sprzęt z powrotem do producenta.
— Całe urządzenie?
— Tak.
— Nieznana model?
— Tak.
— Czy może działać?
— Nie wiemy, nie włączyliśmy.
— Znaczy, to całe urządzenie.
— Ale to nie działa.
— Spójrzcie, całe urządzenie tego modelu. Bez prawa do reekspedycji. Nie wpuścimy.

Ogólnie rzecz biorąc, było wiele komplikacji, zanim zrozumieliśmy, że go nie eksportujemy, a oddajemy z powrotem. Ostatecznie udało się wszystko załatwić.

Były też jeszcze buty ochronne

Na początku, wiele lat temu, mieliśmy pierwszy automatyczny, sen każdego administratora. Wrzuconą paczkę jednorazowych ochraniaczy, a ona sama je rozpakowywała, otwierała i ustawia w pozycji, gdzie wystarczy tylko wstąpić. Tyk-tyk i gotowe.

Około sześciu miesięcy później przeżuwała około stu paczek ochraniaczy i się udławiła. Okazało się, że ma tyle ruchomych części, że trzeba ją albo naprawiać co miesiąc przy naszym obciążeniu (mamy bardzo wielu inżynierów-klientów na obiekcie, ponieważ jesteśmy komercyjnym centrum danych), albo trzeba kupić nową.

Drugim problemem było to, że podczas jednej z regularnych sprzątaczy w jakiś sposób znaleźliśmy "niebieską ściereczkę", wiszącą na kratce jednej ze stojaków w swoim teście. Medyk sądowy, w osobie inżyniera z zespołu X, zidentyfikował fragment ciała ochraniacza. Okazało się, że w przychodni z ochraniaczami jest wygodnie: pół godziny pochodzić — i tyle. A niektórzy inżynierowie mogą pracować z maszynami przez cały dzień. Szurając nogami. Mocno szurając. I ochraniacze przy tym ścierają się na te małe skrawki, które latają po hali maszyn.

Prawie od razu kupiliśmy nową maszynę do ochraniaczy. Wzięliśmy termontożną: to maszyna, do której ładowana jest folia, a ona starannie termoaktywizuje tę folię na buty. Pięknie, efektywnie, solidnie. Mniej się rozsypuje. Stoi u nas dość długo, ale co 1-2 godziny trzeba było zmieniać folię termoaktywizującą, ponieważ podeszwa miała tendencję do odpadania sama.

Na początku myśleliśmy, że to my mamy pecha, a inni jakoś rozwiązują ten problem. Ale nie. Zapytaliśmy zachodnich kolegów — ta sama historia. W końcu zaczęliśmy myśleć, jak to zrobić porządnie. Powracanie z hali maszynowej po nowe ochraniacze — pomysł, powiedzmy szczerze, niezbyt dobry. Znaleźliśmy przemysłowe oczyszczacze dla placów budowy i zakładów produkcyjnych. To coś w rodzaju chodników, po których wchodzi zmiana do zakładu. Chodniki z wieloma rolkami czyści wszystko, i są zrobione tak, że chciał czy nie — złapie i wyczyści. Kosztują po pół miliona do miliona rubli. Grzebaliśmy i znaleźliśmy podobne za 200 tysięcy, ale nogę trzeba wsunąć samemu. W rozmiarach przypomina maszynę do czyszczenia butów. Podchodzisz, wsuwasz tam nogę, ona ją żuje i oddaje czystą. Postawiliśmy przy wejściu do centrum danych.

Działa świetnie, z wyjątkiem dwóch szczegółów. Po pierwsze, dość szybko okazało się, że to odpowiada nam, inżynierom. A w praktyce w Centrum Danych przychodzą zobaczyć różni ludzie, wśród których są dyrektorzy dużych firm. Z butami ze skóry smoka. A dla nich nawet szczotka do nałożenia kremu na buty kosztuje więcej niż moje treningowe sneakersy, dobierają tam specjalnie włosie. I to właśnie oni odmawiali wsunięcia nóg w nasze cudo. Drugi problem pojawił się zimą: kiedy buty są naprawdę w błocie, nie zawsze można je dokładnie wyczyścić w głębokim bieżniku. Potem chodzi się po sali, zostawiając ślady ektoplazmy.

Postanowiliśmy to uprościć. Postawiliśmy obok rolowaną dyspozycję ochraniaczy. I tak musimy wszystko dublować zgodnie ze standardem.

Pojawił się nowy problem. Obserwując zachowanie inżynierów-zamawiających, zauważyliśmy taką sytuację: najpierw wsuwali nogi do maszyny do czyszczenia, a potem nakładali ochraniacze z rolowanej dyspozycji. Teraz powiesiliśmy tabliczkę, że albo to, albo tamto, najlepiej oczyścić, ale jeśli zasady życiowe zabraniają czyszczenia butów, to zakładaj ochraniacze. Wygląda na to, że bilet, który miał być na kilka dni, rozciągnął się na długo i zamknął. Oto urządzenie:

Dwa razy „ku”

Zgodnie z wymaganiami PCI DSS, należy mieć możliwość wizualnego odróżnienia ról osób przebywających w Centrum Danych. Nie podchodząc do przepustki i nie czytając tam nic, ale po prostu wizualnie, jak żołnierze odróżniają się po pagonach, tylko jeszcze bardziej wyraźnie. Postanowiliśmy nie kombinować i użyliśmy starej, dobrej metody czatlańskiej — różnicowania kolorów spodni. Konkretne — zaczęliśmy robić przepustki w różnych kolorach. Zielony, jak nasz ulubiony, od razu wzięli nasi administratorzy.

Brzmi prosto, ale wywołało to trzy nieoczekiwane efekty:

Potrzebne były retraktory do automatycznego wciągania tych przepustek podczas noszenia (to takie urządzenia, które same regulują długość taśmy). Napisaliśmy specyfikację, uwzględniając wszystkie życzenia wszystkich działów. To była strategiczna pomyłka. Kolor, format, materiał, retraktor nie plastikowy, linka metalowa, aby nanieść logo, aby był wszyty w taśmę. Rzeczy okazały się tak drogie, że musieliśmy później zredukować wymagania i zmienić format.
Kiedy różnicowanie opasek zadziałało, stało się to bardzo wygodne. U wykonawców są inne opaski, u zewnętrznych administratorów inne, a u naszych administratorów trzecie. Widać, kto jaką ma rolę. W elektryce – tylko szare, w klimatyzacji – niebieskie. I tutaj potrzebne były opaski dla kierowców (to osobna rola, mogą wchodzić w strefę rozładunku, ale nie mogą jej opuszczać inaczej niż na zewnątrz). Przy tym kierowcom nie były potrzebne przepustki. Najpierw dawaliśmy im opaski bez przepustek. Potem bezpieczeństwo uznało, że to całkiem dziwne i poniża godność kierowców. Mają swoją militarną logikę, więc teraz kierowcy przychodzą odbierać przepustkę od razu z opaską, ale ta przepustka niczego nie umożliwia. Z punktu widzenia ochrony jest to znacznik, że ochrona tego człowieka sprawdziła.
Jeden z naszych inżynierów zaproponował, aby zamiast opasek zrobić mundurowe swetry w kolorze zielonym. I wysłał propozycję racjonalizatorską. Zrobiliśmy to w połowie: przepustki z opaskami pozostawiono, a ponadto rzeczywiście uszyto zielone mundurowe swetry. Teraz mamy uniform admina. Ochrona podtrzymała żart i wpisała to w regulaminy. Teraz jest to obowiązkowe (spodnie, koszula, sweter, ale sweter można zdjąć).

Nasi klienci często skarżyli się na krzywe trasy na mapach do wjazdu do naszego centrum danych „Kompresor”. Wpisujesz adres, a droga pokazuje się niepoprawnie. W rezultacie odwiedzający skręcali w niewłaściwe miejsce, ponieważ tam jest linia kolejowa, a za nią korek i nie można się odwrócić. Najpierw chcieliśmy powiesić znaki nad drogą. Miasto oferuje taką usługę – pod zwykłymi znakami umieścić żółte dodatkowe, które są uważane za reklamę. A ich cena jak za reklamę: na autostradzie Entuzjastów jedna tabliczka kosztuje milion rubli rocznie. Równocześnie napisaliśmy do Yandexu, a oni nawet niespodziewanie odpowiedzieli. I przestali robić bałagan. Można nawet zaznaczyć diody bram: wjazd przez jedne, wyjazd przez inne.

Google, jeśli nas czytacie, to wiedzcie: macie nadal problem, a my nie wiemy, komu o tym powiedzieć, aby nas usłyszano.

W zaproszeniach e-mailowych umieściliśmy linki nie tylko do adresu, ale do adresu z wytyczonym przebiegiem trasy od geolokalizacji użytkownika. W rezultacie błędów było mniej.

Projektory gobo i inne drobiazgi.

Czy wiecie, czym są projektory gobo? My również tego nie wiedzieliśmy. Kiedyś zastanawialiśmy się, jak oznakować rzędy regałów. Same regały były oczywiście oznakowane specjalnymi, łatwymi do zdjęcia etykietami, ale widać je z odległości 1-2 metrów. Cała sala ma 500 m², więc można się tam zgubić. Dlatego podjęliśmy się oznakowania rzędów. Rozpoczęliśmy burzę mózgów. Jak oznakować, czym i gdzie? Na podłodze, na ścianach, wskaźniki na suficie itd. I tu nasz kolega zauważył, że w „Ikei” na podłodze były wcześniej ścieralne naklejki, a potem pojawiły się świetlne strzałki. Postanowiliśmy wykorzystać prostą metodę: pójść do „Ikei” i obejrzeć jeden z projektorów. Nie udało się go zdjąć: gdy nosiliśmy krzesła, sprzedawca zapytał, co robimy. I natychmiast pomógł, mówiąc, że to gobo. Okazuje się, że to nie sam projektor, lecz blaszka lub soczewka do kolorowego obrazu. Ten filtr świetlny to gobo. Jeden projektor kosztuje od 40 tysięcy rubli (ma potężną lampę do użytku dziennego), a mamy 14 rzędów w każdym z czterech pomieszczeń maszynowych. Dlatego nakleiliśmy etykiety.

Mamy też schematy na ścianach, które z czasem blakną. Wymieniliśmy je na laminowane, z „wszytymi” specjalnymi kieszonkami dla rewizora. Rewizor w naszym przypadku to główny inżynier, którego obowiązkiem jest weryfikacja aktualności wszystkich schematów znajdujących się w centrum danych. Otóż wszystkie schematy powinny być corocznie weryfikowane i podpisywane przez takiego rewizora. A posiadanie specjalnego małego zeszytu w kieszonce schematu upraszcza tę procedurę i eliminuje konieczność wymiany samego schematu co trzy lata. Zysk!

Przeprowadziliśmy czyszczenie rotacyjne podłogi z zewnątrz. Mamy regularne sprzątanie, są metody i terminy przeprowadzania sprzątania. Ale na podłodze pozostają ślady po ciężkich kółkach regałów. Zrobiliśmy czyszczenie. Teraz się denerwujemy: nie wygląda znacznie bardziej starannie, ale pojawiły się refleksy pod określonymi kątami u niektórych osób, które mają swoje własne markery na swój gust. Obecnie myślimy i szukamy jakiejś chemii, która wybieli podłogę i nada jej blasku. Żeby nawet wśród wybranych nie było żadnych pytań.

Widzieliście stacje konsolowe? To takie mobilne stoły koktajlowe, z tą różnicą, że zamiast napojów są terminale do podłączenia do stacji. Otóż u tych stacji konsolowych kółka odpadają i blokują się, jak w wózkach w supermarkecie. Strasznie nas to irytuje. W efekcie jedynym możliwym sposobem na reanimację jest zakup nowych kółek. A zdobycie kółek konkretnie do naszych modeli się nie udało, wypytaliśmy wszystkich dostawców. Ostatecznie sami zaprojektowaliśmy stację pod siebie, kładąc nacisk na wygodę manewru w hali maszynowej i łatwość naprawy. Wyszło naprawdę dobrze.

Była historia z syntetycznymi skarpetkami. Istnieje coś takiego jak antystatyczne opaski. To wtedy, gdy podchodzisz do stacji, podłączasz opaskę do uziemienia na stacji, a ona łączy się z systemem wyrównania potencjałów. Tak więc, stacja jest uziemiona, ale może się okazać, że inżynier nie jest uziemiony. Koledzy z poprzednich miejsc pracy opowiadali, że kilka razy widzieli iskry na monitoringu, i u nas podjęliśmy decyzję, aby z ostrożności zobowiązać wszystkich do korzystania z tego według regulaminu.

Krytyczne incydenty

W sytuacjach poważnych zdarzało się, że jednocześnie przestały działać wszystkie chillery. Chillery nie są chronione przez UPS, ponieważ wierzymy w fizykę, a jako rezerwę termiczną mamy basen z schłodzoną wodą. Jeśli coś się wyłącza, nie potrzebujemy akumulatorów do zasilania chillera, który chłodzi wodę, potrzebna jest po prostu zimna woda, już gotowa. To wygodne i proste, ale jest pewien szczegół. Na chillerach znajduje się automatyka ochronna, która przy niebezpiecznych parametrach sieci elektrycznej je wyłącza. Gdy wprowadzenie się wyłącza, włączamy DGU, a chillery są już od nich zasilane. Wszystko byłoby dobrze, gdybyśmy żyli gdzie indziej niż w Rosji. Mieliśmy wiele razy spadki napięcia, ale wszystko było w porządku. Pewnego razu jednak skok był nagły najpierw w dół, potem gwałtownie w górę, a następnie znów w dół - w ciągu kilku sekund parametry wprowadzenia zmieniały się prawie 4 razy. Chillery oczywiście się wyłączyły. Spróbowaliśmy najpierw włączyć je zdalnie, ale samodzielnie się zabezpieczyły, w trybie awaryjnym. Musieliśmy udać się na dach i włączyć je ręcznie. Co ważne, zgodnie z normą Tier III, taka sytuacja jest uznawana za legitymację do zatrzymania centrum danych. U nas nie było zatrzymania, ponieważ ludzie na miejscu myślą i mają doświadczenie z ćwiczeniami. Za to UI regularnie nas nagabywał, aby mieć pewność w kwestii operacyjności TIII. Gdyby co, przeszliśmy recertyfikację UI na TIII Gold - Operacyjna Zrównoważoność. Na rosyjskim rynku centrum danych nic lepszego nie ma, poza naszym, tylko jedno ma podobne osiągnięcie. Centrum Danych. Zauważam, że recertyfikacja jest trudniejsza niż uzyskanie certyfikatu od podstaw, ponieważ sprawdzają również poprzedni okres, co jest trudne i wymaga znacznie więcej dowodów.

Był ciekawy incydent z kamerami. Zdecydowaliśmy się przeliczyć martwe punkty na wszelki wypadek, narysowaliśmy przecięcia, zbudowaliśmy diagonale kątów widzenia na planie i nagle znaleźliśmy martwą strefę o wymiarach około 30 centymetrów na 15 metrów, dokładnie w środku jednej z sal. Wąska i długa. W sąsiedniej sali czegoś takiego nie było. Okazało się, że obrotowa kamera powoli przesunęła się przez lata tak, że zaczęła pokazywać około półtora stopnia w lewo niż trzeba w skrajnym położeniu.

Był też wielki przypadek w poście o wymianie DDIBP.