Powiem od razu: ten szczur w przyniesionym serwerze, któremu kilka lat temu daliśmy herbatę po porażeniu prądem, najprawdopodobniej uciekł. Ponieważ raz widzieliśmy jej koleżankę na obchodach. I od razu postanowiliśmy zainstalować odstraszacze ultradźwiękowe.
Teraz wokół centrum danych panuje przeklęta kraina: na budynku nie wylądują żadne ptaki, a prawdopodobnie wszystkie krety i robaki uciekły. Martwiliśmy się tym powodują awarię dysku twardego, ale sprawdzono, częstotliwości nie są takie same.
Następna historia jest o wiele zabawniejsza. Kiedyś otrzymaliśmy sprzęt za kilka milionów rubli w pudełku z czujnikami pochylenia, wibracji i wilgotności. Wszystko jest całe. Ostrożnie zdjąłem opakowanie i kawałek żelaza został wygięty. Mistyk.
Ciało jest proste po łuku. Takie piękne.
Historia detektywistyczna
Nie przywiązywalibyśmy do tego żadnej wagi, ponieważ zakrzywiony metalowy korpus był niemal obrazem projektowym. Taka piękna, bez frytek. A gdyby nie inne podobne elementy sprzętu w pobliżu, przy rozpakowywaniu nawet nie pomyślelibyśmy, że coś jest nie tak. Ale w pobliżu były te same, tylko o bardziej regularnym kształcie geometrycznym.
Na szczęście rozpakowywanie takiego sprzętu jest filmowane (polecam każdemu wyrobić sobie ten nawyk), dzięki czemu udało nam się udowodnić producentowi, że tak dotarł. Nienaruszona paczka i starannie wygięty korpus nie są ciosem ze strony przeprowadzek. Najprawdopodobniej doznała kontuzji jeszcze przed wyjazdem do Rosji.
Sprzedawca mówi: „No, chłopaki, wymienimy to od razu w ramach gwarancji”. A potem czekała na nas epicka zasadzka.
Faktem jest, że urząd celny pozwala nam na import takiego sprzętu z dokumentami bez prawa do eksportu. Oznacza to, że możesz go przywieźć, ale nie możesz go odsprzedać osobie spoza Rosji. Kiedy odsyłamy np. spalony zasilacz, wszystko jest jasne. Jest to część zamienna, zasilacz.
A potem musiałem wszystko odesłać:
- Chłopaki, słuchajcie, odsyłamy sprzęt do producenta.
- Cały sprzęt?
- Tak.
— Model taki i taki?
- Tak.
- Może pracować?
— Nie wiemy, nie włączaliśmy tego.
- Więc to jest cały sprzęt.
- Cóż, to nie działa.
- No popatrz, całe wyposażenie jest tego modelu. Brak praw do reeksportu. Nie wpuścimy cię.
Ogólnie rzecz biorąc, było dużo skłotów, zanim zorientowaliśmy się, że nie eksportujemy tego, ale oddajemy. W końcu udało nam się zrobić wszystko.
Były też ochraniacze na buty
Najpierw, wiele lat temu, mieliśmy pierwszy automatyczny, marzenie administratora. Ładujesz tam paczkę nakładek na buty, ona sama je rozpakowuje, otwiera i ustawia w pozycji, w której wystarczy po nich nadepnąć. Chp-chpk i gotowe.
Po około sześciu miesiącach przeżuła około stu paczek nakładek na buty i zakrztusiła się. Okazało się, że ruchomych części jest tak dużo, że albo musimy je naprawiać raz w miesiącu przy naszym obciążeniu (po obiekcie kręci się wielu inżynierów klientów, ponieważ jesteśmy komercyjnym centrum danych), albo musimy kupić nowy.
Drugi problem polega na tym, że później podczas jednego z regularnych sprzątań jakimś cudem znaleźliśmy „niebieską szmatę” wiszącą na ruszcie jednego z testowanych przez nas stojaków. Biegły medycyny sądowej, reprezentowany przez inżyniera X-Team, zidentyfikował fragment korpusu ochraniacza na buty. Okazało się, że w klinice wygodnie jest nosić ochraniacze na buty: spacerowałem przez pół godziny i to wszystko. Niektórzy inżynierowie mogą pracować ze sprzętem przez cały dzień. Przesuwanie stóp. Dużo mieszam. A ochraniacze na buty zużywają się i zamieniają w te małe strzępy, które latają po hali turbin.
Niemal od razu kupiliśmy nowy ochraniacz na buty. Wzięliśmy termiczne etui na buty: jest to maszyna, do której ładowana jest folia, która ostrożnie obkurcza termicznie tę folię na wierzchu buta. Piękne, efektowne, trwałe. Mniej rozpraszania. Mieliśmy je dość długo, ale folię termokurczliwą musieliśmy wymieniać mniej więcej raz na 1-2 godziny, bo podeszwa miała tendencję do samoistnego odpadania.
Na początku myśleliśmy, że mamy pecha, ale ludzie jakoś rozwiązują ten problem. Ale nie. Zapytaliśmy naszych zachodnich kolegów – ta sama historia. W rezultacie zaczęli myśleć o tym, jak to zrobić normalnie. Powrót z hali turbin po nowe ochraniacze na buty to, szczerze mówiąc, pomysł taki sobie. Znaleźliśmy przemysłowe środki czyszczące dla placów budowy i przemysłu. To coś w rodzaju ścieżek, którymi zmiana wchodzi do warsztatu. Ścieżki z mnóstwem rolek czyszczą wszystko i są tak zrobione, że czy tego chcesz, czy nie, złapie i wyczyści. Kosztują od pół miliona do miliona rubli. Poszperaliśmy i znaleźliśmy taki sam za 200 tys., ale nogę w tym trzeba włożyć samemu. Rozmiarami przypomina maszynę do czyszczenia butów. Podchodzisz, wsuwasz tam stopę, ona ją przeżuwa i oddaje czystą. Umieścili go przy wejściu do centrum danych.
Działa świetnie poza dwoma kwestiami. Po pierwsze, szybko stało się jasne, że dla nas, inżynierów, jest to normalne. Jednak w praktyce do centrum danych przychodzą różne osoby, w tym kadra kierownicza dużych firm. Z butami ze skóry ze smoczego tyłka. A nawet do nakładania kremu na buty ich pędzel kosztuje więcej niż moje tenisówki treningowe, specjalnie wybierają włosie. To oni odmówili włożenia stóp w nasze cudowne urządzenie. Drugi problem pojawił się zimą: kiedy w butach jest naprawdę brudno, nie da się wszystkiego wyciągnąć z głębokiego bieżnika. Następnie spacerujesz po sali, zostawiając ślady ektoplazmy.
Zdecydowaliśmy po prostu. Obok umieściliśmy zwinięty pokrowiec na buty. Mimo wszystko musimy powielić wszystko zgodnie ze standardem.
Pojawił się nowy problem. Obserwując zachowanie inżynierów klienta, zobaczyliśmy następujący obraz: najpierw włożyli stopy w maszynę w celu czyszczenia, a następnie zaczepili ochraniacze na buty ze zwiniętego ochraniacza na buty. Teraz postawili znak, że jest albo jedno, albo drugie i lepiej się umyć, ale jeśli zasady życia zabraniają czyszczenia butów, to noś ochraniacze na buty. Wygląda na to, że bilet, który trwał kilka dni, ale trwał długo, został zamknięty. Oto urządzenie:
„ku” dwa razy
Zgodnie z wymogami PCI DSS należy wizualnie rozróżnić role osób znajdujących się w centrum danych. Nie patrząc uważnie na przepustkę i czytając coś tam, ale bezpośrednio wizualnie, jak personel wojskowy, odróżniają się paskami na ramionach, tylko jeszcze jaśniej. Postanowiliśmy się nie popisywać i zastosowaliśmy starą, dobrą metodę Chatlana - różnicowanie kolorów spodni. W szczególności zaczęli robić wstążki przejściowe w różnych kolorach. Nasi administratorzy natychmiast uznali Greena za swojego faworyta.
Brzmi prosto, ale spowodowało trzy nieoczekiwane efekty:
- Potrzebne były zwijacze, które automatycznie zwijały te przejścia po zużyciu (są to rzeczy, które same regulują długość taśmy). Napisaliśmy specyfikację techniczną, która uwzględniała wszystkie życzenia wszystkich działów. To był strategiczny błąd. Kolor, format, materiał, zwijacz nie jest plastikowy, żyłka wykonana jest z metalu, aby nanieść logo tak, aby było wszyte w taśmę. Elementy okazały się tak drogie, że musieliśmy obciąć wymagania i zmienić format.
- Kiedy zróżnicowanie spodni zaczęło działać, stało się bardzo wygodne. Wykonawcy mają niektóre wstążki, administratorzy zewnętrzni mają inne, a nasi administratorzy mają inne. Widać, kto pełni jaką rolę. Do elektryki - tylko szare, do klimatyzacji - niebieskie. A potem potrzebowaliśmy wstążek dla kierowców (to osobna rola, mogą wjechać na teren rozładunku, ale nie mogą go opuścić inaczej niż na zewnątrz). Kierowcy nie potrzebują przepustki. Na początku wręczaliśmy im wstążki bez wejściówek. Następnie ochroniarze uznali, że jest to całkowicie dziwne i poniżające godność ludzką kierowców. Mają swoją logikę wojskową, więc teraz kierowcy przychodzą od razu po przepustkę ze wstążką, ale ta przepustka nie pozwala im nigdzie wjechać. Z punktu widzenia bezpieczeństwa okazuje się to oznaką, że ochrona sprawdziła tę osobę.
- Jeden z naszych inżynierów zasugerował, aby zamiast wstążki zrobić zielone swetry mundurowe. I przesłał propozycję racjonalizacji. Zrobili to połowicznie: zostawili przepustki ze wstążką, a dodatkowo uszyli zielone swetry mundurowe. Teraz mamy mundur administratora. Ochroniarze poparli żart i umieścili go w regulaminie. Teraz jest to obowiązkowe (spodnie, koszula, sweter, ale sweter można zdjąć).
Nasi klienci często narzekali również na krzywe trasy na mapach przed wejściem do naszego centrum danych Compressor. Wpisujesz adres, ale droga jest wyświetlana niepoprawnie. Goście skończyli kołując w złym kierunku, bo tam była linia kolejowa, a za nią był korek i tam nie było jak zawrócić. Na początku chcieliśmy umieścić znaki nad drogą. Miasto ma taką usługę - umieść żółte dodatkowe znaki pod zwykłymi znakami, są one uważane za reklamę. A cena za nie jest jak reklama: na autostradzie Entuziastov jeden znak kosztuje milion rubli rocznie. W tym samym czasie napisaliśmy do Yandex, a oni nawet nagle odpowiedzieli. I przestali się zachowywać. Można nawet określić diody bramki: wejście przez jedne, wyjście przez inne.
Google, jeśli nas czytasz, to wiedz: nadal masz problem, a my nie wiemy komu o tym powiedzieć, abyśmy mogli zostać wysłuchani.
Zaproszenia zawierały linki nie tylko do adresu, ale także do adresu z trasą opartą na geolokalizacji użytkownika. W rezultacie było mniej nieudanych prób.
Projektory Gobo i inne drobne przedmioty
Czy wiesz, czym są projektory gobo? My też nie wiedzieliśmy. Jakoś zastanawialiśmy się, jak oznaczyć rzędy stojaków. Same stojaki są oczywiście oznaczone specjalnymi oznaczeniami szybkiego wypinania, ale widać je z odległości 1-2 metrów. Sama hala ma 500 mkw., więc jest gdzie się zgubić. Dlatego w końcu zaczęliśmy zaznaczać rzędy. Rozpoczęła się burza mózgów. Jak zaznaczyć, czym i gdzie? Na podłodze, na ścianie, znaki na suficie itp. I wtedy nasz kolega zobaczył, że w Ikei były kiedyś naklejki, które się ścierały na podłodze, a potem pojawiły się jasne strzałki. Cóż, postanowiliśmy odwrócić to w prosty sposób: pojechać do Ikei i włączyć jeden z projektorów, żeby popatrzeć. Nie mogliśmy tego dostać: kiedy nieśliśmy krzesła, sprzedawca zapytał, co robimy. I od razu pomógł, mówiąc, że to gobo. Okazuje się, że nie jest to sam projektor, a płyta lub soczewka do kolorowego obrazu. Ten filtr to gobo. Jeden projektor kosztuje od 40 tysięcy rubli (do użytku dziennego jest mocna lampa), a w każdej z czterech maszynowni mamy 14 rzędów. Dlatego nakleiliśmy na niego naklejki.
Mamy też diagramy na ścianach, które z biegiem lat blakną. Zamieniliśmy je na laminowane, ze specjalnymi „wszytymi” kieszeniami dla audytorów. W naszym przypadku Inspektorem jest główny inżynier, do którego obowiązków należy sprawdzanie trafności wszystkich schematów znajdujących się w centrum danych. Dlatego wszystkie programy muszą być sprawdzane co roku i podpisywane przez takiego audytora. A obecność specjalnego małego magazynka w kieszonce diagramu ułatwia tę procedurę i nie wymaga wymiany samego diagramu co trzy lata. Zysk!
Zrobiliśmy obrotowe czyszczenie podłogi podniesionej na zewnątrz. Mamy regularne sprzątanie, mamy metody i czas czyszczenia. Ale koła ciężkich regałów zostawiają ślady. Zajęliśmy się sprzątaniem. Teraz jesteśmy zdenerwowani: nie wygląda to dużo ładniej, ale pod pewnymi kątami pojawiły się najważniejsze elementy, cóż, dla niektórych osób, które mają własne pisaki odpowiadające swoim upodobaniom. Teraz myślimy o tym i szukamy jakiejś chemii, która wybieli podłogę i doda jej blasku. Aby nawet wybrani nie mieli pytań.
Widziałeś stojaki na konsole? Przypominają one podróżne stoły bufetowe, tyle że zamiast napojów znajduje się terminal do podłączenia do stojaka. W przypadku tych regałów wspornikowych koła odpadają i blokują się, jak wózki w supermarkecie. Mamy niesamowicie dość. W efekcie jedynym możliwym sposobem na jego ożywienie jest zakup nowego koła. Jednak nie było już możliwości zakupu kół specjalnie do naszych modeli, przeprowadziliśmy wywiady ze wszystkimi wykonawcami. W rezultacie sami zaprojektowaliśmy regał, skupiając się na łatwości poruszania się po maszynowni i łatwości konserwacji. To zadziałało bardzo dobrze.
Była historia ze skarpetkami syntetycznymi. Jest coś takiego - bransoletki antystatyczne. To wtedy podchodzimy do racka, podłączamy bransoletkę do masy na racku, a ona komunikuje się z układem wyrównywania potencjałów. Szafka jest więc uziemiona, ale może się okazać, że inżynier nie jest uziemiony. Koledzy z poprzednich miejsc pracy opowiedzieli nam, jak kilka razy widzieli iskry na monitoringu, i postanowiliśmy grzecznie zobowiązać wszystkich do korzystania z niego bezpośrednio zgodnie z przepisami.
Incydenty krytyczne
Mówiąc poważniej, doszło do sytuacji, w której wszystkie agregaty chłodnicze zostały od razu wyłączone. Nasze agregaty chłodnicze nie są chronione przez UPS, ponieważ wierzymy w fizykę i mamy basen zimnej wody jako rezerwę temperatury. Jeśli coś się wyłączy, nie potrzebujesz baterii do zasilania agregatów chłodniczych, ale po prostu zimnej wody, która jest już gotowa. Wygodny i prosty, ale jest niuans. Agregaty chłodnicze wyposażone są w automatyczne urządzenia zabezpieczające, które wyłączają je w przypadku niebezpiecznych parametrów sieci elektrycznej. Jeśli wejście jest wyłączone, włączamy agregat prądotwórczy na olej napędowy, a następnie zasilane są z niego agregaty chłodnicze. Wszystko byłoby dobrze, gdybyśmy nie mieszkali w Rosji. Wiele razy mieliśmy awarie sieci, ale wszystko było w porządku. Ale pewnego dnia nastąpił gwałtowny skok, najpierw w dół, potem ostro w górę, a potem znowu w dół - w ciągu kilku sekund parametry wejściowe zmieniły się około 4 razy. Lodówki oczywiście wyłączone. Najpierw próbowaliśmy włączyć je zdalnie, ale chroniły się bardzo niezawodnie, jak w sytuacji awaryjnej. Zmiana musiała chodzić z nogami na dachu i włączać je ręcznie. Co ważne, zgodnie ze standardem TierIII, taka sytuacja jest uzasadnionym powodem wyłączenia centrum danych. Nie mieliśmy przystanku, bo ludzie leżą głowami na ziemi i są ćwiczenia z ćwiczeniami. Do tego UI po prostu regularnie nas pieprzył, na pewno o TIII Operational. W każdym razie przeszliśmy recertyfikację interfejsu użytkownika do TIII Gold - Zrównoważony rozwój operacyjny. Na rosyjskim komercyjnym rynku centrów danych nie ma nic fajniejszego, z wyjątkiem naszego, tylko jeden ma takie same osiągnięcia . Zauważam, że ponowna certyfikacja jest trudniejsza niż uzyskanie certyfikatu od zera, ponieważ sprawdzają poprzedni okres tak, jakbyś nie był sobą, i wymaganych jest znacznie więcej dowodów.
Z kamerami doszło do ciekawego zdarzenia. Postanowiliśmy na wszelki wypadek przeliczyć martwe punkty, narysowaliśmy przecięcia, nakreśliliśmy na planie przekątne kątów widzenia i nagle znaleźliśmy martwy punkt o wymiarach około 30 centymetrów na 15 metrów dokładnie pośrodku jednej z sal. Wąskie i długie. W pokoju obok nie ma czegoś takiego. Okazało się, że obracająca się kamera przez lata powoli przesuwała się, aż w skrajnym położeniu zaczęła pokazywać się o około półtora stopnia w lewo niż powinna.
W poście doszło do jeszcze jednego ważnego wydarzenia .
referencje
- и
- Mój mail: [email chroniony]
Źródło: www.habr.com