Z moimi współpracownikami pomyśleliśmy: dlaczego przed ulubionym świętem horrorów nie przypomnieć sobie różnych koszmarów, z którymi spotykają się ludzie w budowie centrum danych. Tak więc, wyłączcie światło, włączcie niepokojącą muzykę, teraz będą historie, przez które czasami budzimy się w zimnym pocie.
Duch biura
W jednym biurowym budynku budowaliśmy serwerownię oraz różne automatyzacje dla systemów klimatyzacyjnych, w tym — żaluzje z napędami. Na dachu znajduje się stacja meteorologiczna, która określa, z której strony świeci słońce i zasłania żaluzje, gdy jest zbyt jasno. Obiekt został oddany i zapomnieliśmy, po pewnym czasie dzwonią, pytają:
— Czy moglibyście znowu zautomatyzować żaluzje? Chcemy wszystko zamykać sami.
— Dlaczego?!
— Nasze sprzątaczki się boją. No i my też — mamy wrażenie, że tam jest duch.
Tak właśnie wygląda koszmar specjalisty od automatyki: najpierw klient chce automatyzacji i efektywności energetycznej, ty robisz mu to wszystko z radością, a potem okazuje się, że kierownik chce wszystko kontrolować samodzielnie. I w pomieszczeniu, gdzie zarządzanie klimatem jest w pełni zautomatyzowane, ostatecznie wszystko działa w trybie ręcznym.
Często w biurach różnych menedżerów robimy panel dotykowy, z którego można sterować scenariuszami oświetlenia, klimatyzacją, wentylacją, żaluzjami. Jeden szczególnie konserwatywny menedżer powiedział: nie chcę algorytmów, chcę dwa przyciski: „włącz wszystko” i „wyłącz wszystko”. Przyjeżdżał programista, płakał, usuwając standardowy interfejs sterowania, rysował zamiast niego dwa przyciski i wracał do domu płakać.
A gdzie mamy generatory?
W ciemną-czarną noc, w ciemnej-czarnej sali technicznej Olega zadzwonił telefon komórkowy.
— Mamy tutaj w instalacji generatora zbyt wysoką temperaturę cieczy chłodzącej. Zaraz wyślę zrzut ekranu.
To był dyspozytor centrum danych, którego oddaliśmy miesiąc temu z czystym sumieniem. Nie zraziło go ani to, że jest trzecia w nocy, ani to, że system pokazywał tę samą „temperaturę” w generatorze i w pomieszczeniu. Bo to w ogóle nie była temperatura, a kod błędu „brak połączenia z czujnikiem”. Oleg szczerze powiedział dyspozytorowi, dokąd powinien się udać w nocy z takimi zapytaniami. Dosłownie:
— Idź do diesli, sprawdź, prawdopodobnie w czujniku po prostu rozładowała się bateria. Moduł zasilający w dieslach zasila ten panel sterujący, jest tam wyłącznik — jeśli ktoś go dotknął, trzeba go obrócić z powrotem.
W rzeczywistości dyspozytor to właśnie ta osoba, która powinna znać obiekt jak doświadczony frezer swoje trzy palce, ale padło jedno zdumiewające pytanie:
— A gdzie są diesle?
— Wejdź na drugie piętro, zapytaj elektryków, oni cię zaprowadzą.
Przez następne 20 minut Oleg zdalnie pracował jako nawigator, próbując połączyć dyspozytora z elektrykami, którzy nie bardzo chcieli organizować komuś wycieczki w środku nocy.
Krąg kłopotów w centrum danych
W krainie trzynastej, w państwie trzydziestym, zepsuł się nam pewnego razu na . Dokładnie na trzy godziny przed przystąpieniem do certyfikacji w Uptime Institute. Nie ma sensu opowiadać, co to są chillery i falowniki, jeśli nie wiesz. Więc po prostu uwierz: muszą działać jak zegar, w przeciwnym razie certyfikacja zamieni się w dynię, a zamawiający — w złą macochę. I, co najgorsze, będzie miał rację, ponieważ za wizytę komisji biorą ogromne pieniądze, a jeśli coś pójdzie nie tak, nikt ich nie zwróci.
Przyjechał serwisant dostawcy, rozłożył ręce i powiedział, że pacjent raczej nie żyje, a czekanie na nową płytę zajmie nie mniej niż miesiąc. Komisja już za progiem, opcji niewiele. Pierwsza — odkręcić falownik ze „zdrowego” chillera i zamontować go na „chorym”, a potem zamienić miejscami, żeby przeprowadzić próbę do końca. To nie jest oszustwo, dla wyjaśnienia: zgodnie z zasadami testowania i tak jeden z trzech chillerów jest rezerwowy, więc scenariusz jest całkiem realny. Druga opcja — spróbować znaleźć nowy falownik w pozostałe półtorej godziny. Zadzwoniliśmy do naszego chłodniska w Moskwie. Chłodnik zadzwonił do znajomego wewnątrz rosyjskiego przedstawicielstwa dostawcy. Ten z kolei naciskał na przedstawicielstwo producenta w Holandii i… po pół godzinie już montowali nam nową płytę. Certyfikacja przeszła pomyślnie.
Niedoróbki
Czy długo, czy krótko, zawsze na budowie następuje moment, gdy wszyscy podwykonawcy odchodzą, a zostają one: niedoróbki. To o niezakończonych pracach, a nie o tych, którzy je zostawili, jeśli to jasne. Kto ostatni — ten sprząta.
Pewnego razu zbudowaliśmy centrum danych w piwnicy: regały w dwóch rzędach, wyrównane do jednej ze ścian, aby drzwi mogły się otworzyć. Z tego powodu powstała luka między jednym rzędem a ścianą, a klient odmówił podpisania protokołu odbioru z powodu tej luki. Technik z menadżerem projektu z samego rana biegali do "Leroy Merlin" po styropian, farbę, mocowania i starannie wypełniali lukę, aby kolor pasował do regałów. Udało się.
A pewnego dnia, po wyjściu wykonawców od ogrzewania, odkryliśmy niezgodność w projekcie: powinno być 7 grzejników, a jest 6. Poszliśmy, policzyliśmy — wszystko się zgadza, faktycznie nie zamontowali jednego grzejnika w korytarzu. Picie „Borjomi” jest już za późno, wszystko jest już zamontowane i poddane próbom ciśnieniowym. Klient sypie sobie popiół na głowę, ponieważ protokoły zostały już podpisane. Znowu uratował nas "Leroy Merlin" — kupiliśmy tam grzałkę elektryczną, dociągnęliśmy do korytarza grupę kabli i w niedzielny poranek sami zamontowaliśmy, klient zadowolony.
Pewnego razu zostawiono nam też magiczną pustkę zamiast ściany przeciwpożarowej. W centrum danych kanał wentylacji nawiewnej z drugiego piętra prowadzi do piwnicy, przez pomieszczenie, które według klasyfikacji przeciwpożarowej należy do innej kategorii niż te, które są nad i pod nim. W praktyce oznacza to, że w kanałach wentylacyjnych powinny być zamontowane klapy przeciwpożarowe, a wokół nich — ściany przeciwpożarowe. Wokół naszego lśniącego kanału wentylacyjnego z klapą przeciwpożarową była dziura, zgadnijcie, kto i jak ją wypełniał? "Leroy Merlin" nie sponsorował tego posta, szkoda.
Dale Carnegie nerwowo pali papierosa.
Dawno, dawno temu, kiedy trawa była zielona, a dolar kosztował 30 kilka, budowaliśmy centrum danych dla jednego banku w historycznym centrum Moskwy. Musieliśmy się zmieścić w bardzo napiętym harmonogramie. Ale uliczki były wąskie, otwory w budynku również, podniesienie kilku ton sprzętu na odpowiednie piętro po schodach — praktycznie niemożliwe. Powiedziano klientowi, że trzeba załadować dźwig prosto na dach, klient odpowiedział w duchu „jesteś kowbojem — to ty skacz”. No więc dobra pomysł, a teraz uzgodnij przyjazd 120-tonowego dźwigu z instytucjami takimi jak GIBDD. I najlepiej wczoraj. Powodzenia w przedsięwzięciach, nie zdążysz — kara.
Sytuacja stała się patowa, czas gonił, więc postanowiliśmy zaryzykować, w końcu mandaty z GIBDD w porównaniu z karami za nietrzymanie terminów to zwykłe błahostki. W sobotnie rano przyjechał 16-metrowy dźwig, mając nadzieję, że uda nam się wszystko szybko załatwić. Po kilku godzinach przyjechał policjant i nieśmiało zapytał o zezwolenie. Oczywiście go nie mieliśmy. Nie wiadomo, jak by to wszystko się skończyło, gdyby nie pojawił się u nas sprzedawca z niezwykłymi zdolnościami dyplomatycznymi.
Odciągnął policjanta na bok, przez 5 minut coś mu tłumaczył, a funkcjonariusz w tym czasie kilka razy zmienił minę, ale ostatecznie wsiadł do swojego uaza i krzyknął, że jeśli coś się wydarzy, sam przyjedzie i nam pomoże. Jakie argumenty tam padły, sprzedawca do tej pory nie zdradza.
Podnieście mnie, ludzie!
Za wzgórzami, za polami, w granicach Trzeciego transportowego, stała … nie, nie chatka, a całkiem poważna rządowa budowa. Trudna nocna zmiana, rozładunek sprzętu. Ostatnia ciężarówka z 15-tonowym żelastwem w naczepie wyjeżdża na jedynym na terenie skrzyżowaniu, coś z głośnym hukiem się łamie, a kolos opada dnem w błoto. Godzina 5 rano, budowa powoli się budzi, kierowca betoniarki za naszym ciężarówką, wspominając upadłe kobiety, bez ogródek pyta: czy nie mamy ochoty opuścić drogi? Ma beton, który mu stygnie. A my byśmy chętnie, ponieważ o godzinie 7 przyjedzie jeden z wielu zamówień jednego z ministrów, a jeśli zobaczy to bałagan, będzie awantura: od inżynierów po menedżerów.
Technik biegnie do lokalnego dźwigowego, błagalnie prosi o podniesienie żelastwa z naczepy, abyśmy mogli podsunąć pod to inną ciężarówkę. A ten ani słyszeć, nawet za pieniądze. Sytuację uratował nasz inżynier - załatwił to przez kierownika owego dźwigowego. Żelazko w końcu dowieźliśmy tam, gdzie trzeba, ale już nieco siwi.
A potem staliśmy się jeszcze bardziej siwi, w tej samej lokalizacji. Stała się epicka katastrofa w dosłownym tego słowa znaczeniu.
Istnieje coś takiego jak teleskopowy wózek widłowy. Używa się go, gdy w budowie nie ma miejsca na manewry, a ładunek trzeba podnieść do góry i ostrożnie postawić. Z jego pomocą musieliśmy rozładować 1,5-tonowy moduł przez okno w przepaści. Nic nie zapowiadało problemu: według specyfikacji maszyna miała wytrzymywać ponad 2 tony. Ale kiedy do okna zostało dokładnie pół metra, 'widły' wózka złamały się, a żelazo spadło z wysokości. Co robić — dzwonimy do producenta, żeby przyszedł i przeprowadził prace naprawcze. Ich serwisanci przyjechali i... odmówili wejścia na budowę. Ponieważ trzeba było przejść wąską ścieżką, a na niej stał koparka i kopała. My byliśmy przyzwyczajeni: odczekaliśmy 10 sekund, aż dźwig był obrócony w przeciwną stronę od ścieżki, i pobiegliśmy. A chłopaków to zszokowało. Musieliśmy przedstawić tę cechę jak ekscytującą atrakcję, taki „Fort Boyard”, i jednak naprawili nam moduł.
Niemomentalna karma
Wkrótce bajka się opowiada, ale długo się sprawy załatwia, szczególnie gdy chodzi o podpisywanie protokołów odbioru wykonanych prac. Zbudowaliśmy kiedyś świetne centrum danych dla jednej firmy. Ale postanowił król-zleceniodawca zorganizować nam ostatnie wyzwanie:
— W waszej specyfikacji napisano 100 nakrętek na podstawkę, a ja policzyłem 97. Poprawcie specyfikacje i kosztorysy, albo nic nie podpiszę.
I za każdym razem wyruszaliśmy w daleką drogę, i liczyliśmy razem z królem-zleceniodawcą to mocowania do przewodów powietrznych, to nakrętki, to śruby. Zawsze okazywało się, że nie 97, a 99 itd. I nie mieliśmy spokoju. W efekcie uzbieraliśmy tylu wewnętrznych wydatków, że nasza kadra kierownicza nie wytrzymała. Powiedzieli: niech robią, co chcą — więcej nikt tam nie jedzie. Tak i zostaliśmy bez podpisów.
…A rok później zleceniodawca sam przychodzi i grzecznie pyta, gdzie ma się podpisać? Okazało się, że przyszła izba obliczeniowa, a on miał nieudokumentowany sprzęt o wartości z siedmioma zerami.
Wingardium leviosa!
Dawno, dawno temu był jeden dobry klient, który postanowił kupić stary budynek na centrum danych. Jego radość nie trwała jednak długo: zaczęły dziać się niepokojące rzeczy w pomieszczeniu akumulatorów. Wezwał nas na pomoc, abyśmy zobaczyli i doradzili. Przyjechaliśmy w gości, weszliśmy do pomieszczenia akumulatorów, a tam… ściany unoszą się nad podłogą z trzech stron. Nic dziwnego: po prostu postawili 4 tony akumulatorów na podłodze — a ta zaczęła się zapadać. To częsty problem z akumulatorami: ważne jest, aby prawidłowo obliczyć obciążenie konstrukcji i przewidzieć systemy odciążające, aby stropy nie zawaliły się jak domek z kart.
Ale wisienką na torcie architektonicznego koszmaru w tym budynku był całkowity brak fundamentu. Ściany stały po prostu na piaszczystym podłożu, pod którym znajdowało się nieprzyjazne podłoże. Zaczęliśmy myśleć, jak uratować pacjenta, w końcu zaproponowaliśmy skomplikowany system silikatowania: to, kiedy grunt wierci się w kilku miejscach, a następnie wtłacza się wzmocniony roztwór. Nie przywróciło to podłogi do poprzedniego poziomu, ale przynajmniej przestała się zapadać.
Bitwa dwóch yokozun
W pewnym królestwie, w pewnym biurowym państwie, zajmowaliśmy się dyspozycją: dla centrum danych na jednym z pięter, dla zarządzania klimatem — na cały obiekt. Dziesiątki szaf automatyki, kilometry słaboprądowych kabli!
Ciekawostką tego biura był własny kompleks SPA z sauną. Kiedy opracowywaliśmy projekt, zakładano, że sauna będzie używana rzadko. Ale inżynier zakłada, a klient dysponuje: kadra kierownicza tak się wciągnęła w zdrowy styl życia, że saunę przestały wyłączać w ogóle — zbyt długo się nagrzewa.
Efekt: automatyka wykrywa wzrost temperatury z sauny — włącza mocniejszy klimatyzator, aby zrekompensować. Pomaga tak sobie. Klimatyzator nadal się męczy — atmosfera się zaostrza, ponieważ automatyka nie podejrzewa, że ktoś może tak długo korzystać z sauny. Klimatyzator popada w paranoję, postanawia: „To nie oni, to ja. Wszystkie wysiłki są daremne. Chyba się zepsułem”, i informuje o tym dyspozytora. Dyspozytor wzdycha i naciska przycisk „zadanie anulowane”. I tak każdego dnia.
Lekkim ruchem ręki
Mamy jeszcze wiele historii w zapasach, ale nie wszystkie się tutaj zmieszczą. Oto trzy ostatnie opowieści: o krzywych rękach.
Pierwsza opowieść dotyczy tego, jak w jednym budynku, oprócz serwerowni, zapewnialiśmy wspomaganie wentylacji w holach i szybach windy. Zrobiliśmy to, opuściliśmy obiekt, poczekaliśmy, aż inny wykonawca zakończy prace wykończeniowe, i wróciliśmy na testy systemu. Uruchamiamy wentylację – fałszowane sufity nagle napęczniały, płyty z hukiem wyleciały na podłogę i wszystko w sekundę przeistoczyło się w styl „loft”. Okazało się, że chłopaki, którzy montowali sufit, zapomnieli położyć płyty z perforacją na powietrze. Nie mieli nawet pojęcia o ich istnieniu, po prostu sięgali po otwartą paczkę – i to wszystko, na paczkę z perforowanymi nie zwrócili uwagi, w projekt nie patrzyli.
Druga epopeja również dotyczy sufitu. W jednym z centrów danych był dość wąski korytarz, a wymiana powietrza w pomieszczeniu z regałami akumulatorów musiała być znacząca, dlatego wzdłuż całego sufitu biegły instalacje. Dobrzy młodzieńcy, którzy wykonali sufit podwieszany, nie chcieli się przemęczać i… wkręcili mocowania zawieszeń prosto w nasze nieszczęsne przewody wentylacyjne. Każdy przewód wentylacyjny w takiej sytuacji lekko wibruje podczas pracy wentylacji, a gdy jest w nim mnóstwo dziur i nierówności, zapewnione są dźwięki Apokalipsy. Wówczas zafundowaliśmy tym wspaniałym monterom tyle „cudownych” dolegliwości, że rany na przewodach wentylacyjnych cudownie się zagoiły. Oczywiście na ich koszt.
Trzecia opowieść wydarzyła się, gdy tworzyliśmy automatykę dla systemu wentylacji technologicznej. Przekazaliśmy wykonawcy zlecenie czujnik temperatury i bez żadnych wątpliwości poprosiliśmy o zamontowanie go na kaloriferze w nawiewie. W jednostkach nawiewnych zawsze znajduje się nagrzewnica dla powietrza zewnętrznego: albo wodna, albo elektryczna. Ten wspaniały człowiek wykonał wszystko bez zastrzeżeń. To znaczy, że wkręcił śrubę prosto w rurkę wodnego kalorifera, ze wszystkimi z tego (w dosłownym sensie) wynikającymi konsekwencjami. Dobrze, że na obiekcie byli klimatyzatorzy z gazem MAPP — wyciek szybko załatali.
Linki:
- W razie potrzeby pisz tutaj: build@croc.ru
Źródło: habr.com
