🥇Истории от ЦОДа: Хелоуински страхотии за дизели, дипломация и саморези в калорифера

Мы с коллегами задумались: почему бы перед нашим любимым хоррор-праздником вместо успехов и интересных проектов не вспомнить разные ужастики, с которыми сталкиваются люди в строительстве ЦОДов. Итак, выключите свет, включите тревожную музыку, и вот истории, от которых мы иногда просыпаемся в холодном поту.

Призрак офиса

В одном офисном здании мы устанавливали серверную и всякую автоматику для климатических систем, в том числе шторки с приводами. На крыше стоит метеостанция, которая определяет, с какой стороны светит солнце и закрывает шторки, если слишком ярко. Мы сдали объект и забыли о нем, но через какое-то время нам позвонили и спросили:

— Не могли бы вы вернуть шторы обратно в автоматический режим? Мы хотим все закрывать сами.
— Почему?!
— У нас уборщицы пугаются. Да и нам тоже — такое ощущение, что там призрак.

Так выглядит страшный сон специалиста по автоматике: сначала заказчик хочет систему автоматизации и энергоэффективность, ты радостно выполняешь все его пожелания, а потом выясняется, что руководитель любит все контролировать сам. И в комнате, где управление климатом полностью автоматизировано, в итоге все работает в ручном режиме.

В кабинетах топ-менеджеров мы часто устанавливаем тач-панели, с которых можно управлять сценариями освещения, кондиционерами, вентиляцией и шторками. Один особенно консервативный топ-менеджер сказал: не хочу алгоритмы, хочу две кнопки: «включить все» и «выключить все». Приезжал программист, плакал, убирая стандартный интерфейс управления, рисовал вместо него две кнопки и уезжал плакать домой.

А где у нас дизеля?

Темной-темной ночью, в темной-темной комнате техмена Олега зазвонил мобильный телефон.

— У нас тут в дизельной установке температура охлаждающей жидкости слишком высокая. Сейчас принтскрин пришлю.

Это был диспетчер ЦОДа, которому мы месяц назад с чистой совестью сдали объект. Его не смутило ни то, что на дворе три часа ночи, ни то, что система показывала одну и ту же «температуру» как в дизеле, так и в помещении. Потому что это была не температура, а код ошибки «нет связи с датчиком». Олег честно сказал диспетчеру, куда ему стоит отправиться с такими запросами. Буквально:

— Отиди до дизеловите, погледни, най-вероятно, в сензора просто е паднала батерия. Батерийният модул в дизелите захранва този контролен панел, има превключвател — ако някой от вашите го е докосвал, трябва да се завърне обратно.

Всъщност, диспечерът е точно този човек, който трябва да познава обекта, както опитен фрезист познава трите си пръста, но тук прозвуча удивителен въпрос:

— А дизелите — къде са?
— Вдигни се на втория етаж, питай електриците, те ще те отведат.

Следващите 20 минути Олег работеше дистанционно като навигатор, опитвайки се да свърже диспечера и електриците, които не много искаха да организират екскурзии посред нощ.

Круговорот на звездюли в ЦОД-a

В тридевето царство, тридесято държавата, имаше един момент когато честотникът на чилерът. Точно три часа преди сертификацията в Uptime Institute. Дълго е да разказвам какво е чилер и честотници, ако не знаете. Така че просто повярвайте: те трябва да работят като часовници, иначе сертификацията ще се превърне в тиква, а клиентът в зла мащеха. И, най-обидното, ще бъде прав, защото за посещение на комисията вземат космически пари, и ако нещо не се получи, никой няма да ги възвърне.

Пристигна сервизен техник от доставчика, разведе ръце и каза, че пациентът е почти мъртъв, а чакането на нова платка е не по-малко от месец. Комисията вече е на прага, изходите са малко. Първият — да свалим честотника от "здравия" чилер и да го поставим на "болния", а после да сменяме местата, докато тестовете не завършат. Това не е измама, ако е важно: според регламентите за тестване един от трите чилера все пак е резервен, така че сценарият е напълно работещ. Вторият изход — да опитаме да намерим нов честотник за оставащите един и половина часа. Позвънихме на нашия хладилен техник в Москва. Хладилният техник позвъни на познат в руското представителство на доставчика. Той, от своя страна, натисна представителството на производителя в Холандия и… след половин час вече монтираха новата платка. Сертификацията мина успешно.

Недовършените работи

Дали дълго или кратко, но на строежа винаги настъпва момент, когато напускат всички подизпълнители и остава единичното: недовършените работи. Това се отнася до незавършените дейности, а не до тези, които ги оставят, ако е важно. Който е последен — той и се справя.

Веднъж направихме ЦОД в мазето: рафтовете бяха подредени в два реда, подравнени по един от краищата, за да може вратата да се отваря. Поради това между един ред и стената се образува празно пространство, и клиентът отказваше да подпише приемния акт заради него. Техникът с проектния мениджър рано сутринта бяха на зор в "Леруа" да купят стиропор, боя, крепежи и старателно запълваха празното пространство, за да е в тон с рафтовете. Сдадохме.

А веднъж, след като техниците по отопление си отидоха, в проекта се откри несъответствие: трябваше да има 7 радиатора, а беше 6. Проверихме, всичко е в ред, те наистина не донесоха един радиатор в коридора. Поздно е да пием "Боржоми", всичко вече е монтирано и тествано. Клиентът се притеснява, защото актовете вече са подписани. Отново спаси "Леруа" – купихме електрически обогревател, прекарахме група кабели в коридора и в неделя сутринта сами го монтирахме, клиентът е щастлив.

Още веднъж, вместо противопожарна преграда, ни оставиха едно магическо нищо. В ЦОД въздуховодът за подаване на вентилация от втория етаж минава в мазето, през стая, която по противопожарната класификация принадлежи на друга категория от тези над и под нея. На практика това означава, че въздуховодът трябва да има противопожарен клапан, а около него – противопожарна преграда. Около нашия бляскав въздуховод с противопожарния клапан имаше дупка, предполагайте кой и как я запълваше? "Леруа Мерлен" не спонсорира този пост, а е жалко.

Дейл Карнеги нервно пуши.

Отдавна, когато тревата беше по-зелена и доларът беше 30 с нещо, правихме ЦОД за една банка в историческия център на Москва. Трябваше да се вместим в изключително стегнати срокове. Но уличките там са тесни, отворите на сградата също, да се качат няколко тона оборудване на нужния етаж по стълбите – практически невъзможно. Казахме на клиента, че трябва да товарим с кран директно на покрива, клиентът отговори в духа на "ти си каубой – ти и скачай". Тоест, добра идея, а сега одобрете пристигането на 120-тонен кран с институции като ГИБДД. И е желателно и вчера. Успех с начинанията, ако не успеете – глоба.

Ситуацията е патова, времето тече, и решихме да рискуваме, в крайна сметка, глобите от КАТ в сравнение с глобите за неспазване на сроковете — просто цветя. В събота сутрин докарахме 16-метров кран, надявайки се да свършим всичко бързо. След няколко часа дойде участковият и скромно попита за разрешение. Ние, разбира се, нямахме такова. И не се знае как би свършило всичко, ако случайно не беше един търговец с извънредни дипломатически способности.

Той отведе участковия настрани, 5 минути му обясняваше нещо, полицайът през това време няколко пъти сменяше изражението си, но в крайна сметка се качи в УАЗ-а си и извика, че ако нещо се случи, сам ще дойде да ни помогне. Какви аргументи са се чули, търговецът досега не споделя.

Вдигнете ме, хора!

Зад планините, зад полетата, но в пределите на Третия транспортен, стоеше… не, не колибка, а съвсем сериозно правителствено строителство. Сложна нощна смяна, разтоварваме оборудване. Последният камион с 15-тонна метална част в купето излиза на единствения пресечен пункт в района, нещо с шумно пукане се троши и машината сяда с дъното в калта. 5 часа сутринта, строителството постепенно оживява, водачът на бетоновоз зад нашия камион, споменавайки падналите жени, недвусмислено се интересува: не искаме ли да се махнем от пътя? За него, де, бетонът стяга. А ние бихме искали, защото в 7 часа сутринта ще дойде един от многобройните поръчители на един от министрите и, ако види този безобразие, ще разкритикува всички: от инженерите до ръководството.

Техникът бяга към местния крановик, умолително моли да вдигнат металната част от купето, за да можем да подложим друг камион под нея. Но той не иска, дори за пари. Ситуацията бе оправена от нашия инженер — договори се чрез ръководителя на крановика. Все пак донесохме металната част, но вече малко посивели.

А след това станахме доста посивели, на същия обект. Случи се епичен провал в най-буквалния смисъл.

Има такава вещ: телескопичен товарач. Използва се, когато на строителната площадка няма място за маневриране, а товара трябва да бъде повдигнат нагоре и внимателно поставен. С него трябваше да разтоварим 1,5-тонен модул през отвор. Нищо не предвещаваше: според спецификацията машината трябваше да издържа над 2 тона. Но когато оставаха точно половин метър до прозореца, "вилиците" на товарача се счупиха и металът падна от височина. Няма как — звъним на производителя да дойде и да извърши възстановителни работи. Нейните сервизни специалисти дойдоха и… отказаха да влязат на строителната площадка. Защото трябваше да минат по пътека, а на пътеката стоеше багер и копаеше. Ние вече бяхме свикнали: изчаках 10 секунди, докато стрела е обърната в противоположната посока, и побегнах. А момчетата бяха шокирани. Пришло се да представим тази особеност като завладяваща атракция, своеобразен "Форт Боярд", и те все пак ни поправиха модула.

Непосредствена карма

Скоро приказката се разказва, но чакането за подписването на приемателните протоколи от изпълнените работи е дълго, особено когато става дума за един чудесен ЦОД, който построихме за една компания. Но царят-закупчик реши да ни устрои последното изпитание:
— В спецификацията ви са написани 100 гайки за лоток, а аз броих 97. Коригирайте спецификациите и сметките, или няма да подпиша нищо.

И всеки път отивахме на далечни разстояния, и с царя-закупчик хорово брояхме крепежите за въздуховодите, гайките и болтовете. Всеки път се оказваше, че не са 97, а 99 и т.н. И не можехме да намерим спокойствие. В крайна сметка натрупахме толкова вътрешни разходи, че нашето ръководство не издържа. Казаха: нека да правят каквото искат — никой повече да не ходи там. Така останахме без подписи.

…А след година клиентът сам дойде и учтиво попита къде да подпише? Оказа се, че е дошла счетоводната палата, а той имал неизчислени оборудвания на стойност със седем нули.

Вингардиум левиоса!

Имаше един добър клиент, който реши да си купи стара сграда за ЦОД. Обаче радостта му не продължи дълго: нещо започна да се обърка в акумулаторната стая. Той ни повика за помощ, да видим какво става и да дадем съвет. Пристигаме, влизаме в акумулаторната, а там… стените издигнати от пода левитират от три страни. И не е чудно: 4 тона акумулатори просто бяха поставени на пода, и той започна да потъва в земята. Това е честа проблема с акумулаторите: важно е да се изчисли правилно натоварването на конструкцията и да се предвиди разтоварваща рамка, за да не се срутят подовете като картонена къщичка.

Но черешката на тортата в архитектурния кошмар на тази сграда беше напълното отсъствие на фундамент. Стените бяха поставени просто на пясъчна основа, под която имаше не най-дружелюбната земя. Започнахме да мислим как да спасим пациента, в крайна сметка предложихме сложна система на силикатизация: когато земята се пробива на няколко места и в нея се впръсква укрепваща смес. Това не върна пода до предишните височини, но поне спря да потъва.

Битката между двама йокодзуна

В едно царство, в един офис, създавахме диспетчеризиране: за дата-център на един от етажите, за управление на климата — съвсем. Десетки шкафове с автоматизация, километри слаботокови кабели!

Особеност на този офис беше собствен SPA-комплекс със сауна. Когато разработвахме проекта, се предполагаше, че ще се ползва рядко. Но инженерът предполага, а клиентът разпорежда: ръководството толкова се увлече в здравословния начин на живот, че спрели да изключват сауната изобщо — отнема твърде много време да се загрее.

Резултат: автоматизацията регистрира повишение на температурата от сауната — включва кондиционера по-силно, за да компенсира. Помага не особено. Климатикът продължава да се мъчи — атмосферата се затопля, защото автоматизацията не подозира, че някой може да седи толкова дълго в парната. Климатика изпада в параноя, решава: «Не е в тях, а в мен. Всичките ми усилия са напразни. Изглежда, че съм повреден», — което и съобщава на диспетчерския пульт. Диспетчерът въздъхва и натиска бутона «задача отключена». И така всеки божи ден.

С лесно движение на ръката

Има още много истории в архивите ни, но не всички ще се поберат тук. Ето три последни приказки: за кривите ръце.

Първата история е за това как в една сграда, освен сървърната стая, направихме въздушна подпора в асансьорните холове и шахти. Направихме го, напуснахме обекта, изчакахме да завърши друг подизпълнител с довършителните работи и се върнахме за изпитания на системата. Пускаме подпората — фалшивият таван рязко се надува, плочите с трясък падат на пода и всичко за секунди се преобразява в стил "лофт". Оказа се, че момчетата, които монтираха тавана, забравили да поставят плочите с перфорация за въздух. Те изобщо не се сетили за съществуването им, просто взели от отворената опаковка — и всичко, на опаковката с перфорираните не обърнали внимание, в проекта не погледнали.

Втората епопея също е за тавана. В един ЦОД имаше доста тесен коридор, а обменът на въздуха в помещението с рафтовете на АКБ трябваше да бъде значителен, затова по целия таван минаваха комуникации. Добри младежи, които направиха фалшивия таван, не се замислили и... завиха крепежи на окачванията направо в нашите нещастни въздуховоди. Всеки въздуховод вече поне малко вибрира при работа на вентилаторите, а когато в него има куп дупки и неравности, звуците на Апокалипсиса са ви осигурени. Тогава ние на славните монтажници далечни люления им дадохме такива, че раните на въздуховодите по чудо заздравяха. За тяхна сметка, разбира се.

Третата история стана, когато правехме автоматизация за системата на технологичното климатизиране. Предадохме на подизпълнителя термичен сензор и без да се замисляме, помолихме го да го постави на калорифера в притока. В приточните инсталации винаги има нагревател за външен въздух: или воден, или електрически. Този чудесен човек изпълни всичко безпрекословно. Тоест, взе и зави самореза направо в тръбката на водния калорифер, с всички отсюда (в пряк смисъл) изтичащи последствия. Добре, че на обекта имаше климатизатори с МАПП газ — течът бързо беше запоен.