S kolegy jsme se zamysleli: proč si před naším oblíbeným hororovým svátkem místo úspěchů a zajímavých projektů nepřipomenout všechny možné hrůzy, které se objevují ve světě datacenter. Takže, zhasněte světlo, pustěte strašidelnou hudbu, teď přijdou příběhy, kvůli kterým se občas budíme ve studeném potu.
Duch kanceláře
V jedné kancelářské budově jsme dělali serverovnu a různé automatiky pro klimatizační systémy, včetně - žaluzíí s pohony. Na střeše je meteorologická stanice, která určuje, z které strany svítí slunce, a zakrývá žaluzie, pokud je příliš jasně. Projekt byl dokončen a zapomenut, po nějaké době volají a ptají se:
— Nemohli byste žaluzie znovu odautomatizovat? Chceme je zavírat sami.
— Proč?!
— Naše uklízečky se bojí. A máme z toho taky divný pocit - jakoby tam byl duch.
Takto vypadá noční můra specialisty na automatizaci: nejprve si objednatel přeje automatizaci a energetickou efektivitu, ty mu to všechno s radostí uděláš, a pak se ukáže, že vedoucí chce všechno řídit sám. A v místnosti, kde je plně automatizováno řízení klimatu, nakonec všechno funguje v manuálním režimu.
Často děláme v kancelářích různých šéfů dotykový panel, z kterého lze ovládat scénáře osvětlení, klimatizace, větrání a žaluzie. Jeden obzvlášť konzervativní šéf řekl: nechci algoritmy, chci dvě tlačítka: „zapnout všechno“ a „vypnout všechno“. Přijel programátor, plakal, když odstraňoval standardní řídicí rozhraní, nakreslil místo něj dvě tlačítka a odjel domů plakat.
A kde máme diesely?
Tmavou tmavou nocí, v temné tmavé místnosti technika Olega zazvonil mobil.
— Máme tady v dieselové stanici příliš vysokou teplotu chladicí kapaliny. Hned ti pošlu printscreen.
To byl dispečer datacentra, kterého jsme před měsícem s čistým svědomím předali. Nezaskočilo ho ani to, že je tři hodiny ráno, ani to, že systém ukazoval stejnou „teplotu“ v dieselovém motoru i v místnosti. Protože to byla vlastně vůbec ne teplota, ale chybový kód „žádné spojení se snímačem“. Oleg hezky řekl dispečerovi, kam by měl v noci s takovými dotazy vyrazit. Doslova:
— Jdi k dieselům, podívej se, pravděpodobně máš jen vybitou baterii v senzoru. Bateriový modul v dieselových generátorech napájí tento ovládací panel, je tam přepínač — pokud ho někdo z vás hýbal, je potřeba ho vrátit zpět.
Vlastně dispečer je přesně ten člověk, který by měl znát objekt jako zkušený frézař své tři prsty, ale tady zazněla neuvěřitelná otázka:
— A kde jsou diesely?
— Vystoupej do druhého patra, zeptej se elektřikářů, ti tě zavedou.
Dalších 20 minut Oleg pracoval jako navigátor, snažil se spojit dispečera s elektriky, kteří moc nechtěli dělat někomu exkurze uprostřed noci.
Kruhová výměna úderů v datovém centru
V království tří devítek, ve státě tří desítek, nám najednou zkolaboval na . Přesně tři hodiny před certifikací v Uptime Institute. Netřeba teď dlouze vysvětlovat, co jsou to chladiče a frekvenční měniče, pokud nevíte. Takže prostě věřte: mají fungovat jako hodiny, jinak se certifikace promění v dýni a zákazník se stane zlou macechou. A co je nejhorší, bude mít pravdu, protože za návštěvu komise si účtují šílené peníze, a pokud něco nepůjde, nikdo je zpět nevrátí.
Servisní technik dodavatele dorazil, rozpažil ruce a řekl, že pacient je spíše mrtvý, a čekat na novou desku minimálně měsíc. Komise už je na prahu, možností moc. První - sundat frekvenční měnič ze "zdravého" chladiče a dát ho na "nemocný", a pak je vyměnit zpět, dokud zkoušky neskončí. Není to žádné podvádění: podle pravidel testování je stejně jeden ze tří chladičů záložní, takže tato varianta je zcela aplikovatelná. Druhá možnost - pokusit se najít nový frekvenční měnič za zbývajících jeden a půl hodiny. Zavolali jsme našemu chladíčovi v Moskvě. Chladíč zavolal známému uvnitř ruského zastoupení dodavatele. Ten následně zatlačil na zastoupení výrobce v Nizozemsku a… za půl hodiny už nám montovali novou desku. Certifikace proběhla skvěle.
Dorůstání nedodělků
Ať už dlouho, nebo krátce, na staveništi vždy nastává okamžik, kdy odejdou všechny subdodávky a zůstávají jen: nedodělky. To se týká nedokončených prací, nikoli těch, kdo je opustil, aby bylo jasné. Kdo je poslední - ten to všechno uklidí.
Jednou jsme dělali datové centrum ve sklepení: regály ve dvou řadách, srovnané po jednom okraji, aby se dveře mohly otevírat. Kvůli tomu vznikla mezera mezi jednou řadou a zdí, a zákazník kvůli této mezeře odmítal podepsat přejímací protokol. Technický pracovník s projektovým manažerem vyrazili brzy ráno do 'Leroy Merlin' pro polystyren, barvu, kotvy a svědomitě tuto mezeru zazdili, aby ladila s regály. Odevzdali jsme.
Jednou po odchodu topenářů jsme v projektu objevili nesrovnalost: mělo být 7 radiátorů, ale bylo jich 6. Šli jsme, spočítali - bylo to správně, opravdu jeden radiátor nedotáhli do chodby. Pít 'Borjomi' bylo pozdě, všechno už bylo namontováno a ztestováno. Zákazník si sype popel na hlavu, protože protokoly už byly podepsány. Opět nás zachránil 'Leroy Merlin' - koupili jsme tam elektrický ohřívač, dotáhli do chodby skupinu kabelů a v neděli ráno jsme ho sami nainstalovali, zákazník je spokojen.
Jednou nám místo požární přepážky zanechali kouzelné nic. V datovém centru vede vzduchovod příčné ventilace z druhého patra do sklepení, přes místnost, která podle požární klasifikace patří do jiné kategorie než ty nad a pod ní. V praxi to znamená, že ve vzduchovodu musí být protipožární klapka a kolem ní - požární přepážka. Kolem našeho zářivého vzduchovodu s protipožární klapkou byla díra, hádejte, kdo a jak ji opravoval? 'Leroy Merlin' tento příspěvek nesponsoroval, bohužel.
Dale Carnegie nervózně kouří.
Kdysi dávno, když byla tráva zelenější a dolar stál 30 něco, jsme dělali datové centrum pro jednu banku v historickém centru Moskvy. Museli jsme se vejít do extrémně krátkých termínů. Ale uličky tam jsou úzké, otvory ve budově také, zvednout několik tun vybavení na potřebné patro po schodech - prakticky nemožné. Řekli jsme zákazníkovi, že je potřeba naložit jeřábem přímo na střechu, zákazník na to odpověděl ve stylu 'ty jsi kovboj - tak skákej'. No, tedy dobrý nápad, a teď zařiďte příjezd 120tunového jeřábu s institucemi jako je GIBDD. A ideálně už včera. Hodně štěstí v podnicích, pokud to nestihnete - pokuta.
Situace je bezvýchodná, čas běží, a my jsme se rozhodli risknout, nakonec pokuty od Dálnice nejsou ve srovnání s pokutami za nedodržení termínů nic. V sobotu ráno přivezli 16metrový jeřáb, doufajíc, že všechno stihneme rychle. Po pár hodinách přijel policista a zdrženlivě požádal o povolení. To jsme samozřejmě neměli. A není jasné, jak by to všechno dopadlo, kdyby s námi nebyl prodejce s výjimečnými diplomatickými schopnostmi.
Odvedl policistu stranou, 5 minut mu něco vysvětloval, policista se během té doby několikrát změnil ve tváři, ale nakonec sedl do svého UAZu a zakřičel, že pokud se něco stane, sám přijdě a pomůže nám. Jaké argumenty tam byly, prodejce dosud neprozradil.
Zvedněte mě, lidé!
Za horami, za poli, ale v rámci Třetího dopravního, stála … ne, nebyla to chatrč, ale docela seriózní vládní stavba. Obtížná noční směna, vykládáme vybavení. Poslední nákladní auto s 15tunovým železem v korbě vyjíždí na jedinou křižovatku na území, něco se s hlasitým zvukem rozbije a kolos se zaboří do bláta. 5 hodin ráno, stavba se pomalu probouzí, řidič betonového míchače za naším náklaďákem, vzpomínajíc na padlé ženy, jasně se ptá: nemáme v úmyslu se odstěhovat z cesty? Běží mu totiž beton. A my bychom rádi, protože v 7 hodin ráno přijede jeden z mnoha zástupců jednoho z ministrů a pokud si tohohle nepořádku všimne, všichni dostanou co proto: od inženýrů po šéfy.
Technik běží k místnímu jeřábníkovi, pláče mu, aby zvedl železo z korby, abychom mohli pod něj podsunout jiný náklaďák. Ale ten ne a ne, ani za peníze. Situaci vyřešil náš inženýr - domluvil se přes vedoucího toho jeřábníka. Železo jsme nakonec dopravili tam, kam mělo, ale už jsme byli o něco šedivější.
A pak jsme se na tomtéž projektu ještě více šedivěli. Dostal se tam opravdu epický fail v tom nejdoslovnějším smyslu.
Existuje něco jako teleskopický vysokozdvižný vozík. Používá se, když není místo na stavbě, a je potřeba zvednout náklad nahoru a opatrně ho umístit. S jeho pomocí jsme potřebovali vyložit 1,5tunový modul oknem přes otvor. Nic nenasvědčovalo problémům: podle specifikace by stroj měl unést přes 2 tuny. Ale když zbývalo k oknu přesně půl metru, „vidlice“ na vozíku se zlomily a železo spadlo z výšky. Nikoho to nenapadlo, takže voláme výrobci, aby přijeli a uskutečnili opravy. Jejich technici přijeli a… odmítli vstoupit na stavbu. Protože se tam muselo jít po cestičce, na které stál bagr a kopal. My jsme si na to již zvykli: vydrželi jsme 10 sekund, dokud nebyl výložník otočen na opačnou stranu od cestičky, a běželi. Ale kluci byli šokováni. Museli jsme tuto skutečnost prezentovat jako vzrušující atrakci, něco jako „Fort Boyard“, a modul nám opravdu opravili.
Není okamžitá karma
Brzy se pohádka vypráví, ale podnikání jde pomalu, zejména pokud jde o podepisování aktů o převzetí hotových prací. Jednou jsme postavili skvělé datové centrum pro jednu společnost. Ale král zákazník se rozhodl, že nám uspořádá poslední zkoušku:
— Ve vaší specifikaci je napsáno 100 matiček na zásobník, ale já jsem spočítal 97. Opravit specifikace a rozpočty, nebo nic nepodepíšu.
A tak jsme každýkrát museli cestovat přes devatero zemí a s králem jsme společně počítali to potrubí pro vzduchotechniku, pak matičky, pak šrouby. Každýkrát jsme zjistili, že to není 97, ale 99 atd. A neměli jsme klid. Nakonec jsme nasbírali tolik interních nákladů, že naše vedení to nevydrželo. Řekli: ať dělají, co chtějí — více tam nikdo nepojede. Tak jsme zůstali bez podpisů.
…A o rok později zákazník přišel sám a zdvořile se ptá, kde by se měl podepsat? Ukázalo se, že přijel kontrolní úřad a on měl nezaznamenané vybavení za částku s sedmi nulami.
Wingardium leviosa!
Žil byl jeden dobrý zákazník, který se rozhodl koupit starou budovu pro datové centrum. Jenže jeho radost netrvala dlouho: v baterce začaly nastávat potíže. Zavolal nás na pomoc, abychom se podívali na to podivné a poradili mu. Přijeli jsme na návštěvu, vešli do baterky a tam… stěny nad podlahou levitovaly ze tří stran. Jen si to představte: 4 tuny baterií byly prostě položeny na podlahu — a ta začala propadat do země. To je s bateriemi častý problém: je důležité správně vypočítat zatížení konstrukcí a zajistit vyztužovací rámy, aby se stropy nesložily jako domeček z karet.
Ale třešničkou na dortu architektonického nočního můry v této budově bylo naprosto žádné základy. Stěny jednoduše stály na pískovém potěru, pod kterým — ne příliš přívětivá půda. Začali jsme přemýšlet, jak zachránit pacienta, a nakonec jsme navrhli složitý systém silikátového zpevnění: to je, když se půda vrtá na několika místech a do ní se pumpuje zpevňující roztok. Na původní výšky to nevrátilo, ale aspoň přestalo propadat.
Bitva dvou yokozunů
V jistém království, v jistém kancelářském státě, jsme dělali dispečerský systém: pro datové centrum na jednom z pater, pro řízení klimatu — pro celé. Desítky skříní automatiky, kilometry slaboproudého kabelu!
Zvláštností té kanceláře byl vlastní wellness komplex se saunou. Když jsme vyvíjeli projekt, předpokládalo se, že parní lázeň se nebude používat často. Ale inženýr předpokládá, a zákazník disponuje: vedení se natolik zapojilo do zdravého životního stylu, že saunu nakonec přestali vypínat úplně — příliš dlouho se ohřívá.
Výsledek: automatika detekuje zvýšení teploty ze sauny — zapíná klimatizaci naplno, aby to kompenzovala. Pomáhá to tak napůl. Klimatizace se dál snaží — atmosféra se zahřívá, protože automatika nepředpokládá, že by někdo mohl tolik horko snášet. Klimatizace propadá paranoie, rozhoduje se: „Nejde o ně, jde o mě. Všechna úsilí jsou marná. Myslím, že jsem rozbitý,” což hlásí na dispečerský pult. Dispečer si povzdechne a stiskne tlačítko „úkol zrušen”. A tak každou boží den.
Jednoduchým pohybem ruky
Mnoho dalších příběhů máme ještě v zásobách, ale ne všechny se sem vejdou. Tady jsou tři poslední pohádky: o křivých rukou.
První příběh je o tom, jak jsme v jedné budově kromě serverovny prováděli přívod vzduchu do výtahových hal a šachet. Dokončili jsme práci, opustili objekt a počkali, až jiný dodavatel dokončí dokončovací práce, a pak se vrátili na zkoušení systému. Spustili jsme přívod vzduchu — falešný strop se náhle nafoukl, desky s rachotem spadly na zem a vše se za sekundu změnilo na styl „loft“. Ukázalo se, že kluci, kteří montovali strop, zapomněli na perforované desky pro vzduch. Vůbec je nenapadlo, že existují, prostě brali z otevřené krabice — a nic, na obal s perforovanými si nevzpomněli, k projektu se nepodívali.
Druhá epizoda je také o stropě. V jednom datacentru byla celkem úzká chodba a vzduchový proud v místnosti se stojany na akumulátory měl být výrazný, takže podél celého stropu vedly komunikace. Dobří mladíci, kteří dělali falešný strop, se nezatěžovali a... přišroubovali nosné úchyty přímo do našich ubohých vzduchovodů. Každý vzduchovod se trochu vibrací hýbe, když pracují ventilace, a když má spoustu děr a nerovností, zvuky Apokalypsy máte zaručené. Odsouhlasili jsme tehdy slavným montérům takové léčivé facky, že rány na vzduchovodech se nádherně zahojily. Na jejich účet, samozřejmě.
Třetí příběh se stal, když jsme dělali automatizaci pro systém technologického chlazení. Předali jsme dodavateli zákazníka teplotní senzor a bez rozmyslu jsme požádali, aby ho umístil na radiátor v přívodu. V přívodních jednotkách je vždy ohřívač pro venkovní vzduch: buď vodní, nebo elektrický. Tento úžasný člověk vše splnil bez výhrad. To znamená, že vzal a přišrouboval šroub přímo do trubky vodního radiátoru, se všemi (v přímém smyslu slova) vyplývajícími následky. Naštěstí byli na místě chladiči s plynem MAPP — únik rychle zauzlovali.
Odkazy:
- Pokud máte jakékoli dotazy, pište sem: build@croc.ru
Zdroj: habr.com
