Hned řeknu: ta krysa z přineseného serveru, které jsme před pár lety dali čaj po zásahu elektrickým proudem, s největší pravděpodobností utekla. Protože jsme jednou viděli její kamarádku na kole. A hned jsme se rozhodli nainstalovat ultrazvukové odpuzovače.
Nyní je kolem datového centra prokletá země: na budovu nepřistanou žádní ptáci a pravděpodobně všichni krtci a červi utekli. Měli z toho obavy způsobit selhání HDD, ale zkontrolováno, frekvence nejsou stejné.
Další příběh je mnohem zábavnější. Jednou jsme dostali kus hardwaru za pár milionů rublů v krabici se senzory náklonu, vibrací a vlhkosti. Všechno je celistvé. Opatrně odstranil obal a kus železa byl ohnutý. Mystik.
Tělo je rovné do oblouku. Tak krásné.
Detektive
Nepřikládali bychom tomu žádnou důležitost, protože zakřivené kovové tělo bylo téměř designovým obrázkem. Tak krásné, bez třísek. A nebýt dalších podobných kusů hardwaru v okolí, ani by nás při vybalování nenapadlo, že je něco špatně. Ale poblíž byly stejné, jen s pravidelnějším geometrickým tvarem.
Naštěstí je rozbalování takového hardwaru natočeno (doporučuji každému, aby si tento zvyk osvojil), takže jsme mohli výrobci dokázat, že to tak dorazilo. Neporušený obal a úhledně ohnuté tělo nejsou žádnou ranou od stěhováků. S největší pravděpodobností se zranila ještě před odjezdem do Ruska.
Prodejce říká: "Hej, lidi, vyměníme vám to hned v záruce." A pak nás čekala epická přepadení.
Faktem je, že celní úřady nám umožňují dovážet takové zařízení s doklady bez nároku na vývoz. To znamená, že ji můžete přinést, ale nemůžete ji prodat někomu mimo Rusko. Když pošleme zpět například vypálený zdroj, je vše jasné. Jedná se o náhradní díl, napájecí zdroj.
A pak jsem musel vše poslat zpět:
- Kluci, podívejte, posíláme ten kus hardwaru zpět výrobci.
- Celé vybavení?
- Ano.
— Model takový a takový?
- Ano.
- Může pracovat?
– Nevíme, nezapnuli jsme to.
- Takže tohle je celé zařízení.
- No, to nejde.
- No, podívej, celé vybavení je z tohoto modelu. Žádná práva na reexport. Nepustíme tě dovnitř.
Obecně se hodně dřepovalo, než jsme přišli na to, že to nevyvážíme, ale vracíme. Nakonec jsme vše zvládli.
Nechyběly ani návleky na boty
Za prvé, před mnoha lety jsme měli první automatický, sen administrátora. Naložíte tam balík návleků na boty, ono je samo rozbalí, otevře a dá do polohy, kdy na ně stačí stoupnout. Chp-chpk a je hotovo.
Asi po šesti měsících prokousala asi sto balení návleků na boty a udusila se. Ukázalo se, že pohyblivých dílů je tolik, že je buď potřebujeme jednou měsíčně opravit při našem zatížení (po zařízení chodí spousta zákaznických inženýrů, protože jsme komerční datové centrum), nebo musíme koupit nový.
Druhým problémem je, že později, při jednom z pravidelných úklidů, jsme nějakým způsobem našli „malý modrý hadr“ visící na roštu jednoho ze stojanů našeho testování. Soudní znalec, zastoupený inženýrem X-Teamu, identifikoval fragment těla návleku na boty. Ukázalo se, že je vhodné nosit na klinice návleky na boty: chodil jsem kolem půl hodiny a to je vše. A někteří inženýři mohou pracovat s hardwarem celý den. Šoupání nohou. Hodně míchat. A návleky na boty se opotřebovávají do těchto malých kousků, které létají po turbínové hale.
Téměř okamžitě jsme koupili nový návlek na boty. Vzali jsme termo pouzdro na boty: jedná se o stroj, do kterého se nabíjí fólie, která ji opatrně teplem smrští na svršku boty. Krásné, účinné, odolné. Menší rozptyl. Měli jsme to docela dlouho, ale museli jsme cca jednou za 1-2 hodiny měnit smršťovací fólii, protože podrážka měla tendenci samovolně padat.
Nejdřív jsme si mysleli, že máme smůlu, ale lidé tento problém nějak řeší. Ale ne. Zeptali jsme se našich západních kolegů – stejný příběh. V důsledku toho začali přemýšlet, jak to udělat správně. Návrat z turbínové haly pro nové návleky na boty je, upřímně řečeno, takový nápad. Našli jsme průmyslové čističe pro staveniště a průmysl. Jsou to něco jako cesty, po kterých směna vstupuje do dílny. Cestičky s hromadou válečků čistí vše a jsou udělané tak, že ať chcete nebo ne, chytne a uklidí. Stály půl milionu až milion rublů. Kopali jsme a našli stejný za 200 tisíc, ale musíš do toho dát nohu sám. Velikostí se podobá stroji na leštění bot. Přijdeš nahoru, strčíš tam nohu, ona ji rozkousá a vrátí ji čistou. Umístili ho u vchodu do datového centra.
Funguje skvěle, až na dva problémy. První je, že se rychle ukázalo, že pro nás inženýry je to normální. V praxi se ale do datového centra přichází podívat celá řada lidí, včetně vrcholových manažerů velkých společností. S botami z kůže z dračího zadku. A i na nanášení krému na boty jejich štětec stojí víc než moje tréninkové tenisky, speciálně vybírají štětiny. Byli to oni, kdo odmítl vložit nohy do našeho zázračného zařízení. Druhý problém nastal v zimě: když jsou boty opravdu špinavé, nedokážou z hlubokého běhounu dostat všechno. Pak chodíte po hale a zanecháváte stopy ektoplazmy.
Rozhodli jsme se jednoduše. Vedle jsme umístili srolovaný návlek na boty. Přesto musíme vše duplikovat podle standardu.
Objevil se nový problém. Když jsme pozorovali chování zákaznických inženýrů, viděli jsme následující obrázek: nejprve strčili nohy do stroje kvůli čištění a poté zahákli návleky na boty ze srolovaného návleku na boty. Nyní vyvěsili ceduli, že je to buď jedno, nebo druhé a je lepší se očistit, ale pokud životní zásady zakazují čistit boty, noste návleky na boty. Zdá se, že lístek, který byl na pár dní, ale vydržel dlouho, byl uzavřen. Zde je zařízení:
"ku" dvakrát
Podle požadavků PCI DSS musíte být schopni vizuálně rozlišit role lidí umístěných v datovém centru. Aniž by se zblízka dívali na průsmyk a něco si tam přečetli, ale přímo vizuálně, jako vojenský personál se navzájem odlišili ramenními popruhy, jen ještě jasnější. Rozhodli jsme se nepředvádět a použili jsme starou dobrou Chatlanovu metodu - barevné odlišení kalhot. Konkrétně začali vyrábět pasové stuhy různých barev. Naši administrátoři okamžitě vzali Greena jako svého oblíbeného.
Zní to jednoduše, ale způsobilo to tři neočekávané efekty:
- Navíječe byly potřeba, aby se tyto propustky při nošení automaticky stáhly (to jsou věci, které samy regulují délku pásku). Sepsali jsme technickou specifikaci, která zohledňovala všechna přání všech oddělení. To byla strategická chyba. Barva, formát, materiál, navíječ není plastový, vlasec je kovový pro aplikaci loga tak, aby bylo všito do pásky. Kusy se ukázaly být tak drahé, že jsme pak museli ořezávat požadavky a měnit formát.
- Jakmile začala fungovat diferenciace kalhot, stalo se to velmi pohodlné. Dodavatelé mají některé pásky, externí správci jiné a naši správci jiné. Je vidět, kdo má jakou roli. Na elektriku - pouze šedé, na klimatizaci - modrá. A pak jsme potřebovali pásky pro řidiče (to je samostatná role, mohou vstoupit do prostoru vykládky, ale nemohou ji opustit jinak než venku). Řidiči nepotřebují průkazku. Nejprve jsme jim dali stužky bez propustek. Pak ochranka usoudila, že je to naprosto zvláštní a ponižující lidskou důstojnost řidičů. Mají svou vlastní vojenskou logiku, takže nyní řidiči přicházejí, aby dostali propustku okamžitě s mašlí, ale tato propustka jim nedovoluje nikam jet. Z hlediska bezpečnosti se ukazuje, že bezpečnost tuto osobu prověřila.
- Jeden z našich inženýrů navrhl vyrobit zelené uniformní svetry místo stuhy. A poslal racionalizační návrh. Udělali to napůl: nechali propustky se stuhou a navíc ve skutečnosti ušili zelené svetry. Nyní máme uniformu správce. Ochranka vtip podpořila a zařadila ho do předpisů. Nyní je to povinné (kalhoty, košile, svetr, ale svetr jde sundat).
Naši zákazníci si také často stěžovali na křivé trasy na mapách před vstupem do našeho datového centra Compressor. Zadáte adresu, ale cesta se zobrazuje špatně. Návštěvníci nakonec pojídali špatným směrem, protože tam byla železnice a za ní byla zácpa a nedalo se tam otočit. Nejprve jsme chtěli dát cedule nad cestu. Město má takovou službu - umístěte žluté dodatkové cedule pod obvyklé cedule, jsou považovány za reklamu. A cena za ně je jako reklama: na Entuziastově dálnici stojí jedna značka milion rublů ročně. Ve stejnou dobu jsme napsali Yandexu a oni dokonce náhle odpověděli. A přestali jednat. Můžete dokonce specifikovat hradlové diody: vstup přes některé, výstup přes jiné.
Google, pokud nás čtete, pak vězte: stále máte problém a my nevíme, komu o něm máme říct, abychom vás slyšeli.
Zvací dopisy obsahovaly odkazy nejen na adresu, ale i na adresu s trasou založenou na geolokaci uživatele. V důsledku toho bylo méně chyb.
Gobo projektory a další drobnosti
Víte, co jsou gobo projektory? My jsme to taky nevěděli. Nějak jsme přemýšleli, jak označit řady regálů. Samotné stojany jsou samozřejmě označeny speciálními rychloupínacími značkami, které jsou však vidět na vzdálenost 1-2 metrů. Samotná hala má 500 m40, takže je zde spousta místa, kde se můžete ztratit. Proto jsme se konečně pustili do značení řádků. Začal brainstorming. Jak označit, čím a kde? Na podlaze, na zdi, nápisy na stropě atd. A pak náš kolega viděl, že v Ikee bývaly na podlaze nálepky, které se opotřebovávaly, a pak se objevily světelné šipky. No, rozhodli jsme se to zvrátit jednoduchým způsobem: jděte do Ikea a vypněte jeden z projektorů, abyste se podívali. Nemohli jsme to dostat: když jsme nesli židle, prodejce se zeptal, co děláme. A hned pomohl s tím, že je to gobo. Ukazuje se, že se nejedná o samotný projektor, ale o desku nebo čočku pro barevný obraz. Tento filtr je gobo. Jeden projektor stojí od 14 tisíc rublů (je zde výkonná lampa pro denní použití) a v každé ze čtyř strojoven máme XNUMX řad. Proto jsme na něj nalepili samolepky.
Na stěnách máme také schémata, která v průběhu let vyblednou. Změnili jsme je na laminované, se speciálními „všitými“ kapsami pro revizory. V našem případě je inspektor hlavním inženýrem, mezi jehož povinnosti patří kontrola relevance všech schémat umístěných v datovém centru. Takže všechna schémata musí být každoročně kontrolována a podepsána takovým auditorem. A přítomnost speciálního malého zásobníku v kapse diagramu tento postup usnadňuje a nevyžaduje výměnu samotného diagramu každé tři roky. Zisk!
Provedli jsme rotační úklid zdvojené podlahy venku. Máme pravidelné úklidy, máme metody a časy úklidu. Kola těžkých regálů ale zanechávají stopy. Provedli jsme úklid. Teď jsme nervózní: nevypadá to o moc úhledněji, ale u některých lidí se z určitých úhlů objevily zvýraznění, no, kteří mají své vlastní fixy podle jejich vkusu. Teď o tom přemýšlíme a hledáme nějakou chemii, která podlahu vybělí a dodá lesk. Aby ani ti vybraní neměli otázky.
Už jste viděli konzolové stojany? Jsou to jako cestovní bufetové stoly, ale místo nápojů je zde terminál pro připojení ke stojanu. Takže na těchto konzolových regálech kola padají a zasekávají se jako vozíky v supermarketu. Jsme neuvěřitelně otrávení. Ve výsledku je jedinou možnou cestou k jeho oživení nákup nového kola. Kola speciálně pro naše modely už ale nebylo možné sehnat, vyzpovídali jsme všechny dodavatele. V důsledku toho jsme stojan navrhli sami se zaměřením na snadný pohyb po strojovně a snadnou údržbu. Dopadlo to velmi dobře.
Byl tam příběh se syntetickými ponožkami. Existuje taková věc - antistatické náramky. To je, když jdete do stojanu, připojíte náramek k zemi na stojanu a komunikuje se systémem vyrovnání potenciálu. Takže stojan je uzemněn, ale může se ukázat, že inženýr uzemněn není. Kolegové z předchozích pracovišť nám vyprávěli, jak párkrát viděli jiskry na videosledování, a my jsme se z hříchu rozhodli zavázat všechny, aby to používali přímo podle předpisů.
Kritické události
Ještě vážnější je, že došlo k situaci, kdy byly všechny chladiče odříznuty najednou. Naše chladiče nejsou chráněny UPS, protože věříme ve fyziku a jako teplotní rezervu máme bazén se studenou vodou. Pokud něco vypadne, nepotřebujete baterie k napájení chladičů, které ochlazují vodu, ale jednoduše samotnou studenou vodu, která je již připravena. Pohodlné a jednoduché, ale existuje nuance. Chladiče jsou vybaveny automatickým bezpečnostním zařízením, které je vypne v případě nebezpečných parametrů elektrické sítě. Pokud je vstup vypnutý, zapneme dieselagregát a z něj jsou pak napájeny chladiče. Všechno by bylo v pořádku, kdybychom nežili v Rusku. Mnohokrát jsme měli výpadky sítě, ale vše bylo v pořádku. Ale jednoho dne došlo k prudkému skoku, nejprve dolů, pak prudce nahoru, pak zase dolů - během pár sekund se vstupní parametry změnily asi 4x. Chladiče se samozřejmě vypnuly. Nejprve jsme je zkoušeli zapnout na dálku, ale nouzově se chránily velmi spolehlivě. Směna musela chodit s nohama na střeše a zapínat je ručně. Co je důležité, podle standardu TierIII je taková situace oprávněným důvodem k odstavení datového centra. Neměli jsme zastávku, protože lidé jsou hlavou na zemi a je tam cvičení se cvičením. Z tohoto důvodu nás uživatelské rozhraní prostě pravidelně šukal, abychom si byli jisti, že TIII Operational. Pokud něco, prošli jsme recertifikací uživatelského rozhraní na TIII Gold – Operational Sustainability. Na ruském komerčním trhu datových center není nic lepšího, kromě našeho, pouze jedno má stejný úspěch . Všiml jsem si, že recertifikace je obtížnější než získat certifikát od nuly, protože předchozí období kontrolují, jako byste nebyli sami sebou, a vyžaduje se mnohem více důkazů.
S kamerami došlo k zajímavému incidentu. Rozhodli jsme se pro každý případ přepočítat slepá místa, nakreslili průsečíky, nakreslili úhlopříčky pozorovacích úhlů do plánu a najednou jsme našli slepý úhel asi 30 centimetrů krát 15 metrů přímo ve středu jedné z hal. Úzké a dlouhé. Ve vedlejší místnosti nic takového není. Ukázalo se, že otočná kamera se během let pomalu posunula tak, že začala ukazovat asi o jeden a půl stupně vlevo, než by měla v krajní poloze.
V příspěvku došlo k dalšímu velkému incidentu .
reference
- и
- Můj mail: [chráněno e-mailem]
Zdroj: www.habr.com