Hned říkám: ta krysa v dováženém serveru, kterou jsme před pár lety pohostili čajem po zásahu elektrickým proudem, pravděpodobně utekla. Protože jsme jednou na obchůzce viděli její kamarádku. A hned jsme se rozhodli nainstalovat ultrazvukové odpuzovače.
Teď je kolem datového centra prokletá země: na budovu nesedají ptáci a asi utekli všichni chrabři a červi. Obávali jsme se, že způsobit selhání HDD, ale zkontrolovali jsme to, frekvence nesedí.
Další příběh je mnohem veselejší. Jednou jsme dostali stroj za pár milionů rublů v krabici se senzory náklonu, vibrací a vlhkosti. Vše bylo v pořádku. Opětovně jsme sundali obal, a stroj byl prohnutý. Mystika.
Skříň byla přímo v oblouku. Krásně tak.
Detektiv
Tomu bychom nevěnovali pozornost, protože prohnutá kovová skříň byla téměř designérsky atraktivní. Krásně tak, bez odštěpků. A kdyby tu nebyly další podobné zařízení, ani bychom při rozbalování nepomysleli, že něco není v pořádku. Ale vedle byly podobné, jen s lepší geometrickou formou.
Naštěstí, rozbalování tohoto zařízení je natáčeno na video (doporučuji každému osvojit si tuto zvyklost), takže jsme dokázali výrobci, že takto dorazilo. Celistvé balení a opatrně ohnutá skříň – to není úder od manipulantů. Pravděpodobně se poškodila ještě před odjezdem do Ruska.
Dodavatel říká: „Eee, kluci, co kdybychom vám ji hned vyměnili v rámci záruky?“ A tady nás čekala epická potíž.
Jde o to, že celní úřad nám povoluje dovážet takové zařízení podle dokumentů bez práva na export. To znamená, že lze dovézt, ale prodávat to někomu mimo Rusko nelze. Když posíláme zpět shořelý napájecí zdroj, například, je vše jasné. To je náhradní díl, napájecí zdroj.
A tady bylo potřeba poslat zpět vše:
— Kluci, podívejte se, posíláme zařízení zpět výrobci.
— Celé zařízení?
— Ano.
— Model takový a takový?
— Ano.
— Může fungovat?
— Nevíme, nezapínali jsme to.
— To znamená, že je to celé zařízení.
— Ale přece nefunguje.
— No, podívejte, celé zařízení tohoto modelu. Bez práva na reexport. Nepustíme.
Celkově bylo potřeba hodně úsilí, než jsme vyřešili, že to neexportujeme, ale vracíme zpět. Nakonec se nám to podařilo.
Byly tu také ochranné návleky na obuv.
Před mnoha lety jsme měli první automatický stroj, sen administrátora. Načtete tam jednorázové návleky v balení, on je sám rozbalí, otevře a nastaví tak, aby stačilo jen vstoupit. Čvacht a je hotovo.
Asi po půl roce stroj zkonzumoval přibližně sto balení návleků a zablokoval se. Ukázalo se, že je tam tolik pohyblivých částí, že je potřeba buď ho opravovat jednou měsíčně při naší zátěži (máme velmi mnoho inženýrů-zákazníků, kteří se po areálu pohybují, protože jsme komerční datové centrum), nebo je potřeba koupit nový.
Druhý problém nastal, když jsme při jedné pravidelné údržbě našli „modrou hadr“, která visela na mřížce jedné z testovacích skříní. Soudní expert v osobě inženýra z x-týmu rozpoznal fragment těla návleku. Ukázalo se, že v poliklinice je to s návleky pohodlné: půl hodiny chůze — a hotovo. Někteří inženýři však mohou pracovat s železem celý den. Šoupou nohama. Silně šoupou. A návleky se při tom opotřebovávají na ty malé kousky, které lítají po strojovně.
Takřka okamžitě jsme koupili nový stroj na návleky. Zvolili jsme termonávleky: to je stroj, do kterého se nahrává fólie, a ta tuto fólii pečlivě termicky smršťuje na botu. Hezké, efektivní, trvanlivé. Méně se to rozlítává. Docela dlouho nám to vydrželo, ale fólii bylo potřeba měnit přibližně každou 1-2 hodiny, protože podešev měla tendenci se odlepovat sama.
Nejprve jsme si mysleli, že máme smůlu, zatímco ostatní lidé to nějak řeší. Ale ne. Zeptali jsme se západních kolegů — stejná situace. Nakonec jsme začali přemýšlet, jak to udělat dobře. Vrátit se z strojovny pro nové návleky — nápad, řekněme, nic moc. Našli jsme průmyslové čisticí stroje pro staveniště a výrobny. Jsou to něco jako rohože, po kterých do dílny vstupuje směna. Rohože s množstvím válečků všechno čistí a jsou udělány tak, že ať chceš nebo ne — zachytí a vyčistí. Stojí kolem půl milionu až milion rublů. Pohrabali jsme se a našli podobný za 200 tisíc, ale nohu do něj si musíš strčit sám. Rozměry jsou podobné jako u čističky bot. Přistoupíš, strčíš tam nohu, on ji zdrtí a vrátí zpět čistou. Umístili jsme ho na vchod do datového centra.
Funguje skvěle, kromě dvou detailů. První — relativně brzy se ukázalo, že to je pro nás, inženýry, v pořádku. V praxi však do datových center přicházejí lidé různých úrovní, mezi kterými jsou i špičky velkých společností. S botami z dračí kůže. A pro ně stojí i čisticí kartáček na boty víc než mé tréninkové tenisky, tam si vybírají speciální vlákninu. Ti to odmítali strčit nohy do našeho zázraku. Druhý problém nastal v zimě: když byly boty opravdu v bahně, nebyla schopna vytáhnout vše z hlubokého vzoru. Pak chodíš po hale a zanecháváš stopy ektoplazmy.
Rozhodli jsme se jednoduše. Umístili jsme vedle sebe rolovací vybavení na obuv. I tak musíme všechno duplikovat podle standardů.
Vznikl nový problém. Při sledování chování zakázkových inženýrů jsme viděli takový obraz: nejprve strkali nohu do čisticího zařízení a pak si brali návleky z rolovacího vybavení. Teď jsme pověsili tabulku, že buď to, nebo ono, a lépe se nejdřív vyčistit, ale pokud životní principy zakazují čistit boty, tak si dejte návleky. Vypadalo to jako lístek, který měl trvat pár dní, ale nakonec se rozprostřel na dlouhou dobu, uzavřel se. Tady je to zařízení:
Dvakrát "ku"
Podle požadavků PCI DSS je třeba vizuálně rozlišovat role lidí, kteří se nacházejí v datovém centru. Ne, že bychom se koukali na průkaz a něco tam četli, ale přímo vizuálně, jako se vojáci rozlišují podle hodností, jen ještě jasněji. Rozhodli jsme se neexperimentovat a použili starý dobrý čatlanický způsob — barevné rozlišení kalhot. Konkrétně jsme začali vyrábět pásky s různou barvou.
Zdá se to jednoduché, ale vyvolalo to tři nečekané efekty:
- Byly potřeba retractorové systémy pro automatické zatahování těchto průkazů při nošení (to jsou takové věci, které samy upravují délku pásky). Napsali jsme technickou specifikaci, ve které jsme vzali v úvahu všechny požadavky všech oddělení. To byla strategická chyba. Barva, formát, materiál, retractor ne z plastu, šňůra z kovu, abychom mohli nanést logo, aby byl všitý do pásky. Vyrobili jsme kusy, které byly tak drahé, že jsme museli poté snížit požadavky a změnit formát.
- Když diferenciace pásků začala fungovat, bylo to velmi pohodlné. U dodavatelů mají jedny pásky, u externích administrátorů jiné, u našich administrátorů třetí. Je vidět, kdo má jakou roli. V elektroinstalaci — jen šedé, v klimatizaci — modré. A tady potřebovali pásky pro řidiče (to je samostatná role, mohou vstoupit do zóny vykládky, ale nemohou ji opustit kromě ven). Přitom řidičům nepotřebují povolení. Nejprve jsme jim dávali pásky bez povolení. Pak bezpečnostní pracovníci usoudili, že to je docela zvláštní a ponižuje lidskou důstojnost řidičů. Mají svou vojenskou logiku, takže nyní řidiči přicházejí, aby dostali povolení přímo s páskou, ale to povolení nikam nepouští. Z pohledu ochrany je to marker, že ochrana tuto osobu zkontrolovala.
- Jeden z našich inženýrů navrhl místo pásků udělat uniformní svetry zelené barvy. A poslal racionalizační návrh. Učinili to napůl: povolení s páskou ponechali, navíc opravdu ušili zelené uniformní svetry. Nyní máme uniformu pro administrátory. Bezpečnostní pracovníci podpořili vtip a zahrnuli ho do regulací. Nyní je povinná (kalhoty, košile, svetr, ale svetr lze sundat).
Naši zákazníci si také často stěžovali na špatné trasy na mapách před vjezdem do našeho datového centra „Kompressor“. Zadáte adresu a cesta se zobrazuje nesprávně. Návštěvníci se nakonec dostávali špatně, protože tam je železnice, a za ní zácpa, a nelze se otočit. Nejprve jsme chtěli umístit ukazatele nad cestu. Město tuto službu nabízí — pod běžnými ukazateli umístit žluté dodatkové, ty se považují za reklamu. A cena za ně je jako za reklamu: na dálnici Entuziastů jedna tabulka stojí milion rublů ročně. Současně jsme napsali do Yandexu, a oni dokonce nečekaně odpověděli. A přestali dělat nepořádky. Dokonce lze uvést diody bran: vjezd přes jedny, výjezd přes jiné.
Google, pokud nás čtete, víte, že máte pořád problém, a nevíme, komu to říct, aby nás slyšeli.
Do pozvánek jsme vložili odkazy nejen na adresu, ale na adresu s trasou od geolokace uživatele. Nakonec se chyby stávaly méně.
Gobo-projektory a další drobnosti
Víte, co jsou gobo projektory? My jsme to také nevěděli. Přemýšleli jsme, jak označit řady stojanů. Samotné stojany jsou samozřejmě označeny speciálními rychloupínacími značkami, ale ty jsou viditelné pouze na vzdálenost 1-2 metry. Sál má 500 m², takže se tam dá snadno ztratit. Tak jsme se konečně pustili do označování řad. Začalo brainstorming. Jak označit, čím a kam? Na podlaze, na stěně, ukazatele na stropě atd. A náš kolega si všiml, že v „Ikee“ byly dříve na podlaze otíratelné nálepky, a pak se objevily světelné šipky. Tak jsme se rozhodli jít do „Ikey“ a prozkoumat jeden z projektorů. Nakonec se nám projektor nepodařilo sehnat: když jsme nosili židle, prodavač se ptal, co děláme. Okamžitě nám pomohl a řekl, že to je gobo. Ukázalo se, že to není samotný projektor, ale deska nebo čočka pro barevný obraz. Tento barevný filtr je gobo. Jeden projektor stojí od 40 tisíc rublů (má silnou lampu pro denní použití), a my máme 14 řad ve čtyřech strojovnách. Takže jsme přilepili nálepky.
Také máme schémata na stěnách, která se s léty blednou. Vyměnili jsme je za laminované, se speciálními kapsami pro revizora. Revizor v našem případě je hlavní inženýr, jehož povinností je prověřovat aktuálnost všech schémat umístěných v datovém centru. Takže všechna schémata by měla být každoročně kontrolována a podepisována tímto revizorem. A přítomnost speciální malé knihy v kapse schématu tuto proceduru usnadňuje a nevyžaduje výměnu samotného schématu každé tři roky. Zisk!
Prováděli jsme rotaci údržby podlahy zvenčí. Máme pravidelný úklid, existují metody a časový rozvrh úklidu. Ale z podvozku těžkých stojanů zůstávají stopy. Údržbu jsme provedli. Teď jsme nervózní: vypadá to, že to není mnohem opatrnější, ale pod určitými úhly se objevily odlesky u určitých lidí, no, kteří mají své popisovače podle svých preferencí. Teď přemýšlíme a hledáme nějakou chemii, která vyblejší podlahu a dodá jí lesk. Aby ani u vyvolených nebyly žádné otázky.
Viděli jste konzolové stoly? To jsou ty mobilní bufetové stoly, ale místo nápojů tam je terminál pro připojení ke stolu. Tak tyto konzolové stoly mají kolečka, která se odlamují a zasekávají, jako u vozíků v supermarketu. Už nás to neuvěřitelně unavovalo. Nakonec jediný možný způsob, jak je oživit - koupit nová kolečka. A kolečka, konkrétně pro naše modely, jsme už nesehnali, ptali jsme se všech dodavatelů. Nakonec jsme si sami navrhli stůl na míru, s důrazem na pohodlté manévrování po strojovně a opravitelnost. Dopadlo to velmi dobře.
Byla historie se syntetickými ponožkami. Existuje taková věc - antistatické náramky. To je, když přijdete ke stolu, připojíte náramek k zemi na stole a on se spojí se systémem vyrovnávání potenciálů. Takže stůl je uzemněn, ale může se stát, že inženýr není uzemněn. Kolegové z minulých zaměstnání vyprávěli, jak viděli párkrát jiskřící na videu, a my jsme se rozhodli, že pro své dobro budeme každého podle předpisu nutit používat.
Kritické incidenty
Závažná situace nastala, když najednou vypadly všechny chillery. Chillery nemáme chráněné UPS, protože věříme ve fyziku, a jako rezervu na teplotu máme bazén se studenou vodou. Když se něco vypne, nepotřebujeme baterie pro napájení chillerů, které chladí vodu, ale jen samotnou studenou vodu, která je už připravená. Je to pohodlné a jednoduché, ale má to jeden háček. Na chillech je ochranná automatika, která je při nebezpečných parametrech elektrické sítě odpojuje. Pokud se vstup vypne, zapínáme DG0, a pak chillery napájíme od nich. Všechno by bylo dobře, kdybychom nežili v Rusku. Měli jsme už mnohokrát poklesy sítě, ale vždy to bylo v pořádku. Ale jednou byla prudká změna, nejprve dolů, pak rychle nahoru, poté zase dolů – během několika sekund se vstupní parametry změnily zhruba 4krát. Chillery se samozřejmě odpojily. Nejdříve jsme se je pokusili zapnout na dálku, ale chrání se velmi spolehlivě, v havarijním režimu. Nakonec jsem musel jít pěšky na střechu a zapnout je ručně. Je důležité podotknout, že podle standardu Tier III je taková situace legitimním důvodem k zastavení datového centra. My jsme žádné zastavení neměli, protože lidé na místě jsou kompetentní a mají pravidelný výcvik. Za to nás UI hodně kontroloval, abychom si byli jisti ohledně TIII Operational. Kdyby to bylo potřeba, prošli jsme recertifikací UI na TIII Gold – Operational Sustainability. Na ruském komerčním trhu datových center nic lepšího neexistuje; pouze jedno další má stejnou kvalifikaci. Rád bych upozornil, že recertifikace je těžší než získat certifikát od nuly, protože kontrolují i předchozí období a vyžadují mnohem více důkazů.
Měli jsme zajímavý incident s kamerami. Rozhodli jsme se na každou náhodu přepočítat slepé zóny, zakreslili jsme průsečíky a postavili diagonály zorných polí na plánu a najednou jsme našli mrtvou zónu o rozměrech přibližně 30 centimetrů na 15 metrů přímo uprostřed jedné z místností. Úzká a dlouhá. V sousední místnosti taková není. Ukázalo se, že otáčecí kamera se v průběhu let pomalu posunula tak, že nyní ukazuje přibližně o 1,5 stupně více vlevo, než je potřeba v krajní poloze.
Další významná událost se stala v příspěvku .
Odkazy
- a
- Můj e-mail: PGoryunov@croc.ru
Zdroj: habr.com
