Hneď poviem: tá krysa v prinesenom serveri, ktorej sme pred pár rokmi dali čaj po zásahu elektrickým prúdom, s najväčšou pravdepodobnosťou utiekla. Pretože sme raz videli jej kamarátku na kole. A hneď sme sa rozhodli nainštalovať ultrazvukové odpudzovače.
Teraz je okolo dátového centra prekliata krajina: na budovu nepristanú žiadne vtáky a pravdepodobne všetky krtky a červy utiekli. Mali z toho obavy spôsobiť poruchu HDD, ale skontrolované, frekvencie nie sú rovnaké.
Ďalší príbeh je oveľa zábavnejší. Raz sme dostali kus hardvéru za pár miliónov rubľov v krabici so snímačmi náklonu, vibrácií a vlhkosti. Všetko je celistvé. Opatrne odstráňte obal a kus železa bol ohnutý. Mystic.
Telo je rovné do oblúka. Tak krásne.
detektívne
Nepripisovali by sme tomu žiadnu dôležitosť, pretože zakrivené kovové telo bolo takmer dizajnovým obrázkom. Tak krásne, bez čipsov. A nebyť iných podobných kusov hardvéru v okolí, ani by nás pri vybaľovaní nenapadlo, že niečo nie je v poriadku. Ale neďaleko boli tie isté, len s pravidelnejším geometrickým tvarom.
Našťastie je rozbaľovanie takéhoto hardvéru natočené (odporúčam každému, aby si tento zvyk osvojil), a tak sme výrobcovi dokázali, že to tak dorazilo. Neporušený obal a úhľadne ohnuté telo nie sú ranou od sťahovákov. S najväčšou pravdepodobnosťou sa zranila ešte pred odchodom do Ruska.
Predajca hovorí: "Uh, chlapci, okamžite vám to vymeníme v záruke." A potom nás čakala epická záloha.
Faktom je, že colnica nám umožňuje dovážať takéto vybavenie s dokladmi bez práva na vývoz. To znamená, že ho môžete priniesť, ale nemôžete ho ďalej predať niekomu mimo Ruska. Keď pošleme späť napríklad vyhorený zdroj, všetko je jasné. Ide o náhradný diel, napájací zdroj.
A potom som musel všetko poslať späť:
- Chlapci, pozrite, posielame ten kus hardvéru späť výrobcovi.
- Celé vybavenie?
- Áno.
— Modelovať taký a taký?
- Áno.
- Môže pracovať?
– Nevieme, nezapli sme to.
- Takže toto je celé zariadenie.
- No, nefunguje to.
- Pozri, celé vybavenie je z tohto modelu. Žiadne práva na reexport. Nepustíme ťa dnu.
Vo všeobecnosti bolo veľa drepov, kým sme prišli na to, že to nevyvážame, ale vraciame. Nakoniec sa nám všetko podarilo.
Nechýbali ani návleky na topánky
Po prvé, pred mnohými rokmi sme mali prvý automatický, sen správcu. Naložíte tam balík návlekov na topánky, ono ich samo rozbalí, otvorí a dá do polohy, kde na ne stačí stúpiť. Chp-chpk a je hotovo.
Asi po šiestich mesiacoch prehrýzla asi sto balení návlekov na topánky a zadusila sa. Ukázalo sa, že pohyblivých častí je toľko, že to buď musíme raz za mesiac opraviť pri našej záťaži (máme veľa zákazníckych inžinierov, ktorí chodia po zariadení, pretože sme komerčné dátové centrum), alebo musíme kúpiť nový.
Druhým problémom je, že neskôr, pri jednom z pravidelných upratovaní, sme akosi našli „malú modrú handru“ visiacu na rošte jedného zo stojanov nášho testovania. Súdny znalec, zastúpený inžinierom X-Teamu, identifikoval fragment tela návleku na topánky. Ukázalo sa, že na klinike bolo vhodné nosiť návleky na topánky: chodil som okolo pol hodiny a to je všetko. A niektorí inžinieri dokážu pracovať s hardvérom celý deň. Miešanie nôh. Veľa miešania. A návleky na topánky sa opotrebúvajú do týchto malých kúskov, ktoré lietajú po turbínovej hale.
Takmer okamžite sme si kúpili nový návlek na topánky. Vzali sme termo kufrík na topánky: toto je stroj, do ktorého sa nabije fólia, ktorá túto fóliu opatrne zmrští na vrchu topánky. Krásne, efektné, odolné. Menší rozptyl. Mali sme ju dosť dlho, ale museli sme meniť zmršťovaciu fóliu tak raz za 1-2 hodiny, lebo podrážka mala tendenciu opadávať sama.
Najprv sme si mysleli, že máme smolu, no ľudia tento problém nejako riešia. Ale nie. Spýtali sme sa našich západných kolegov – rovnaký príbeh. V dôsledku toho začali premýšľať o tom, ako to urobiť správne. Návrat z turbínovej haly pre nové návleky na topánky je, úprimne povedané, taký nápad. Našli sme priemyselné čističe pre staveniská a priemysel. Sú to niečo ako cesty, po ktorých sa posunie do dielne. Cestičky s kopou valčekov čistia všetko a sú robené tak, že či chcete alebo nie, chytí a čistí. Stáli pol milióna až milión rubľov. Kopali sme a našli tú istú za 200 tisíc, no nohu si musíte dať sami. Veľkosťou sa podobá stroju na leštenie topánok. Prídeš hore, strčíš tam nohu, ona ju rozžuje a vráti ju čistú. Umiestnili ho pri vchode do dátového centra.
Funguje skvele až na dva problémy. Prvým je, že sa rýchlo ukázalo, že pre nás inžinierov je to normálne. V praxi sa však do dátového centra prichádzajú pozrieť rôzni ľudia, vrátane vrcholových manažérov veľkých spoločností. S topánkami vyrobenými z kože z dračieho zadku. A aj na nanášanie krému na topánky ich štetec stojí viac ako moje tréningové tenisky, špeciálne vyberajú štetiny. Práve oni odmietli vložiť nohy do nášho zázračného zariadenia. Druhý problém nastal v zime: keď sú topánky naozaj strapaté, nedokážu z hlbokého dezénu dostať všetko. Potom sa prechádzate po hale a zanechávate stopy ektoplazmy.
Rozhodli sme sa jednoducho. K nej sme položili zrolovaný návlek na topánky. Napriek tomu musíme všetko duplikovať podľa normy.
Objavil sa nový problém. Pri sledovaní správania zákazníckych inžinierov sme videli nasledujúci obrázok: najprv strčili nohy do stroja na čistenie a potom zahákli návleky na topánky zo zrolovaného návleku na topánky. Teraz vyvesili znamenie, že je to buď jedno alebo druhé a je lepšie sa očistiť, ale ak zásady života zakazujú čistenie topánok, noste návleky na topánky. Zdá sa, že lístok, ktorý bol na pár dní, no vydržal dlho, bol uzavretý. Tu je zariadenie:
"ku" dvakrát
Podľa požiadaviek PCI DSS musíte byť schopní vizuálne rozlíšiť roly ľudí nachádzajúcich sa v dátovom centre. Bez toho, aby sme sa pozorne pozerali na priesmyk a niečo si tam čítal, ale priamo vizuálne, podobne ako vojenský personál, sa navzájom rozlišovali ramennými popruhmi, len ešte jasnejšie. Rozhodli sme sa, že sa nebudeme predvádzať a použili sme starú dobrú Chatlanovu metódu – farebné odlíšenie nohavíc. Konkrétne začali vyrábať pasové stuhy rôznych farieb. Naši admini okamžite vzali Green za svojho obľúbeného.
Znie to jednoducho, ale spôsobilo to tri neočakávané efekty:
- Na automatické stiahnutie týchto pasov pri nosení boli potrebné navíjače (sú to veci, ktoré samy regulujú dĺžku pásky). Napísali sme technickú špecifikáciu, ktorá zohľadňovala všetky želania všetkých oddelení. Bola to strategická chyba. Farba, formát, materiál, navíjač nie je plastový, vlasec je kovový na aplikáciu loga tak, že je všitý do pásky. Kusy sa ukázali byť také drahé, že sme potom museli orezať požiadavky a zmeniť formát.
- Akonáhle začala fungovať diferenciácia nohavíc, stalo sa to veľmi pohodlné. Dodávatelia majú nejaké pásky, externí správcovia majú iné a naši správcovia iné. Môžete vidieť, kto má akú úlohu. Na elektriku - len sivé, na klimatizáciu - modré. A potom sme potrebovali stuhy pre vodičov (toto je samostatná úloha, môžu vstúpiť do priestoru vykládky, ale nemôžu ho opustiť inak ako vonku). Vodiči nepotrebujú preukaz. Najprv sme im dávali stužky bez preukazov. Potom ochranka usúdila, že je to úplne zvláštne a ponižujúce ľudskú dôstojnosť vodičov. Majú svoju vojenskú logiku, takže teraz si vodiči prídu okamžite prebrať preukaz so stužkou, no tento preukaz im nedovolí nikam ísť. Z hľadiska bezpečnosti sa ukazuje, že bezpečnostná služba túto osobu preverila.
- Jeden z našich inžinierov navrhol vyrobiť namiesto stuhy zelené uniformné svetre. A poslal racionalizačný návrh. Urobili to napoly: nechali pasy so stužkou a navyše skutočne ušili zelené svetre uniformy. Teraz máme uniformu správcu. Ochrankári vtip podporili a zaradili ho do predpisov. Teraz je to povinné (nohavice, košeľa, sveter, ale sveter sa dá stiahnuť).
Naši zákazníci sa tiež často sťažovali na krivé trasy na mapách pred vstupom do nášho dátového centra Compressor. Zadáte adresu, ale cesta sa zobrazuje nesprávne. Návštevníci nakoniec rolovali nesprávnym smerom, lebo tam bola železnica a za ňou bola zápcha a nedalo sa tam otočiť. Najprv sme chceli dať značky nad cestu. Mesto má takú službu - žlté dodatkové tabuľky umiestnite pod bežné tabule, sú považované za reklamu. A cena za ne je ako reklama: na Entuziastovskej diaľnici stojí jedna značka milión rubľov ročne. Zároveň sme napísali spoločnosti Yandex a dokonca náhle odpovedali. A prestali konať. Môžete dokonca špecifikovať hradlové diódy: vstup cez niektoré, výstup cez iné.
Google, ak nás čítate, potom vedzte: stále máte problém a my nevieme, komu o ňom povedať, aby nás bolo počuť.
Pozývacie listy obsahovali odkazy nielen na adresu, ale aj na adresu s trasou založenou na geolokácii používateľa. V dôsledku toho bolo menej nezdarov.
Gobo projektory a iné drobnosti
Viete, čo sú gobo projektory? Ani my sme nevedeli. Nejako sme premýšľali, ako označiť rady regálov. Samotné stojany sú samozrejme označené špeciálnymi rýchloupínacími značkami, ktoré sú však viditeľné zo vzdialenosti 1-2 metrov. Samotná hala má rozlohu 500 m40, takže je tu dosť miesta, kde sa môžete stratiť. Preto sme sa konečne pustili do označovania riadkov. Začal sa brainstorming. Ako označiť, čím a kde? Na podlahe, na stene, nápisy na strope atď. A potom náš kolega videl, že v Ikea bývali na podlahe nálepky, ktoré sa opotrebovávali, a potom sa objavili svetelné šípky. No rozhodli sme sa to zvrátiť jednoduchým spôsobom: choďte do Ikea a vypnite jeden z projektorov, aby ste sa pozreli. Nemohli sme to dostať: keď sme niesli stoličky, predavač sa spýtal, čo robíme. A hneď pomohol, že je to gobo. Ukazuje sa, že nejde o samotný projektor, ale o dosku alebo šošovku pre farebný obraz. Tento filter je gobo. Jeden projektor stojí od 14 tisíc rubľov (je tu výkonná lampa na denné použitie) a v každej zo štyroch strojovní máme XNUMX radov. Preto sme naň nalepili nálepky.
Na stenách máme aj schémy, ktoré rokmi vyblednú. Zmenili sme ich na laminované, so špeciálnymi „všitými“ vreckami pre revízorov. V našom prípade je inšpektor hlavný inžinier, medzi ktorého zodpovednosti patrí kontrola relevantnosti všetkých schém umiestnených v dátovom centre. Takže všetky schémy musia byť každoročne kontrolované a podpísané takýmto audítorom. A prítomnosť špeciálneho malého zásobníka vo vrecku diagramu uľahčuje tento postup a nevyžaduje výmenu samotného diagramu každé tri roky. Zisk!
Vonku sme robili rotačné čistenie vyvýšenej podlahy. Máme pravidelné upratovanie, máme spôsoby a časy čistenia. Ale kolesá ťažkých regálov zanechávajú stopy. Urobili sme upratovanie. Teraz sme nervózni: nevyzerá to oveľa úhľadnejšie, ale z určitých uhlov sa objavili zvýraznenia pre určitých ľudí, no, ktorí majú svoje vlastné fixky podľa ich vkusu. Teraz nad tým uvažujeme a hľadáme nejakú chémiu, ktorá podlahu vybieli a dodá lesk. Aby ani tí vybraní nemali otázky.
Videli ste konzolové stojany? Sú to ako cestovné bufetové stoly, ale namiesto nápojov je tu terminál na pripojenie k stojanu. Takže na týchto konzolových regáloch kolesá padajú a zasekávajú sa ako vozíky v supermarkete. Sme neskutočne unavení. Z toho vyplýva, že jediným možným spôsobom, ako ho oživiť, je kúpa nového kolesa. Kolesá špeciálne pre naše modely však už nebolo možné získať, vyspovedali sme všetkých dodávateľov. V dôsledku toho sme stojan navrhli sami so zameraním na ľahký pohyb po strojovni a udržiavateľnosť. Vyšlo to veľmi dobre.
Bol tam príbeh so syntetickými ponožkami. Existuje taká vec - antistatické náramky. To je, keď idete do stojana, spojíte náramok so zemou na stojane a komunikuje s potenciálnym vyrovnávacím systémom. Takže stojan je uzemnený, ale môže sa ukázať, že inžinier nie je uzemnený. Kolegovia z predchádzajúcich pracovísk nám niekoľkokrát povedali, ako videli iskry na videomonitoroch a my sme sa z hriechu rozhodli zaviazať všetkých, aby to používali priamo podľa predpisov.
Kritické incidenty
Vážnejšie, došlo k situácii, keď boli všetky chladiče naraz odrezané. Naše chladiče nie sú chránené UPS, pretože veríme vo fyziku a ako teplotnú rezervu máme bazén studenej vody. Ak niečo zhasne, nepotrebujete batérie na napájanie chladičov, ktoré chladia vodu, ale jednoducho samotnú studenú vodu, ktorá je už pripravená. Pohodlné a jednoduché, ale existuje nuansa. Chladiče sú vybavené automatickým bezpečnostným zariadením, ktoré ich vypne v prípade nebezpečných parametrov elektrickej siete. Ak je vstup vypnutý, zapneme súpravu dieselového generátora a potom sú z nich napájané chladiče. Všetko by bolo v poriadku, keby sme nežili v Rusku. Veľakrát sme mali výpadky siete, ale všetko bolo v poriadku. Ale jedného dňa nastal prudký skok, najprv dole, potom prudko hore, potom zase dole – za pár sekúnd sa vstupné parametre zmenili asi 4x. Chladiče sa samozrejme vypli. Najprv sme ich skúšali zapnúť na diaľku, no chránili sa veľmi spoľahlivo, núdzovo. Smena musela chodiť s nohami na streche a zapínať ich ručne. Čo je dôležité, podľa štandardu TierIII je takáto situácia legitímnym dôvodom na odstavenie dátového centra. Nemali sme zastávku, pretože ľudia sú hlavami na zemi a je tam dril s cvičeniami. Z tohto dôvodu nás používateľské rozhranie jednoducho pravidelne ojebalo, aby sme si boli istí TIII Operational. Ak niečo, prešli sme recertifikáciou používateľského rozhrania na TIII Gold – Prevádzková udržateľnosť. Na ruskom komerčnom trhu dátových centier nie je nič lepšie, okrem nášho, iba jedno má rovnaký úspech . Všimol som si, že recertifikácia je náročnejšia ako získanie certifikátu od nuly, pretože kontrolujú predchádzajúce obdobie, ako keby ste neboli sami sebou, a vyžaduje sa oveľa viac dôkazov.
S kamerami došlo k zaujímavému incidentu. Rozhodli sme sa pre každý prípad prepočítať mŕtve uhly, nakreslili križovatky, nakreslili na plán uhlopriečky pozorovacích uhlov a zrazu sme našli mŕtvy uhol asi 30 centimetrov krát 15 metrov priamo v strede jednej z hál. Úzke a dlhé. Vo vedľajšej miestnosti nič také nie je. Ukázalo sa, že otočná kamera sa rokmi pomaly pohla tak, že začala ukazovať asi o jeden a pol stupňa doľava, ako by mala v krajnej polohe.
V príspevku došlo k ďalšiemu veľkému incidentu .
referencie
- и
- Môj mail: [chránené e-mailom]
Zdroj: hab.com