🥇Dni podatkovnega centra: očitne malenkosti po 7 letih delovanja. In nadaljevanje o podganah

Takojčasno povem: tista podgana v dostavljenem strežniku, ki smo jo pred par leti napojili s čajem po udarcu z elektriko, je verjetno pobegnila. Ker smo nekega dne na obhodu videli njeno prijateljico. Takoj smo se odločili namestiti ultrazvočne odganjalnike.

Zdaj je okoli podatkovnega centra prekleta zemlja: ptice ne sedijo na stavbi in verjetno so pobegnili vsi roviči in črvi. Bili smo zaskrbljeni, da zvok lahko povzroči okvaro HDD, vendar smo preverili, frekvence niso prave.

Naslednja zgodba je veliko bolj zabavna. Nekoč smo dobili napravo za nekaj milijonov rubljev v škatli z senzorji za nagib, vibracije in vlago. Vse je bilo celega. Previdno smo odstranili embalažo, vendar je bila naprava ukrivljena. Mistika.

Ohišje je bilo povsem v loku. Lepo tako.

Detektiv

Na to ne bi dali veliko pomena, ker je ukrivljeno kovinsko ohišje bilo skoraj oblikovalska stvar. Lepo tako, brez čipov. In če ne bi bilo ob drugih takšnih napravah blizu, ne bi pomislili pri razpakiranju, da nekaj ni v redu. Toda blizu so bile takšne, le bolj pravilne geometrijske oblike.

Na srečo se razpakiranje takega železa snema na video (priporočam, da to postane navada), zato smo lahko dokazali proizvajalcu, da je tako prišla. Cela embalaža in previdno ukrivljeno ohišje — to ni udarec od delavcev. Verjetno se je poškodovala še pred odvozom v Rusijo.

Proizvajalec pravi: „Heeej, fantje, zakaj je ne zamenjamo takoj po garanciji.“ In tukaj nas je čakala epska past.

Pravzaprav carina dovoljuje uvoz takšne opreme po dokumentih brez pravice izvoza. Se pravi, lahko prinesemo, ampak prodati nekomu izven Rusije ne moremo. Ko pošljemo nazaj pokvarjen napajalnik, je vse jasno. To je rezervni del, napajalnik.

Tukaj pa je bilo potrebno poslati nazaj vse:
— Fantje, poglejte, pošiljamo napravo nazaj proizvajalcu.
— Celotna oprema?
— Si jo naredil sam?
— Model je tak in tak?
— Si jo naredil sam?
— Lahko deluje?
— Ne vemo, nismo vklapljali.
— Torej, to je celotna oprema.
— Ampak ne deluje.
— Poglejte, celotna oprema takega modela. Brez pravice za reeksport. Ne bomo pustili.

Na splošno je bilo veliko upogibanja, preden smo razjasnili, da je ne izvažamo, ampak jo predajamo nazaj. Na koncu nam je uspelo vse urediti.

Bilo je tudi večkratnikov za čevlje.

Pred nekaj leti smo imeli naš prvi avtomatski stroj, sanje administratorjev. Vanj naložiš pakete pokrival za čevlje, sam jih razpakira, odpre in postavi v položaj, kjer je treba le stopiti. Čpok-čpok in končano.

Približno po šestih mesecih je pojedel okoli sto paketov pokrival za čevlje in se zadušil. Izkazalo se je, da je tam toliko premičnih delov, da ga je treba bodisi popravljati enkrat na mesec pri naši obremenitvi (pri nas je veliko inženirjev-mandatnikov, ki hodijo na objekt, ker smo komercialni podatkovni center), bodisi pa kupiti novega.

Drugi problem pa je, da smo med enim od rednih čiščenj nekako našli „modro krpo“, ki je visela na rešetki enega od testnih stojal. Medicina je v podobi inženirja x ekipe prepoznala del telesa pokrivala za čevlje. Izkazalo se je, da je v zdravniški ordinaciji s pokrivali za čevlje udobno: pol ure hodiš — in to je to. Nekateri inženirji lahko delajo cel dan z železom. Škripajo z nogami. Zelo škripajo. In pokrivala za čevlje se ob tem obrabijo v te majhne koščke, ki letijo po servisu.

Skoraj takoj smo kupili nov stroj za pokrivala za čevlje. Izbrali smo termični stroj za pokrivala: to je stroj, v katerega se naloži folija, in ta folija se natančno termično skrči okoli čevlja. Lepo, učinkovito, trdno. Manj razpada. Kar nekaj časa je stal pri nas, vendar je bilo treba približno enkrat na 1-2 uri zamenjati termično skrčeno folijo, ker je podplat imel lastnost, da se je sam odtrgal.

Sprva smo mislili, da imamo le smolo, medtem ko drugi to težavo nekoliko rešujejo. A ne. Povprašali smo zahodnjake — ista zgodba. Na koncu smo začeli razmišljati, kako torej narediti normalno. Vračanje iz servisa po nova pokrivala za čevlje — ideja je, mimogrede, tako si-si. Našli smo industrijske čiščenje naprave za gradbišča in proizvodnje. To je nekaj takega kot preproge, po katerih v delavnico vstopa menjava. Preproge z množico valjev vse očiščejo in so narejene tako, da hočeš ali nočeš — ujame in očisti. Stanejo pol milijona do milijon rubljev. Mi smo malo preiskovali in našli enako za 200 tisoč, vendar moraš nogo vanjo potisniti sam. Po dimenzijah je podobna stroju za čiščenje čevljev. Pristopiš, potisneš nogo tja, jo pogoltne in vrne nazaj čisto. Postavili smo ob vhod v podatkovni center.

Funkcionira odlično osim u dva aspekta. Prvi — prilično brzo se ispostavilo da je ovo za nas, inženjere, dobro. A u praksi, u Data Centar dolaze vidjeti razni ljudi, među kojima su i rukovodioci velikih kompanija. Sa cipelama od zmajeve kože. A za njih čak i četka za kreme za cipele košta više od mojih tenisica za trening, oni posebno biraju dlačice. Oni su odbijali obući noge u naš čudesni uređaj. Drugi problem se javio zimi: kada su cipele stvarno veoma prljave, iz dubokog profila se ne može izvaditi sve. Onda hodaš po dvorani, ostavljajući tragove ektoplazme.

Rešili smo jednostavno. Postavili smo pored rolnu za zaštitu obuće. U svakom slučaju, moramo sve da dupliramo prema standardu.

Pojavio se novi problem. Posmatrajući ponašanje inženjera-naručitelja, videli smo ovakvu sliku: prvo su stavljali nogu u uređaj za čišćenje, a zatim su uzeli zaštite iz rolnice. Sad smo stavili oznaku da ili jedno ili drugo, i bolje se očistiti, ali ako životni principi zabranjuju čišćenje obuće, neka obuku zaštite. Čini se da je tiket koji je bio na nekoliko dana, a produžio se na dugo, zatvoren. Evo uređaja:

Dva puta 'ku'

Prema zahtevima PCI DSS, treba imati mogućnost vizualne diferencijacije uloga ljudi koji se nalaze u Data Centru. Ne posmatrajući propusnicu i čitajući nešto, nego direktno, kao vojnici prepoznaju jedni druge po odlikovanjima, samo još jasnije. Odlučili smo da se ne ističemo i koristili smo stari dobri chatlanski metod — kolorističku diferencijaciju pantalona. Tačnije — počeli smo praviti propusnice različitih boja. Zelena, kao omiljena, odmah su uzeli naši administratori.

Zvuči jednostavno, ali to je izazvalo tri neočekivana efekta:

Bili su nam potrebni retraktori za automatsko uvlačenje ovih propusnica prilikom nošenja (to su one stvari koje same regulišu dužinu trake). Napisali smo tehničku dokumentaciju gde smo u obzir uzeli sve zahtevanje svih departmana. To je bila strateška greška. Boja, format, materijal, retraktor nije plastičan, konopac od metala, da se logo nanese, da bude ušiven u trakama. Stvari su ispale toliko skupe da smo kasnije morali da smanjimo zahteve i promenimo format.
Ko je diferencijacija trakov postala operativna, se je to izkazalo za zelo priročno. Pri izvajalcih so eni trakovi, pri zunanjih skrbnikih drugi, pri naših skrbnikih tretji. Vidno je, kdo ima kakšno vlogo. V elektriki so samo sivi, v klimatizaciji pa modri. Tu pa so potrebovali trakove za voznike (to je posebna vloga, lahko dostopajo v razkladno območje, ne morejo pa ga zapustiti razen da gredo ven). Pri tem voznikom ni potrebna dovoljenja. Najprej smo jim dali trakove brez dovoljenj. Potem so varnostniki sklenili, da je to povsem čudno in zaničuje človeško dostojanstvo voznikov. Imajo svojo vojaško logiko, zato zdaj vozniki pridejo po dovoljenje takoj s trakom, a to dovoljenje nikamor ne vodi. Z vidika varnosti je to torej marker, ki kaže, da je ta oseba bila preverjena s strani varnosti.
Eden naših inženirjev je predlagal, da bi namesto trakov izdelali formene puloverje zelene barve. In poslal predlog za optimizacijo. Uresničili smo ga napol: dovoljenja s trakovi so ostala, poleg tega smo dejansko sešili zelene formene puloverje. Zdaj imamo uniformo za skrbnike. Varnostniki so podprli šalo in jo vključili v pravila. Zdaj je obvezna (hlače, srajca, pulover, vendar lahko pulover slečemo).

Poleg tega so se naši naročniki pogosto pritoževali nad nepravilnimi potmi na zemljevidih do vhoda v naš podatkovni center 'Kompressor'. Vpišeš naslov, a pot se pokaže napačno. Obiskovalci so na koncu zavijali narobe, ker tam poteka železniška proga, za njo pa zastojev in tam ni možnosti obračanja. Sprva smo želeli obesiti znake nad cesto. Mesto ponuja storitev - pod običajnimi znaki namestiti rumene dodatne, štejejo se kot oglas. Cena je enaka tisti za oglas: na avtocesti Enthusiast je ena tabla stala milijon rubljev na leto. Hkrati smo se obrnili na Yandex, in so celo nepričakovano odgovorili. In prenehali so s slabo prakso. Tudi lahko označiš diode na vratih: vstop preko enih, izstop preko drugih.

Google, če nas berete, vedite, da imate še vedno težavo in ne vemo, komu povedati, da nas slišijo.

V povabilo smo vključili povezave ne samo do naslova, temveč do naslova z načrtovano potjo od geolokacije uporabnika. Na koncu je bilo pomankanja manj.

Gobo-projektorji in druge malenkosti

Ali ste kdaj slišali za gobo projektorje? Tudi mi nismo. Nekako smo razmišljali, kako označiti vrste stojal. Sama stojala so seveda označena s posebnimi hitrimi oznakami, vendar so vidna le na razdalji 1-2 metra. Sam prostor je velik 500 kv.m, zato se je tam mogoče zlahka izgubiti. Zato smo vseeno pristopili k označevanju vrst. Začeli smo s brainstormingom. Kako označiti, s čim in kam? Na tleh, na steni, oznake na stropu itd. In tu je naš kolega opazil, da so v „Ikei“ na tleh prej bile obrabne nalepke, nato pa so se pojavile svetlobne puščice. Tako smo se odločili, da to preobrnemo na preprost način: iti v „Ikeo“ in videti, kako deluje en od projektorjev. Nismo ga mogli priti do njega: medtem ko smo nosili stole, nas je prodajalec vprašal, kaj počnemo. Takoj nam je pomagal, rekoč, da je to gobo. Izkazalo se je, da to ni sam projektor, ampak plošča ali leča za barvno sliko. Ta svetlobni filter je gobo. Eden projektor stane od 40 tisoč rubljev (tam je močna žarnica za dnevno uporabo), mi pa imamo 14 vrst v vsakem od štirih strojnic. Zato smo nalepili nalepke.

Na naših zidovih so tudi sheme, ki s časom bledijo. Zamenjali smo jih z laminiranimi, s ‘vsojenimi’ posebnimi žepki za revizorja. Revizor v našem primeru je glavni inženir, ki je odgovoren za preverjanje aktualnosti vseh shem, objavljenih v podatkovnem centru. Vse sheme morajo biti letno preverjane in podpisane s strani tega revizorja. Imeti poseben majhen zvezek v žepku sheme naredi ta postopek lažji in ne zahteva zamenjave same sheme vsake tri leta. Profit!

Izvedli smo rotacijsko čiščenje lažnega poda od zunaj. Imamo redna čiščenja, obstajajo metodologije in čas za njihovo izvajanje. Vendar na tleh ostanejo sledi od težkih koles stojal. Opravili smo čiščenje. Sedaj smo nervozni: na videz ni postalo bistveno bolj skrbno, vendar so se pojavili odbliski pod določenimi koti pri določenih ljudeh, ki imajo svoje barvice po svojem okusu. Zdaj razmišljamo in iščemo neko kemično sredstvo, ki bi pobelilo tla in dala sijaj. Da tudi pri izbranih ne bi bilo vprašanj.

Ste videli konzolne steke? To su one mobilne banketne stolice, samo što umesto pića imaju terminal za povezivanje na stanicu. E, pa ti konzolni stolići imaju točkiće koji se otkače i blokiraju, kao kolica u supermarketu. Previše nas je to iritiralo. Na kraju, jedini mogući način da ih popravimo bio je da kupimo novi točić. A točkiće specifične za naše modele nije bilo moguće nabaviti, razgovarali smo sa svim dobavljačima. Na kraju smo sami projektovali stolicu prema našim potrebama, fokusirajući se na pogodnost kretanja po mašinskoj hali i mogućnost popravke. Ispalo je jako dobro.

Imali smo priču sa sintetičkim čarapama. Postoji jedna stvar — antistatički narukvice. Kada priđete stolu, povežete narukvicu sa zemljom na stalu, i ona se povezuje sa sistemom izjednačavanja potencijala. Tako, stala je uzemljena, ali može se desiti da inženjer nije uzemljen. Kolege sa prethodnih radnih mesta pričale su kako su par puta videle iskrice na video nadzoru, i odlučili smo da obavezno zatražimo od svih da koriste narukvice u skladu sa pravilnikom.

Kritični incidenti

Z resnega vidika se je zgodila situacija, ko so se vsi hladilniki hkrati izklopili. Naši hladilniki nimajo zaščite UPS, ker verjamemo v fiziko, in kot rezervno možnost imamo bazen s hladno vodo. Če se kaj izklopi, potrebujemo ne baterije za napajanje hladilnikov, ki hladijo vodo, ampak preprosto hladno vodo, ki je že pripravljena. Udobno in enostavno, a obstaja en odtenek. Na hladilnikih je zaščitna avtomatika, ki jih izklopi pri nevarnih parametrih električnega omrežja. Če se vhod izklopi, priklopimo DG genset, in nadalje hladilniki delujejo na njihovo napajanje. Vse bi bilo v redu, če ne bi živeli v Rusiji. Imeli smo večkrat padce omrežja, a vse je bilo v redu. Enkrat pa je bil skok nenaden, najprej navzdol, nato hitro navzgor, nato spet navzdol – v nekaj sekundah so se parametri vhoda spremenili približno štirikrat. Hladilniki so se seveda izklopili. Najprej smo poskusili, da bi jih vklopili na daljavo, a so se zelo učinkovito zaščitili v sili. Moral sem se odpraviti na streho in jih vklopiti ročno. Kar je pomembno, po standardu Tier III je taka situacija legitimen razlog za zaustavitev podatkovnega centra. Nismo imeli zaustavitve, ker so ljudje na terenu sposobni in imamo redne vaje. Za to nas je UI redno preverjal, da bi bili prepričani o TIII operativnosti. Če kaj, smo prestali recertifikacijo UI na TIII Gold – Operativna trajnost. Na ruskem komercialnem trgu podatkovnih centrov ni nič boljšega; s to podobno dosežkom se ponaša le en. PDP. Opozarjam, da je težje pridobiti recertifikacijo kot dobiti certifikat iz nič, saj preverjajo tudi prejšnje obdobje, kar zahteva veliko več dokazov.

Imeli smo zanimiv incident s kamerami. Odločili smo se prešteti slepe točke za vsak slučaj, narisali smo presečišča in zgradili diagonale kotov pogledov na načrtu, in nenadoma našli mrtvo območje približno 30 centimetrov na 15 metrov prav v središču enega od prostorov. Ozka in dolga. V sosednjem prostoru take ni. Izkazalo se je, da se je vrteča kamera sčasoma tako malo premaknila, da je pokazala približno 1,5 stopinje bolj levo, kot bi morala biti v skrajni poziciji.

Še en večji incident je bil v objavi o popravilu zamenjave DD UPS.