Vsakdanje življenje podatkovnega centra: neočitne malenkosti v 7 letih delovanja. In nadaljevanje o podgani

Vsakdanje življenje podatkovnega centra: neočitne malenkosti v 7 letih delovanja. In nadaljevanje o podgani

Takoj bom rekel: tista podgana v prinesenem strežniku, ki smo ji pred nekaj leti po električnem udaru dali čaj, je najverjetneje pobegnila. Ker smo nekoč videli njeno prijateljico na rundi. In takoj smo se odločili za namestitev ultrazvočnih repellerjev.

Zdaj je okoli podatkovnega centra prekleta dežela: nobena ptica ne bo pristala na stavbo in verjetno so vsi krti in črvi pobegnili. Bili zaskrbljeni, da zvok lahko povzroči okvaro trdega diska, vendar preverjeno, frekvenci nista enaki.

Naslednja zgodba je veliko bolj zabavna. Nekoč smo prejeli strojno opremo za nekaj milijonov rubljev v škatli s senzorji za nagib, vibracije in vlažnost. Vse je celo. Previdno odstranite embalažo in kos železa je bil upognjen. Mistična.

Telo je vzravnano v loku. Kako lepo.

Detektiv

Temu ne bi pripisovali pomena, saj je bilo ukrivljeno kovinsko ohišje skoraj oblikovalska podoba. Tako lepa, brez čipsa. In če ne bi bilo drugih podobnih kosov strojne opreme v bližini, ob razpakiranju ne bi niti pomislili, da je kaj narobe. Toda v bližini so bili enaki, le bolj pravilne geometrijske oblike.

Na srečo se razpakiranje takšne strojne opreme snema (priporočam, da se to navadi vsak), tako da smo lahko proizvajalcu dokazali, da je tako prispela. Nepoškodovan paket in lepo upognjeno telo nista udarec premikačev. Najverjetneje je bila poškodovana že pred odhodom v Rusijo.

Prodajalec reče: "Uh, fantje, zamenjajmo vam ga takoj pod garancijo." In potem nas je čakala epska zaseda.

Dejstvo je, da nam carina omogoča uvoz takšne opreme z dokumenti brez pravice do izvoza. To pomeni, da ga lahko prinesete, vendar ga ne morete preprodati nekomu zunaj Rusije. Ko pošljemo nazaj na primer pregoreli napajalnik, je vse jasno. To je rezervni del, napajalnik.

In potem sem moral vse poslati nazaj:
- Fantje, poglejte, kos strojne opreme pošiljamo nazaj proizvajalcu.
- Celotna oprema?
- Da.
— Model tak in tak?
- Da.
- Lahko dela?
— Ne vemo, nismo ga vklopili.
- Torej je to cel kos opreme.
- No, ne deluje.
- No, poglej, vsa oprema je tega modela. Brez pravic do ponovnega izvoza. Ne bomo vas spustili noter.

Na splošno je bilo veliko skvotanja, preden smo ugotovili, da tega ne izvažamo, ampak vračamo. Na koncu nam je vse uspelo.

Tam so bile tudi prevleke za čevlje

Prvič, pred mnogimi leti smo imeli prvo avtomatsko, administratorjeve sanje. Vanj naložiš paket prevlek za čevlje, jih sam razpakira, odpre in postavi v položaj, da jih je treba samo stopiti. Chp-chpk in končano je.

Po približno šestih mesecih je prežvečila približno sto paketov prevlek za čevlje in se zadušila. Izkazalo se je, da je gibljivih delov toliko, da jih moramo popraviti enkrat na mesec pri naši obremenitvi (po objektu hodi veliko inženirjev strank, ker smo komercialni podatkovni center) ali pa kupiti novega.

Druga težava je ta, da smo kasneje, med enim od rednih čiščenj, nekako našli »malo modro cunjo«, ki je visela na rešetki enega od stojal našega testiranja. Forenzični izvedenec, ki ga je zastopal inženir ekipe X-Team, je identificiral delček telesa prevleke za čevlje. Izkazalo se je, da je na kliniki priročno nositi prevleke za čevlje: hodil sem pol ure in to je vse. In nekateri inženirji lahko ves dan delajo s strojno opremo. Premetavanje nog. Veliko mešanja. In prevleke za čevlje se obrabijo v te drobce, ki letijo po turbinski dvorani.

Skoraj takoj smo kupili novo prevleko za čevlje. Vzeli smo termo etui za škornje: to je stroj, v katerega se napolni film, ki ga skrbno toplotno skrči na vrhu čevlja. Lepa, učinkovita, obstojna. Manj trošenja. Imeli smo ga kar dolgo, vendar smo morali skrčljivo folijo menjati približno enkrat na 1-2 uri, ker je podplat rad sam odpadel.

Sprva smo mislili, da nimamo sreče, a ljudje to težavo nekako rešijo. Vendar ne. Vprašali smo naše zahodne kolege - ista zgodba. Posledično so začeli razmišljati, kako to narediti normalno. Vrnitev iz turbinske hale po nove prevleke za čevlje je, odkrito povedano, tako-tako ideja. Našli smo industrijska čistila za gradbišča in industrijo. To so nekakšne poti, po katerih menjava vstopi v delavnico. Poti s kupom valjev vse očistijo in so narejene tako, da hočeš nočeš ujame in očisti. Stanejo od pol milijona do milijona rubljev. Pobrskali smo in našli enakega za 200 tisočakov, a vanj morate stopiti sami. Po velikosti je podoben stroju za loščenje čevljev. Prideš gor, potisneš nogo noter, ona jo prežveči in ti jo vrne čisto. Postavili so ga na vhod v podatkovni center.

Deluje odlično, razen dveh težav. Prvi je ta, da je hitro postalo jasno, da je to za nas inženirje normalno. Toda v praksi pridejo v podatkovni center pogledat različni ljudje, vključno z najvišjimi direktorji velikih podjetij. S čevlji iz usnja zmajevega osla. In tudi za nanašanje kreme na čevlje, njihov čopič stane več kot moje športne copate, posebej izberejo ščetine. Oni so bili tisti, ki niso hoteli dati svojih nog v našo čudežno napravo. Druga težava se je pojavila pozimi: ko so čevlji res neurejeni, ne morejo vsega spraviti iz globoke profila. Nato hodite po dvorani in puščate sledi ektoplazme.

Odločili smo se preprosto. Zraven smo položili zvito prevleko za čevlje. Vseeno moramo vse podvojiti po standardu.

Pojavila se je nova težava. Ko smo opazovali vedenje inženirjev kupcev, smo videli naslednjo sliko: najprej so zataknili noge v stroj za čiščenje, nato pa so iz zvite prevleke za čevlje zataknili prevleke za čevlje. Zdaj so postavili znak, da je ali eno ali drugo in je bolje, da se očistite, če pa življenjska načela prepovedujejo čiščenje čevljev, potem nosite prevleke za čevlje. Zdi se, da je bila karta, ki je bila nekaj dni, a je trajala dolgo, zaprta. Tukaj je naprava:

Vsakdanje življenje podatkovnega centra: neočitne malenkosti v 7 letih delovanja. In nadaljevanje o podgani

"ku" dvakrat

V skladu z zahtevami PCI DSS morate biti sposobni vizualno razlikovati vloge ljudi, ki se nahajajo v podatkovnem centru. Ne da bi pozorno pogledal na prehod in tam kaj prebral, ampak neposredno vizualno, kot se vojaško osebje razlikuje po naramnicah, samo še svetlejše. Odločili smo se, da se ne bomo bahali in uporabili dobro staro Chatlanovo metodo - barvno razlikovanje hlač. Natančneje, začeli so izdelovati pasove različnih barv. Naši skrbniki so zeleno takoj vzeli za svojo najljubšo.

Sliši se preprosto, vendar je povzročilo tri nepričakovane učinke:

  1. Navijala so bila potrebna za samodejno umik teh prehodov, ko so obrabljeni (to so stvari, ki same uravnavajo dolžino traku). Napisali smo tehnično specifikacijo, ki je upoštevala vse želje vseh oddelkov. To je bila strateška napaka. Barva, format, material, navijalo ni plastično, ribiška vrvica je kovinska za nanos logotipa tako, da je všit v trak. Kosi so se izkazali za tako drage, da smo morali zmanjšati zahteve in spremeniti format.
  2. Ko je diferenciacija hlač začela delovati, je postalo zelo priročno. Izvajalci imajo nekaj trakov, zunanji skrbniki druge, naši administratorji pa tretje. Vidi se, kdo ima kakšno vlogo. Za elektriko - samo sive, za klimo - modre. In potem smo potrebovali trakove za voznike (to je ločena vloga, lahko vstopijo v prostor za razkladanje, vendar ga ne morejo zapustiti razen zunaj). Vozniki ne potrebujejo vozovnice. Sprva smo jim dali trakove brez prepustnic. Nato so se varnostniki odločili, da je to povsem nenavadno in ponižujoče do človeškega dostojanstva voznikov. Imajo svojo vojaško logiko, tako da zdaj pridejo vozniki takoj po prepustnico s trakom, a jim ta dovolilnica ne omogoča nikamor. Z vidika varnosti se izkaže kot oznaka, da je varnost to osebo preverila.
  3. Eden od naših inženirjev je predlagal izdelavo zelenih uniformnih puloverjev namesto traku. In poslal predlog racionalizacije. To so naredili na pol: izkaznice so pustili s pentljo, poleg tega so dejansko sešili zelene uniformne puloverje. Zdaj imamo administrativno uniformo. Varnostniki so šalo podprli in jo vključili v predpise. Zdaj je obvezno (hlače, majica, pulover, vendar se pulover lahko sname).

Naše stranke so se pred vstopom v naš kompresorski podatkovni center pogosto pritoževale tudi zaradi zakrivljenih poti na zemljevidih. Vnesete naslov, vendar je cesta prikazana napačno. Obiskovalci so na koncu taksirali v napačno smer, saj je bila tam železnica, za njo pa zastoj in se tam ni dalo obrniti. Najprej smo želeli postaviti table nad cesto. Mesto ima takšno storitev - postavite rumene dodatne znake pod običajne znake, štejejo za oglaševanje. In cena za njih je kot oglaševanje: na avtocesti Entuziastov en znak stane milijon rubljev na leto. Hkrati smo pisali Yandexu in celo nenadoma so se odzvali. In nehali so se obnašati. Lahko celo določite vratne diode: vstop skozi nekatere, izhod skozi druge.

Google, če nas bereš, potem vedi: še vedno imaš težavo in ne vemo, komu bi o tem povedali, da bi nas slišali.

Vabilna pisma so vključevala povezave ne le do naslova, temveč do naslova s ​​potjo, ki temelji na geolokaciji uporabnika. Posledično je bilo tudi manj zgreškov.

Gobo projektorji in druge drobnarije

Ali veste, kaj so gobo projektorji? Tudi mi nismo vedeli. Nekako smo razmišljali, kako označiti vrste regalov. Sami regali so seveda označeni s posebnimi oznakami za hitro sprostitev, vendar jih je mogoče videti z razdalje 1-2 metra. Sama dvorana je velika 500 m40, tako da je prostora, da se tam izgubiš, dovolj. Zato smo se končno lotili označevanja vrst. Začela se je možganska nevihta. Kako označiti, s čim in kje? Na tleh, na steni, napisi na stropu itd. In potem je naš kolega videl, da so bile v Ikei na tleh nalepke, ki so se obrabile, potem pa so se pojavile svetlobne puščice. No, odločili smo se, da to obrnemo na preprost način: pojdite v Ikeo in obrnite enega od projektorjev, da pogledate. Nismo ga mogli dobiti: medtem ko smo nosili stole, je prodajalec vprašal, kaj počnemo. In je takoj pomagal, češ da je gobo. Izkazalo se je, da to ni sam projektor, temveč plošča ali leča za barvno sliko. Ta filter je gobo. En projektor stane od 14 tisoč rubljev (obstaja močna svetilka za dnevno uporabo), v vsaki od štirih strojnic imamo XNUMX vrst. Zato smo ga nalepili z nalepkami.

Na stenah imamo tudi diagrame, ki z leti zbledijo. Zamenjali smo jih v plastificirane, s posebnimi “všitimi” žepi za revizorje. V našem primeru je inšpektor glavni inženir, katerega odgovornost vključuje preverjanje ustreznosti vseh shem, ki se nahajajo v podatkovnem centru. Torej mora vse sheme vsako leto preveriti in podpisati takšen revizor. Prisotnost posebne majhne revije v žepu diagrama olajša ta postopek in ne zahteva zamenjave samega diagrama vsaka tri leta. Dobiček!

Izvedli smo rotacijsko čiščenje dvignjenega poda zunaj. Imamo redna čiščenja, imamo načine in termine čiščenja. Toda kolesa težkih regalov puščajo sledi. Opravili smo čiščenje. Zdaj smo živčni: ne izgleda veliko bolj urejeno, a poudarki so se pojavili iz določenih kotov za določene ljudi, no, ki imajo svoje flomastre po svojem okusu. Zdaj razmišljamo o tem in iščemo kakšno kemikalijo, ki bo pobelila tla in dodala lesk. Da tudi izbranci nimajo vprašanj.

Ste videli stojala za konzole? To so kot potujoče bifejske mize, le da je namesto pijač terminal za povezavo s stojalom. Torej, na teh konzolnih regalih kolesa odpadejo in se zataknejo, kot vozički v supermarketu. Neverjetno smo siti. Posledično je edini možni način za njegovo oživitev nakup novega kolesa. Vendar ni bilo več mogoče dobiti koles posebej za naše modele; intervjuvali smo vse izvajalce. Zato smo sami zasnovali stojalo, pri čemer smo se osredotočili na preprosto premikanje po strojnici in vzdržljivost. Zelo dobro se je izšlo.

Bila je zgodba s sintetičnimi nogavicami. Obstaja nekaj takega - antistatične zapestnice. To je, ko greš do stojala, povežeš zapestnico z maso na stojalu in komunicira s sistemom za izravnavo potencialov. Torej, stojalo je ozemljeno, vendar se lahko izkaže, da inženir ni ozemljen. Kolegi iz prejšnjih delovnih mest so nam pripovedovali, kako so nekajkrat videli iskrice na videonadzoru, pa smo se iz greha odločili, da vse zavežemo k uporabi neposredno po predpisih.

Kritični incidenti

Resneje je prišlo do situacije, ko so bili vsi hladilniki naenkrat odrezani. Naše hladilne naprave niso zaščitene z UPS, ker verjamemo v fiziko in imamo bazen s hladno vodo kot temperaturno rezervo. Če se kaj ugasne, ne potrebujete baterij za napajanje hladilnikov, ki hladijo vodo, temveč samo hladno vodo, ki je že pripravljena. Priročno in preprosto, vendar obstaja odtenek. Hladilniki so opremljeni z avtomatsko varnostno opremo, ki jih izklopi v primeru nevarnih parametrov električnega omrežja. Če je vhod izklopljen, vklopimo dizelski agregat, nato pa se iz njih napajajo hladilniki. Vse bi bilo v redu, če ne bi živeli v Rusiji. Velikokrat smo imeli izpade omrežja, a je bilo vse v redu. Toda nekega dne je prišlo do močnega skoka, najprej navzdol, nato strmo navzgor, nato spet navzdol - v nekaj sekundah so se vhodni parametri spremenili približno 4-krat. Hladilniki so seveda izklopljeni. Najprej smo jih poskušali prižgati na daljavo, a so se zelo zanesljivo zaščitile, zasilno. Izmena je morala hoditi z nogami po strehi in jih vklopiti ročno. Kar je pomembno, po standardu TierIII je takšno stanje upravičen razlog za zaustavitev podatkovnega centra. Postanka nismo imeli, ker so ljudje z glavo na tleh, sledi pa dril z vajami. Za to nas je uporabniški vmesnik preprosto redno zajebal, če smo prepričani o TIII Operational. Če kaj drugega, smo opravili ponovno certifikacijo uporabniškega vmesnika za TIII Gold – operativna trajnost. Na ruskem komercialnem trgu podatkovnih centrov ni nič bolj hladnega, razen našega ima le eden enak dosežek Podatkovno središče. Opažam, da je ponovno certificiranje težje kot pridobivanje potrdila iz nič, saj preverjajo prejšnje obdobje, kot da niste sami, in zahteva veliko več dokazov.

Prišlo je do zanimivega dogodka s kamerami. Odločili smo se, da za vsak slučaj preračunamo slepe kote, narisali križišča, narisali diagonale vidnih kotov na načrt in nenadoma smo prav v središču ene od dvoran našli slepo pego velikosti približno 30 centimetrov krat 15 metrov. Ozke in dolge. V sosednji sobi tega ni. Izkazalo se je, da se je vrteča kamera z leti počasi premaknila, tako da je začela kazati približno stopinjo in pol v levo, kot bi morala v skrajnem položaju.

V objavi je bil še en velik incident o popravilu zamenjavi DDIBP.

reference

Vir: www.habr.com

Dodaj komentar