🥇Život u data centru: neprimjetne sitnice nakon 7 godina korištenja. I nastavak o štakoru

Odmah da kažem: ona sretnica u dostavljenom serveru, koju smo prije nekoliko godina napojili čajem nakon što je dobila strujni udar, najvjerojatnije je pobjegla. Jer smo nekako na obilasku vidjeli njenu prijateljicu. I odmah smo odlučili postaviti ultrazvučne ometače.

Sada je oko data centra prokleta zemlja: ptice ne slijeću na zgradu, a vjerojatno su i svi krtici i crvi pobjegli. Brinuli smo se da zvuk može uzrokovati kvar HDD-a, ali smo provjerili, frekvencije nisu te.

Sljedeća priča je daleko zabavnija. Nekako smo dobili opremu vrijednu nekoliko milijuna rubalja u kutiji sa senzorima nagiba, vibracija i vlažnosti. Sve je netaknuto. Pažljivo smo skinuli ambalažu, a uređaj je savijen. Misterija.

Kućište je potpuno zakrivljeno. Tako lijepo.

Detektiv

Ne bismo obratili pažnju na to, jer je zakrivljeno metalno kućište bilo gotovo dizajnersko. Tako lijepo, bez oštećenja. I da nije bilo drugih sličnih uređaja u blizini, ne bismo na otvaranju ni posumnjali da nešto nije u redu. No, pored su bila slična, samo pravilnije geometrijske forme.

Na sreću, otvaranje takvih uređaja snima se na videu (preporučujem svima da steknu tu naviku), tako da smo uspjeli dokazati proizvođaču da je takva došla. Cijela ambalaža i pažljivo savijeno kućište — to nije udar od radnika. Najvjerojatnije, oštetila se još prije nego što je otišla u Rusiju.

Proizvođač kaže: "Eee, dečki, ajmo je odmah zamijeniti pod jamstvom." I tu nas je čekala epohalna zamka.

Naime, carina nam dopušta uvoz takve opreme po dokumentima bez prava izvoza. To jest, može se donijeti, ali joj se ne može preprodati nekome izvan Rusije. Kada vraćamo nazad pregorjeli napajanje, na primjer, sve je jasno. To je rezervni dio, napajanje.

A sada je trebalo poslati nazad sve:
— Dečki, gledajte, vraćamo uređaj proizvođaču.
— Oprema u cijelosti?
— Da.
— Model je takav i takav?
— Da.
— Može li raditi?
— Ne znamo, nismo uključivali.
— Znači, to je cijela oprema.
— Pa nije radila.
— Pa, gledajte, cijela oprema tog modela. Bez prava ponovnog izvoza. Ne puštamo.

Uglavnom, bilo je mnogo pregovora prije nego što smo shvatili da je ne izvozimo, nego vraćamo natrag. Na kraju smo uspjeli sve srediti.

I još su bile zaštite za cipele

Prvo smo prije mnogo godina imali prvu automatsku mašinu, san administratora. Ubacite hrpu zaštitnih navlaka, ona ih sama raspakuje, otvara i postavlja u položaj gdje je dovoljno samo stati. Čpok-čpok i gotovi ste.

Otprilike nakon šest mjeseci, izgleda da je pojeo oko sto paketa zaštitnih navlaka i zagušio se. Ispostavilo se da ima toliko pokretnih dijelova da je potrebno ili je popravljati svaka mjesec dana pod našim opterećenjem (imamo jako puno inženjera-naručitelja na objektu jer smo komercijalni podatkovni centar), ili kupiti novu.

Drugi problem je što smo tokom jedne od redovnih čišćenja nekako pronašli "plavu krpu" koja se vrtjela na rešetki jednog od naših testnih ormara. Sudski vještak, inženjer iz x-tima, prepoznao je dio zaštitne navlake. Ispostavilo se da je u klinici s zaštitnim navlakama zgodno: prošetate pola sata — i to je to. A neki inženjeri mogu cijeli dan raditi s hardverom. Šuškajući na nogama. Jako šuškajući. A pritom se zaštitne navlake troše u male komadiće koji lebde po mašinskoj dvorani.

Gotovo odmah smo kupili novu mašinu za zaštitne navlake. Uzimamo termičku mašinu za zaštitne navlake: to je mašina u koju se stavlja folija, a ona tu foliju pažljivo termički obavija oko cipele. Lijepo, efikasno, čvrsto. Manje se raspršuje. Dugo je stajala kod nas, ali trebalo je otprilike svaka 1-2 sata menjati termičku foliju, jer je đon imao svojstvo da se sam odlijepi.

Isprva smo mislili da imamo sreće, dok to drugima nekako ne predstavlja problem. No, nije bilo tako. Pitali smo zapadne kolege — ista priča. Na kraju smo počeli razmišljati kako to normalno riješiti. Vraćati se iz mašinske dvorane po nove zaštitne navlake — ideja, blago rečeno, nije baš najbolja. Pronašli smo industrijske čistače za gradilišta i proizvodne pogone. To su nešto poput stazica po kojima ulazi smjena. Stazice s hrpom valjaka čiste sve i napravljene su tako da, htjeli vi ili ne — uhvatit će i očistiti. Koštaju od pola milijuna do milijun rubalja. Mi smo malo pretraživali i našli sličnu za 200 tisuća, ali nogu treba umetnuti sami. Po dimenzijama je slična mašini za čišćenje cipela. Priđete, stavite nogu, ona je usisa i vraća vam je čistu. Postavili smo je na ulazu u podatkovni centar.

Radi odlično osim dva detalja. Prvi je — vrlo brzo se pokazalo da je to za nas, inženjere, u redu. No u praksi, u data centru dolazi raznolika grupa ljudi, među kojima su i rukovoditelji velikih kompanija. S cipelama od drakonske kože. A za njih čak i četka za nanošenje kreme na cipele košta više od mojih trening tenisica, oni tu posebno biraju vlakna. Oni su odbijali stavljati noge u naš čudo uređaj. Drugi problem se pojavio zimi: kada su cipele prave u blatu, ne može sve doći iz dubokog uzorka. Onda hodate po hali, ostavljate tragove poput ektoplazme.

Rešili smo jednostavno. Postavili smo pored rol central za zaštitu obuće. Ionako sve trebamo duplirati prema standardu.

Pojavio se novi problem. Prateći ponašanje inženjera-klijenata, videli smo slikovito: prvo su stavljali nogu u uređaj za čišćenje, a zatim su stavljali zaštitne navlake iz rol central. Sada imamo oznaku koja kaže ili jedno ili drugo, i bolje se očistiti, ali ako životni principi zabranjuju čišćenje obuće, onda nosite navlake. Naizgled kratkotrajni problem, ali se rastegao i trajao dugo, ali se rešio. Evo uređaja:

Dva puta "ku"

Prema zahtevima PCI DSS, potrebno je vizuelno razlikovati uloge ljudi koji se nalaze u data centru. Ne gledajući na propusnicu i ne čitajući šta piše, već vizualno, kao što vojnici međusobno razlikuju po epolete, samo još upadljivije. Odlučili smo ne preterivati i koristili stari dobar način — vizuelnu diferencijaciju boje hlača. Konkretno — počeli smo praviti propusnice različitih boja. Zelena, kao omiljena, odmah su uzeli naši administratori.

Zvuči jednostavno, ali to je izazvalo tri neočekivana efekta:

Bili su potrebni retraktori za automatsko uvlačenje ovih propusnica prilikom nošenja (to su uređaji koji samostalno regulišu dužinu vrpce). Napisali smo tehnički zadatak, uzimajući u obzir sve želje svih odeljenja. To je bila strateška greška. Boja, format, materijal, retraktor ne plastični, žica od metala, da se logo nanese, da bude ušiven u vrpcu. Uređaji su postali toliko skupi da je kasnije bilo potrebno smanjiti zahteve i promeniti format.
Kada je diferencijacija traka postala aktivna, postalo je vrlo praktično. Izvođači imaju jedne trake, vanjski administratori druge, a naši administratori treće. Jasno je ko ima koju ulogu. U elektroinstalacijama – samo sive, u klimatizaciji – plave. Onda su bile potrebne trake za vozače (to je posebna uloga, mogu ući u zonu istovara, ali ne mogu je napustiti osim napolje). Pri tome vozačima nisu potrebne propusnice. Isprva smo im davali trake bez propusnica. Potom su sigurnosni timovi zaključili da je to vrlo čudno i da omalovažava dostojanstvo vozača. Oni imaju svoju vojnu logiku, pa sada vozači dolaze po propusnicu odmah s trakama, ali ta propusnica nigdje ne vodi. Sa stanovišta zaštite to postaje marker koji označava da je ta osoba provjerena.
Jedan od naših inženjera predložio je da umjesto traka napravimo uniformirane džempere zelene boje. I poslao je predlog za racionalizaciju. Napravili smo polovično: propusnice s trakama su ostale, plus smo zapravo sašili zelene uniformirane džempere. Sada imamo uniformu za administratore. Sigurnosni timovi su podržali šalu i uvrstili je u propise. Sada je obavezna (pantalone, košulja, džemper, ali džemper se može skinuti).

Naši klijenti su se često žalili na pogrešne rute na kartama do ulaza u naš data centar "Kompresor". Upišeš adresu, a put se prikazuje netočno. Posjetitelji su na kraju skretali na pogrešno mjesto jer tu je željeznička pruga, a iza nje gužva, i nije moguće skrenuti. Isprva smo htjeli postaviti oznake iznad puta. Grad nudi tu uslugu – postaviti žute dodatne oznake ispod običnih, smatraju se reklamom. Cijena za njih je kao za reklamu: na auto-putu Entuziasta jedna oznaka košta milion rubalja godišnje. Paralelno smo kontaktirali Yandex, i oni su čak iznenada odgovorili. I prestali su s nedisciplinom. Čak je moguće označiti diode na vratima: ulaz kroz jedne, izlaz kroz druge.

Google, ako nas čitate, znajte: imate problem koji još uvijek postoji, i ne znamo kome to reći da nas čuje.

U pozivnim e-mailovima umetnuli smo linkove ne samo na adresu, već i na adresu s planiranim putem od geo-lokacije korisnika. Na kraju su greške postale manje.

Gobo projektori i druge sitnice

Znate li što su gobo projektori? Mi također nismo znali. Razmišljali smo o tome kako označiti redove stalaka. Stalci su, naravno, označeni posebnim brzim oznakama, ali su vidljivi samo s udaljenosti od metar ili dva. Samo dvorana ima 500 kvadratnih metara, tako da se tamo lako možete izgubiti. Stoga smo se ipak posvetili označavanju redova. Počeo je brainstorming. Kako označiti, s čim i gdje? Na podu, na zidu, oznake na stropu itd. I tu je naš kolega primijetio da su u „Ikei” ranije postojale istrošene naljepnice na podu, a zatim su se pojavile svjetlosne strelice. Pa smo odlučili jednostavno reversirati: otići u „Ikeu” i provjeriti jedan od projektora. Nismo uspjeli doći do njega: dok smo nosili stolice, prodavač nas je upitao što radimo. A odmah je pomogao, rekavši da je to gobo. Ispostavilo se da to nije sam projektor, već ploča ili leća za obojenu sliku. Taj svjetlosni filter je gobo. Jedan projektor košta od 40 tisuća rubalja (tamo je snažna žarulja za dnevnu uporabu), a imamo 14 redova u svakoj od četiri mašinske dvorane. Stoga smo zalijepili naljepnice.

Također, imamo sheme na zidovima koje s godinama izblijede. Zamijenili smo ih s laminiranim, s „utkanim” posebnim džepovima za revizorre. Revizor u našem slučaju je glavni inženjer, čija je dužnost provjeriti ažurnost svih shema postavljenih u podatkovnom centru. Dakle, sve sheme moraju se godišnje provjeravati i potpisivati od strane tog revizorra. A prisutnost posebnog malog dnevnika u džepu sheme olakšava postupak i ne zahtijeva zamjenu same sheme svake tri godine. Profit!

Radili smo rotacijsku čistoću lažnog poda izvana. Imamo redovite čišćenja, postoje metodologije i vrijeme provođenja čišćenja. No, od kotača teških stalaka ostaju tragovi. Napravili smo čišćenje. Sada se brinemo: vizualna razlika nije drastična, ali su se pojavile refleksije pod određenim kutovima kod određenih ljudi, onih koji imaju svoje markere po svom ukusu. Sada razmišljamo i tražimo neku kemiju koja će posvijetliti pod i dati mu sjaj. Tako da ne bude ni kod odabranih pitanja.

Jeste li vidjeli konzolne stalke? To su kao mobilni banketni stolovi, samo što umjesto pića imaju terminal za povezivanje u stalak. No, kod ovih konzolnih stalaka kotači se otkače i zapinju, kao kod kolica u supermarketu. Iscrpilo nas je to nevjerojatno. Na kraju je jedini mogući način kako ih spasiti — kupiti novo kolo. A kotače za naše modele nije bilo lako nabaviti, pitali smo sve dobavljače. Na kraju smo sami projektirali stalak prema svojim potrebama, fokusirajući se na lakoću kretanja po prodajnom prostoru i mogućnost popravka. Ispalo je jako dobro.

Imali smo priču o sintetičkim čarapama. Postoji takva stvar — antistatičke narukvice. To je kada priđete stajalu, povežete narukvicu sa zemljom na stajalu, i ona se povezuje sa sustavom izjednačavanja potencijala. Tako, stajalna površina je uzemljena, ali se može dogoditi da inženjer nije uzemljen. Kolege iz prethodnih radnih mjesta pričali su kako su nekoliko puta vidjeli iskrice na videonadzoru, pa smo kod sebe odlučili od svih zlo, obvezati svakoga da se prema pravilniku koristi.

Kritični incidenti

Seriozno, dogodila se situacija kada su svi chillere odjednom prestali raditi. Chillere nemamo zaštićene UPS-om, jer vjerujemo u fiziku, a kao rezervu za temperaturu imamo bazen s ohlađenom vodom. Kada nešto isključi, potrebna nam je ne baterija za napajanje chillera, koji hlade vodu, već jednostavno hladna voda koja je već spremna. Udobno i jednostavno, ali postoji problem. Na chillerima je zaštitna automatika koja ih isključuje pri opasnim parametrima električne mreže. Kada se ulaz isključi, uključujemo DGU, i chillere dalje napajamo iz njih. Sve bi to bilo dobro da ne živimo u Rusiji. Imali smo mnogo padova u mreži, ali do sada je sve bilo u redu. Međutim, jednom je došlo do oštrog skoka, prvo prema dolje, zatim naglo prema gore, pa opet prema dolje – parametri ulaza su se mijenjali otprilike četiri puta u nekoliko sekundi. Chillere su se naravno isključili. Pokušali smo ih prvo uključiti daljinski, ali su se vrlo pouzdano zaštitili, hitno. Morali smo ići na krov i ručno ih uključivati. Što je važno, prema Tier III standardu, takva situacija je legitimni razlog za zaustavljanje data centra. Mi nismo imali zaustavljanje, jer su ljudi na terenu pametni, i imamo obuku i vježbe. Zbog toga nas je UI redovito provjeravao kako bi se uvjerio u TIII Operativnost. Ako išta, prošli smo recertifikaciju UI za TIII Gold – Operativna Održivost. Na ruskom komercijalnom tržištu data centara nema ničeg boljeg, osim našeg, a s takvom izvrsnošću ima samo jedan. Data centarIstaknuo bih da je teže recertificirati se nego dobiti certifikat od nule, jer provjeravaju i prošli period kao da je problematičan, a potrebno je mnogo više dokaza.

Bila je zanimljiva epizoda s kamerama. Odlučili smo prebrojati slijepe točke za svaki slučaj, nacrtali smo presjeke, izgradili dijagonale kutova gledanja na planu, i iznenada smo pronašli mrtvu točku od otprilike 30 centimetara na 15 metara, upravo u središtu jedne od dvorana. Uska i duga. U susjednoj dvorani takve nema. Ispostavilo se da se okretna kamera polako pomicala godinama, da je sada pokazivala otprilike jedan i pol stupanj lijevo od potrebnog krajnjeg položaja.

Osim toga, bilo je velikog slučaja u postu o popravnoj zamjeni DDI UPS-a..