Odmah ću reći: najvjerovatnije je pobjegao onaj pacov u donesenom serveru, kojem smo prije par godina dali čaj nakon strujnog udara. Jer smo jednom videli njenu prijateljicu na obilasku. I odmah smo odlučili da ugradimo ultrazvučne repelere.
Sada je oko data centra prokleta zemlja: nijedna ptica neće sletjeti na zgradu, a vjerovatno su sve krtice i crvi pobjegli. Bili smo zabrinuti zbog toga uzrok kvara HDD-a, ali provjereno, frekvencije nisu iste.
Sledeća priča je mnogo zabavnija. Jednom smo dobili komad hardvera za par miliona rubalja u kutiji sa senzorima nagiba, vibracija i vlažnosti. Sve je celo. Pažljivo je uklonjena ambalaža, a komad željeza je savijen. Mystic.
Telo je pravo u luku. Tako lijepo.
Detektive
Ovome ne bismo pridavali nikakav značaj, jer je zakrivljeno metalno kućište bilo gotovo dizajnerska slika. Tako lijepa, bez čipsa. A da nije bilo drugih sličnih komada hardvera u blizini, pri raspakiranju ne bismo ni pomislili da nešto nije u redu. Ali u blizini je bilo istih, samo pravilnijeg geometrijskog oblika.
Srećom, raspakivanje takvog hardvera je snimljeno (preporučam da svi steknu ovu naviku), pa smo uspjeli dokazati proizvođaču da je stigao ovakav. Netaknut paket i uredno savijeno tijelo nisu udarac za selidbe. Najvjerovatnije je bila povrijeđena i prije odlaska u Rusiju.
Prodavac kaže: "Uh, ljudi, hajde da vam ga odmah promijenimo pod garancijom." A onda nas je čekala epska zaseda.
Činjenica je da nam carina dozvoljava uvoz takve opreme sa dokumentima bez prava izvoza. Odnosno, možete ga donijeti, ali ga ne možete preprodati nekome izvan Rusije. Kada, na primjer, pošaljemo nazad izgorjelo napajanje, sve je jasno. Ovo je rezervni dio, napajanje.
A onda sam morao sve da pošaljem nazad:
- Ljudi, vidite, šaljemo komad hardvera nazad proizvođaču.
- Cela oprema?
- Da.
— Model takav i takav?
- Da.
- Može li raditi?
— Ne znamo, nismo ga uključili.
- Dakle, ovo je ceo komad opreme.
- Pa, ne radi.
- Pa, vidi, cela oprema je ovog modela. Nema prava na ponovni izvoz. Nećemo te pustiti unutra.
Općenito, bilo je dosta skvotiranja prije nego što smo shvatili da to ne izvozimo, nego vraćamo. Na kraju smo sve uspjeli.
Bilo je i navlaka za cipele
Prvo, prije mnogo godina, imali smo prvi automatski, san administratora. Tamo ubacite paket navlaka za cipele, on ih sam raspakuje, otvara i stavlja u poziciju da ih samo trebate zgaziti. Chp-chpk i gotovo.
Nakon otprilike šest mjeseci, prožvakala je oko sto paketa navlaka za cipele i ugušila se. Ispostavilo se da ima toliko pokretnih dijelova da ih ili moramo popravljati jednom mjesečno pod našim opterećenjem (imamo dosta inženjera kupaca koji šetaju po objektu, jer smo komercijalni data centar), ili moramo kupiti novi.
Drugi problem je što smo kasnije, tokom jednog od redovnih čišćenja, nekako pronašli „malu plavu krpu“ koja je visila na rešetki jednog od nosača našeg testiranja. Forenzičar, kojeg je zastupao inženjer X-Team-a, identifikovao je dio tijela navlake za cipele. Ispostavilo se da je zgodno nositi navlake za cipele na klinici: hodao sam okolo pola sata i to je sve. A neki inženjeri mogu raditi s hardverom cijeli dan. Mešanje nogu. Mnogo se meša. A navlake za cipele se troše u ove male komadiće koje lete po turbinskoj hali.
Gotovo odmah smo kupili novu navlaku za cipele. Uzeli smo termo futrolu za čizme: ovo je mašina u koju se puni film i pažljivo toplotno skuplja ovaj film na vrhu cipele. Prelepa, efektna, izdržljiva. Manje rasipanje. Imali smo ga dosta dugo, ali smo skupljajuću foliju morali mijenjati otprilike svakih 1-2 sata, jer je taban sam od sebe otpao.
Prvo smo mislili da nemamo sreće, ali ljudi nekako rješavaju ovaj problem. Ali ne. Pitali smo naše zapadne kolege - ista priča. Kao rezultat toga, počeli su razmišljati o tome kako to učiniti normalno. Povratak iz turbinske hale po nove navlake za cipele je, iskreno rečeno, ideja. Pronašli smo industrijska sredstva za čišćenje za gradilišta i industriju. To su nešto poput staza kojima smjena ulazi u radionicu. Staze sa gomilom valjaka čiste sve, a napravljene su tako da će hteli ili ne, uhvatiti i očistiti. Koštaju od pola miliona do milion rubalja. Iskopali smo i našli isti za 200 hiljada, ali moraš sam da staviš nogu. Po veličini je sličan mašini za poliranje cipela. Dođeš gore, gurneš nogu unutra, ona to sažvače i vrati čistu. Postavili su ga na ulaz u data centar.
Radi odlično osim dva problema. Prvi je da je brzo postalo jasno da je to normalno za nas inženjere. Ali u praksi, različiti ljudi dolaze u data centar da pogledaju, uključujući i najviše rukovodioce velikih kompanija. Sa cipelama od kože od zmajevog magarca. A čak i za nanošenje kreme na cipele, njihova četkica košta više od mojih patika za trening, posebno biraju čekinje. Oni su odbili da stave svoje noge u našu čudesnu spravu. Drugi problem se pojavio zimi: kada su cipele zaista neuredne, ne mogu sve izvući iz dubokog gazećeg sloja. Zatim hodate po sali, ostavljajući tragove ektoplazme.
Odlučili smo jednostavno. Pored njega smo stavili smotanu navlaku za cipele. Svejedno, moramo sve duplicirati po standardu.
Pojavio se novi problem. Posmatrajući ponašanje inženjera kupaca, vidjeli smo sljedeću sliku: oni su prvo zaboli noge u mašinu radi čišćenja, a zatim zakačili navlake za cipele sa namotane navlake. Sada su postavili znak da je ili jedno ili drugo, i bolje je da se očistite, ali ako životni principi zabranjuju čišćenje cipela, onda nosite navlake za cipele. Izgleda da je karta, koja je bila par dana, ali je dugo trajala, zatvorena. Evo uređaja:
"ku" dva puta
Prema zahtevima PCI DSS-a, morate biti u stanju da vizuelno razlikujete uloge ljudi koji se nalaze u data centru. Ne gledajući izbliza u propusnicu i čitajući nešto tamo, već direktno vizuelno, kao vojnici se razlikuju po naramenicama, samo još sjajnije. Odlučili smo da se ne hvalimo i koristili smo stari dobri Chatlan metod - razlikovanje pantalona u boji. Konkretno, počeli su da prave prolazne trake različitih boja. Naši administratori su odmah uzeli Green kao svog favorita.
Zvuči jednostavno, ali je izazvalo tri neočekivana efekta:
- Retraktori su bili potrebni za automatsko uvlačenje ovih pasova kada se nose (to su stvari koje same regulišu dužinu trake). Napisali smo tehničku specifikaciju koja je uzela u obzir sve želje svih odjela. Ovo je bila strateška greška. Boja, format, materijal, retraktor nije plastični, konopac je od metala za nanošenje logotipa tako da se ušije u traku. Ispostavilo se da su komadi toliko skupi da smo onda morali smanjiti zahtjeve i promijeniti format.
- Kada je diferencijacija pantalona počela raditi, postalo je vrlo zgodno. Izvođači imaju neke trake, vanjski administratori imaju druge, a naši administratori imaju druge. Vidi se ko ima koju ulogu. Za elektriku - samo sive, za klimu - plave. A onda su nam bile potrebne trake za vozače (ovo je posebna uloga, oni mogu ući u prostor za istovar, ali ga ne mogu izaći osim izvana). Vozačima nije potrebna propusnica. Prvo smo im davali trake bez propusnica. Tada su zaštitari zaključili da je to potpuno čudno i ponižavajuće ljudsko dostojanstvo vozača. Oni imaju svoju vojnu logiku, pa sada vozači dolaze po propusnice odmah sa trakom, ali im ova propusnica ne dozvoljava da idu nigdje. Sa stanovišta obezbjeđenja, ispada da je to oznaka da je obezbjeđenje provjerilo ovu osobu.
- Jedan od naših inženjera je predložio da umjesto trake napravite zelene uniformne džempere. I poslao je prijedlog racionalizacije. Učinili su to na pola puta: ostavili su propusnice sa trakom, plus zapravo su sašili zelene uniforme. Sada imamo uniformu administratora. Zaštitari su podržali šalu i uvrstili je u propise. Sada je to obavezno (hlače, košulja, džemper, ali džemper se može skinuti).
Naši kupci su se također često žalili na krive rute na kartama prije ulaska u naš Compressor data centar. Upisujete adresu, ali je cesta pogrešno prikazana. Posetioci su na kraju taksirali u pogrešnom pravcu, jer je tu bila pruga, a iza nje je bila gužva i nije se moglo skrenuti. Prvo smo hteli da postavimo znakove iznad puta. Grad ima takvu uslugu - postavite žute dodatne znakove ispod uobičajenih znakova, oni se smatraju reklamom. A cijena im je kao reklama: na Entuziastovskoj magistrali jedan znak košta milion rubalja godišnje. Istovremeno smo pisali Yandexu, a oni su čak iznenada odgovorili. I prestali su da se ponašaju. Možete čak odrediti i gejt diode: ulaz kroz neke, izlaz kroz druge.
Gugl, ako nas čitaš, znaj: i dalje imaš problem, a mi ne znamo kome da kažemo o tome da se čujemo.
Pozivna pisma su sadržavala veze ne samo do adrese, već i do adrese s rutom zasnovanom na geolokaciji korisnika. Kao rezultat toga, bilo je manje promašaja.
Gobo projektori i druge sitnice
Znate li šta su gobo projektori? Ni mi nismo znali. Nekako smo razmišljali kako da označimo redove regala. Sami stalci su, naravno, označeni posebnim oznakama za brzo otpuštanje, ali se mogu vidjeti s udaljenosti od 1-2 metra. Sama hala ima 500 m40, tako da ima dovoljno prostora da se izgubite. Stoga smo konačno počeli obilježavati redove. Počela je ideja. Kako označiti, čime i gdje? Na podu, na zidu, natpisi na plafonu itd. A onda je naš kolega vidio da su u Ikei nekada bile naljepnice koje se troše po podu, a onda su se pojavile svijetle strelice. Pa, odlučili smo da to preokrenemo na jednostavan način: idite u Ikeu i okrenite jedan od projektora da pogledate. Nismo ga mogli dobiti: dok smo nosili stolice, prodavac je pitao šta radimo. I odmah je pomogao, rekavši da je to gobo. Ispostavilo se da ovo nije sam projektor, već ploča ili leća za sliku u boji. Ovaj filter je gobo. Jedan projektor košta od 14 hiljada rubalja (postoji snažna lampa za dnevnu upotrebu), a imamo XNUMX redova u svakoj od četiri mašinske sobe. Zato na njega stavljamo naljepnice.
Imamo i dijagrame na zidovima koji blede tokom godina. Promenili smo ih u laminirane, sa posebnim “ušivenim” džepovima za revizore. U našem slučaju, Inspektor je glavni inženjer, čije odgovornosti uključuju provjeru relevantnosti svih shema koje se nalaze u data centru. Dakle, sve šeme moraju biti provjerene godišnje i potpisane od strane takvog revizora. A prisutnost posebnog malog magazina u džepu dijagrama olakšava ovu proceduru i ne zahtijeva zamjenu samog dijagrama svake tri godine. Profit!
Radili smo rotaciono čišćenje podignutog poda vani. Imamo redovna čišćenja, imamo metode i vrijeme čišćenja. Ali kotači teških nosača ostavljaju tragove. Uradili smo čišćenje. Sad smo nervozni: ne izgleda mnogo urednije, ali su se iz određenih uglova pojavili vrhunci za određene ljude, pa, koji imaju svoje flomastere po svom ukusu. Sada razmišljamo o tome i tražimo neku vrstu hemikalije koja će izbijeliti pod i dodati sjaj. Tako da ni odabrani nemaju pitanja.
Jeste li vidjeli police za konzole? Ovo su kao putujući bife stolovi, ali umjesto pića postoji terminal za spajanje na stalak. Dakle, na ovim konzolnim policama točkovi otpadaju i zaglavljuju se, kao kolica u supermarketu. Nevjerovatno smo siti. Kao rezultat toga, jedini mogući način da ga oživite je kupovina novog točka. Ali više nije bilo moguće nabaviti točkove posebno za naše modele, intervjuisali smo sve izvođače. Kao rezultat toga, sami smo dizajnirali stalak, fokusirajući se na lakoću kretanja po mašinskoj prostoriji i mogućnost održavanja. Uspjelo je jako dobro.
Bila je priča sa sintetičkim čarapama. Postoji takva stvar - antistatičke narukvice. Ovo je kada odete do stalka, spojite narukvicu sa uzemljenjem na rack-u i ona komunicira sa sistemom za izjednačavanje potencijala. Dakle, stalak je uzemljen, ali može se ispostaviti da inženjer nije uzemljen. Kolege sa prijašnjih radnih mjesta ispričale su nam kako su par puta vidjeli varnice na video nadzoru, a mi smo odlučili, iz grijeha, obavezati sve da ga direktno koriste po propisima.
Kritični incidenti
Ozbiljnije rečeno, došlo je do situacije u kojoj su svi rashladni uređaji bili prekinuti odjednom. Naši rashladni uređaji nisu zaštićeni UPS-om, jer vjerujemo u fiziku, a kao temperaturnu rezervu imamo bazen hladne vode. Ako se nešto ugasi, ne trebaju vam baterije za napajanje rashladnih uređaja koji hlade vodu, već jednostavno sama hladna voda, već spremna. Zgodno i jednostavno, ali postoji nijansa. Rashladni uređaji su opremljeni automatskom sigurnosnom opremom koja ih isključuje u slučaju opasnih parametara električne mreže. Ako je ulaz isključen, uključujemo dizel generatorski set, a zatim se iz njih napajaju rashladni uređaji. Sve bi bilo u redu da ne živimo u Rusiji. Mnogo puta smo imali prekide mreže, ali sve je bilo u redu. Ali jednog dana došlo je do oštrog skoka, prvo naniže, zatim naglo gore, pa opet dolje - za nekoliko sekundi ulazni parametri su se promijenili oko 4 puta. Hladnjaci su se, naravno, isključili. Prvo smo pokušali da ih uključimo na daljinu, ali su se zaštitili vrlo pouzdano, kao hitno. Smjena je morala hodati s nogama na krovu i ručno ih uključivati. Ono što je bitno, prema TierIII standardu, takva situacija je legitiman razlog za gašenje data centra. Nismo imali stajanja, jer su ljudi glavama na zemlji, a tu je i vježba sa vježbama. Zbog toga nas je UI jednostavno redovno zajebavao, da bismo bili sigurni u TIII Operational. Ako ništa drugo, prošli smo recertifikaciju korisničkog interfejsa na TIII Gold – Operativna održivost. Na ruskom komercijalnom tržištu data centara nema ništa kul, osim našeg, samo jedan ima isto dostignuće . Napominjem da je recertifikacija teža od dobijanja sertifikata od nule, jer provjeravaju prethodni period kao da niste sami, a potrebno je mnogo više dokaza.
Desio se zanimljiv incident sa kamerama. Odlučili smo da za svaki slučaj preračunamo mrtve uglove, nacrtali raskrsnice, ucrtali dijagonale uglova gledanja na plan i odjednom smo naišli na slijepu tačku od oko 30 centimetara sa 15 metara tačno u centru jedne od sala. Uzak i dug. Toga nema u susjednoj prostoriji. Ispostavilo se da se rotirajuća kamera polako pomerala tokom godina tako da je počela da pokazuje oko jedan i po stepen ulevo nego što bi trebalo u ekstremnom položaju.
U postu se dogodio još jedan veliki incident .
reference
- и
- moj mail: [email zaštićen]
izvor: www.habr.com