Odmah ću reći: onaj štakor u donesenom poslužitelju, kojemu smo prije nekoliko godina nakon strujnog udara dali čaj, najvjerojatnije je pobjegao. Jer jednom smo vidjeli njezinu prijateljicu na rundi. I odmah smo odlučili instalirati ultrazvučne odbijače.
Sada je oko podatkovnog centra prokleta zemlja: ptice neće sletjeti na zgradu, a vjerojatno su svi krtice i crvi pobjegli. Bili smo zabrinuti da uzrokuje kvar HDD-a, ali provjereno, frekvencije nisu iste.
Sljedeća priča je mnogo zabavnija. Jednom smo dobili hardver za nekoliko milijuna rubalja u kutiji sa senzorima nagiba, vibracija i vlage. Sve je cijelo. Pažljivo skinuo ambalažu, a komad željeza je bio savijen. mistik.
Tijelo je ravno u luku. Tako lijepo.
Detektiv
Ovome ne bismo pridavali nikakvu važnost jer je zakrivljeno metalno kućište bilo gotovo dizajnerska slika. Tako lijepa, bez čipsa. I da nije bilo drugih sličnih dijelova hardvera u blizini, ne bismo ni pomislili prilikom raspakiranja da nešto nije u redu. Ali u blizini su bili isti, samo s pravilnijim geometrijskim oblikom.
Srećom, raspakiranje takvog hardvera se snima (preporučam svima da steknu tu naviku), pa smo uspjeli dokazati proizvođaču da je tako i stigao. Netaknuti paket i uredno savijeno tijelo nisu udarac pokretača. Najvjerojatnije je ozlijeđena i prije odlaska u Rusiju.
Prodavač kaže: "Uh, ljudi, hajde da vam to odmah promijenimo pod garancijom." A onda nas je čekala epska zasjeda.
Činjenica je da nam carina dopušta uvoz takve opreme s dokumentima bez prava na izvoz. Odnosno, možete ga donijeti, ali ga ne možete preprodati nekome izvan Rusije. Kad npr. pošaljemo pregorjelo napajanje, sve je jasno. Ovo je rezervni dio, napajanje.
A onda sam sve morao poslati natrag:
- Ljudi, gledajte, šaljemo hardver natrag proizvođaču.
- Cijela oprema?
- Da.
— Model takav i takav?
- Da.
- Može li raditi?
— Ne znamo, nismo ga uključili.
- Dakle, ovo je cijeli komad opreme.
- Pa, ne ide.
- Pa gledajte, cijela oprema je ovog modela. Nema prava na ponovni izvoz. Nećemo te pustiti unutra.
Općenito, bilo je dosta skvotanja prije nego što smo shvatili da to ne izvozimo, nego vraćamo. Na kraju smo sve uspjeli napraviti.
Bilo je i navlaka za cipele
Prvo, prije mnogo godina, imali smo prvi automatski, san administratora. Ubaciš tu paket navlaka za cipele, ono ih samo raspakira, otvori i stavi u položaj da samo trebaš stati na njih. Chp-chpk i gotovo je.
Nakon otprilike šest mjeseci prožvakala je stotinjak paketa navlaka za cipele i ugušila se. Ispostavilo se da ima toliko mnogo pomičnih dijelova da ih ili trebamo popraviti jednom mjesečno pod našim opterećenjem (imamo mnogo inženjera kupaca koji hodaju po objektu, jer smo komercijalni podatkovni centar), ili moramo kupiti novi.
Drugi problem je što smo kasnije, tijekom jednog od redovitih čišćenja, nekako pronašli “malu plavu krpicu” kako visi na rešetki jednog od regala našeg testiranja. Forenzički vještak, kojeg je zastupao inženjer X-tima, identificirao je fragment tijela navlake za cipele. Ispostavilo se da je zgodno nositi navlake za cipele u klinici: šetao sam okolo pola sata i to je sve. A neki inženjeri mogu raditi s hardverom cijeli dan. Miganje nogama. Puno miješanja. A navlake za cipele se istroše u ove male komadiće koji lete po turbinskoj dvorani.
Skoro odmah smo kupili novu navlaku za cipele. Uzeli smo termalnu kutiju za čizme: to je stroj u koji se puni folija, koja pažljivo toplinski skuplja tu foliju na vrhu cipele. Lijepa, učinkovita, postojana. Manje razbacivanja. Imali smo ga dosta dugo, ali smo morali mijenjati termoskupljajuću foliju otprilike svakih 1-2 sata, jer je potplat znao sam otpasti.
Prvo smo mislili da nemamo sreće, ali ljudi nekako rješavaju taj problem. Ali ne. Pitali smo naše zapadne kolege - ista priča. Kao rezultat toga, počeli su razmišljati kako to ispravno učiniti. Povratak iz turbinske hale po nove navlake za cipele je, iskreno, ideja kako-tako. Pronašli smo industrijska sredstva za čišćenje za gradilišta i industriju. To su nešto poput staza kojima smjena ulazi u radionicu. Staze s hrpom valjaka čiste sve, a napravljene su tako da hoćete li ili nećete uhvatit će i očistiti. Koštaju pola milijuna do milijun rubalja. Kopali smo i našli isti takav za 200 tisuća, ali u njega morate sami stati. Po veličini je sličan stroju za poliranje cipela. Priđeš, gurneš nogu unutra, ona je žvače i vrati ti je čistu. Postavili su ga na ulazu u podatkovni centar.
Radi odlično osim dva problema. Prvi je da se vrlo brzo pokazalo da je to za nas inženjere normalno. Ali u praksi, različiti ljudi dolaze pogledati u podatkovni centar, uključujući najviše rukovodioce velikih tvrtki. S cipelama od kože zmajevog magarca. Pa čak i za nanošenje kreme na cipele, njihova četkica košta više od mojih tenisica, posebno biraju vlakna. Oni su bili ti koji su odbili staviti svoje noge u našu čudesnu napravu. Drugi problem pojavio se zimi: kad su cipele jako neuredne, ne mogu sve izvući iz dubokog gazišta. Zatim hodate po dvorani ostavljajući tragove ektoplazme.
Odlučili smo jednostavno. Uz njega smo stavili smotanu navlaku za cipele. Svejedno, moramo duplicirati sve prema standardu.
Pojavio se novi problem. Promatrajući ponašanje inženjera kupaca, vidjeli smo sljedeću sliku: prvo su zabili noge u stroj za čišćenje, a zatim zakačili navlake za cipele s smotane navlake za cipele. Sada su postavili znak da je ili jedno ili drugo, i bolje je čistiti se, ali ako životna načela zabranjuju čistiti cipele, onda nosite navlake za cipele. Čini se da je listić koji je bio par dana, ali je dugo trajao, zatvoren. Evo uređaja:
"ku" dva puta
Prema zahtjevima PCI DSS-a, morate moći vizualno razlikovati uloge ljudi koji se nalaze u podatkovnom centru. Ne gledajući pomno u propusnicu i tamo nešto čitajući, već direktno vizualno, kao što se vojna lica međusobno razlikuju po naramenicama, samo još svjetlije. Odlučili smo se ne razmetati i poslužili smo se dobrom starom Chatlanovom metodom - razlikovanjem hlača u boji. Naime, počeli su izrađivati vrpce za propusnice različitih boja. Naši admini su odmah uzeli Green kao favorita.
Zvuči jednostavno, ali izazvalo je tri neočekivana učinka:
- Retraktori su bili potrebni za automatsko uvlačenje ovih prolaza kada se nose (to su stvari koje same reguliraju duljinu trake). Napisali smo tehničku specifikaciju koja je uvažila sve želje svih odjela. Ovo je bila strateška pogreška. Boja, format, materijal, retraktor nije plastičan, struna je metalna za nanošenje loga tako da je ušiven u traku. Ispostavilo se da su dijelovi toliko skupi da smo morali smanjiti zahtjeve i promijeniti format.
- Nakon što je razlikovanje hlača počelo funkcionirati, postalo je vrlo zgodno. Izvođači imaju neke vrpce, vanjski administratori imaju druge, a naši administratori imaju treće. Vidi se tko ima kakvu ulogu. Za elektriku - samo sive, za klimu - plave. I onda su nam trebale vrpce za vozače (ovo je posebna uloga, oni mogu ući u prostor za istovar, ali ne mogu iz njega izaći osim izvana). Vozačima nije potrebna propusnica. Prvo smo im dali vrpce bez propusnica. Tada su zaštitari zaključili da je to potpuno čudno i ponižavajuće za ljudsko dostojanstvo vozača. Imaju oni svoju vojničku logiku, pa sada vozači odmah dolaze po propusnicu s vrpcom, ali im ta propusnica ne dopušta nigdje. Sa stajališta sigurnosti, ispada da je to oznaka da je sigurnost provjerila tu osobu.
- Jedan od naših inženjera predložio je izradu zelenih jednoobraznih džempera umjesto vrpce. I poslao je prijedlog racionalizacije. Učinili su to napola: ostavili su propusnice s vrpcom, plus zapravo su sašili zelene uniformne pulovere. Sada imamo administrativnu uniformu. Zaštitari su podržali šalu i uvrstili je u propise. Sada je obavezno (hlače, košulja, džemper, ali džemper se može skinuti).
Naši su se korisnici također često žalili na krive rute na kartama prije ulaska u naš podatkovni centar Compressor. Upisujete adresu, ali se cesta netočno prikazuje. Posjetitelji su na kraju taksirali u krivom smjeru, jer je tamo bila željeznička pruga, a iza nje je bila gužva i tu se nije moglo okrenuti. Prvo smo htjeli postaviti znakove iznad ceste. Grad ima takvu uslugu - postavite žute dodatne znakove ispod uobičajenih znakova, oni se smatraju oglašavanjem. A cijena im je poput reklame: na autocesti Entuziastov jedan znak košta milijun rubalja godišnje. Istovremeno smo pisali Yandexu, a oni su čak iznenada odgovorili. I prestali su glumiti. Možete čak odrediti diode vrata: ulaz kroz neke, izlaz kroz druge.
Google, ako nas čitaš, onda znaj: još uvijek imaš problem, a mi ne znamo kome da kažemo o tome da nas se čuje.
Pozivna pisma sadržavala su poveznice ne samo na adresu, već i na adresu s rutom temeljenom na geolokaciji korisnika. Samim time bilo je manje promašaja.
Gobo projektori i ostale sitnice
Znate li što su gobo projektori? Nismo ni mi znali. Nekako smo razmišljali o tome kako označiti redove regala. Sami stalci, naravno, označeni su posebnim oznakama za brzo otpuštanje, ali se mogu vidjeti s udaljenosti od 1-2 metra. Sama dvorana ima 500 m40, tako da ima dovoljno mjesta za izgubiti se. Stoga smo konačno počeli označavati redove. Počela je mozgalica. Kako obilježiti, čime i gdje? Na podu, na zidu, natpisi na stropu itd. A onda je naš kolega vidio da su u Ikei na podu bile naljepnice koje su se istrošile, a onda su se pojavile svijetle strelice. Pa, odlučili smo to preokrenuti na jednostavan način: otići u Ikeu i okrenuti jedan od projektora da pogledate. Nismo ga mogli nabaviti: dok smo nosili stolice, prodavač je pitao što radimo. I odmah je pomogao rekavši da je gobo. Ispostavilo se da ovo nije sam projektor, već ploča ili leća za sliku u boji. Ovaj filter je gobo. Jedan projektor košta od 14 tisuća rubalja (postoji snažna svjetiljka za dnevnu upotrebu), a imamo XNUMX redova u svakoj od četiri strojarnice. Zato smo nalijepili naljepnice.
Imamo i dijagrame na zidovima koji s godinama blijede. Promijenili smo ih u plastificirane, s posebnim “ušivenim” džepovima za revizore. U našem slučaju, Inspektor je glavni inženjer, čije odgovornosti uključuju provjeru relevantnosti svih shema koje se nalaze u podatkovnom centru. Dakle, sve sheme moraju biti provjerene godišnje i potpisane od strane takvog revizora. A prisutnost posebnog malog časopisa u džepu dijagrama olakšava ovaj postupak i ne zahtijeva zamjenu samog dijagrama svake tri godine. Dobit!
Napravili smo rotacijsko čišćenje podignutog poda izvana. Imamo redovita čišćenja, imamo metode i termine čišćenja. Ali kotači teških nosača ostavljaju tragove. Mi smo čistili. Sada smo nervozni: ne izgleda puno urednije, ali su se iz određenih kutova pojavili odsjaji za određene ljude, dobro, koji imaju svoje flomastere po svom ukusu. Sada razmišljamo o tome i tražimo neku vrstu kemikalije koja će izbijeliti pod i dodati mu sjaj. Tako da ni odabrani nemaju pitanja.
Jeste li vidjeli nosače konzola? Ovo su poput putujućih švedskih stolova, ali umjesto pića postoji terminal za spajanje na stalak. Dakle, na tim konzolnim policama kotači otpadaju i zaglavljuju se, kao kolica u supermarketu. Nevjerojatno smo siti. Kao rezultat toga, jedini mogući način da ga oživite je kupnja novog kotača. Ali više nije bilo moguće nabaviti kotače posebno za naše modele; intervjuirali smo sve izvođače. Kao rezultat toga, sami smo dizajnirali stalak, fokusirajući se na lakoću kretanja po strojarnici i lakoću održavanja. Ispalo je vrlo dobro.
Bila je priča sa sintetičkim čarapama. Postoji takva stvar - antistatičke narukvice. To je kada odete do stalka, spojite narukvicu na masu na stalku i ona komunicira sa sustavom za izjednačavanje potencijala. Dakle, stalak je uzemljen, ali može se ispostaviti da inženjer nije uzemljen. Kolege s prijašnjih radnih mjesta ispričali su nam kako su nekoliko puta vidjeli iskre na videonadzoru, a mi smo iz grijeha odlučili sve obvezati da ga koriste izravno prema propisima.
Kritični incidenti
Što je još ozbiljnije, došlo je do situacije u kojoj su svi rashladni uređaji bili odsječeni odjednom. Naši rashladni uređaji nisu zaštićeni UPS-om, jer vjerujemo u fiziku, a imamo bazen hladne vode kao temperaturnu rezervu. Ako nešto nestane, ne trebaju vam baterije za napajanje hladnjaka koji hlade vodu, već jednostavno sama hladna voda, već spremna. Zgodno i jednostavno, ali postoji nijansa. Rashladnici vode opremljeni su automatskom sigurnosnom opremom koja ih isključuje u slučaju opasnih parametara električne mreže. Ako je ulaz isključen, uključujemo dizel agregat, a zatim se iz njih napajaju rashladni uređaji. Sve bi bilo u redu da ne živimo u Rusiji. Mnogo smo puta imali ispad mreže, ali sve je bilo u redu. Ali jednog dana došlo je do oštrog skoka, prvo prema dolje, zatim naglo gore, pa opet dolje - u nekoliko sekundi ulazni parametri su se promijenili oko 4 puta. Hladnjaci su se isključili, naravno. Prvo smo ih pokušali upaliti na daljinu, ali su se zaštitili vrlo pouzdano, kao hitni slučaj. Smjena je morala hodati s nogama po krovu i uključiti ih ručno. Ono što je bitno, prema TierIII standardu takva situacija je legitiman razlog za gašenje podatkovnog centra. Nismo imali stajanje, jer ljudi su glavom na zemlji, a tu je dril s vježbama. Za ovo nas je UI jednostavno zajebavao redovito, da budemo sigurni u TIII Operational. Ako ništa drugo, prošli smo recertifikaciju korisničkog sučelja na TIII Gold - Operational Sustainability. Na ruskom komercijalnom tržištu podatkovnih centara nema ničeg hladnijeg, osim našeg, samo jedan ima isto postignuće . Napominjem da je recertifikacija teža od dobivanja certifikata od nule, jer oni provjeravaju prethodni period kao da niste sami, a potrebno je puno više dokaza.
S kamerama se dogodila zanimljiva zgoda. Odlučili smo za svaki slučaj preračunati mrtve kutove, iscrtali raskrižja, ucrtali dijagonale kutova gledanja na plan i odjednom smo točno u središtu jedne od dvorana pronašli mrtvi kut veličine 30-ak centimetara sa 15 metara. Uzak i dug. U susjednoj sobi toga nema. Ispostavilo se da se rotirajuća kamera tijekom godina polako pomicala pa je počela pokazivati otprilike jedan i pol stupanj ulijevo nego što bi trebala u krajnjem položaju.
U postu se dogodio još jedan veliki incident .
reference
- и
- Moj mail: [e-pošta zaštićena]
Izvor: www.habr.com