Uzreiz teikšu: tā pele, kas atradās piegādātajā serverī, kuru mēs pirms pāris gadiem padzirdījām ar tēju pēc elektrības trieciena, visticamāk, ir aizbēgusi. Jo kādu dienu mēs, veicot apskati, pamanījām viņas draudzeni. Un tūlīt nolēmām uzstādīt ultraskaņas dzirdes atbaidītājus.
Tagad apkārt datu centram ir nolādēta zeme: uz ēkas nesēžas putni, un, iespējams, ir aizbēguši visi krupji un tārpi. Mēs uztraucāmies, ka izraisīt HDD darbības traucējumus, bet pārbaudījām, frekvences nav tās.
Nākamā stāsts ir daudz jautrāks. Mēs kādreiz saņēmām aparātu par pāris miljoniem rubļu kastē ar slīpuma, vibrācijas un mitruma sensoriem. Viss vesels. Rūpīgi noņēmām iepakojumu, bet aparāts bija izliekties. Noslēpums.
Korpuss ir tieši arku formas. Skaisti tā.
Detektīvs
Mēs neizdarītu lielu nozīmi šai, jo izliektā metāla korpuss bija gandrīz dizaina darbs. Skaisti tā, bez čipsiem. Un, ja nebūtu blakus citiem līdzīgiem aparātiem, mēs iepakošanas laikā pat nedomātu, ka kaut kas nav kārtībā. Bet blakus bija līdzīgi, tikai ar pareizu ģeometrisko formu.
Par laimi, šādu aparātu iepakošana tiek filmēta (iesaku visiem pieņemt šo ieradumu), tāpēc izdevās pierādīt ražotājam, ka tāds viņš ieradās. Vesela iepakojuma un rūpīgi izliektu korpuss — tas nav kravas strādnieku trieciena rezultāts. Visticamāk, tā bojāts pat pirms iziešanas uz Krieviju.
Piegādātājs saka: "Eee, puiši, varbūt mēs viņu uzreiz garantijas kārtībā nomainām." Un tad mūs gaidīja episkā joks.
Problēma ir tāda, ka muitas iestādes atļauj ievest mums šādu aprīkojumu pēc dokumentiem bez eksporta tiesībām. Tas ir, var piegādāt, bet pārdot kādam ārpus Krievijas nedrīkst. Kad mēs sūtām atpakaļ bojātu barošanas bloku, piemēram, viss ir skaidrs. Tas ir rezerves daļa, barošanas bloks.
Bet te bija nepieciešams atgriezt visu:
— Puiši, skatieties, mēs atdodam aparātu ražotājam.
— Aprīkojums pilnībā?
— Jā.
— Modelis ir tāds?
— Jā.
— Var darboties?
— Nezinām, nenovērām.
— Tātad, tas ir vesels aprīkojums.
— Bet viņš taču nedarbojas.
— Bet skatieties, vesels aprīkojums šādai modelim. Bez reekspporta tiesībām. Nepalaidīsim.
Kopumā bija daudz sarakstes, pirms sapratām, ka mēs to neeksportējam, bet atdodam atpakaļ. Beigās izdevās visu izdarīt.
Vēl bija apavu maiņas ierīces.
Mums pirms daudziem gadiem bija pirmā automātiskā, admina sapnis. Tu ieliec tur vienreizējas kājiņas iepakojumos, tā pati tās izsaiņo, atver un novieto tā, lai vienkārši varētu nostāties. Čirk, čirk, un gatavs.
Aptuveni pēc pusgada tā bija pārstrādājusi apmēram simt iepakojumu kājiņu un nosmērējās. Izrādījās, tur bija tik daudz kustīgu daļu, ka to vajadzēja vai nu remontēt reizi mēnesī ar mūsu slodzi (mums ir ļoti daudz inženieru-pasūtītāju objektā, jo mēs esam komerciāls datu centrs), vai arī jāiegādājas jauna.
Otrā problēma ir tā, ka pēc vienas no regulārajām tīrīšanām mēs kādā brīdī atradām "zilo lupatiņu", kas bija izsists uz restes pie viena no testēšanas stendiem. Tiesu medicīnas eksperts inženiera personā no x-komandas atpazina kājiņas fragmentu. Izrādījās, ka poliklīnikā ar kājiņām ir ērti: pusstundas pastaiga — un viss. Bet daži inženieri var strādāt visu dienu ar dzelžiem. Šļūcot kājām. Ļoti šļūcot. Un kājiņas, tajā pašā laikā, nolietojas līdz šiem maziem lupatu gabaliņiem, kas lido pa mašīnu zāli.
Mēs gandrīz uzreiz iegādājāmies jaunu kājiņu mašīnu. Izvēlējāmies termo-kājiņu mašīnu: tas ir aparāts, kurā ievieto plēvi, un tas to rūpīgi termoizsēpina uz kurpes. Skaisti, efektīvi, izturīgi. Mazāk izsista. Pietiekami ilgi tā pie mums stāvēja, bet vajadzēja aptuveni reizi 1-2 stundām mainīt termoizsēpēšanas plēvi, jo zolīte bija tendence atslābt.
Mēs sākumā domājām, ka mūs neiet kā jāiet, bet cilvēkiem kādā veidā šī problēma risinās. Bet nē. Pajautājām rietumu kolēģiem — tā pati stāsts. Rezultātā sākām domāt, kā to izdarīt normāli. Atgriezties no mašīnu zāles pēc jaunām kājiņām — ideja, atklāti sakot, tāda nav nekāda. Atradām rūpnieciskos tīrītājus būvniecības un ražošanas vietās. Tas ir kaut kas līdzīgs celiņiem, pa kuriem maiņa iekļūst darbnīcā. Celiņi ar kaudzi rullīšu tīra visu, un ir izgatavoti tā, ka tu gribi vai negribi — noķers un notīrīs. Tie maksā pusmiljonu-miljonu rubļu. Mēs pakopisām un atradām tādu pašu par 200 tūkstošiem, bet kāju iekšā jāieliek pašam. Pa izmēriem līdzīgs apavu tīrīšanas mašīnai. Tu pieej, ieliec kāju, tā to izsako un atdod atpakaļ tīrā.
Darbojas lieliski, izņemot divus nianses. Pirmā - diezgan ātri noskaidrojām, ka mums, inženieriem, tas ir normāli. Bet praksē datu centros ierodas dažādi cilvēki, starp kuriem ir arī lielu uzņēmumu vadītāji. Ar apaviem, kas izgatavoti no pūķa ādas. Un viņiem pat krēma uzklāšanai uz apaviem birste maksā dārgāk nekā mani treniņu sporta apavi, viņi tur speciāli izvēlas vārdus. Tieši viņi atteicās ielikt kājas mūsu brīnumierīcē. Otrā problēma radās ziemā: kad apavi ir tieši tādā netīrumā, viņi var neiztīrīt visu no dziļiem protektoriem. Pēc tam tu staigā pa zāli un atstāj ekto-plazmas pēdas.
Mēs atrisinājām vienkārši. Novietojām blakus rullīšu vāciņu turētāju. Jebkurā gadījumā mums viss ir jāduplikē saskaņā ar standartu.
Radās jauna problēma. Novērojot inženieru-pasūtītāju uzvedību, mēs redzējām šādu ainu: vispirms viņi ielika kāju tīrīšanas mašīnā, pēc tam uzlika vāciņus no rullīšu vāciņu turētāja. Tagad esam piekarinājuši zīmi, ka jāizvēlas vai nu viens, vai otrs, un labāk ir notīrīt, bet ja dzīves principi aizliedz tīrīt apavus, tad jāvalkā vāciņi. Izskatās, ka biļete, kas bija pāris dienām, ir izstiepusies ilgi. Lūk, ierīce:
Divas reizes "ku"
Atbilstoši PCI DSS prasībām ir jābūt iespējai vizuāli atšķirt cilvēku lomas, kas atrodas datu centrā. Nevis pievēršot uzmanību ieejas kartei un lasot tur kaut ko, bet tieši vizuāli, kā militārie viens otru atšķir pēc plecu zīmēm, tikai pat spožāk. Mēs nolēmām nesākt izsist un izmantojām veco labo čatlanu metodi - krāsu diferenciāciju biksēm. Konkrēti - sākām veidot dažādu krāsu ieejas karšu lentes. Zaļā, kā mūsu iecienītā, tūlīt paņēma mūsu administratoriem.
Izskatās vienkārši, bet tas izsauca trīs negaidītus efektus:
- Bija nepieciešami retraktori automātiskai šo ieejas karšu ietilpināšanai valkāšanas laikā (tie ir tādi priekšmeti, kas paši regulē lentes garumu). Mēs uzrakstījām tehnisko uzdevumu, kurā ņēmām vērā visu departamentu vēlmes. Tas bija stratēģisks kļūda. Krāsa, formāts, materiāls, retraktors nav plastmasas, aukla no metāla, lai logo uzklātu, lai tas būtu iestrādāts lentē. Šie priekšmeti izrādījās tik dārgi, ka nācās vēlāk samazināt prasības un mainīt formātu.
- Kad bikses sāka atšķirties, viss kļuva ļoti ērti. Pie apakšuzņēmējiem ir vienas lentas, pie ārējiem administratoriem citas, pie mūsu administratoriem trešās. Redzams, kurai loma ir kāda. Elektrībā — tikai pelēki, kondicionēšanā — zili. Un šeit bija vajadzīgas lentas šoferiem (tas ir atsevišķa loma, viņi var iet iekrāvēju zonā, bet nevar to atstāt, izņemot uz āru). Šajā gadījumā šoferiem nav nepieciešamas caurlaides. Sākumā mēs viņiem devām lentas bez caurlaidēm. Pēdējā laikā drošības dienests nolēma, ka tas ir pavisam dīvaini un pazemo šoferu cilvēka cieņu. Viņiem ir sava militārā loģika, tāpēc tagad šoferi nāk saņemt caurlaidi uzreiz ar lentu, bet šī caurlaide nedaudz nekur neļauj iet. No apsardzes viedokļa tas izskatās kā marķieris, ka apsardze šo cilvēku ir pārbaudījusi.
- Viena no mūsu inženieriem ieteica ietvara vietā izgatavot formas svīterus zaļā krāsā. Un nosūtīja racionalizējošu priekšlikumu. Mēs izpildījām pusi: caurlaides ar lentu atstājām, plus vēl tiešām uzšūti zaļi formas svīteri. Tagad mums ir administratora forma. Drošības darbinieki atbalstīja joku un iekļāva to noteikumos. Tagad tā ir obligāta (bikses, krekls, svīteris, bet svīteri var novilkt).
Mūsu klienti bieži sūdzējās par nepareiziem ceļiem kartēs līdz iebraukšanai mūsu datu centrā "Kompressors". Ievadi adresi, bet ceļš tiek parādīts nepareizi. Apmeklētāji beigās nogriežas ne tur, jo tur ir dzelzceļš, un aiz tā ir sastrēgums, un tur nav iespēju pagriezties. Sākumā mēs vēlējāmies piekārt norādījumus virs ceļa. Ir tāda pakalpojums no pilsētas — zem parastajiem norādījumiem novietot dzeltenus papildu norādījumus, tie tiek uzskatīti par reklāmu. Un cena par tiem ir kā par reklāmu: uz Entuziastu šosejas viena zīme maksā miljonu rubļu gadā. Paralēli mēs rakstījām uz Yandex un viņi pat pēkšņi atbildēja. Un pārtrauca darīt nesakarības. Pat var norādīt vārtiņu diodus: iebraukšana caur vieniem, izbraukšana caur citiem.
Google, ja jūs mūs lasāt, tad ziniet: jums joprojām ir problēma, un mēs nezinām, kam par to teikt, lai mūs dzirdētu.
Aicinājuma e-pastā iekļāvām saites ne tikai uz adresi, bet uz adresi ar maršrutu no lietotāja ģeopozīcijas. Rezultātā kļūdīties sāka mazāk.
Gobo projektori un citas sīkumi
Vai jūs zinājāt, kas ir gobo projektori? Mēs arī nezinājām. Kādu dienu mēs domājām, kā marķēt stendu rindas. Paši stendi ir marķēti ar speciālām ātrās noņemšanas marķējumiem, taču tos var saskatīt no 1-2 metru attāluma. Pašam zālei ir 500 kv.m, tāpēc tur ir viegli apmaldīties. Tāpēc mēs nolēmām pievērsties rindas marķēšanai. Sākās smadzeņu vētra. Kā marķēt, ar ko un kur? Uz grīdas, uz sienas, norādes uz griestiem utt. Un te mūsu kolēģis pamanīja, ka “IKEA” agrāk uz grīdas bija izdzēšamās uzlīmes, bet vēlāk parādījās gaismas bultas. Mēs nolēmām vienkārši atkārtot šo procesu: doties uz “IKEA” un apskatīt vienu no projektoriem. Mums neizdevās to paņemt: kamēr mēs nēsājām krēslus, pārdevējs jautāja, ko mēs darām. Viņš uzreiz palīdzēja, sakot, ka tas ir gobo. Izrādās, ka tas nav pats projektors, bet plāksne vai lēca krāsainai attēlu projicēšanai. Šis gaismas filtrs ir gobo. Viens projektors maksā no 40 tūkstošiem rubļu (tur ir jaudīga lampas ikdienas lietošanai), un mums ir 14 rindas katrā no četriem mašīnu zālēm. Tāpēc mēs uzlīmējām uzlīmes.
Vēl mēs esam mainījuši diagrammas uz sienām, jo tās ar gadiem izbalējušas. Mēs tās nomainījām uz laminētām, ar „iemontētām” speciālām kabatām revizoram. Revizors mūsu gadījumā ir galvenais inženieris, kura pienākums ir pārbaudīt visu diagrammu aktualitāti, kas novietotas Datu centrā. Tātad visām diagrammām katru gadu jābūt pārbaudītām un parakstītām šim revizoram. Un mazā žurnāla esamība kabatā diagrammas padara šo procedūru vieglāku un neprasa paša diagrammas nomaiņu ik pēc trim gadiem. Profits!
Mēs veicām rotējošu tīrīšanu no ārpuses grīdai. Mums ir regulāras tīrīšanas, ir metodikas un tīrīšanas laiki. Bet no smagajām stenda kājām paliek pēdas. Mēs veicām tīrīšanu. Tagad mēs uztraucamies: izskats nav kļuvis daudz labāks, bet noteikti ir parādījušies spīdumi noteiktos leņķos pie noteiktiem cilvēkiem, kuriem ir savi marķieri pēc sava gaumes. Tagad mēs domājam un meklējam kādu ķīmiju, kas izbalinās grīdu un piešķirs spīdumu. Lai pat izvēlētiem nebūtu jautājumu.
Vai redzējāt konsoles statīvus? Tie ir kā izbraukuma bufetes galdi, tikai vietā dzērieniem tur ir termināls savienošanai. Tātad, šiem konsoles statīviem ratiņi nolūst un iesprūst kā veikalu ratiņiem. Mums tas ir apnicis. Rezultātā vienīgais iespējams risinājums ir nopirkt jaunu ratu. Bet ratus tieši mūsu modeļiem nav izdevies atrast, mēs iztaujājām visus piegādātājus. Rezultātā paši projektējām statīvu, uzsverot ērtību pārvietošanās laikā zālē un remonta iespējas. Sanāca ļoti labi.
Bija stāsts par sintētiskām zeķēm. Ir tāda lieta - antistatiskie aproču. Tas, kad tu pieeji pie statīva, pieslēdz aproci pie statīva zemes, un tā savienojas ar potenciāla izlīdzināšanas sistēmu. Tātad, statīvs ir zemē, bet var izrādīties, ka inženieris nav zemē. Kolēģi no iepriekšējām darba vietām stāstīja, kā pāris reizes redzējuši iskras videonovērošanā, un mēs pie sevis nolēmām, lai nenotiktu nelaime, likt visiem pēc noteikumiem izmantot.
Kritiski incidenti
No serious issues arose, except for an incident when all chillers turned off at once. Our chillers are not protected by uninterruptible power supplies, as we rely on physics, and we have a pool of chilled water as a temperature reserve. If something is turned off, we don't need batteries to power the chillers cooling the water, just the cold water itself, which is already prepared. It's convenient and simple, but there's a nuance. The chillers are equipped with protective automation that shuts them down when electrical network parameters are dangerous. If the input is shut off, we start the generator, and the chillers continue to run off of it. Everything would be fine if we didn't live in Russia. We've experienced network dips many times, but everything was fine. However, once there was a sharp jump, first down, then sharply up, then down again—input parameters changed approximately four times within a few seconds. Naturally, the chillers shut down. We initially tried to restart them remotely, but they had reliably protected themselves in a fail-safe mode. I had to make my way to the roof and turn them back on manually. Importantly, according to Tier III standards, such a situation is a legitimate reason for a data center shutdown. We didn't have a shutdown because the on-site staff is knowledgeable, and there is proper training involved. Because of this, we've been regularly checked by UI to ensure we meet TIII Operational standards. For reference, we have successfully undergone UI recertification for TIII Gold—Operational Sustainability. In the Russian commercial data center market, there’s nothing better than ours, and only one other has the same achievement. . I should note that recertifying is more difficult than obtaining a certificate from scratch, as they review the previous period more thoroughly, requiring far more evidence.
There was an interesting incident with the cameras. We decided to review the blind spots just in case, marked intersections, and constructed diagonals of the viewing angles on the plan, and suddenly found a dead zone approximately 30 centimeters by 15 meters right in the center of one of the rooms. It was narrow and long. There isn't such a zone in the adjacent room. It turned out that the rotating camera had slowly shifted over the years so that it now pointed about one and a half degrees to the left more than it should in the extreme position.
There was also a significant case regarding .
Saites
- un
- Mana e-pasta adrese: PGoryunov@croc.ru
Avots: habr.com
