Lad mig straks sige: den mus, der var i den leverede server, som vi for et par år siden gav te efter et stød, er sandsynligvis stukket af. For vi så engang på en rundtur hendes veninde. Og vi besluttede straks at sætte ultralyd afskrækkere op.
Nu er den forbandede jord omkring datacenteret: fugle sætter sig ikke på bygningen, og alle muldvarper og orme er formentlig stukket af. Vi var bekymrede for, at forårsage, at HDD'en gik i stykker, men vi tjekkede, og frekvenserne var ikke de rigtige.
Den næste historie er langt sjovere. Vi fik engang en hardware til et par millioner rubler i en kasse med sensorer til hældning, vibration og fugtighed. Alt var intakt. Vi åbnede forsigtigt emballagen, men maskinen var buet. Mystik.
Kabinetet er lige buet. Det ser flot ud.
Detektiv
Vi ville ikke have givet dette meget opmærksomhed, fordi det buede metalhus var næsten designeragtigt. Det ser flot ud, uden skader. Og hvis ikke der havde været andre lignende maskiner ved siden af, ville vi slet ikke have tænkt, at der var noget galt, da vi pakkede ud. Men ved siden af var der andre, kun i en mere korrekt geometrisk form.
Heldigvis bliver udpakningen af sådan hardware filmet (jeg anbefaler alle at få denne vane), så vi kunne bevise over for producenten, at det kom sådan. Intakt emballage og forsigtigt buet hus — det er ikke et stød fra lastearbejdere. Sandsynligvis blev det beskadiget før afsendelsen til Rusland.
Leverandøren siger: "Øh, gutter, lad os straks bytte det for jer under garantien." Og her ventede vi på en episk fælde.
Problemet er, at tolden tillader os at importere sådan udstyr på dokumenter uden ret til eksport. Det vil sige, man kan bringe det ind, men ikke videresælge det til nogen uden for Rusland. Når vi sender en brændt strømforsyning tilbage, for eksempel, er alt klart. Det er et reservemateriale, en strømforsyning.
Men her var det nødvendigt at sende alt tilbage:
— Gutter, se, vi sender udstyret tilbage til producenten.
— Udstyret i sin helhed?
— Ja.
— Model er sådan og sådan?
— Ja.
— Kan den fungere?
— Ved ikke, vi har ikke tændt den.
— Så det er hele udstyret.
— Men den fungerer jo ikke.
— Jamen se, det er hele udstyret af denne model. Uden ret til re-eksport. Vi lukker ikke for det.
I det hele taget var der mange indviklinger, før vi fandt ud af, at vi ikke eksporterede det, men gav det tilbage. Til slut lykkedes det at få det ordnet.
Der var også booties
For many years, we had the first automated boot cover dispenser, a dream for admins. You can load it with boot covers in bulk, and it unpacks, opens, and positions them so that you just need to step in. Snap-snap, and it’s ready.
About six months later, it chewed through around a hundred packs of boot covers and choked. It turned out there were so many moving parts that we had to either repair it once a month given our load (we have a lot of engineers walking around on site because we are a commercial data center), or we had to buy a new one.
The second problem was that during one of the regular cleanings, we somehow found a 'blue cloth' dangling on the grille of one of the testing racks. The forensic expert in the form of an engineer from the X-team identified it as a fragment of a boot cover. It turned out that in the clinic, boot covers are convenient: you walk around for half an hour — and that’s it. Some engineers can work all day with hardware, shuffling their feet. Shuffling heavily. And the boot covers wear down to these little scraps that fly around the machine room.
We almost immediately bought a new boot cover dispenser. We got a thermal boot cover dispenser: it’s a machine that loads film, which it carefully heat-shrinks over the shoe. It’s neat, efficient, durable. Less debris flying around. It stood with us for quite a while, but we had to change the heat-shrink film about every 1-2 hours because the sole tended to come off on its own.
At first, we thought it was just our bad luck while others somehow solved this problem. But no. We asked our western colleagues — the same story. In the end, we began to contemplate how to make it work properly. Going back from the machine room for new boot covers — let's be honest, that’s not a great idea. We found industrial cleaners for construction sites and production facilities. They’re like mats for the crews entering the workshop. These mats with lots of rollers clean everything, and they’re made in such a way that whether you want to or not — they catch and clean. They cost around half a million to a million rubles. We poked around and found a similar one for 200,000, but you have to stick your foot into it yourself. It’s about the size of a shoe cleaning machine. You approach, shove your foot in, it chews it up, and hands it back clean. We placed it at the entrance of the data center.
Fungerer fremragende med undtagelse af to nuancer. For det første blev det hurtigt klart, at dette er helt fint for os ingeniører. Men i praksis kommer de mest forskellige mennesker til datacenteret, herunder ledere fra store virksomheder. Med sko lavet af dragehud. De har endda en børste til påføring af skocreme, som koster mere end mine træningssko, de udvælger specielt fibrene. De ville ikke putte deres fødder i vores vidunderlige enhed. Det andet problem opstod om vinteren: når skoene er meget mudrede, kan dybe dækmønstre ikke nå alt. Så går man rundt i hallen og efterlader spor af ektoplasma.
Vi løste det simpelt. Vi satte en rulle med skosåler ved siden af. Alt skal jo dobbeltes i henhold til standarden.
Et nyt problem opstod. Ved at observere adfærden hos ingeniørkunderne så vi et sådant syn: de stak først foden ind i rengøringsmaskinen, og derefter satte de skosålerne på fra rullen. Nu har vi hængt et skilt op, at man skal vælge enten det ene eller det andet, og det er bedst at blive ren, men hvis livsprincipperne forbyder at rense skoene, så tag skosålerne på. Det virkede som en ticket, der var tænkt til et par dage, men strakte sig over lang tid, indtil den blev lukket. Her er enheden:
To gange "ku"
Ifølge PCI DSS-kravene skal man kunne visuelt skelne mellem rollerne for folk i datacenteret. Uden at se nøje på adgangskortet og læse noget der, men direkte visuelt, som soldater skelner hinanden ved deres epauletter, bare meget mere iøjnefaldende. Vi besluttede ikke at overdrive og brugte den gamle gode chatlanske metode — farvedifferentiation af bukserne. Konkret begyndte vi at lave adgangsbånd i forskellige farver. Grøn som deres favorit blev straks hentet af vores administratorer.
Det lyder simpelt, men det førte til tre uventede effekter:
- Vi havde brug for retraktorer til automatisk indtagning af disse adgangskort under brug (det er sådan nogle ting, der selv regulerer længden af båndet). Vi skrev en kravspecifikation, hvor vi tog højde for alle afdelingers ønsker. Det viste sig at være en strategisk fejl. Farve, format, materiale, retraktoren ikke plastik, snor lavet af metal, så logoet kunne påføres, og at det skulle sys ind i båndet. Tingene blev så dyre, at vi senere måtte skære i kravene og ændre formatet.
- Når differentieringen af båndene begyndte at fungere, blev det meget praktisk. Entreprenørerne har én type bånd, de eksterne administratorer en anden, og vores administratorer har en tredje. Det er tydeligt, hvem der har hvilken rolle. I el-installationer er der kun grå, i klimaanlæg er der blå. Og her blev der brug for bånd til chaufførerne (det er en særskilt rolle, de kan komme ind i aflæsseområdet, men kan ikke forlade det, undtagen for at gå ud). Chaufførerne skal ikke have nogen tilladelse. Først gav vi dem bånd uden tilladelser. Derefter besluttede sikkerhedspersonalet, at det var mærkeligt og nedværdigende for chaufførerne. De har deres egen militære logik, så nu kommer chaufførerne for at få en tilladelse med det samme med båndet, men denne tilladelse giver ikke adgang til nogen steder. Set fra sikkerhedens synspunkt fungerer det som en markør, der viser at sikkerhedspersonalet har kontrolleret denne person.
- En af vores ingeniører foreslog at lave uniformerede trøjer i grøn farve i stedet for bånd. Og han sendte et forslag til forbedring. Vi har gjort det halvt: vi har beholdt tilladelserne med bånd, og vi har også faktisk syet grønne uniformerede trøjer. Nu har vi en administratoruniform. Sikkerhedspersonalet støttede vittigheden og indarbejdede den i regulativerne. Nu er det obligatorisk (bukser, skjorte, trøje, men trøjen kan tages af).
Desuden har vores kunder ofte klaget over forkerte ruter på kort til indgangen til vores datacenter 'Kompressor'. Man indtaster adressen, men vejen viser sig at være forkert. Besøgende havner til sidst det forkerte sted, fordi der er en jernbane, og bag den er der trafikpropper, og man kan ikke vende om. Først ville vi hænge skilt over vejen. Der er en sådan service fra byen — at placere gule supplerende skilte under de almindelige, de betragtes som reklame. Og prisen på dem er som reklame: på Enthusiasts motorvejen koster et skilt en million rubler om året. Samtidig skrev vi til Yandex, og de svarede faktisk overraskende. Og de stoppede med deres problemer. Man kan endda angive dioderne på portene: indgangen er gennem én, udgangen gennem en anden.
Google, hvis I læser dette, så ved, at I stadig har et problem, og vi ved ikke, hvem vi skal sige dette til, så vi bliver hørt.
I invitationsmails har vi indsat links ikke bare til adressen, men til adressen med den foreslåede rute fra brugerens geolocation. Resultatet er, at færre går glip af det.
Gobo-projektorer og andre småting
Ved du, hvad gobo-projektorer er? Det vidste vi heller ikke. Vi har engang funderet over, hvordan man skal mærke rækkerne af stativer. Stativerne er selvfølgelig mærket med specielle hurtigmonterbare mærkater, men de kan kun ses på en afstand af 1-2 meter. Selve salen er på 500 kvm, så der er rig mulighed for at gå forkert. Derfor tog vi alligevel fat på mærkningen af rækkerne. En brainstorm blev sat i gang. Hvordan skal man mærke, hvad og hvor? På gulvet, væggen, med skilte i loftet osv. Og så så vores kollega, at IKEA før har haft slidte klistermærker på gulvet, og senere kom der lysende pile. Vi besluttede os for at omvendt-udføre det på en simpel måde: tage til IKEA og finde en af projektorerne for at se nærmere. Det lykkedes os ikke at få fat i den: mens vi bar stole, spurgte sælgeren, hvad vi lavede. Og han hjalp straks med at sige, at det er en gobo. Det viser sig, at det ikke er selve projektoren, men en plade eller linse til farvebilleder. Denne lysfilter er goboen. En projektor koster fra 40.000 rubler (der er en kraftig lampe til dagsbrug), og vi har 14 rækker i hver af de fire maskinrum. Derfor fik vi lavet klistermærker.
Derudover bliver vores skemaer på væggene falmede over årene. Vi har skiftet dem ud med laminerede versioner, med 'indsatte' specielle lommer til revisionen. Revisionen i vores tilfælde er hovedingeniøren, hvis opgave er at kontrollere aktualiteten af alle skemaer, der er placeret i datacentret. Alle skemaer skal derfor kontrolleres og underskrives årligt af sådan en revision. Og tilstedeværelsen af en lille journal i lommen på skemaet gør denne procedure nemmere og kræver ikke udskiftning af selve skemaet hvert tredje år. Profit!
Vi har udført rotorrensning af det falske gulv udvendigt. Vi har både regelmæssige rengøringer og metoder samt tidspunkter for dem. Men der efterlades mærker fra de tunge stativer. Vi fik lavet rensningen. Nu er vi nervøse: det ser ikke meget mere pænt ud, men der er kommet reflekser under bestemte vinkler hos bestemte personer, dem der har deres egne farver på deres smag. Nu overvejer vi og leder efter en kemikalie, der kan blege gulvet og give det glans. Så der ikke vil være spørgsmål selv fra de udvalgte.
Har du set konsolstanderne? Det er de flytbare buffetborde, men i stedet for drikkevarer er der en terminal til at tilslutte til standen. Så disse konsolstande har hjul, der falder af og klumper som indkøbsvogne i supermarkedet. Det har virkelig irriteret os. Den eneste måde at få dem til at fungere igen på er at købe et nyt hjul. Men det viste sig, at vi ikke kunne finde hjul specifikt til vores modeller, selv efter at vi havde spurgt alle leverandørerne. I sidste ende designede vi selv en stand med fokus på nem transport gennem maskinhallen og reparationsevne. Det blev virkelig godt.
Der var en historie om syntetiske sokker. Der er sådan en ting – antistatiske armbånd. Det er, når du nærmer dig standen, tilslutter armbåndet til jorden på standen, og det forbinder sig med systemet til potentiel udligning. Så standen er jorden, men det kan vise sig, at ingeniøren ikke er jorden. Kollegas fra tidligere arbejdspladser fortalte, hvordan de et par gange så gnister på videoovervågningen, og vi besluttede, at vi skulle forpligte alle til at bruge det i henhold til vores regler.
Kritiske hændelser
Der var en alvorlig situation, hvor alle chillere pludselig gik ned. Chillere er ikke beskyttet af UPS, fordi vi tror på fysik, og som backup for temperaturen har vi en svømmebassin med koldt vand. Hvis noget bliver afbrudt, er det ikke batterierne, der skal forsyne chillere, der køler vandet, men simpelthen det kolde vand, der allerede er klar. Det er praktisk og enkelt, men der er en nuance. På chillerne er der beskyttelsesautomatik, der slukker dem ved farlige parametre i det elektriske net. Hvis forsyningen afbrydes, tænder vi vores nødgenerator, og herefter får chillerne strøm fra dem. Det ville være fint, hvis vi ikke boede i Rusland. Vi har oplevet mange spændingsfald i nettet, men alt har været i orden. Men en gang var der en pludselig stigning, først nedad, så hurtigt opad, og så ned igen - på få sekunder ændrede parametrene for indgangene sig med ca. 4 gange. Chillere slukkede, naturligvis. Vi forsøgte først at tænde dem fjernbetjene, men de beskyttede sig meget effektivt i sikkerhedstilstand. Jeg var nødt til at gå op på taget og tænde dem manuelt. Det er vigtigt, at ifølge TierIII-standarderne er en sådan situation en legitim grund til at stoppe datacentret. Vi havde ingen stop, fordi folkene derude er kompetente, og vi har træning med øvelser. Derfor er vi blevet kontrolleret af UI regelmæssigt for at være sikre på TIII-operationalitet. Bare så du ved det, vi har bestået UI's re-certificering til TIII Gold - Operational Sustainability. På det russiske kommercielle marked for datacentre er der ikke noget, der er bedre, bortset fra vores, som også er certificeret på samme niveau. . Jeg vil bemærke, at det er sværere at blive re-certificeret end at få certifikatet fra bunden, da de også kontrollerer den forgangne periode som en del af evalueringen, og der kræves betydeligt mere dokumentation.
Der skete en interessant hændelse med kameraerne. Vi besluttede at tælle blindzoner for en sikkerheds skyld, tegnede krydsninger, byggede diagonaler af synsvinkler på planen, og pludselig fandt vi en død zone på cirka 30 centimeter med 15 meter lige i midten af et af rummene. Smal og lang. Der er ikke en sådan zone i det nærliggende rum. Det viste sig, at det drejelige kamera langsomt havde flyttet sig over årene, så det nu viste cirka 1,5 grader til venstre for, hvor det skulle i sin yderposition.
En anden vigtig sag var i indlægget .
Links
- og
- Min e-mail: PGoryunov@croc.ru
Kilde: habr.com
