{"id":35887,"date":"2019-10-31T22:07:25","date_gmt":"2019-10-31T19:07:25","guid":{"rendered":"https:\/\/prohoster.info\/blog\/budni-data-tsentra-neochevidnye-melochi-za-7-let-ekspluatatsii-i-prodolzhenie-pro-krysu\/"},"modified":"2019-10-31T22:07:25","modified_gmt":"2019-10-31T19:07:25","slug":"budni-data-tsentra-neochevidnye-melochi-za-7-let-ekspluatatsii-i-prodolzhenie-pro-krysu","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/budni-data-tsentra-neochevidnye-melochi-za-7-let-ekspluatatsii-i-prodolzhenie-pro-krysu","title":{"rendered":"Hverdagen i datacenteret: de ubehagelige sm\u00e5ting efter 7 \u00e5rs drift. Og forts\u00e6ttelse om musen.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hverdagen
\n
\nLad mig straks sige: den mus, der var i den leverede server, som vi for et par \u00e5r siden gav te efter et st\u00f8d, er sandsynligvis stukket af. For vi s\u00e5 engang p\u00e5 en rundtur hendes veninde. Og vi besluttede straks at s\u00e6tte ultralyd afskr\u00e6kkere op. <\/p>\n

Nu er den forbandede jord omkring datacenteret: fugle s\u00e6tter sig ikke p\u00e5 bygningen, og alle muldvarper og orme er formentlig stukket af. Vi var bekymrede for, at lyden kunne<\/a><\/noindex> for\u00e5rsage, at HDD'en gik i stykker, men vi tjekkede, og frekvenserne var ikke de rigtige.<\/p>\n

Den n\u00e6ste historie er langt sjovere. Vi fik engang en hardware til et par millioner rubler i en kasse med sensorer til h\u00e6ldning, vibration og fugtighed. Alt var intakt. Vi \u00e5bnede forsigtigt emballagen, men maskinen var buet. Mystik. <\/p>\n

Kabinetet er lige buet. Det ser flot ud. <\/a><\/noindex><\/p>\n

Detektiv<\/h3>\n

\nVi ville ikke have givet dette meget opm\u00e6rksomhed, fordi det buede metalhus var n\u00e6sten designeragtigt. Det ser flot ud, uden skader. Og hvis ikke der havde v\u00e6ret andre lignende maskiner ved siden af, ville vi slet ikke have t\u00e6nkt, at der var noget galt, da vi pakkede ud. Men ved siden af var der andre, kun i en mere korrekt geometrisk form. <\/p>\n

Heldigvis bliver udpakningen af s\u00e5dan hardware filmet (jeg anbefaler alle at f\u00e5 denne vane), s\u00e5 vi kunne bevise over for producenten, at det kom s\u00e5dan. Intakt emballage og forsigtigt buet hus \u2014 det er ikke et st\u00f8d fra lastearbejdere. Sandsynligvis blev det beskadiget f\u00f8r afsendelsen til Rusland. <\/p>\n

Leverand\u00f8ren siger: \"\u00d8h, gutter, lad os straks bytte det for jer under garantien.\" Og her ventede vi p\u00e5 en episk f\u00e6lde. <\/p>\n

Problemet er, at tolden tillader os at importere s\u00e5dan udstyr p\u00e5 dokumenter uden ret til eksport. Det vil sige, man kan bringe det ind, men ikke videres\u00e6lge det til nogen uden for Rusland. N\u00e5r vi sender en br\u00e6ndt str\u00f8mforsyning tilbage, for eksempel, er alt klart. Det er et reservemateriale, en str\u00f8mforsyning. <\/p>\n

Men her var det n\u00f8dvendigt at sende alt tilbage:
\n \u2014 Gutter, se, vi sender udstyret tilbage til producenten.
\n \u2014 Udstyret i sin helhed?
\n \u2014 Ja.
\n \u2014 Model er s\u00e5dan og s\u00e5dan?
\n \u2014 Ja.
\n \u2014 Kan den fungere?
\n \u2014 Ved ikke, vi har ikke t\u00e6ndt den.
\n \u2014 S\u00e5 det er hele udstyret.
\n \u2014 Men den fungerer jo ikke.
\n \u2014 Jamen se, det er hele udstyret af denne model. Uden ret til re-eksport. Vi lukker ikke for det.<\/p>\n

I det hele taget var der mange indviklinger, f\u00f8r vi fandt ud af, at vi ikke eksporterede det, men gav det tilbage. Til slut lykkedes det at f\u00e5 det ordnet. <\/p>\n

Der var ogs\u00e5 booties<\/h3>\n

\nFor many years, we had the first automated boot cover dispenser, a dream for admins. You can load it with boot covers in bulk, and it unpacks, opens, and positions them so that you just need to step in. Snap-snap, and it\u2019s ready. <\/p>\n

About six months later, it chewed through around a hundred packs of boot covers and choked. It turned out there were so many moving parts that we had to either repair it once a month given our load (we have a lot of engineers walking around on site because we are a commercial data center), or we had to buy a new one. <\/p>\n

The second problem was that during one of the regular cleanings, we somehow found a 'blue cloth' dangling on the grille of one of the testing racks. The forensic expert in the form of an engineer from the X-team identified it as a fragment of a boot cover. It turned out that in the clinic, boot covers are convenient: you walk around for half an hour \u2014 and that\u2019s it. Some engineers can work all day with hardware, shuffling their feet. Shuffling heavily. And the boot covers wear down to these little scraps that fly around the machine room. <\/p>\n

We almost immediately bought a new boot cover dispenser. We got a thermal boot cover dispenser: it\u2019s a machine that loads film, which it carefully heat-shrinks over the shoe. It\u2019s neat, efficient, durable. Less debris flying around. It stood with us for quite a while, but we had to change the heat-shrink film about every 1-2 hours because the sole tended to come off on its own. <\/p>\n

At first, we thought it was just our bad luck while others somehow solved this problem. But no. We asked our western colleagues \u2014 the same story. In the end, we began to contemplate how to make it work properly. Going back from the machine room for new boot covers \u2014 let's be honest, that\u2019s not a great idea. We found industrial cleaners for construction sites and production facilities. They\u2019re like mats for the crews entering the workshop. These mats with lots of rollers clean everything, and they\u2019re made in such a way that whether you want to or not \u2014 they catch and clean. They cost around half a million to a million rubles. We poked around and found a similar one for 200,000, but you have to stick your foot into it yourself. It\u2019s about the size of a shoe cleaning machine. You approach, shove your foot in, it chews it up, and hands it back clean. We placed it at the entrance of the data center. <\/p>\n

Fungerer fremragende med undtagelse af to nuancer. For det f\u00f8rste blev det hurtigt klart, at dette er helt fint for os ingeni\u00f8rer. Men i praksis kommer de mest forskellige mennesker til datacenteret, herunder ledere fra store virksomheder. Med sko lavet af dragehud. De har endda en b\u00f8rste til p\u00e5f\u00f8ring af skocreme, som koster mere end mine tr\u00e6ningssko, de udv\u00e6lger specielt fibrene. De ville ikke putte deres f\u00f8dder i vores vidunderlige enhed. Det andet problem opstod om vinteren: n\u00e5r skoene er meget mudrede, kan dybe d\u00e6km\u00f8nstre ikke n\u00e5 alt. S\u00e5 g\u00e5r man rundt i hallen og efterlader spor af ektoplasma. <\/p>\n

Vi l\u00f8ste det simpelt. Vi satte en rulle med skos\u00e5ler ved siden af. Alt skal jo dobbeltes i henhold til standarden. <\/p>\n

Et nyt problem opstod. Ved at observere adf\u00e6rden hos ingeni\u00f8rkunderne s\u00e5 vi et s\u00e5dant syn: de stak f\u00f8rst foden ind i reng\u00f8ringsmaskinen, og derefter satte de skos\u00e5lerne p\u00e5 fra rullen. Nu har vi h\u00e6ngt et skilt op, at man skal v\u00e6lge enten det ene eller det andet, og det er bedst at blive ren, men hvis livsprincipperne forbyder at rense skoene, s\u00e5 tag skos\u00e5lerne p\u00e5. Det virkede som en ticket, der var t\u00e6nkt til et par dage, men strakte sig over lang tid, indtil den blev lukket. Her er enheden:<\/p>\n

\"Hverdagen
\n <\/p>\n

To gange \"ku\"<\/h3>\n

\nIf\u00f8lge PCI DSS-kravene skal man kunne visuelt skelne mellem rollerne for folk i datacenteret. Uden at se n\u00f8je p\u00e5 adgangskortet og l\u00e6se noget der, men direkte visuelt, som soldater skelner hinanden ved deres epauletter, bare meget mere i\u00f8jnefaldende. Vi besluttede ikke at overdrive og brugte den gamle gode chatlanske metode \u2014 farvedifferentiation af bukserne. Konkret begyndte vi at lave adgangsb\u00e5nd i forskellige farver. Gr\u00f8n som deres favorit blev straks hentet af vores administratorer. <\/p>\n

Det lyder simpelt, men det f\u00f8rte til tre uventede effekter:<\/p>\n

    \n
  1. Vi havde brug for retraktorer til automatisk indtagning af disse adgangskort under brug (det er s\u00e5dan nogle ting, der selv regulerer l\u00e6ngden af b\u00e5ndet). Vi skrev en kravspecifikation, hvor vi tog h\u00f8jde for alle afdelingers \u00f8nsker. Det viste sig at v\u00e6re en strategisk fejl. Farve, format, materiale, retraktoren ikke plastik, snor lavet af metal, s\u00e5 logoet kunne p\u00e5f\u00f8res, og at det skulle sys ind i b\u00e5ndet. Tingene blev s\u00e5 dyre, at vi senere m\u00e5tte sk\u00e6re i kravene og \u00e6ndre formatet. <\/li>\n
  2. N\u00e5r differentieringen af b\u00e5ndene begyndte at fungere, blev det meget praktisk. Entrepren\u00f8rerne har \u00e9n type b\u00e5nd, de eksterne administratorer en anden, og vores administratorer har en tredje. Det er tydeligt, hvem der har hvilken rolle. I el-installationer er der kun gr\u00e5, i klimaanl\u00e6g er der bl\u00e5. Og her blev der brug for b\u00e5nd til chauff\u00f8rerne (det er en s\u00e6rskilt rolle, de kan komme ind i afl\u00e6sseomr\u00e5det, men kan ikke forlade det, undtagen for at g\u00e5 ud). Chauff\u00f8rerne skal ikke have nogen tilladelse. F\u00f8rst gav vi dem b\u00e5nd uden tilladelser. Derefter besluttede sikkerhedspersonalet, at det var m\u00e6rkeligt og nedv\u00e6rdigende for chauff\u00f8rerne. De har deres egen milit\u00e6re logik, s\u00e5 nu kommer chauff\u00f8rerne for at f\u00e5 en tilladelse med det samme med b\u00e5ndet, men denne tilladelse giver ikke adgang til nogen steder. Set fra sikkerhedens synspunkt fungerer det som en mark\u00f8r, der viser at sikkerhedspersonalet har kontrolleret denne person. <\/li>\n
  3. En af vores ingeni\u00f8rer foreslog at lave uniformerede tr\u00f8jer i gr\u00f8n farve i stedet for b\u00e5nd. Og han sendte et forslag til forbedring. Vi har gjort det halvt: vi har beholdt tilladelserne med b\u00e5nd, og vi har ogs\u00e5 faktisk syet gr\u00f8nne uniformerede tr\u00f8jer. Nu har vi en administratoruniform. Sikkerhedspersonalet st\u00f8ttede vittigheden og indarbejdede den i regulativerne. Nu er det obligatorisk (bukser, skjorte, tr\u00f8je, men tr\u00f8jen kan tages af). <\/li>\n<\/ol>\n

    \nDesuden har vores kunder ofte klaget over forkerte ruter p\u00e5 kort til indgangen til vores datacenter 'Kompressor'. Man indtaster adressen, men vejen viser sig at v\u00e6re forkert. Bes\u00f8gende havner til sidst det forkerte sted, fordi der er en jernbane, og bag den er der trafikpropper, og man kan ikke vende om. F\u00f8rst ville vi h\u00e6nge skilt over vejen. Der er en s\u00e5dan service fra byen \u2014 at placere gule supplerende skilte under de almindelige, de betragtes som reklame. Og prisen p\u00e5 dem er som reklame: p\u00e5 Enthusiasts motorvejen koster et skilt en million rubler om \u00e5ret. Samtidig skrev vi til Yandex, og de svarede faktisk overraskende. Og de stoppede med deres problemer. Man kan endda angive dioderne p\u00e5 portene: indgangen er gennem \u00e9n, udgangen gennem en anden. <\/p>\n

    Google, hvis I l\u00e6ser dette, s\u00e5 ved, at I stadig har et problem, og vi ved ikke, hvem vi skal sige dette til, s\u00e5 vi bliver h\u00f8rt. <\/p>\n

    I invitationsmails har vi indsat links ikke bare til adressen, men til adressen med den foresl\u00e5ede rute fra brugerens geolocation. Resultatet er, at f\u00e6rre g\u00e5r glip af det. <\/p>\n

    Gobo-projektorer og andre sm\u00e5ting<\/h3>\n

    \nVed du, hvad gobo-projektorer er? Det vidste vi heller ikke. Vi har engang funderet over, hvordan man skal m\u00e6rke r\u00e6kkerne af stativer. Stativerne er selvf\u00f8lgelig m\u00e6rket med specielle hurtigmonterbare m\u00e6rkater, men de kan kun ses p\u00e5 en afstand af 1-2 meter. Selve salen er p\u00e5 500 kvm, s\u00e5 der er rig mulighed for at g\u00e5 forkert. Derfor tog vi alligevel fat p\u00e5 m\u00e6rkningen af r\u00e6kkerne. En brainstorm blev sat i gang. Hvordan skal man m\u00e6rke, hvad og hvor? P\u00e5 gulvet, v\u00e6ggen, med skilte i loftet osv. Og s\u00e5 s\u00e5 vores kollega, at IKEA f\u00f8r har haft slidte klisterm\u00e6rker p\u00e5 gulvet, og senere kom der lysende pile. Vi besluttede os for at omvendt-udf\u00f8re det p\u00e5 en simpel m\u00e5de: tage til IKEA og finde en af projektorerne for at se n\u00e6rmere. Det lykkedes os ikke at f\u00e5 fat i den: mens vi bar stole, spurgte s\u00e6lgeren, hvad vi lavede. Og han hjalp straks med at sige, at det er en gobo. Det viser sig, at det ikke er selve projektoren, men en plade eller linse til farvebilleder. Denne lysfilter er goboen. En projektor koster fra 40.000 rubler (der er en kraftig lampe til dagsbrug), og vi har 14 r\u00e6kker i hver af de fire maskinrum. Derfor fik vi lavet klisterm\u00e6rker. <\/p>\n

    Derudover bliver vores skemaer p\u00e5 v\u00e6ggene falmede over \u00e5rene. Vi har skiftet dem ud med laminerede versioner, med 'indsatte' specielle lommer til revisionen. Revisionen i vores tilf\u00e6lde er hovedingeni\u00f8ren, hvis opgave er at kontrollere aktualiteten af alle skemaer, der er placeret i datacentret. Alle skemaer skal derfor kontrolleres og underskrives \u00e5rligt af s\u00e5dan en revision. Og tilstedev\u00e6relsen af en lille journal i lommen p\u00e5 skemaet g\u00f8r denne procedure nemmere og kr\u00e6ver ikke udskiftning af selve skemaet hvert tredje \u00e5r. Profit!<\/p>\n

    Vi har udf\u00f8rt rotorrensning af det falske gulv udvendigt. Vi har b\u00e5de regelm\u00e6ssige reng\u00f8ringer og metoder samt tidspunkter for dem. Men der efterlades m\u00e6rker fra de tunge stativer. Vi fik lavet rensningen. Nu er vi nerv\u00f8se: det ser ikke meget mere p\u00e6nt ud, men der er kommet reflekser under bestemte vinkler hos bestemte personer, dem der har deres egne farver p\u00e5 deres smag. Nu overvejer vi og leder efter en kemikalie, der kan blege gulvet og give det glans. S\u00e5 der ikke vil v\u00e6re sp\u00f8rgsm\u00e5l selv fra de udvalgte.<\/p>\n

    Har du set konsolstanderne? Det er de flytbare buffetborde, men i stedet for drikkevarer er der en terminal til at tilslutte til standen. S\u00e5 disse konsolstande har hjul, der falder af og klumper som indk\u00f8bsvogne i supermarkedet. Det har virkelig irriteret os. Den eneste m\u00e5de at f\u00e5 dem til at fungere igen p\u00e5 er at k\u00f8be et nyt hjul. Men det viste sig, at vi ikke kunne finde hjul specifikt til vores modeller, selv efter at vi havde spurgt alle leverand\u00f8rerne. I sidste ende designede vi selv en stand med fokus p\u00e5 nem transport gennem maskinhallen og reparationsevne. Det blev virkelig godt. <\/p>\n

    Der var en historie om syntetiske sokker. Der er s\u00e5dan en ting \u2013 antistatiske armb\u00e5nd. Det er, n\u00e5r du n\u00e6rmer dig standen, tilslutter armb\u00e5ndet til jorden p\u00e5 standen, og det forbinder sig med systemet til potentiel udligning. S\u00e5 standen er jorden, men det kan vise sig, at ingeni\u00f8ren ikke er jorden. Kollegas fra tidligere arbejdspladser fortalte, hvordan de et par gange s\u00e5 gnister p\u00e5 videooverv\u00e5gningen, og vi besluttede, at vi skulle forpligte alle til at bruge det i henhold til vores regler. <\/p>\n

    Kritiske h\u00e6ndelser<\/h3>\n

    \nDer var en alvorlig situation, hvor alle chillere pludselig gik ned. Chillere er ikke beskyttet af UPS, fordi vi tror p\u00e5 fysik, og som backup for temperaturen har vi en sv\u00f8mmebassin med koldt vand. Hvis noget bliver afbrudt, er det ikke batterierne, der skal forsyne chillere, der k\u00f8ler vandet, men simpelthen det kolde vand, der allerede er klar. Det er praktisk og enkelt, men der er en nuance. P\u00e5 chillerne er der beskyttelsesautomatik, der slukker dem ved farlige parametre i det elektriske net. Hvis forsyningen afbrydes, t\u00e6nder vi vores n\u00f8dgenerator, og herefter f\u00e5r chillerne str\u00f8m fra dem. Det ville v\u00e6re fint, hvis vi ikke boede i Rusland. Vi har oplevet mange sp\u00e6ndingsfald i nettet, men alt har v\u00e6ret i orden. Men en gang var der en pludselig stigning, f\u00f8rst nedad, s\u00e5 hurtigt opad, og s\u00e5 ned igen - p\u00e5 f\u00e5 sekunder \u00e6ndrede parametrene for indgangene sig med ca. 4 gange. Chillere slukkede, naturligvis. Vi fors\u00f8gte f\u00f8rst at t\u00e6nde dem fjernbetjene, men de beskyttede sig meget effektivt i sikkerhedstilstand. Jeg var n\u00f8dt til at g\u00e5 op p\u00e5 taget og t\u00e6nde dem manuelt. Det er vigtigt, at if\u00f8lge TierIII-standarderne er en s\u00e5dan situation en legitim grund til at stoppe datacentret. Vi havde ingen stop, fordi folkene derude er kompetente, og vi har tr\u00e6ning med \u00f8velser. Derfor er vi blevet kontrolleret af UI regelm\u00e6ssigt for at v\u00e6re sikre p\u00e5 TIII-operationalitet. Bare s\u00e5 du ved det, vi har best\u00e5et UI's re-certificering til TIII Gold - Operational Sustainability. P\u00e5 det russiske kommercielle marked for datacentre er der ikke noget, der er bedre, bortset fra vores, som ogs\u00e5 er certificeret p\u00e5 samme niveau. Datacenter<\/a><\/noindex>. Jeg vil bem\u00e6rke, at det er sv\u00e6rere at blive re-certificeret end at f\u00e5 certifikatet fra bunden, da de ogs\u00e5 kontrollerer den forgangne periode som en del af evalueringen, og der kr\u00e6ves betydeligt mere dokumentation.<\/p>\n

    Der skete en interessant h\u00e6ndelse med kameraerne. Vi besluttede at t\u00e6lle blindzoner for en sikkerheds skyld, tegnede krydsninger, byggede diagonaler af synsvinkler p\u00e5 planen, og pludselig fandt vi en d\u00f8d zone p\u00e5 cirka 30 centimeter med 15 meter lige i midten af et af rummene. Smal og lang. Der er ikke en s\u00e5dan zone i det n\u00e6rliggende rum. Det viste sig, at det drejelige kamera langsomt havde flyttet sig over \u00e5rene, s\u00e5 det nu viste cirka 1,5 grader til venstre for, hvor det skulle i sin yderposition. <\/p>\n

    En anden vigtig sag var i indl\u00e6gget om udskiftning af DDIBP<\/a><\/noindex>.<\/p>\n

    Links<\/h3>\n

    <\/p>\n