Ik zeg maar meteen: die rat in de meegebrachte server, die we een paar jaar geleden thee gaven na een elektrische schok, is hoogstwaarschijnlijk ontsnapt. Omdat we haar vriendin ooit op een rondje zagen. En we besloten meteen om ultrasone repellers te installeren.
Nu ligt er een vervloekt land rond het datacenter: er zullen geen vogels op het gebouw landen en waarschijnlijk zijn alle mollen en wormen ontsnapt. Waren daar bezorgd over veroorzaken een HDD-storing, maar gecontroleerd: de frequenties zijn niet hetzelfde.
Het volgende verhaal is veel leuker. We hebben ooit een stuk hardware ontvangen voor een paar miljoen roebel in een doos met kantel-, trillings- en vochtigheidssensoren. Alles is heel. Verwijder voorzichtig de verpakking en het stuk ijzer was verbogen. Mysticus.
Het lichaam is recht in een boog. Heel mooi.
Detectiveverhaal
Wij zouden hier geen enkel belang aan hechten, omdat de gebogen metalen behuizing bijna een designbeeld was. Zo mooi, geen chips. En als er geen soortgelijke hardware in de buurt was geweest, hadden we bij het uitpakken niet eens gedacht dat er iets mis was. Maar vlakbij waren dezelfde, alleen met een meer regelmatige geometrische vorm.
Gelukkig wordt het uitpakken van dergelijke hardware gefilmd (ik raad iedereen aan deze gewoonte aan te nemen), zodat we aan de fabrikant konden bewijzen dat het zo was aangekomen. Een heel pakket en een netjes gebogen carrosserie zijn geen klap van de verhuizers. Hoogstwaarschijnlijk raakte ze gewond voordat ze naar Rusland vertrok.
De verkoper zegt: "Eh jongens, laten we het meteen voor je vervangen, onder garantie." En toen wachtte ons een epische hinderlaag.
Feit is dat de douane ons toestaat dergelijke apparatuur met documenten te importeren zonder het recht op export. Dat wil zeggen, u kunt het meenemen, maar u kunt het niet doorverkopen aan iemand buiten Rusland. Wanneer wij bijvoorbeeld een doorgebrande voeding terugsturen, is alles duidelijk. Dit is een reserveonderdeel, een voeding.
En toen moest ik alles terugsturen:
- Jongens, kijk, we sturen het stuk hardware terug naar de fabrikant.
- Gehele uitrusting?
- Ja.
– Zo en zo modelleren?
- Ja.
- Kan werken?
- We weten het niet, we hebben het niet ingeschakeld.
- Dit is dus een heel apparaat.
- Nou, het werkt niet.
- Kijk, de hele uitrusting is van dit model. Geen wederuitvoerrechten. Wij laten je niet binnen.
Over het algemeen werd er veel gekraakt voordat we erachter kwamen dat we het niet exporteerden, maar teruggaven. Uiteindelijk hebben we alles kunnen doen.
Er waren ook schoenhoezen
Ten eerste hadden we vele jaren geleden de eerste automatische, de droom van elke beheerder. Je laadt er een pak schoenovertrekken in, hij pakt ze zelf uit, opent ze en zet ze in een positie waar je er alleen maar op hoeft te stappen. Chp-chpk en klaar.
Na ongeveer zes maanden kauwde ze door ongeveer honderd pakjes schoenovertrekken en stikte. Het bleek dat er zoveel bewegende onderdelen zijn dat we deze óf eens per maand bij onze belasting moeten repareren (er lopen veel klantingenieurs rond in de faciliteit, omdat we een commercieel datacenter zijn), óf we moeten kopen een nieuwe.
Het tweede probleem is dat we later, tijdens een van de reguliere schoonmaakbeurten, op de een of andere manier een “klein blauw doekje” vonden dat aan het rooster van een van de rekken van onze tests hing. De forensisch expert, vertegenwoordigd door een X-Team-ingenieur, identificeerde een fragment van het lichaam van de schoenovertrek. Het bleek handig om in de kliniek schoenovertrekken te dragen: ik liep een half uur rond en dat was alles. En sommige engineers kunnen de hele dag met hardware werken. Schuifelende voeten. Veel aan het shuffelen. En de schoenovertrekken verslijten tot kleine stukjes die door de turbinehal vliegen.
We hebben vrijwel meteen een nieuwe overschoen gekocht. We hebben een thermische kofferbak genomen: dit is een machine waarin film wordt geladen, en deze film wordt zorgvuldig door hitte op de schoen gekrompen. Mooi, effectief, duurzaam. Minder verstrooiing. We hadden hem al een hele tijd, maar we moesten de krimpfolie ongeveer eens in de 1-2 uur vervangen, omdat de zool de neiging had er vanzelf af te vallen.
In eerste instantie dachten we dat we pech hadden, maar mensen lossen dit probleem op de een of andere manier op. Maar nee. We vroegen het aan onze westerse collega's: hetzelfde verhaal. Als gevolg hiervan begonnen ze na te denken over hoe ze het op de juiste manier konden doen. Terugkomen uit de turbinehal voor nieuwe schoenovertrekken is eerlijk gezegd een matig idee. We hebben industriële reinigers gevonden voor bouwplaatsen en industrieën. Dit zijn een soort paden waarlangs de ploeg de werkplaats binnenkomt. Paden met een stel rollen maken alles schoon, en zijn zo gemaakt dat het, of je het nu wilt of niet, blijft pakken en schoonmaken. Ze kosten een half miljoen tot een miljoen roebel. We hebben rondgegraven en dezelfde gevonden voor 200 duizend, maar je moet er zelf je voet in zetten. Het is qua grootte vergelijkbaar met een schoenpoetsmachine. Je komt naar boven, duwt je voet erin, zij kauwt erop en geeft hem schoon terug. Ze plaatsten het bij de ingang van het datacenter.
Het werkt prima, op twee problemen na. De eerste is dat al snel duidelijk werd dat dit normaal is voor ons ingenieurs. Maar in de praktijk komen er allerlei mensen naar het datacenter kijken, waaronder topmanagers van grote bedrijven. Met schoenen gemaakt van leer uit een drakenkont. En zelfs voor het aanbrengen van crème op schoenen kost hun penseel meer dan mijn trainingssneakers, ze selecteren speciaal de borstelharen. Zij waren het die weigerden hun voeten in ons wonderapparaat te steken. Het tweede probleem ontstond in de winter: als de schoenen erg rommelig zijn, kunnen ze niet alles uit het diepe loopvlak halen. Dan loop je door de hal en laat sporen van ectoplasma achter.
We besloten eenvoudig. We hebben er een opgerolde schoenovertrek naast gelegd. Toch moeten we alles volgens de standaard dupliceren.
Er is een nieuw probleem ontstaan. Toen we het gedrag van klantingenieurs observeerden, zagen we het volgende beeld: ze staken eerst hun voeten in de machine om schoon te maken en haakten vervolgens schoenovertrekken aan een opgerolde schoenovertrek. Nu hebben ze een bord opgehangen dat het het een of het ander is, en dat het beter is om jezelf schoon te maken, maar als de principes van het leven het schoonmaken van je schoenen verbieden, draag dan schoenovertrekken. Het lijkt erop dat het ticket, dat voor een paar dagen was, maar lang duurde, gesloten was. Hier is het apparaat:
tweemaal "ku".
Volgens de PCI DSS-vereisten moet u de rollen van de mensen in het datacenter visueel kunnen onderscheiden. Zonder goed naar de pas te kijken en daar iets te lezen, maar direct visueel, zoals militairen elkaar onderscheiden door hun schouderbanden, alleen nog helderder. We besloten niet te pronken en gebruikten de goede oude Chatlan-methode: kleurdifferentiatie van broeken. Concreet begonnen ze paslinten van verschillende kleuren te maken. Onze beheerders kozen Groen onmiddellijk als hun favoriet.
Het klinkt eenvoudig, maar het veroorzaakte drie onverwachte effecten:
- Er waren oprolmechanismen nodig om deze pasjes automatisch in te trekken wanneer ze gedragen worden (dit zijn dingen die zelf de lengte van de tape regelen). We schreven het taakomschrijving, waarbij we rekening hielden met alle wensen van alle afdelingen. Dit was een strategische fout. Kleur, formaat, materiaal, het oprolmechanisme is geen plastic, de vislijn is van metaal om het logo aan te brengen zodat deze in de tape wordt genaaid. De stukken bleken zo duur dat we vervolgens de eisen moesten verlagen en het formaat moesten veranderen.
- Toen de differentiatie van de broek eenmaal begon te werken, werd het erg handig. Aannemers hebben enkele linten, externe beheerders hebben andere en onze beheerders hebben nog andere. Je kunt zien wie welke rol heeft. Voor elektriciteit - alleen grijze, voor airconditioning - blauw. En dan hadden we linten nodig voor chauffeurs (dit is een aparte rol, ze kunnen de losplaats betreden, maar kunnen deze alleen buiten verlaten). Chauffeurs hebben geen pas nodig. In eerste instantie gaven we ze lintjes zonder pasjes. Toen besloten de bewakers dat dit volkomen vreemd was en vernederend voor de menselijke waardigheid van de chauffeurs. Ze hebben hun eigen militaire logica, dus nu krijgen chauffeurs meteen een pasje met een lintje, maar met deze pas kunnen ze nergens heen. Vanuit veiligheidsoogpunt blijkt het een teken te zijn dat de beveiliging deze persoon heeft gecontroleerd.
- Een van onze ingenieurs stelde voor om groene uniformtruien te maken in plaats van lint. En hij stuurde een rationalisatievoorstel. Ze deden het halverwege: ze lieten de pasjes met het lint achter, en ze naaiden zelfs de groene uniformtruien. Nu hebben we een adminuniform. Beveiligers steunden de grap en namen deze op in de regelgeving. Nu is het verplicht (broek, shirt, trui, maar de trui kan uit).
Onze klanten klaagden ook vaak over kromme routes op de kaarten voordat ze ons Compressor-datacenter binnengingen. U voert het adres in, maar de weg wordt verkeerd weergegeven. Bezoekers taxiën uiteindelijk de verkeerde kant op, want daar liep een spoorlijn, en daarachter stond een file, en daar kon je niet keren. In eerste instantie wilden we borden boven de weg plaatsen. De stad heeft zo'n dienst: plaats gele extra borden onder de gebruikelijke borden, deze worden als reclame beschouwd. En de prijs voor hen is als adverteren: op de Entuziastov-snelweg kost één bord een miljoen roebel per jaar. Tegelijkertijd schreven we naar Yandex, en ze reageerden zelfs plotseling. En ze hielden op met acteren. U kunt zelfs de poortdiodes specificeren: ingang via sommige, uitgang via andere.
Google, als je ons leest, weet dan: je hebt nog steeds een probleem en we weten niet aan wie we het moeten vertellen zodat we gehoord kunnen worden.
Uitnodigingsbrieven bevatten niet alleen links naar een adres, maar ook naar een adres met een route op basis van de geolocatie van de gebruiker. Het resultaat was dat er minder missers waren.
Goboprojectoren en andere kleine items
Weet jij wat goboprojectoren zijn? Wij wisten het ook niet. Op de een of andere manier dachten we erover na hoe we de rijen rekken moesten markeren. De rekken zelf zijn uiteraard gemarkeerd met speciale snelkoppelingsmarkeringen, maar ze zijn zichtbaar vanaf een afstand van 1-2 meter. De hal zelf is 500 m² groot, dus er is voldoende ruimte om te verdwalen. Daarom zijn we eindelijk begonnen met het markeren van de rijen. Er is een brainstorm begonnen. Hoe markeren, waarmee en waar? Op de vloer, aan de muur, borden aan het plafond, etc. En toen zag onze collega dat er bij Ikea stickers lagen die op de vloer wegsleten, en toen verschenen er lichte pijlen. Nou, we besloten het op een simpele manier om te keren: ga naar Ikea en zet een van de projectoren tevoorschijn om te kijken. Wij snapten het niet: terwijl we de stoelen droegen, vroeg de verkoper wat we aan het doen waren. En hij hielp meteen en zei dat het een gobo was. Het blijkt dat dit niet de projector zelf is, maar een plaat of lens voor een kleurenbeeld. Dit filter is een gobo. Eén projector kost 40 roebel (er is een krachtige lamp voor gebruik overdag) en we hebben 14 rijen in elk van de vier machinekamers. Daarom hebben wij er stickers op geplakt.
We hebben ook diagrammen op de muren die door de jaren heen vervagen. We hebben ze vervangen door gelamineerde exemplaren, met speciale “ingenaaide” zakken voor auditors. In ons geval is de inspecteur de hoofdingenieur, wiens verantwoordelijkheden onder meer het controleren van de relevantie van alle schema's in het datacenter zijn. Alle schema's moeten dus jaarlijks worden gecontroleerd en ondertekend door zo'n auditor. En de aanwezigheid van een speciaal klein tijdschrift in de zak van het diagram maakt deze procedure eenvoudiger en vereist niet dat het diagram zelf elke drie jaar moet worden vervangen. Winst!
Buiten hebben we een roterende reiniging van de verhoogde vloer uitgevoerd. We hebben regelmatige schoonmaakbeurten, we hebben schoonmaakmethoden en -tijden. Maar de wielen van de zware rekken laten sporen na. Wij hebben de schoonmaak gedaan. Nu zijn we zenuwachtig: het ziet er niet veel netter uit, maar vanuit bepaalde hoeken zijn er hoogtepunten verschenen voor bepaalde mensen, nou ja, die hun eigen viltstiften hebben die bij hun smaak passen. Nu denken we erover na en zijn we op zoek naar een soort chemische stof die de vloer witter maakt en glans geeft. Zodat zelfs de uitverkorenen geen vragen hebben.
Heb je de consolerekken gezien? Dit zijn een soort reizende buffettafels, maar in plaats van drankjes is er een terminal voor aansluiting op het rek. Bij deze draagarmstellingen vallen de wielen eraf en lopen ze vast, net als bij karren in een supermarkt. We zijn het ongelooflijk beu. Als gevolg hiervan is de enige manier om het nieuw leven in te blazen het kopen van een nieuw wiel. Maar het was niet meer mogelijk om speciaal voor onze modellen wielen te krijgen; we hebben alle aannemers geïnterviewd. Daarom hebben we het rack zelf ontworpen, met de nadruk op bewegingsgemak door de machinekamer en onderhoudbaarheid. Het werkte heel goed.
Er was een verhaal over synthetische sokken. Er bestaat zoiets: antistatische armbanden. Dit is wanneer u naar het rek gaat, de armband met de aarde op het rek verbindt en communiceert met het potentiaalvereffeningssysteem. Het rack is dus geaard, maar het kan blijken dat de monteur niet geaard is. Collega's van eerdere werkplekken vertelden ons een paar keer hoe ze vonken op videobewaking zagen, en we besloten uit zonde iedereen te verplichten er direct gebruik van te maken volgens de voorschriften.
Kritieke incidenten
Ernstiger was dat er een situatie was waarbij alle koelmachines in één keer werden afgesloten. Onze koelmachines worden niet beschermd door een UPS, omdat we in natuurkunde geloven en we een plas koud water hebben als temperatuurreserve. Als er iets uitvalt, heb je geen batterijen nodig om de koelmachines die het water koelen van stroom te voorzien, maar gewoon het koude water zelf, dat al klaar staat. Handig en eenvoudig, maar er is een nuance. De koelmachines zijn uitgerust met automatische veiligheidsapparatuur, die ze uitschakelt in geval van gevaarlijke parameters van het elektrische netwerk. Als de ingang is uitgeschakeld, zetten we de dieselgeneratorset aan en worden de koelmachines hierdoor van stroom voorzien. Alles zou goed zijn als we niet in Rusland woonden. We hadden vaak netwerkstoringen, maar alles was in orde. Maar op een dag was er een scherpe sprong, eerst naar beneden, dan scherp omhoog en vervolgens weer naar beneden - binnen een paar seconden veranderden de invoerparameters ongeveer vier keer. De koelmachines gingen uiteraard uit. We probeerden ze eerst op afstand aan te zetten, maar ze beschermden zichzelf zeer betrouwbaar, als een noodgeval. De ploeg moest met de voeten op het dak lopen en deze handmatig aanzetten. Belangrijk is dat een dergelijke situatie volgens de TierIII-norm een legitieme reden is om het datacenter te sluiten. We hebben geen stop gehad, omdat mensen met hun hoofd op de grond liggen en er wordt geoefend met oefeningen. Hiervoor heeft de gebruikersinterface ons gewoon regelmatig geneukt, om zeker te zijn van TIII Operational. We zijn in ieder geval geslaagd voor de UI-hercertificering naar TIII Gold - Operational Sustainability. Op de Russische commerciële markt van datacenters is er niets coolers, behalve de onze, er is er maar één die dezelfde prestatie levert . Ik merk op dat hercertificering moeilijker is dan een geheel nieuw certificaat krijgen, omdat ze de voorgaande periode controleren alsof je jezelf niet was, en er veel meer bewijs nodig is.
Er was een interessant incident met de camera's. We besloten voor de zekerheid de dode hoeken opnieuw te berekenen, tekenden kruispunten, tekenden diagonalen van kijkhoeken op de plattegrond en plotseling vonden we midden in een van de hallen een dode hoek van zo'n 30 centimeter bij 15 meter. Smal en lang. In de volgende kamer bestaat zoiets niet. Het bleek dat de roterende camera in de loop der jaren langzaam was bewogen, zodat deze ongeveer anderhalve graad naar links begon te tonen dan zou moeten in de uiterste positie.
Er was nog een groot incident in de post .
referenties
- и
- Mijn mail: [e-mail beveiligd]
Bron: www.habr.com