🥇Het dagelijks leven van een datacenter: onopvallende details na 7 jaar gebruik. En een vervolg over de rat

Laat ik meteen zeggen: die rat in de server die we een paar jaar geleden met thee hebben verzorgd na een elektrische schok, is waarschijnlijk ontsnapt. Want we hebben op een inspectieronde haar vriendinnetje gezien. En we besloten om ultrasone afschrikmiddelen te plaatsen.

Nu is het vloekgrond rondom het datacenter: er landen geen vogels op het gebouw en waarschijnlijk zijn alle mollen en wormen ontsnapt. We maakten ons zorgen dat het geluid de HDD zou kunnen beschadigen, maar we hebben gecontroleerd, de frequenties zijn niet die.

Het volgende verhaal is veel grappiger. We kregen ooit een apparaat van een paar miljoen roebel in een doos met hellings-, trillings- en vochtigheidssensoren. Alles heel. We hebben de verpakking voorzichtig verwijderd, maar het apparaat was krom. Mysterie.

De behuizing is als een boog. Zo mooi.

Detective

We zouden hier weinig aandacht aan hebben besteed, want de gebogen metalen behuizing was bijna een designerstuk. Zo mooi, zonder schilfers. En als het niet voor andere soortgelijke apparaten daar was geweest, zouden we bij het uitpakken nooit hebben gedacht dat er iets niet klopte. Maar er waren soortgelijke, alleen met een meer correcte geometrische vorm.

Gelukkig wordt het uitpakken van zo'n apparaat op video vastgelegd (ik raad iedereen aan om deze gewoonte aan te nemen), dus we konden de fabrikant bewijzen dat het zo aangekomen was. Hele verpakking en voorzichtig gebogen behuizing — dat was geen klap van de vervoerders. Waarschijnlijk is het al vóór vertrek naar Rusland beschadigd.

De leverancier zegt: "Hé jongens, laten we het meteen onder garantie vervangen." En toen stond ons een epische hindernis te wachten.

Het probleem is dat de douane toestaat om dergelijk apparatuur op documenten in te voeren zonder exportrecht. Dat wil zeggen, je kunt het brengen, maar het is niet toegestaan om het verder te verkopen buiten Rusland. Als we een defecte voeding terugsturen, is alles duidelijk. Dit is een onderdeel, de voeding.

Hier moesten we alles terugsturen:
- Jongens, kijk, we sturen het apparaat terug naar de fabrikant.
- Het hele apparaat?
— Ja.
- Is het model zo en zo?
— Ja.
- Kan het werken?
- We weten het niet, we hebben het niet aangezet.
- Dus, het is een heel apparaat.
- Maar het werkt niet.
- Kijk, het is een heel apparaat van dit model. Zonder exportrecht. We laten het niet door.

Eerlijk gezegd waren er veel keren dat we moesten uitleggen dat we het niet exporteren, maar gewoon teruggeven. Uiteindelijk is het gelukt.

Er waren ook schoenanzetters.

Jaren geleden hadden we onze eerste automatische oplossing, de droom van elke beheerder. Je stopt er een hele doos met overschoenen in, en het apparaat maakt ze zelf open, plaatst ze in de juiste positie, zodat je er alleen maar op hoeft te gaan staan. Klak-klak, en het is klaar.

Ongeveer zes maanden later had het apparaat zo'n honderd dozen overschoenen doorheen geperst en was het stikken. Het bleek dat er zoveel bewegende delen waren dat we het ofwel elke maand moesten repareren, gezien onze hoge belasting (we hebben veel ingenieurs die op locatie rondlopen, omdat we een commerciële datacenter zijn), of we moesten een nieuwe kopen.

Het tweede probleem was dat we tijdens een reguliere schoonmaak een keer een "blauw doekje" vonden dat op een rooster van één van onze testrekken hing. De forensische expert in de vorm van een ingenieur van het x-team identificeerde het fragment als een deel van een overschoen. Het bleek dat het in de kliniek met overschoenen handig is: een halfuur lopen en klaar. Maar sommige ingenieurs kunnen een hele dag met het apparaat werken. Schuifelend. Heel hard schuifelend. En terwijl ze dat doen, slijten de overschoenen tot kleine lappen die door de machinehal vliegen.

Vrij snel kochten we een nieuwe overschone-maker. We namen een thermische overschone-machine: dit is een apparaat waarin folie wordt geladen, en het warmt deze folie zorgvuldig om de schoen. Mooi, effectief en stevig. Het verspreidt minder rommel. Het stond behoorlijk lang bij ons, maar we moesten de thermofolie ongeveer elke 1-2 uur vervangen, omdat de zool de neiging had om soms los te komen.

Eerst dachten we dat wij gewoon pech hadden, terwijl bij anderen dit probleem op de een of andere manier was opgelost. Maar nee. We vroegen onze westerse collega's —zelfde verhaal. Uiteindelijk gingen we nadenken over hoe we het normaal konden maken. Terug naar de machinehal voor nieuwe overschoenen gaan — dat idee was, laten we zeggen, niet zo best. We vonden industriële reinigers voor bouwplaatsen en fabrieken. Dit is iets als loopmatten waar de ploeg binnenkomt. De matten met veel rollers reinigen alles, en zijn zo ontworpen dat ze, of je het wilt of niet, je voeten vangen en schoonmaken. Ze kosten tussen de vijfhonderdduizend en een miljoen roebel. We hebben een vergelijkbare gevonden voor twee honderdduizend, maar je moet je voet zelf inbrengen. Qua formaat lijkt het op een schoenpoetsmachine. Je loopt er naartoe, stopt je voet erin, het apparaat kauwt erop en levert het schoon terug.

Het werkt uitstekend, met uitzondering van twee nuances. Ten eerste — het werd al snel duidelijk dat onze ingenieurs het goed vonden. Maar in de praktijk komen er allerlei mensen naar het datacenter kijken, waaronder de top van grote bedrijven. Met schoenen van drakenleer. En zelfs voor het aanbrengen van schoencrème kost een borstel daar meer dan mijn trainingssneakers, ze selecteren speciaal het juiste pluizige materiaal. Deze mensen weigerden hun voeten in ons wonderapparaat te stoppen. Het tweede probleem deed zich voor in de winter: wanneer de schoenen echt in de modder zitten, kan er niet alles uit de diepe profiel komen. Dan loop je door de zaal en laat je sporen van ectoplasma achter.

We hebben het eenvoudig opgelost. We hebben een rolstoelafdrukstation naast de deur geplaatst. Immers, we moeten alles volgens de standaard dupliceren.

Er deed zich een nieuw probleem voor. Terwijl we het gedrag van de contracterende ingenieurs observeerden, zagen we het volgende: ze staken eerst hun voet in de reinigingsmachine, en deden daarna de hoezen om van de rolstoelafdrukstation. Nu hebben we een bordje opgehangen met de boodschap dat het ofwel het ene of het andere is, en dat is beter om schoon te maken, maar als levensprincipes het verbieden om de schoenen schoon te maken, draag dan de hoezen. Het bleek een ticket te zijn dat voor een paar dagen was, maar zich lange tijd heeft uitgestrekt, en inmiddels gesloten is. Kijk naar het apparaat:

Twee keer "koe"

Volgens PCI DSS-vereisten moet het mogelijk zijn om de rollen van mensen in het datacenter visueel te onderscheiden. Niet door op de badge te letten en iets te lezen, maar gewoon visueel, zoals soldaten elkaar aan de signalen onderscheiden, alleen nog helderder. We besloten niet te overdrijven en gebruikten de oude goede chatlantische methode — kleurcodering van de broeken. Specifiek — we begonnen met badges van verschillende kleuren te maken. De groene was meteen in trek bij onze beheerders.

Het klinkt eenvoudig, maar dit veroorzaakte drie onverwachte effecten:

We hadden retractoren nodig voor het automatisch intrekken van deze badges tijdens het dragen (dit zijn dingen die de lengte van de riem zelf aanpassen). We hebben een specificatie geschreven waarin rekening werd gehouden met de wensen van alle afdelingen. Dit was een strategische fout. Kleur, formaat, materiaal, geen plastic retractor, draad van metaal om het logo aan te brengen, zodat het in de band was genaaid. Het resultaat was zo duur dat we later de vereisten moesten versoepelen en het formaat moesten veranderen.
Toen de differentiatie van de linten werd ingevoerd, werd het heel handig. De aannemers hebben de ene linten, de externe beheerders de andere en onze beheerders weer andere. Zo is te zien wie welke rol heeft. Bij de elektra zijn het alleen grijze linten, bij de airconditioning zijn het blauwe. En toen waren er linten nodig voor de chauffeurs (dit is een aparte rol, ze mogen het losgelade gebied in, maar kunnen dit niet weer verlaten behalve naar buiten). Hierbij hebben chauffeurs geen pasjes nodig. Eerst gaven we ze linten zonder pasjes. Toen besloten de beveiliging dat dit helemaal vreemd was en de menselijke waardigheid van de chauffeurs schond. Ze hebben hun eigen militaire logica, dus nu komen chauffeurs hun pasje meteen met een lint ophalen, maar dit pasje laat nergens toe. Vanuit beveiligingsperspectief is dit een marker dat deze persoon door de beveiliging is gecontroleerd.
Een van onze ingenieurs stelde voor om in plaats van linten groene uniformtruien te maken. En hij diende een verbeteringsvoorstel in. We hebben het voor de helft gedaan: de pasjes met linten zijn behouden, plus we hebben daadwerkelijk groene uniformtruien gemaakt. Nu hebben we een uniform voor de beheerders. De beveiligers steunden de grap en hebben deze in de reglementen opgenomen. Nu is het verplicht (broeken, shirt, trui, maar de trui mag worden uitgetrokken).

Onze klanten klaagden vaak over kromme routes in de kaarten naar de ingang van ons datacenter 'Compressor'. Je voert het adres in, maar de weg wordt onjuist weergegeven. Bezoekers raakten uiteindelijk verdwaald, omdat er een spoorlijn is en daarachter een file, en je daar niet kunt omkeren. Eerst wilden we borden boven de wegen ophangen. De stad biedt zo'n dienst aan — je kunt onder de reguliere borden gele extra borden plaatsen, die worden als reclame beschouwd. En de prijs voor deze borden is als reclame: op de Enthusiast Highway kost één bord een miljoen roebels per jaar. Tegelijkertijd hebben we naar Yandex geschreven, en ze hebben zelfs onverwacht geantwoord. En ze zijn gestopt met hun ongepast gedrag. Je kunt zelfs de diodes van de poorten aangeven: toegang via de ene, uitgang via de andere.

Google, als je ons leest, weet dan: je hebt nog steeds een probleem, en we weten niet aan wie we dit moeten melden zodat we gehoord worden.

In de uitnodigingsbrieven hebben we links toegevoegd, niet alleen naar het adres, maar naar het adres met de geplande route vanaf de geopositie van de gebruiker. Uiteindelijk zijn de verkeerde routes verminderd.

Gobo-projectoren en andere kleine dingen

Weet je wat gobo-projectoren zijn? Wij ook niet. We dachten na over hoe we de rijen stellingen moesten markeren. De stellingen zelf zijn natuurlijk gemarkeerd met speciale snelkoppelingen, maar ze zijn pas vanaf 1-2 meter afstand zichtbaar. De zaal is 500 m², dus je kunt er gemakkelijk verdwalen. Daarom zijn we toch begonnen met het markeren van de rijen. Een brainstormsessie volgde. Hoe moeten we markeren, waarmee en waar? Op de vloer, op de muur, aanwijzingen aan het plafond, enzovoort. En toen zag een collega dat Ikea eerder versleten stickers op de vloer had, en later verschenen er verlichte pijlen. Dus besloten we het op een eenvoudige manier om te keren: naar Ikea gaan en een van de projectoren bekijken. We konden het niet pakken: terwijl we stoelen droegen, vroeg de verkoper wat we deden. Hij hielp ons meteen en zei dat het een gobo was. Blijkbaar is dit niet de projector zelf, maar een plaat of lens voor een kleurenafbeelding. Dit kleurfilter is de gobo. Een projector kost vanaf 40.000 roebel (met een krachtige lamp voor dagelijks gebruik), en wij hebben 14 rijen in elk van de vier machinekamers. Dus hebben we stickers geplakt.

Verder vervagen onze schema's op de muren na verloop van tijd. We hebben ze vervangen door gelamineerde versies, met 'ingebouwde' speciale vakjes voor de revizorrо. In ons geval is de revizorrо de hoofdingenieur, die verantwoordelijk is voor het controleren van de actualiteit van alle schema's die in de datacenter zijn geplaatst. Alle schema's moeten jaarlijks door deze revizorrо gecontroleerd en ondertekend worden. De aanwezigheid van een speciaal klein logboek in het vakje van het schema maakt deze procedure eenvoudiger en vereist niet dat het schema elke drie jaar wordt vervangen. Winst!

We hebben de roterende reiniging van de zwevende vloer van buitenaf gedaan. Wij hebben reguliere schoonmaakbeurten, methoden en tijden voor het schoonmaken. Maar van de zware stellingen blijven er sporen achter. We hebben het schoongemaakt. Nu maken we ons zorgen: het lijkt niet zoveel netter, maar er verschijnen glinsteringen onder bepaalde hoeken bij bepaalde mensen, die hun eigen markeerstiften hebben naar eigen voorkeur. We denken nu na en zoeken naar een of ander chemisch middel dat de vloer kan oplichten en glans kan geven. Zodat zelfs bij de uitverkorenen geen vragen zijn.

Heb je de console standaards gezien? Dit zijn de mobiele buffettafels, maar in plaats van drankjes hebben ze een terminal om op de standaard aan te sluiten. Bij deze console standaards vallen de wieltjes eraf en blokkeren ze, net als bij winkelwagentjes. We zijn er tot over onze oren mee bezig geweest. Uiteindelijk was de enige manier om ze weer operationeel te krijgen, een nieuw wiel kopen. Maar we konden geen specifieke wielen voor onze modellen vinden, ondanks dat we alle leveranciers hebben ondervraagd. Uiteindelijk hebben we zelf een standaard ontworpen, waarbij we de nadruk hebben gelegd op gebruiksgemak bij het verplaatsen in de machinekamer en de mogelijkheid tot reparatie. Het is heel goed gelukt.

Er was een verhaal over synthetische sokken. Er bestaat zoiets als antistatische armbanden. Dit is wanneer je naar de standaard gaat, de armband op de grond van de standaard aansluit, en deze verbinding maakt met het aardingssysteem. De standaard is wel geaard, maar het kan zijn dat de ingenieur niet geaard is. Collega's van eerdere werkplekken vertelden dat ze een paar keer vonken op de videobeveiliging hebben gezien, en we hebben besloten om iedereen bij ons uit voorzorg te verplichten om de armband te gebruiken volgens het protocol.

Kritische incidenten

Er was een situatie waarbij alle chillers tegelijkertijd uitvielen. Onze chillers zijn niet beschermd met een UPS omdat we in de fysica geloven, en als reserve hebben we een zwembad met gekoeld water. Als er iets uitvalt, hebben we geen batterijen nodig voor de stroomvoorziening van de chillers die het water koelen, maar gewoon het koude water dat al klaar is. Handig en eenvoudig, maar er is één maar. Op de chillers staat beveiligingsautomatiek die hen uitschakelt bij gevaarlijke parameters van het elektriciteitsnet. Als de invoer uitvalt, starten we de DGU, en verder worden de chillers van hen van stroom voorzien. Het zou allemaal goed zijn als we niet in Rusland woonden. We hebben vaak netwerkomvallen gehad, maar alles was goed. Een keer was er echter een plotse sprong, eerst naar beneden, daarna weer omhoog, en weer naar beneden – binnen enkele seconden veranderden de invoerparameters ongeveer vier keer. De chillers schakelden uiteraard uit. We hebben geprobeerd ze op afstand weer in te schakelen, maar ze beschermden zichzelf zeer betrouwbaar, in een noodmodus. We moesten naar het dak lopen om ze handmatig in te schakelen. Het is belangrijk dat zo'n situatie volgens de Tier III-norm een legitieme reden is voor een uitval van de datacenter. We hebben geen uitval gehad, omdat de mensen ter plaatse goed opgeleid zijn en er oefeningen zijn. Hiervoor heeft het UI ons regelmatig getest om zeker te zijn van TIII Operational. Trouwens, we hebben de hercertificering van het UI op TIII Gold - Operational Sustainability doorstaan. Op de Russische commerciële markt van datacenters is er niets beter, behalve dat wij en nog maar één ander dezelfde prestatie hebben. Datacenter. Ik wil opmerken dat het moeilijker is om te hercertificeren dan om een certificaat van nul te verkrijgen, omdat ze ook de vorige periode controleren, en het vereist veel meer bewijs.

Er was een interessante incident met de camera's. We besloten om de blinde vlekken te tellen voor de zekerheid, we hebben de kruisingen getekend en diagonalen van de gezichtsvelden op de plattegrond gemaakt, en plotseling vonden we een dode zone van ongeveer 30 centimeter op 15 meter recht in het midden van een van de zalen. Smal en lang. In de aangrenzende zaal is er zoiets niet. Het bleek dat de draaicam langzaam is verschoven in de loop der jaren, zodat hij ongeveer anderhalve graad verder naar links keek dan nodig in de uiterste stand.

Er was ook een groot geval in het bericht over de vervangingen van de DDIBP.