🥇Hverdagen i et datasenter: usynlige detaljer over 7 års drift. Og fortsettelsen om rotta

Jeg vil si med en gang: den rotten i den medbrakte serveren, som vi ga te for et par år siden etter et elektrisk sjokk, slapp mest sannsynlig unna. For vi så en gang venninnen hennes på en runde. Og vi bestemte oss umiddelbart for å installere ultrasoniske repellere.

Nå er det et forbannet land rundt datasenteret: ingen fugler vil lande på bygningen, og sannsynligvis har alle føflekker og ormer rømt. Var bekymret for det lyd kan forårsake HDD-feil, men sjekket, er frekvensene ikke de samme.

Den neste historien er mye morsommere. Vi mottok en gang en maskinvare for et par millioner rubler i en boks med tilt-, vibrasjons- og fuktighetssensorer. Alt er helt. Fjernet forsiktig emballasjen, og jernbiten ble bøyd. Mystiker.

Kroppen er rett i en bue. Så vakker.

detektiv

Vi vil ikke legge vekt på dette, fordi den buede metallkroppen nærmest var et designbilde. Så vakkert, ingen chips. Og hvis det ikke var for andre lignende maskinvare i nærheten, ville vi ikke engang tenkt på at noe var galt ved utpakkingen. Men i nærheten var det de samme, bare med en mer regelmessig geometrisk form.

Heldigvis blir utpakkingen av slik maskinvare filmet (jeg anbefaler at alle får denne vanen), så vi kunne bevise overfor produsenten at den kom slik. En intakt pakke og en pent bøyd kropp er ikke et slag fra flytterne. Mest sannsynlig ble hun skadet allerede før hun dro til Russland.

Selgeren sier: "Øh, folkens, la oss endre det for deg med en gang under garantien." Og så ventet et episk bakhold på oss.

Faktum er at tollvesenet lar oss importere slikt utstyr med dokumenter uten rett til å eksportere. Det vil si at du kan ta det med, men du kan ikke selge det videre til noen utenfor Russland. Når vi for eksempel sender tilbake en utbrent strømforsyning, er alt klart. Dette er en reservedel, en strømforsyning.

Og så måtte jeg sende alt tilbake:
– Gutter, se, vi sender maskinvaren tilbake til produsenten.
– Helt utstyr?
- Ja.
— Modellere sånn og sånn?
- Ja.
- Kan jobbe?
– Vi vet ikke, vi har ikke slått den på.
– Så dette er et helt utstyr.
– Vel, det går ikke.
– Vel, se, hele utstyret er av denne modellen. Ingen re-eksportrettigheter. Vi slipper deg ikke inn.

Generelt ble det mange knebøy før vi fant ut at vi ikke eksporterte det, men ga det tilbake. Til slutt klarte vi å gjøre alt.

Det var også skotrekk

Først, for mange år siden, hadde vi den første automatiske, en administrators drøm. Du laster en pakke skotrekk der inne, den pakker dem ut selv, åpner dem og setter dem i en posisjon hvor du bare trenger å tråkke på dem. Chp-chpk og det er gjort.

Etter omtrent seks måneder tygget hun seg igjennom rundt hundre pakker med skotrekk og kvalt seg. Det viste seg at det er så mange bevegelige deler at vi enten må reparere det en gang i måneden på lasten vår (vi har mange kundeingeniører som går rundt på anlegget, fordi vi er et kommersielt datasenter), eller så må vi kjøpe en ny en.

Det andre problemet er at vi senere, under en av de vanlige rengjøringene, på en eller annen måte fant en "liten blå fille" hengende på risten til en av stativene til testingen vår. Den rettsmedisinske eksperten, representert ved en X-Team-ingeniør, identifiserte et fragment av skodekselets kropp. Det viste seg at det var praktisk å bruke skotrekk på klinikken: Jeg gikk rundt i en halvtime og det var alt. Og noen ingeniører kan jobbe med maskinvare hele dagen. Skuffende føtter. Stokker mye. Og skotrekkene slites ut i disse små fillene som flyr rundt i turbinhallen.

Vi kjøpte nesten umiddelbart et nytt skotrekk. Vi tok en termisk støvelveske: dette er en maskin som film er ladet inn i, og den varmekrymper denne filmen forsiktig på toppen av skoen. Vakker, effektiv, holdbar. Mindre spredning. Vi hadde den ganske lenge, men vi måtte bytte krympefilm ca en gang hver 1-2 time, fordi sålen hadde en tendens til å falle av av seg selv.

Først trodde vi at vi var uheldige, men folk løser på en eller annen måte dette problemet. Men nei. Vi spurte våre vestlige kolleger - den samme historien. Som et resultat begynte de å tenke på hvordan de skulle gjøre det riktig. Å returnere fra turbinhallen for nye skotrekk er ærlig talt en så som så idé. Vi fant industrielle rengjøringsmidler for byggeplasser og industrier. Dette er noe sånt som stier som skiftet går inn på verkstedet. Baner med en haug med ruller renser alt, og er laget på en slik måte at enten du vil ha det eller ikke, vil det fange og rengjøre. De koster en halv million til en million rubler. Vi gravde rundt og fant den samme til 200 tusen, men du må sette foten i den selv. Den ligner i størrelse på en skopussemaskin. Du kommer opp, dytter foten inn dit, hun tygger den og gir den ren tilbake. De plasserte den ved inngangen til datasenteret.

Det fungerer utmerket bortsett fra to problemer. Den første er at det raskt ble klart at dette er normalt for oss ingeniører. Men i praksis kommer en rekke mennesker til datasenteret for å se, inkludert toppledere i store selskaper. Med sko laget av skinn fra en dragerass. Og selv for å bruke krem på sko, koster børsten deres mer enn treningsskoene mine, de velger spesielt busten. Det var de som nektet å sette føttene inn i mirakelapparatet vårt. Det andre problemet oppsto om vinteren: når skoene er veldig rotete, kan de ikke få alt ut av den dype slitebanen. Så går du rundt i hallen og etterlater spor av ektoplasma.

Vi bestemte oss rett og slett. Vi plasserte et rullet skotrekk ved siden av. Likevel må vi duplisere alt i henhold til standarden.

Et nytt problem har oppstått. Når vi observerte oppførselen til kundeingeniører, så vi følgende bilde: de stakk først føttene inn i maskinen for rengjøring, og hektet deretter skotrekk fra et rullet skotrekk. Nå har de satt opp et skilt om at det enten er det ene eller det andre, og det er bedre å rydde selv, men hvis livsprinsippene forbyr rengjøring av skoene dine, så bruk skotrekk. Det ser ut til at billetten, som var for et par dager, men varte lenge, var stengt. Her er enheten:

"ku" to ganger

I henhold til PCI DSS-kravene må du visuelt kunne skille rollene til personer som befinner seg i datasenteret. Uten å se nøye på passet og lese noe der, men direkte visuelt, som militært personell skiller hverandre ut med skulderstroppene, bare enda lysere. Vi bestemte oss for ikke å vise oss frem og brukte den gode gamle Chatlan-metoden – fargedifferensiering av bukser. Spesielt begynte de å lage passbånd i forskjellige farger. Våre administratorer tok umiddelbart Green som sin favoritt.

Det høres enkelt ut, men det forårsaket tre uventede effekter:

Retraktorer var nødvendig for å automatisk trekke disse passene tilbake når de ble slitt (dette er ting som selv regulerer lengden på båndet). Vi skrev en teknisk spesifikasjon som tok hensyn til alle ønsker fra alle avdelinger. Dette var en strategisk feil. Farge, format, materiale, retraktoren er ikke av plast, fiskesnøret er laget av metall for å påføre logoen slik at den blir sydd inn i båndet. Brikkene viste seg å være så dyre at vi da måtte kutte kravene og endre formatet.
Når differensieringen av buksene begynte å fungere, ble det veldig praktisk. Entreprenører har noen bånd, eksterne administratorer har andre, og våre administratorer har andre. Du kan se hvem som har hvilken rolle. For elektrisk - bare grå, for klimaanlegg - blå. Og så trengte vi bånd til sjåfører (dette er en egen rolle, de kan gå inn i losseområdet, men kan ikke forlate det unntatt utenfor). Sjåfører trenger ikke pass. Først ga vi dem bånd uten pass. Da bestemte sikkerhetsvaktene at dette var helt merkelig og nedverdigende for sjåførenes menneskeverd. De har sin egen militære logikk, så nå kommer sjåfører for å motta et pass umiddelbart med et bånd, men dette passet lar dem ikke gå hvor som helst. Fra sikkerhetssynspunkt viser det seg å være en markør på at sikkerheten har sjekket denne personen.
En av våre ingeniører foreslo å lage grønne uniformsgensere i stedet for bånd. Og han sendte et rasjonaliseringsforslag. De klarte det halvveis: de la passet med båndet, pluss at de faktisk sydde de grønne uniformsgenserne. Nå har vi en admin uniform. Sikkerhetsvakter støttet vitsen og inkluderte den i regelverket. Nå er det obligatorisk (bukse, skjorte, genser, men genseren kan tas av).

Kundene våre klaget også ofte på krokete ruter på kartene før de gikk inn i vårt Compressor-datasenter. Du skriver inn adressen, men veien vises feil. Besøkende endte opp med å takse i feil retning, fordi det var en jernbane der, og bak den var det trafikkork, og det var ingen måte å snu der. Først ønsket vi å sette skilt over veien. Byen har en slik tjeneste - plasser gule tilleggsskilt under de vanlige skiltene, de regnes som reklame. Og prisen for dem er som reklame: på Entuziastov Highway koster ett skilt en million rubler i året. Samtidig skrev vi til Yandex, og de svarte til og med plutselig. Og de sluttet å opptre. Du kan til og med spesifisere portdiodene: inngang gjennom noen, utgang gjennom andre.

Google, hvis du leser oss, så vet: du har fortsatt et problem, og vi vet ikke hvem vi skal fortelle om det slik at vi kan bli hørt.

Invitasjonsbrev inkluderte lenker ikke bare til en adresse, men til en adresse med en rute basert på brukerens geografiske plassering. Som et resultat ble det færre bom.

Gobo-projektorer og andre småting

Vet du hva gobo-projektorer er? Det visste vi heller ikke. På en eller annen måte tenkte vi på hvordan vi skulle markere rekkene med stativer. Selve stativene er selvfølgelig merket med spesielle hurtigutløsende markeringer, men de kan sees på 1-2 meters avstand. Selve hallen er på 500 kvm, så det er god plass til å gå seg vill der. Derfor begynte vi endelig å merke radene. En idédugnad har begynt. Hvordan markere, med hva og hvor? På gulvet, på veggen, skilt i taket osv. Og så så vår kollega at det på Ikea pleide å være klistremerker som ble slitt på gulvet, og da dukket det opp lyspiler. Vel, vi bestemte oss for å snu det på en enkel måte: gå til Ikea og slå ut en av projektorene for å se. Vi kunne ikke få det: mens vi bar stolene, spurte selgeren hva vi gjorde. Og han hjalp umiddelbart og sa at det var en gobo. Det viser seg at dette ikke er selve projektoren, men en plate eller linse for et fargebilde. Dette filteret er en gobo. En projektor koster fra 40 tusen rubler (det er en kraftig lampe for bruk på dagtid), og vi har 14 rader i hvert av de fire maskinrommene. Derfor setter vi klistremerker på den.

Vi har også diagrammer på veggene som blekner med årene. Vi endret dem til laminerte, med spesielle "innsydde" lommer for revisorer. I vårt tilfelle er inspektøren sjefsingeniøren, hvis ansvar inkluderer å kontrollere relevansen av alle ordninger som ligger i datasenteret. Så alle ordninger må kontrolleres årlig og signeres av en slik revisor. Og tilstedeværelsen av et spesielt lite magasin i lommen på diagrammet gjør denne prosedyren enklere og krever ikke utskifting av selve diagrammet hvert tredje år. Profitt!

Vi gjorde en roterende rengjøring av det hevede gulvet ute. Vi har jevnlige rengjøringer, vi har rengjøringsmetoder og tider. Men hjulene på de tunge stativene setter spor. Vi gjorde rengjøringen. Nå er vi nervøse: det ser ikke mye penere ut, men høydepunkter har dukket opp fra visse vinkler for visse mennesker, vel, som har sine egne tusjpenner som passer deres smak. Nå tenker vi på det og ser etter en slags kjemikalie som vil bleke gulvet og tilføre glans. Slik at selv de utvalgte ikke har spørsmål.

Har du sett konsollstativene? Disse er som omreisende buffetbord, men i stedet for drinker er det en terminal for tilkobling til stativet. Så på disse utkragingsstativene faller hjulene av og setter seg fast, som vogner i et supermarked. Vi er utrolig lei. Som et resultat er den eneste mulige måten å gjenopplive det på å kjøpe et nytt hjul. Men det var ikke lenger mulig å få hjul spesielt til våre modeller, vi intervjuet alle entreprenørene. Som et resultat designet vi stativet selv, med fokus på enkel bevegelse rundt i maskinrommet og vedlikehold. Det fungerte veldig bra.

Det var en historie med syntetiske sokker. Det er en slik ting - antistatiske armbånd. Dette er når du går til stativet, kobler armbåndet til bakken på stativet, og det kommuniserer med potensialutjevningssystemet. Så stativet er jordet, men det kan vise seg at ingeniøren ikke er jordet. Kolleger fra tidligere arbeidsplasser fortalte oss hvordan de så gnister på videoovervåking et par ganger, og vi bestemte oss av synd å forplikte alle til å bruke det direkte i henhold til regelverket.

Kritiske hendelser

På et mer alvorlig notat var det en situasjon der alle kjølerne ble kuttet av på en gang. Våre kjølere er ikke beskyttet av en UPS, fordi vi tror på fysikk, og vi har et basseng med kaldt vann som temperaturreserve. Hvis noe går ut, trenger du ikke batterier for å drive kjøleaggregatene som avkjøler vannet, men bare selve det kalde vannet, som allerede er klart. Praktisk og enkel, men det er en nyanse. Kjølerne er utstyrt med automatisk sikkerhetsutstyr, som slår dem av i tilfelle farlige parametere i det elektriske nettverket. Hvis inngangen er slått av, slår vi på dieselgeneratorsettet, og deretter drives kjølerne fra dem. Alt ville vært bra hvis vi ikke bodde i Russland. Vi hadde nettverksbrudd mange ganger, men alt var bra. Men en dag var det et skarpt hopp, først ned, så kraftig opp, så ned igjen - på noen få sekunder endret inngangsparametrene omtrent 4 ganger. Kjølerne slått av, selvfølgelig. Vi prøvde først å slå dem på eksternt, men de beskyttet seg veldig pålitelig, som en nødsituasjon. Skiftet måtte gå med føttene på taket og skru dem på manuelt. Det som er viktig, ifølge TierIII-standarden, er en slik situasjon en legitim grunn til å stenge datasenteret. Vi hadde ikke stopp, fordi folk er på bakken med hodet, og det er drill med øvelser. For dette knullet brukergrensesnittet oss regelmessig, for å være sikker på TIII Operational. Om noe har vi gitt UI-resertifisering til TIII Gold - Operational Sustainability. I det russiske kommersielle markedet for datasentre er det ikke noe kulere, bortsett fra vårt, bare en har samme prestasjon Datasenter. Jeg bemerker at resertifisering er vanskeligere enn å få et sertifikat fra bunnen av, siden de sjekker forrige periode som om du ikke var deg selv, og det kreves mye mer bevis.

Det var en interessant hendelse med kameraene. Vi bestemte oss for å beregne blindsonene på nytt for sikkerhets skyld, tegnet kryss, plottet diagonaler av synsvinkler på planen, og plutselig fant vi en blindsone på rundt 30 centimeter ganger 15 meter midt i midten av en av hallene. Smalt og langt. Det er ikke noe slikt i rommet ved siden av. Det viste seg at det roterende kameraet sakte hadde beveget seg gjennom årene slik at det begynte å vise omtrent halvannen grad til venstre enn det burde i ytterstilling.

Det var en annen stor hendelse i innlegget om reparasjon erstatning av DDIBP.