🥇En dag i datacentret: oväntade detaljer efter 7 års drift. Och fortsättningen om råttan

Jag säger det direkt: råttan i den levererade servern, som vi för några år sedan gav te efter att den fått elektriska stötar, har troligtvis rymt. För vi såg vid ett tillfälle hennes väninna under inspektionen. Och vi bestämde oss genast för att installera ultraljudsavskräckare.

Nu är jorden runt datacentret förbannad: fåglarna sätter sig inte på byggnaden, och troligtvis har alla sorkar och maskar rymt. Vi oroade oss för att ljudet kan orsaka att HDD:n går sönder, men vi kontrollerade, frekvenserna var inte rätt.

Den nästa historien är mycket roligare. Vi fick en gång en maskin för ett par miljoner rubel i en låda med lutnings-, vibrations- och fuktighetsgivare. Allt var intakt. Vi öppnade paketet försiktigt, men maskinen var böjd. Mystik.

Kåpan är helt böjd. Så vackert.

Detektiv

Vi skulle inte ha lagt så stor vikt vid detta, eftersom den böjda metallkåpan nästan såg designeraktig ut. Så vacker, utan skador. Och om inte för att det fanns andra likadana maskiner i närheten, skulle vi inte ens ha tänkt på att något var fel under uppackningen. Men de var i närheten, bara med mer korrekt geometrisk form.

Som tur är filmas uppackningen av sådan utrustning (jag rekommenderar alla att skaffa en sådan vana), så vi lyckades bevisa för tillverkaren att den kom så. Hela paketet och noggrant böjd kåpa — det är inte en stöt från arbetarna. Troligtvis skadades den innan den skickades till Ryssland.

Leverantören säger: "Eh, grabbar, låt oss byta ut den under garantin direkt." Och här väntade vi på en episk fälla.

Saken är den att tullen tillåter oss att föra in sådan utrustning med dokument utan exporträtt. Det vill säga, vi kan föra in den, men sälja den vidare utanför Ryssland får vi inte. När vi skickar tillbaka en trasig strömförsörjning, till exempel, är allt klart. Det är en reservdel, en strömförsörjning.

Men nu behövdes vi skicka tillbaka allt:
— Grabbar, kolla, vi skickar tillbaka maskinen till tillverkaren.
— Utrustningen i sin helhet?
— Ja.
— Modellen är så här?
— Ja.
— Kan den fungera?
— Vi vet inte, vi har inte testat.
— Så det är helt utrustning.
— Men den fungerar ju inte.
— Men titta, det är helt utrustning av den här modellen. Utan rätt till reexport. Vi släpper inte igenom den.

Kort sagt, det var mycket krångel innan vi kom fram till att vi inte exporterar den, utan lämnar tillbaka den. I slutändan lyckades vi få det gjort.

Det fanns också skoskydd

Vi hade en gång för många år sedan den första automatiska, en dröm för administratörer. Du stoppar in skorna i den, och den packar upp dem själv, öppnar dem och placerar dem i ett läge där du bara behöver kliva in. Bump-bump, och klart.

Ungefär efter sex månader hade den tuggat igenom runt hundra paket med skoskydd och kvävdes. Det visade sig att det fanns så många rörliga delar, att den antingen måste repareras varje månad under vår belastning (vi har många ingenjörer-kunder på plats, eftersom vi är en kommersiell datacenter), eller så måste vi köpa en ny.

Det andra problemet var att vi vid ett av de vanliga städrundorna plötsligt hittade en "blå trasa" som låg och hängde på gallret hos en av våra testställningar. Rättsmedicinska experten i form av en ingenjör från x-teamet identifierade en del av skoskyddet. Det visade sig vara praktiskt på kliniken med skoskydd: en halvtimme och allt var klart. Men vissa ingenjörer kan jobba hela dagen med maskinvaran. Släpande fötter. Mycket släpande. Och skoskydden slits ner till dessa små lappar som flyger runt i maskinrummet.

Vi köpte nästan direkt en ny skoskyddsmaskin. Vi valde en termoskyddsmaskin: det är en maskin där man laddar in film, och den termorullar film över skon. Vackert, effektivt, hållbart. Mindre flygande bitar. Den stod hos oss ganska länge, men man behövde byta termofolien ungefär var 1-2 timme, för att sulan hade en tendens att släppa.

Vi trodde först att vi hade otur, men för andra är det verkligen ett problem de har löst. Men nej. Vi frågade våra västerländska kollegor — samma historia. Till slut började vi tänka på hur vi kunde göra en ordentlig lösning. Att gå tillbaka till maskinrummet för nya skoskydd är, ska vi säga, en dålig idé. Vi hittade industriella rengörare för byggarbetsplatser och andra produktionsanläggningar. Det är något som liknar gångar som skiften går in i i verkstaden. Gångar med massor av rullar som rengör allt, och de är designade så att oavsett vad, fångar och rengör de. De kostar mellan en halv och en miljon rubel. Vi grävde lite och hittade en likadan för 200 000, men du måste sätta foten i den själv. I storlek liknar den en skovårdsautomat. Du går fram, stoppar in foten, den tuggar på den och ger tillbaka en ren fot. Vi satte den vid ingången till datacentret.

Fungerar utmärkt förutom två saker. För det första — det blev ganska snabbt klart att detta är helt okej för oss ingenjörer. Men i praktiken kommer en mängd olika människor till datacentret, bland dem chefer från stora företag. Med skor av drakläder. Och för dem costar en borste för att applicera skokräm mer än mina träningsskor, de väljer specialiserad borste. De var faktiskt motvilliga att sticka in fötterna i vår underbara apparat. Det andra problemet uppstod på vintern: när skorna verkligen är i en kladdig situation, kan de möjligtvis inte få ut allt från de djupa sulorna. Man går omkring i rummet och lämnar efter sig spår av ektoplasma.

Vi löste det enkelt. Vi satte en rullande överdragshållare bredvid. Vi måste ändå duplicera allt enligt standard.

Ett nytt problem uppstod. Genom att observera ingenjörerna som var kunder såg vi följande: de stoppade först in foten i rengöringsmaskinen och satte på överdragen från rullhållaren efteråt. Nu har vi hängt upp en skylt som säger att man antingen ska använda det ena eller det andra, och att det är bättre att rengöra, men om livsprinciperna förbjuder att rengöra skorna, så får man sätta på överdragen. Det verkade vara en biljett som skulle ta några dagar, men den drog ut på tiden, och stängdes. Här är apparaten:

Två gånger "ku"

Enligt PCI DSS-kraven måste man kunna visuellt särskilja rollerna hos människor i datacentret. Utan att titta noga på accesskortet och läsa något där, utan bara visuellt, som militärer skiljer på varandra med gradbeteckningar, men ännu tydligare. Vi bestämde oss för att inte vara pretentiösa och använde den gamla goda chatlansk metod — färgkodning av byxor. Specifikt började vi göra accessband av olika färger. Grön, som sin favorit, togs omedelbart av våra administratörer.

Det låter enkelt, men detta ledde till tre oväntade effekter:

Vi behövde retraktorer för automatisk indragning av dessa pass när de bärs (det är sådana saker som själva justerar längden på bandet). Vi skrev en kravspecifikation där vi tog hänsyn till alla avdelningars önskemål. Detta visade sig vara ett strategiskt misstag. Färg, format, material, retraktor inte av plast, linan av metall, för att kunna applicera logotyp, så att den var insydd i bandet. Sådana saker blev så dyra att vi senare fick skära ner kraven och ändra formatet.
När differentieringen av banden började fungera blev det mycket bekvämt. Entreprenörerna har ett slags band, externa administratörer ett annat, och våra administratörer ett tredje. Man kan tydligt se vilken roll man har. Inom el — endast grå, inom kylsystem — blå. Och här behövdes band för förarna (det är en separat roll, de kan gå in i lastzoner men inte lämna dem annat än utanför). För det behövs inga tillstånd för förarna. Först gav vi dem band utan tillstånd. Men säkerhetsfolket tyckte att det var ganska konstigt och kränkte förarnas värdighet. De har sin egen militära logik, så nu kommer förarna och får sitt tillstånd direkt med bandet, men det tillståndet släpper inte in någonstans. Ur säkerhetssynpunkt fungerar det som en markör, att säkerheten har kontrollerat den här personen.
En av våra ingenjörer föreslog att man istället för band skulle göra uniformströjor i grön färg. Och skickade in ett rationellt förslag. Vi gjorde det till hälften: vi behöll tillstånden med band, plus att vi verkligen sydde gröna uniformströjor. Nu har vi en uniform för admin. Säkerhetsfolket stöder skämtet och har infört det i våra regler. Nu är den obligatorisk (byxor, skjorta, tröja, men tröjan kan tas av).

Våra kunder klagade ofta på snedvridna rutter i kartorna till ingången till vårt datacenter "Kompressor". Man slår in adressen, men vägen visas felaktigt. Besökarna hamnade alltså fel eftersom det finns en järnväg där, och bakom där är det trafikstockning, och man kan inte vända där. Först ville vi sätta upp skyltar ovanför vägen. Kommunen har en sådan tjänst — att sätta upp gula extra skyltar under de vanliga, de räknas som reklam. Och kostnaden för dem är som för reklam: på Entuziasternas motorväg kostar en skylt en miljon rubel per år. Samtidigt skrev vi till Yandex, och de svarade faktiskt oväntat. Och slutade bråka. Man kan till och med ange dioder vid portarna: ingång genom en, utgång genom en annan.

Google, om ni läser detta, så vet att ni fortfarande har ett problem, och vi vet inte vem vi ska säga detta till för att ni ska höra oss.

I inbjudningsbreven infogade vi länkar, inte bara till adressen utan till adressen med den väg som användaren skulle ta från sin geolokalisering. Resultatet blev att missarna blev färre.

Gobo-projektorer och andra småsaker.

Vet du vad gobo-projektorer är? Vi visste inte heller. Vi funderade på hur vi skulle märka rader av ställningar. Själva ställningarna har självklart speciella snabblås märkningar, men de syns bara på ett avstånd av 1-2 meter. Själva rummet är 500 kvm, så det är lätt att gå vilse där. Därför började vi ändå med att märka raderna. En brainstorming satte igång. Hur ska vi märka, med vad och vart? På golvet, på väggen, skyltar i taket osv. Och då såg en kollega att IKEA tidigare haft slitna klistermärken på golvet, och sedan kom ljuspilarna. Vi bestämde oss för att göra det enkelt: gå till IKEA och se om vi kunde titta på en av projektorerna. Det blev svårt att få tag på den: medan vi bar stolar frågade försäljaren vad vi höll på med. Och han hjälpte oss direkt och sa att det är en gobo. Det visar sig att det inte är själva projektorn utan en platta eller linse för färgbilder. Denna ljusfilter är gobo. En projektor kostar från 40 000 rubel (det finns en kraftfull lampa för dagligt bruk), och vi har 14 rader i varje av de fyra maskinhallarna. Så vi satte klistermärken.

Även våra scheman på väggarna bleknar med åren. Vi bytte dem mot laminat, med inbyggda fickor för revisorn. Revisorn i vårt fall är huvudingenjören vars ansvar är att kontrollera att alla scheman som finns i datacentret är aktuella. Så, alla scheman måste årligen kontrolleras och signeras av revisorn. Att ha en speciell liten journal i fickan av schemat gör denna procedur enklare och kräver inte att själva schemat byts ut var tredje år. Profit!

Vi gjorde en rotorrening av falskgolvet utvändigt. Vi har regelbundna städningar, det finns metoder och scheman för städning. Men tunga ställningars hjul lämnar spår. Vi gjorde en städning. Nu är vi lite nervösa: det ser inte mycket renare ut, men det finns blänk från vissa vinklar hos vissa personer, de som har sina egna märken i sin smak. Nu funderar vi och letar efter någon typ av kemikalie som ska bleka golvet och ge det lyster. Så att inte ens de utvalda har några frågor.

Har du sett konsolställen? Det är de rullande bufféborden, men istället för drycker finns det en terminal för anslutning till ställen. Dessa konsolställen har hjul som lossnar och fastnar, precis som vagnar i stormarknaden. Det har verkligen tröttat ut oss. Den enda möjliga lösningen för att återuppliva dem är att köpa ett nytt hjul. Och att få tag på hjul specifikt för våra modeller var omöjligt, vi frågade alla leverantörer. Så vi designade själva ett ställe som passar oss, med fokus på bekvämlighet för rörelse i maskinsalen och reparerbarhet. Det blev riktigt bra.

Det fanns en historia med syntetiska strumpor. Det finns en sak - antistatiska armband. Det är när du går fram till stället, kopplar armbandet till jord på stället, och det kopplar till systemet för potentialutjämning. Stället är jordad, men det kan hända att ingenjören inte är jordad. Kollegor från tidigare arbetsplatser berättade hur de några gånger såg gnistor på videövervakningen, och vi bestämde oss för att alla här måste använda dessa enligt reglerna.

Kritiska incidenter

Det allvarliga var att det vid ett tillfälle plötsligt slutade fungera för alla chillers. Våra chillers är inte skyddade av UPS eftersom vi litar på fysik, och som reserv för temperatur har vi en pool med kylvatten. Om något stängs av behövs det inte batterier för att driva chillers som kyler vattnet, utan bara det kalla vattnet som redan är klart. Det är bekvämt och enkelt, men det finns en detalj. Chillernas skyddssystem stänger av dem vid farliga parametrar i elnätet. Om ingången stängs av slår vi på DGAgeneratorn, och sedan får chillers ström därifrån. Allt skulle varit bra om vi inte bodde i Ryssland. Vi har många gånger haft sänkningar i nätet, men allt har fungerat bra. Men en gång var det en plötslig topp som först gick ner, sedan upp hastigt, och sedan ner igen – på några sekunder förändrades ingångens parametrar ungefär 4 gånger. Chillernas stängdes av, naturligtvis. Vi försökte först slå på dem på distans, men de skyddade sig själva mycket pålitligt, på nödvis. Vi fick gå till taket och slå på dem manuellt. Det viktiga är att enligt Tier III-standarden är en sådan situation en legitim anledning till att stänga ett datacenter. Vi hade ingen stängning eftersom personerna på plats är kompetenta och har utbildning. För detta blev vi regelbundet kontrollerade av UI för att vara säkra på TIII Operational. Om något, så har vi passerat UI:s recertifiering för TIII Gold – Operational Sustainability. På den ryska kommersiella marknaden för datacenter finns inget bättre, förutom vårt, som har samma utmärkelse. datacenter. Jag vill påpeka att det är svårare att recertifiera sig än att få ett certifikat från grunden, eftersom de även kontrollerar den tidigare perioden som inte har varit i sin ordning, och fler bevis krävs.

Det var en intressant incident med kamerorna. Vi bestämde oss för att räkna blindzoner för säkerhets skull, ritade korsningar, byggde diagonaler för synvinklar på planen, och plötsligt hittade vi en död zon på cirka 30 centimeter med 15 meter rakt i mitten av ett av rummen. Smal och lång. Det finns ingen sådan i rummet bredvid. Det visade sig att den rörliga kameran sakta hade förflyttat sig över åren så att den nu visade ungefär 1,5 grader mer åt vänster än den borde i sitt ytterläge.

Det var även en stor händelse i inlägget om utbytet av DDC UPS.