Jag säger genast: den där råttan i servern, som vi gav te för ett par år sedan efter en elektrisk stöt, rymde troligen. För vi såg en gång hennes kompis på en runda. Och vi bestämde oss omedelbart för att installera ultraljudsrepellers.
Nu finns det ett förbannat land runt datacentret: inga fåglar kommer att landa på byggnaden, och förmodligen har alla mullvadar och maskar rymt. Var orolig för det orsakar hårddiskfel, men kontrolleras, frekvenserna är inte desamma.
Nästa historia är mycket roligare. En gång fick vi en hårdvara för ett par miljoner rubel i en låda med lutnings-, vibrations- och fuktighetssensorer. Allt är helt. Tog försiktigt bort förpackningen och järnbiten böjdes. Mystiker.
Kroppen är rak i en båge. Så vacker.
Detektiv
Vi skulle inte lägga någon vikt vid detta, eftersom den böjda metallkroppen nästan var en designbild. Så vacker, inga chips. Och om det inte vore för andra liknande hårdvaror i närheten, skulle vi inte ens ha tänkt på att något var fel vid uppackningen. Men i närheten fanns samma, bara med en mer regelbunden geometrisk form.
Lyckligtvis filmas uppackningen av sådan hårdvara (jag rekommenderar att alla skaffar sig denna vana), så vi kunde bevisa för tillverkaren att det kom så här. En intakt förpackning och en snyggt böjd kropp är inte ett slag från flyttarna. Troligtvis skadades hon redan innan hon lämnade till Ryssland.
Säljaren säger: "Äh, killar, låt oss byta det åt er direkt under garantin." Och sedan väntade ett episkt bakhåll på oss.
Faktum är att tullen tillåter oss att importera sådan utrustning med dokument utan rätt att exportera. Det vill säga, du kan ta med den, men du kan inte sälja den vidare till någon utanför Ryssland. När vi till exempel skickar tillbaka en utbränd strömförsörjning är allt klart. Detta är en reservdel, en strömförsörjning.
Och sedan var jag tvungen att skicka tillbaka allt:
– Killar, titta, vi skickar tillbaka hårdvaran till tillverkaren.
- Hela utrustningen?
- Ja.
— Modellera så och så?
- Ja.
- Kan fungera?
– Vi vet inte, vi slog inte på det.
– Så det här är en hel utrustning.
– Nja, det fungerar inte.
– Tja, titta, hela utrustningen är av den här modellen. Inga återexporträttigheter. Vi släpper inte in dig.
Generellt sett blev det mycket huk innan vi kom på att vi inte exporterade det, utan gav tillbaka det. Till slut lyckades vi göra allt.
Det fanns även skoöverdrag
Först för många år sedan hade vi den första automatiska, en administratörs dröm. Du lastar in ett paket skoskydd där, den packar upp dem själv, öppnar dem och sätter dem i ett läge där du bara behöver trampa på dem. Chp-chpk och det är klart.
Efter ungefär ett halvår tuggade hon igenom ett hundratal förpackningar skoöverdrag och kvävdes. Det visade sig att det finns så många rörliga delar att vi antingen behöver reparera det en gång i månaden vid vår last (vi har många kundingenjörer som går runt på anläggningen, eftersom vi är ett kommersiellt datacenter), eller så måste vi köpa en ny.
Det andra problemet är att vi senare, under en av de vanliga städningarna, på något sätt hittade en "liten blå trasa" som hängde på gallret på ett av testställena. Den rättsmedicinska experten, representerad av en X-Team-ingenjör, identifierade ett fragment av skoskyddets kropp. Det visade sig att det var bekvämt att bära skoskydd på kliniken: jag gick runt i en halvtimme och det var allt. Och vissa ingenjörer kan arbeta med hårdvara hela dagen. Blandar fötterna. Blandar mycket. Och skoskydden slits ut i dessa små strimlor som flyger runt i turbinhallen.
Vi köpte nästan direkt ett nytt skoskydd. Vi tog ett termiskt stövelfodral: det här är en maskin i vilken film laddas, och den värmekrymper försiktigt filmen ovanpå skon. Vacker, effektiv, hållbar. Mindre spridning. Vi hade det ganska länge, men vi var tvungna att byta krympfilm ungefär en gång var 1-2:e timme, eftersom sulan tenderade att ramla av av sig själv.
Först trodde vi att vi hade otur, men folk löser det här problemet på något sätt. Men nej. Vi frågade våra västerländska kollegor - samma historia. Som ett resultat började de fundera på hur de skulle göra normalt. Att återvända från turbinhallen för nya skoöverdrag är, ärligt talat, en so-so idé. Vi hittade industristädare för byggarbetsplatser och industrier. Det är ungefär som stigar längs vilka skiftet går in i verkstaden. Banor med ett gäng rullar rengör allt, och är gjorda på ett sådant sätt att vare sig du vill det eller inte så kommer det att fånga och rengöra. De kostar en halv miljon till en miljon rubel. Vi grävde runt och hittade samma för 200 tusen, men du får sätta foten i den själv. Den liknar i storlek en skoputsmaskin. Du kommer upp, trycker in foten där, hon tuggar den och ger den tillbaka ren. De placerade den vid ingången till datacentret.
Det fungerar utmärkt förutom två problem. Den första är att det snabbt stod klart att detta är normalt för oss ingenjörer. Men i praktiken kommer en mängd olika personer till datacentret för att titta, inklusive toppchefer för stora företag. Med skor gjorda av läder från en drakrumpa. Och även för att applicera kräm på skor kostar deras borste mer än mina träningssneakers, de väljer borsten speciellt. Det var de som vägrade att sätta sina fötter i vår mirakelapparat. Det andra problemet uppstod på vintern: när skorna verkligen är i en enda röra kan de inte få ut allt ur den djupa slitbanan. Sedan går du runt i hallen och lämnar spår av ektoplasma.
Vi bestämde oss helt enkelt. Vi placerade ett rullat skoskydd bredvid. Ändå måste vi duplicera allt enligt standarden.
Ett nytt problem har uppstått. När vi observerade beteendet hos kundingenjörer såg vi följande bild: de stack först in fötterna i maskinen för rengöring och krokade sedan skoskydd från ett rullat skoskydd. Nu har de satt upp en skylt att det är antingen det ena eller det andra, och det är bättre att städa själv, men om livets principer förbjuder att rengöra dina skor, använd då skoskydd. Det verkar som att biljetten, som var på ett par dagar, men varade länge, var stängd. Här är enheten:
"ku" två gånger
Enligt PCI DSS-kraven måste du visuellt kunna urskilja rollerna för personer som finns i datacentret. Utan att titta noga på passet och läsa något där, utan direkt visuellt, som militär personal särskiljer varandra med sina axelband, bara ännu ljusare. Vi bestämde oss för att inte visa upp oss och använde den gamla goda Chatlan-metoden – färgdifferentiering av byxor. Specifikt började de göra passband i olika färger. Våra administratörer tog genast Green som sin favorit.
Det låter enkelt, men det orsakade tre oväntade effekter:
- Upprullare behövdes för att automatiskt dra tillbaka dessa pass när de var slitna (detta är saker som själva reglerar längden på tejpen). Vi skrev en teknisk specifikation som tog hänsyn till alla avdelningars önskemål. Detta var ett strategiskt misstag. Färg, format, material, upprullaren är inte av plast, fiskelinan är gjord av metall för att applicera logotypen så att den sys fast i tejpen. Bitarna visade sig vara så dyra att vi då fick skära av kraven och ändra formatet.
- När väl differentieringen av byxorna började fungera blev det väldigt bekvämt. Entreprenörer har vissa band, externa administratörer har andra och våra administratörer har andra. Du kan se vem som har vilken roll. För el - endast grå, för luftkonditionering - blå. Och då behövde vi band för förare (detta är en separat roll, de kan komma in i lossningsområdet, men kan inte lämna det förutom utanför). Förare behöver inget pass. Först gav vi dem band utan pass. Då beslutade ordningsvakterna att detta var helt märkligt och förnedrande för förarnas människovärde. De har sin egen militära logik, så nu kommer förare för att få ett pass omedelbart med ett band, men det här passet tillåter dem inte att åka någonstans. Ur säkerhetssynpunkt visar det sig vara en markering för att säkerheten har kontrollerat denna person.
- En av våra ingenjörer föreslog att göra gröna uniformströjor istället för band. Och han skickade ett rationaliseringsförslag. De gjorde det halvvägs: de lämnade passen med bandet, plus att de faktiskt sydde de gröna uniformströjorna. Nu har vi en administratörsuniform. Säkerhetsvakter stödde skämtet och tog in det i regelverket. Nu är det obligatoriskt (byxor, skjorta, tröja, men tröjan kan tas av).
Våra kunder klagade också ofta på krokiga rutter på kartorna innan de gick in i vårt Compressor-datacenter. Du anger adressen, men vägen visas felaktigt. Det slutade med att besökarna taxade åt fel håll, eftersom det fanns en järnväg där, och bakom den var det trafikstockning, och det fanns ingen möjlighet att vända där. Först ville vi sätta skyltar ovanför vägen. Staden har en sådan tjänst - placera gula tilläggsskyltar under de vanliga skyltarna, de anses vara reklam. Och priset för dem är som reklam: på Entuziastov Highway kostar en skylt en miljon rubel om året. Samtidigt skrev vi till Yandex, och de svarade till och med plötsligt. Och de slutade agera. Du kan till och med ange gatedioderna: ingång genom vissa, utgång genom andra.
Google, om du läser oss, vet då: du har fortfarande ett problem och vi vet inte vem vi ska berätta om det så att vi kan höras.
Inbjudningsbreven innehöll länkar inte bara till en adress, utan till en adress med en rutt baserad på användarens geolokalisering. Som ett resultat blev det färre missar.
Gobo-projektorer och andra småsaker
Vet du vad gobo-projektorer är? Vi visste inte heller. På något sätt funderade vi på hur vi skulle markera raderna med ställ. Själva stativen är förstås märkta med speciella snabbutlösningsmarkeringar, men de syns på 1-2 meters avstånd. Själva hallen är 500 kvm, så det finns gott om plats att gå vilse där. Därför började vi äntligen markera raderna. En brainstorm har börjat. Hur markerar man, med vad och var? På golvet, på väggen, skyltar i taket osv. Och så såg vår kollega att det på Ikea brukade vara klistermärken som bar av på golvet, och då dök det upp ljuspilar. Tja, vi bestämde oss för att vända på det på ett enkelt sätt: gå till Ikea och vänd ut en av projektorerna för att titta. Vi kunde inte få det: medan vi bar stolarna frågade säljaren vad vi gjorde. Och han hjälpte genast till och sa att det var en gobo. Det visar sig att detta inte är själva projektorn, utan en platta eller lins för en färgbild. Detta filter är en gobo. En projektor kostar från 40 tusen rubel (det finns en kraftfull lampa för dagtid), och vi har 14 rader i vart och ett av de fyra maskinrummen. Det är därför vi sätter klistermärken på den.
Vi har även diagram på väggarna som bleknar med åren. Vi bytte dem till laminerade, med speciella "insydda" fickor för revisorer. I vårt fall är inspektören chefsingenjören, vars ansvar inkluderar att kontrollera relevansen av alla system som finns i datacentret. Så alla system måste kontrolleras årligen och undertecknas av en sådan revisor. Och närvaron av en speciell liten tidning i diagrammets ficka gör denna procedur lättare och kräver inte att själva diagrammet byts ut vart tredje år. Vinst!
Vi gjorde en roterande rengöring av det upphöjda golvet utanför. Vi har regelbundna städningar, vi har städmetoder och tider. Men hjulen på de tunga ställen lämnar spår. Vi städade. Nu är vi nervösa: det ser inte mycket snyggare ut, men höjdpunkter har dykt upp från vissa vinklar för vissa människor, ja, som har sina egna tuschpennor för att passa deras smak. Nu funderar vi på det och letar efter någon slags kemikalie som ska bleka golvet och tillföra glans. Så att inte ens de utvalda har frågor.
Har du sett konsolhyllorna? Dessa är som resande buffébord, men istället för drycker finns en terminal för anslutning till hyllan. Så, på dessa fribärande ställningar, faller hjulen av och fastnar, som vagnar i en stormarknad. Vi är otroligt trötta. Som ett resultat är det enda möjliga sättet att återuppliva det att köpa ett nytt hjul. Men det gick inte längre att få hjul specifikt för våra modeller, vi intervjuade alla entreprenörer. Som ett resultat designade vi racket själva, med fokus på enkel rörelse i maskinrummet och underhållsbarhet. Det gick väldigt bra.
Det fanns en historia med syntetiska strumpor. Det finns en sådan sak - antistatiska armband. Det är när du går till stativet, kopplar armbandet till marken på stativet, och det kommunicerar med potentialutjämningssystemet. Så racket är jordat, men det kan visa sig att ingenjören inte är jordad. Kollegor från tidigare arbetsplatser berättade hur de såg gnistor på videoövervakning ett par gånger, och vi bestämde oss för att av synd tvinga alla att använda den direkt enligt bestämmelserna.
Kritiska incidenter
Mer allvarligt var det en situation där alla kylare stängdes av på en gång. Våra kylaggregat skyddas inte av en UPS, eftersom vi tror på fysik, och vi har en pool med kallt vatten som temperaturreserv. Om något slocknar behöver du inte batterier för att driva kylaggregaten som kyler vattnet, utan helt enkelt själva kallvattnet, redan klart. Bekvämt och enkelt, men det finns en nyans. Kylaggregaten är utrustade med automatisk säkerhetsutrustning, som stänger av dem i händelse av farliga parametrar i det elektriska nätverket. Om ingången är avstängd slår vi på dieselgeneratorset, och sedan drivs kylarna från dem. Allt skulle vara bra om vi inte bodde i Ryssland. Vi hade nätavbrott många gånger, men allt var bra. Men en dag var det ett kraftigt hopp, först ner, sedan kraftigt upp, sedan ner igen - på några sekunder ändrades ingångsparametrarna cirka 4 gånger. Kylaggregaten stängdes av förstås. Vi försökte först slå på dem på distans, men de skyddade sig mycket tillförlitligt, som en nödsituation. Skiftet fick gå med fötterna på taket och slå på dem manuellt. Vad som är viktigt, enligt TierIII-standarden, är en sådan situation ett legitimt skäl för att stänga ned datacentret. Vi hade inget stopp, för folk är på marken med huvudet, och det finns övningar. För detta knullade användargränssnittet oss helt enkelt regelbundet, för att vara säker på TIII Operational. Om något så har vi godkänt UI-omcertifieringen till TIII Gold - Operational Sustainability. På den ryska kommersiella marknaden för datacenter finns det inget coolare, förutom vår, bara en har samma prestation . Jag noterar att omcertifiering är svårare än att få ett intyg från grunden, eftersom de kontrollerar föregående period som om du inte var dig själv, och det krävs mycket mer bevis.
Det var en intressant incident med kamerorna. Vi bestämde oss för att räkna om de döda vinklarna för säkerhets skull, ritade korsningar, ritade in diagonaler av betraktningsvinklar på planen, och plötsligt hittade vi en död fläck på cirka 30 centimeter gånger 15 meter mitt i en av hallarna. Smal och lång. Det finns inget sådant i nästa rum. Det visade sig att den roterande kameran sakta hade rört sig under åren så att den började visa ungefär en och en halv grad åt vänster än vad den borde i yttersta läget.
Det var en annan stor incident i inlägget .
referenser
- и
- Min post: [e-postskyddad]
Källa: will.com