Azonnal mondom: az a patkány, akit pár éve teával itattunk a megérkezett szerverben, valószínűleg elszökött. Mert valamikor láttuk a barátnőjét a környéken. Azonnal eldöntöttük, hogy ultrahangos riasztókat telepítünk.
Most a adatközpont körül átok sújtotta föld van: a madarak nem szállnak a épületre, és valószínűleg az összes vakond és féreg is elszökött. Aggódtunk, hogy meghibásodást okozhat a HDD-nél, de ellenőriztük, a frekvenciák nem azok.
A következő történet sokkal szórakoztatóbb. Egyszer kaptunk egy gépet pár millió rubelért, dőlésszög, rezgés és páratartalom érzékelőkkel ellátva. Minden ép. Gondosan eltávolítottuk a csomagolást, de a vas torz volt. Misztika.
A ház éppen ívekben hajlik. Olyan szép.
Detektív
Nem tulajdonítottunk ennek nagy jelentőséget, mert a meghajlított fémház szinte dizájnos formát öltött. Olyan szép, chippek nélkül. És ha nem lettek volna más ilyen masinák a közelben, még csak nem is gondoltunk volna arra, hogy valami nincs rendben. De voltak ilyenek, csak azok megfelelő geometriai formájúak voltak.
Szerencsére az ilyen vasak kibontása videóra van rögzítve (mindenkinek ajánlom, hogy szokja meg ezt), így sikerült bizonyítani a gyártónak, hogy így érkezett. Épen érkezett csomagolás és gondosan meghajlított ház — ez nem az áruszállítók ütése. Valószínűleg ez még azelőtt megsérült, hogy Oroszországba érkezett.
A beszállító azt mondja: „Hé, fiúk, cseréljük ki azonnal garanciális keretek között.” És itt egy epikus buktató várt ránk.
A helyzet az, hogy a vám engedélyezi az ilyen berendezések behozatalát nekünk dokumentumokkal exportjog nélkül. Tehát be lehet hozni, de Oroszországon kívül valakinek átadni tilos. Amikor visszaküldünk egy elromlott tápegységet, minden világos. Ez alkatrész, tápegység.
De itt vissza kellett küldeni mindent:
— Fiúk, nézzétek, a gépet visszaküldjük a gyártónak.
— Az egész berendezést?
— Igen.
— Ilyen modell?
— Igen.
— Működhet?
— Nem tudjuk, nem kapcsoltuk be.
— Ez azt jelenti, hogy ez teljes berendezés.
— De hát nem működik.
— Nézzétek, itt van egy teljes berendezés ebből a modellből. Exportjog nélkül. Nem engedjük.
Összességében sok ültetésnél tartottunk, míg kiderült, hogy nem exportáljuk, hanem visszaadjuk. Végül sikerült mindent elintézni.
Még voltak bakancsok is
Néhány évvel ezelőtt volt egy első automatikusunk, az adminisztrátor álma. Egy csomó lábzsákkal töltöd fel, ő pedig magától kicsomagolja, kinyitja és beállítja a megfelelő helyzetbe, ahol csak rá kell lépni. Popp-popp, és kész.
Körülbelül fél év múlva körülbelül száz csomag lábzsákot megemésztett, és fuldoklott. Kiderült, hogy annyi mozgó része van, hogy vagy havonta kell szerelni a mi terhelésünk alatt (nagyon sok mérnök ügyfél jár ide, mert mi egy kereskedelmi adatközpont vagyunk), vagy újat kell vásárolni.
A második probléma az, hogy egy rendszeres takarítás során egyszer csak találtunk egy "kék rongyot", ami lógott az egyik tesztelő rackről. Az X-csapat mérnöke, mint bíró, beazonosította a lábzsák testének egy darabját. Kiderült, hogy a klinikán a lábzsákok kényelmesek: fél órát sétálsz — és ennyi. Néhány mérnök viszont akár egy egész napot is dolgozhat fémekkel. Folyamatosan súrolva a lábát. Erősen súrolva. A lábzsákok pedig így elhasználódnak, és ezek a kis foszlányok repkednek a gépteremben.
Majdnem azonnal vettünk egy új lábzsákolót. Vettünk egy termos lábzsákolót: ez egy gép, amelybe fóliát töltenek, és ez a fóliát ügyesen hőszugorítja a cipő fölé. Szép, hatékony, tartós. Kevesebb szanaszét repkedés. Elég sokáig ott volt nálunk, de körülbelül 1-2 óránként cserélni kellett a hőszugorító fóliát, mert a talp hajlamos volt leválni magától.
Először azt gondoltuk, hogy mi nem szerencsések vagyunk, míg másoknak ez a probléma valahogy megoldódik. De nem. Megkérdeztük nyugati kollégáinkat — ugyanaz a történet. Végül azon kezdtünk gondolkodni, hogyan lehetne ezt normálisan megoldani. Visszamenni a gépteremből új lábzsákokért — mondjuk ki, nem a legjobb ötlet. Találtunk ipari tisztítókat építkezésekre és gyártóhelyekre. Olyan, mint a szőnyegek, amelyeken a műszak érkezik a gyárba. A szőnyegek tele vannak hengerekkel, amelyek mindent tisztítanak, és úgy készültek, hogy akarod vagy sem — megfog és megtisztít. Ezek félmillió-hárommillió rubelbe kerülnek. Mi egy olyat találtunk 200 ezerért, de a lábadat magadnak kell beledugni. Méretileg hasonlít egy cipőtisztító gépre. Odalépsz, beledugod a lábad, ő megemészti és tisztán visszaadja. Az adatközpont bejáratához állítottuk.
Kiválóan működik, kivéve két apróságot. Az első az, hogy viszonylag gyorsan kiderült, hogy a mérnökeinknek ez rendben van. A gyakorlatban viszont a Data Centerbe a legkülönfélébb emberek jönnek, köztük nagy cégek vezetői is. Kik bőrből készült lábbelit hordanak, ami drágább, mint az edzőcipőm. Ők még a cipőkrém felvitelére is drágább kefét használnak, mert külön választják a szőrt. Ők viszont nem akarták beletenni a lábukat a csodás eszközünkbe. A második probléma télen merült fel: amikor a cipő nagyon sáros, nem tud minden mélyebb barázdából minden maradványt kiszedni. Aztán a teremben járva már csak az ektoplazma nyomait hagyod magad után.
Egyszerűen döntöttünk. Mellettük egy tekercses cipővédőt helyeztünk el. Még mindig mindent másolnunk kell a szabvány szerint.
Új probléma merült fel. Megfigyelve a megrendelő mérnökök viselkedését, azt láttuk, hogy először betették a lábukat a tisztító gépbe, majd utána ragadták meg a cipővédőket a tekercsből. Most egy táblát akasztottunk, amely szerint vagy az egyik, vagy a másik, és jobb, ha megtisztítják a lábbelit, de ha az életelveik megtiltják a cipő tisztítását, akkor használják a cipővédőket. Úgy tűnik, hogy a pár napos jegy, ami készült, hosszúra nyúlt, de végül lezártuk. Itt van az eszköz:
Két alkalommal ‘ku’
A PCI DSS követelmények szerint lehetőséget kell biztosítani arra, hogy vizuálisan meg lehessen különböztetni a Data Centerben tartózkodó emberek szerepeit. Nem csak a belépő kártyát nézve és olvasva, hanem vizuálisan, mint a katonák, akik az egyenruhás rangjelzésekről felismerik egymást, csak még feltűnőbben. Nem akartunk túlzásba esni, ezért a régi bevált chatlási módszert alkalmaztuk – a nadrág színének megkülönböztetését. Konkrétan különböző színű belépőkártyákat kezdtünk csinálni. A zöldet, amely a kedvencünk, azonnal elvitték az adminjaink.
Egyszerűnek hangzik, de három váratlan hatást váltott ki:
- Automatikus visszahúzókra volt szükség ezeknek a belépőknek a viselése során (ezek olyan szerkezetek, amelyek maguk állítják be a szalag hosszát). Írtunk egy technikai leírást, amely figyelembe vette az összes osztály kívánságát. Ez stratégiai hiba volt. Szín, forma, anyag, nem műanyag visszahúzó, fém zsinór, hogy fel tudjuk vinni a logót, be kellett varrni a szalagba. Az eszközök olyan drágák lettek, hogy végül meg kellett vágnunk a követelményeket és meg kellett változtatnunk a formát.
- Amikor a nadrágok differenciálása működni kezdett, nagyon kényelmes lett. A vállalkozóknak más szalagjaik vannak, a külső adminisztrátoroknak mások, a mi adminisztrátorainknak pedig megint mások. LÁtszik, kinek mi a szerepe. Az elektromos munkákhoz csak szürke szalagok, a klimatizáláshoz kékek tartoznak. És itt szükség volt a sofőrök szalagjaira (ez egy külön szerepkör, ők beléphetnek a kirakodási területre, de az elhagyásához engedélyre van szükségük). Eközben a sofőröknek nem kellett engedély. Eleinte szalagokat adtunk nekik engedély nélkül. Aztán a biztonságiak úgy döntöttek, hogy ez egészen furcsa és aláássa a sofőrök emberi méltóságát. Van saját katonai logikájuk, ezért most a sofőrök azonnal a szalaggal kapják az engedélyt, de ez az engedély sehova nem engedi őket. A biztonsági szempontból ez egy jelző, hogy a biztonság ellenőrizte ezt a személyt.
- Az egyik mérnökünk felajánlotta, hogy a szalag helyett zöld egyenruhás pulóvereket készítsünk. Ezt egy racionális javaslattal együtt küldte el. Félig megvalósították: a szalaggal ellátott engedélyeket megtartották, plusz tényleg készítettek zöld egyenruhás pulóvereket. Most már van adminisztrátori egyenruhánk. A biztonságiak támogatták a viccet és beemelték a szabályzatokba. Most már kötelező (nadrág, ing, pulóver, de a pulóvert le lehet venni).
A megrendelőink gyakran panaszkodtak a térképeken lévő hibás útvonalakra a "Kompresszor" adatközpontunkhoz való bejutáshoz. Beírod a címet, és a választható út nem helyes. A látogatók végül nem oda kanyarodtak, mert ott vasút van, mögötte pedig dugó, és nem lehet megfordulni. Először azt akartuk, hogy táblákat függesszünk fel az úton. A városnak van egy ilyen szolgáltatása — a szabványos táblák alatt elhelyezhetőek sárga kiegészítők, ezeket reklámként kezelik. Az ára olyan, mint a reklámé: az Enthusiastok autópályáján egy tábláért évente egymillió rubel. Párhuzamosan írtunk a Yandexnek, és ők meglepően válaszoltak. És abbahagyták a rendetlenséget. A kapuk is megjelölhetők, a belépés az egyik, a kijárat a másik kapun keresztül lehetséges.
Google, ha olvastok minket, tudjátok: még mindig van problémátok, és nem tudjuk, kinek mondjuk el, hogy halljanak minket.
A meghívókra nem csupán a címeket, hanem a felhasználó geolokációjától induló útvonalakat is beillesztettük. Ennek eredményeként kevesebb volt a tévesztés.
Gobo-projektorok és egyéb apróságok
Tudja, mi az a gobo-projektor? Mi sem tudtuk. Egyszer azon gondolkodtunk, hogyan jelöljük a sorokat. Maguk a szekrények természetesen speciális, gyorsan le- és felrakható jelölésekkel vannak ellátva, de ezeket 1-2 méterről lehet csak észlelni. A terem 500 négyzetméter, így könnyen el lehet tévedni. Ezért végül a sorok jelölésére is rátértünk. Elkezdtük a brainstormingot. Hogyan jelöljük, mivel és hová? A padlón, a falon, a mennyezeten lévő táblák stb. Ekkor a kollégánk észrevette, hogy az „Ikea”-ban korábban a padlón elhasználódó matricák voltak, majd megjelentek a világító nyilak. Nos, elhatároztuk, hogy egyszerű módon visszafejtjük a dolgot: bemegyünk az „Ikea”-ba és megnézzük az egyik projektort. Sajnos nem tudtuk átvenni: miközben a székeket hoztuk, az eladó megkérdezte, mit csinálunk. Azonnal segített, mondván, hogy az gobo. Kiderült, hogy ez nem a projektor, hanem egy lemez vagy lencse a színes képekhez. Ez a szűrő a gobo. Egy projektor ára 40 ezer rubeltől kezdődik (nappali használatra erős lámpával), és nekünk 14 sorunk van mind a négy gépházban. Ezért matricákat ragasztottunk fel.
Továbbá a falaink schemái az évek során elhalványulnak. Ezeket laminált változatra cseréltük, beépített speciális zsebekkel a revizor számára. A revizor számunkra a főmérnök, akinek feladata az összes, a DCS-ben elhelyezett séma aktualitásának ellenőrzése. Szóval minden sémát évente ellenőrizni és aláírni kell ennek a revizornak. Egy speciális kis napló megléte a séma zsebében megkönnyíti ezt a folyamatot, és nem igényli a séma háromévente történő cseréjét. Haszon!
Külsőleg rotoros tisztítást végeztünk a falszőnyegen. Van rendszeres takarításunk, vannak módszerek és időpontok a takarítások lebonyolítására. De a nehéz szekrények kerekei nyomot hagynak. Tisztítást végeztünk. Most kicsit idegeskedünk: a látvány nem lett sokkal óvatosabb, viszont bizonyos szögből fényvisszaverődés látható, bizonyos embereknél, akiknek saját ízlésük szerint vannak filctollaik. Most azon gondolkodunk, keresünk valamilyen vegyszert, ami fehéríti a padlót és fényt ad neki. Hogy még az „elitnek” se legyen kérdése.
Láttad a konzolállványokat? Ezek azok a mozgatható büféasztalok, csak itt italok helyett egy terminál található az állványhoz való csatlakozáshoz. Nos, ezeknél a konzolállványoknál a kerekek leválnak és elakadnak, mint a szupermarketek kocsijainál. Nagyon bosszantó. Végül az egyetlen lehetséges megoldás az volt, hogy új kereket vásárolunk. Azonban a mi modelljeinkhez megfelelő kereket már nem tudtunk beszerezni, minden alvállalkozót megkérdeztünk. Végül magunk terveztük meg az állványt, hangsúlyt fektetve a mozgás kényelmére a gépteremben és a javíthatóságra. Nagyon jól sikerült.
Volt egy történet a szintetikus zoknikkal. Létezik egy dolog — az antisztatikus csuklópántok. Ez az, amikor odalépsz az állványhoz, csatlakoztatod a pántot a földeléshez az állványon, és az összekapcsolódik a potenciálkiegyenlítő rendszerrel. Nos, az állvány földelve van, de előfordulhat, hogy a mérnök nincs földelve. A korábbi munkahelyeim kollégái meséltek, hogy pár alkalommal láttak szikrákat a videómegfigyelésen, és mi magunknál úgy döntöttünk, hogy a biztonság kedvéért kötelezővé tesszük, hogy mindenki a szabályzat szerint használja.
Kritikus incidensek
A serious situation arose when all the chillers shut down at once. Our chillers are not protected by UPS because we trust physics, and as a temperature reserve, we have a pool with chilled water. If something shuts down, we need not batteries to power the chillers, but simply cold water that is already ready. It’s convenient and straightforward, but there is a nuance. The chillers have protective automation that disconnects them under dangerous electrical parameters. If the input is disconnected, we turn on the backup generator, and then the chillers are powered by it. Everything would be fine if we weren’t in Russia. We have experienced many network dips, but everything was fine. However, once there was a sharp surge, first down, then sharply up, then back down—within a few seconds the input parameters changed about 4 times. Naturally, the chillers shut down. We tried to turn them on remotely at first, but they had reliably protected themselves in emergency mode. We had to go up to the roof on foot and turn them on manually. Importantly, according to the Tier III standard, such a situation is a legitimate reason to stop the data center. We did not stop because the people on site are capable and there is regular drill practice. For this, we were regularly monitored by UI to ensure TIII Operational compliance. If you need to know, we passed the UI recertification for TIII Gold - Operational Sustainability. In the Russian commercial data center market, nothing is better than ours, with only one other having the same achievement. . I should note that it is harder to recertify than to get a certificate from scratch, as they also check the previous period as if it were not functioning, and much more evidence is required.
There was an interesting incident with the cameras. We decided to re-evaluate the blind spots just in case, drew the intersections, built the diagonals of the viewing angles on the plan, and suddenly found a dead zone about 30 centimeters by 15 meters right in the center of one of the halls. It was narrow and long. There was no such zone in the adjacent hall. It turned out that the swivel camera had slowly shifted over the years to show about one and a half degrees further left than needed in its extreme position.
Another significant case occurred in the post .
Hivatkozások
- és
- Az e-mail címem: PGoryunov@croc.ru
Forrás: habr.com
