🥇Andmekeskuse argipäev: tähelepanematud pisiasjad 7-aastase kasutamise jooksul. Ja jätk roti teemal

Ütlen kohe: see hiir, kes oli toimetatud serveris ja kellele me paari aasta eest pärast elektrilööki teed andsime, on tõenäoliselt pagenud. Sest me nägime ühel ringkäigul tema sõbrannat. Ja otsustasime kohe paigaldada ultrahelise peletajad.

Nüüd on andmekeskuse ümber kuradi maa: hoonele ei istu linnud, ja ilmselt on kõik murakad ja ussid pagenud. Me muretsesime, et heli võib tekitada HDD riknemise, kuid kontrollisime, sagedused ei ole need.

Järgnev lugu on palju lõbusam. Ükskord saime riistvara paar miljonit rubla maksva kastis, milles olid kalde-, vibratsiooni- ja niiskuseandurid. Kõik on terve. Üksikasjalikult avasime pakendit, aga riistvara on kõver. Müstika.

Korpus on otse kaar. Ilus.

Detektiiv

Me ei oleks sellele tähelepanu pööranud, sest kõver metallkorpus oli peaaegu disainiga. Nii ilus, ilma chipsideta. Ja kui poleks olnud teisi sarnaseid riistvara läheduses, ei oleks me avamisel isegi mõelnud, et midagi on valesti. Kuid läheduses olid sarnased, ainult õigema geomeetrilise kujuga.

Õnneks on sellise riistvara lahtipakkimine videosse jäädvustatud (soovitan kõigil sellist harjumust endale võtta), seega õnnestus tõestada tootjale, et see tuli niimoodi. Täielik pakend ja hoolikalt painutatud korpus — see ei ole kraanajate löök. Põhimõtteliselt võis see kahjustuda juba enne Venemaale suundumist.

Tootja ütleb: „Eeee, poisid, äkki vahetame selle kohe garantiiga.” Ja siis ootas meid epiline probleemi olukord.

Asi on selles, et toll lubab meil sellist seadmeid dokumentide alusel tuua, kuid eksportimiseks õigust ei anna. See tähendab, et võime tuua, kuid kedagi Venemaalt välja müüa ei tohi. Kui me saadame tagasi näiteks purunenud toiteploki, siis on kõik selge. See on varuosa, toiteplokk.

Ja nüüd oli vaja tagasi saata kõik:
— Poisid, vaadake, me saadame riistvara tagasi tootjale.
— Kogu seade?
— Jah.
— Mudel on niisugune?
— Jah.
— Kas see võib töötada?
— Ei tea, ei ole sisse lülitatud.
— See tähendab, et tegemist on terve seadmega.
— Aga see ei tööta ju.
— Aga vaadake, see on sellise mudeli terve seade. Ilma reekspordiga õigusteta. Ei lase läbi.

Kokkuvõttes oli palju kükkide tegemist, enne kui selgeks sai, et me ei eksporti seda, vaid anname tagasi. Lõpuks õnnestus kõik korda saada.

Aga meil olid ka jalanõud.

Meil oli esmakordselt palju aastaid tagasi automaatne süsteem, admini unistus. Laed sinna jalanõud hunnikuna, see avab need ise, avab ja seab need sellisesse kohta, kuhu jääb vaid astuda. Klõps klõps ja valmis.

Umbes kuue kuu pärast neelas see alla ligi sada pakki jalanõusid ja lämbus. Selgus, et seal on nii palju liikmeid, et tuleb kas remontida seda kord kuus meie koormuse juures (meil käib objektidel väga palju insenere-kliente, kuna oleme kommertskeskus) või siis tuleb osta uus.

Teine probleem on see, et ühel regulaarsel koristamisel leidsime kuidagi "sinise rätti", mis rippus ühe testimise standi restil. Kohtuekspert inseneri näol X-meeskonnast tuvastas kabati keha fragmenti. Selgus, et polikliinikus on kabatitega mugav: pool tundi jalutamist ja kõik. Aga mõned insenerid võivad terve päeva metalliga töötada. Tõukudes jalgadega. Väga tõukudes. Ja kabatid kuluvad nendeks väikesteks lappideks, mis lendavad masinaruumis.

Ostsime peaaegu kohe uue kabatimasina. Võtsime termokabatamise masina: see on seade, kuhu laaditakse kile, ja see kuumutab kile hoolikalt kinga peale. Ilus, tõhus, tugev. Vähem lendab laiali. See seisis meil üsna kaua, kuid kile tuli umbes iga 1-2 tunni tagant vahetada, sest talla omadus oli iseenesest lahti tulla.

Me alguses arvasime, et see on lihtsalt meie ebaõnn, aga teiste seas olevad inimesed saavad selle probleemiga hakkama. Kuid ei. Küsimine lääne kolleegidelt — sama lugu. Lõpuks hakkasime mõtlema, kuidas teha asju õigesti. Tagasi minek masinasaali uute ühekordsete saapaid tooma — see oli pigem halb idee. Leidsime tööstuslikud puhastusmasinad ehitusplatsidele ja tootmisüksustele. Need on midagi nagu ribad, mille kaudu vahetused sisse pääsevad. Ribal on hulk rulle, mis puhastavad kõik, ja on valmistatud nii, et sa tahad või ei — see haarab ja puhastab. Need maksavad pool miljonit kuni miljon rubla. Me tegime väikese uurimise ja leidsime sama asja 200 000 rubla eest, kuid jalg tuleb sinna ise sisse panna. Suunalt see sarnaneb kingapuhastuskombainiga. Lähed lähedale, surud jalga sisse, see näksib seda ja annab tagasi puhtana. Panime selle sissepääsu juurde andme keskusesse.

Töötab suurepäraselt, välja arvatud kaks detaili. Esiteks, üsna kiiresti selgub, et see sobib meile, inseneridele. Ja praktikas tulevad andmekeskusesse vaatama väga erinevad inimesed, sealhulgas suurte ettevõtete tippjuhid. Nahksaapad, mis näevad välja nagu draakoni... Ning neil maksab isegi kingade kreemitamiseks mõeldud harja hind rohkem kui mu treeningujooksjad, nad valivad seal spetsiaalselt karva. Just nemad keeldusid meie imeseadmest jalgu sisse surumast. Teine probleem ilmnes talvel: kui kingad on väga mudased, ei pruugi sügava tallaga kõik välja tulla. Siis käid ringi ja jätad ektooplazma jälgi.

Otsustasime lihtsalt. Asetasime kõrvale rullikujulise kingakaitse. Igal juhul peab meil kõik olema standardite järgi kahekordistatud.

Ilmnes oli uus probleem. Jälgides tellijate inseneride käitumist, nägime sellist pilti: nad panid kõigepealt jala puhastusse masinasse ja seejärel panid nad jalga seondused rullitud kiles. Nüüd on riputatud silt, et kas ühte või teist, ja parem on puhastuda, kuid kui elu põhimõtted keelavad kingade puhastamise, siis kandke kilesid. Tundub, et pilet, mis kestis paar päeva, venis pikaks ja suleti. Siin on seade:

Kaks korda "ku"

PCI DSS nõuete kohaselt peab olema võimalik visuaalselt eristada andmekeskuses viibivate inimeste rolle. Mitte vaadates kaarti ja lugedes seal midagi, vaid otse silmaga, nagu sõdurid teineteist erinevate õlakettide kaudu eristavad, ainult veel eredamalt. Otsustasime mitte kiusata ja kasutasime vana ja head šatlanlikku meetodit - pükste värvilist diferentseerimist. Täpsemalt - hakkasime tegema erinevat värvi pääsmeid. Roheline, nagu meeldis, võtsid meie administraatorid kohe.

See kõlab lihtsalt, kuid see põhjustas kolm ootamatut efekti:

Vajalikud olid retraktorid, et automaatselt neid paelu sissetõmmatuks teha (need on sellised asjad, mis ise reguleerivad rihma pikkust). Kirjutasime spetsifikatsiooni, kus arvestasime kõigi osakondade soove. See oli strateegiline viga. Värv, formaadi, materjal, retraktor ei olnud plastikust, nöör metallist, et logo peale kanda, et see oleks rihma sisse õmmeldud. Asjad tuli nii kalliks, et pidime hiljem nõudmisi kärpima ja formaati muutma.
Kui erinevuste riba hakkas toimima, muutus see väga mugavaks. Töövõtjatel on ühed ribad, väliste administreerijatel teised, meie administreerijatel kolmandad. On näha, kellel on milline roll. Elektritöös — ainult hallid, kliimaseadmetes — sinised. Ja selgus, et ka autojuhtidele on vaja ribasid (see on eraldi roll, nad võivad siseneda laadimisalale, kuid ei tohi seda lahkuda muul viisil kui väljapoole). Samuti ei ole autojuhtidel vajalikke lubasid. Alguses andsime neile ribad ilma lubadeta. Siis otsustasid turvatöötajad, et see on täiesti kummaline ja alandab autojuhtide inimväärikust. Neil on oma sõjaline loogika, seetõttu tulevad nüüd autojuhid kohe ribadega luba saama, kuid see luba ei luba neid kuhugi siseneda. Turva poolelt on see markeerimisvahend, et see inimene on turvatiimi poolt kontrollitud.
Üks meie inseneridest soovitas teha rohelised vormis villasweetrid lintide asemel. Ta esitas ka ratsionaliseerimisettepaneku. Tegime poolikult: lintere bannerid jäid alles, lisaks õmmeldi tõeliselt rohelised vormis villasweetrid. Nüüd on meil adminnide ülikond. Turvatöötajad toetasid nalja ja lisasid selle regulatsioonidesse. Nüüd on see kohustuslik (püksid, särk, sviiter, kuid sviitri saab ära võtta).

Veel kaebasid meie kliendid sageli keeruliste teede üle kaartidel meie andmekeskusesse "Kompressor" sisenemiseks. Saad aadressi, aga tee kuvatakse valesti. Külastajad suundusid lõpuks valele teele, kuna seal on raudtee ja selle taga ummik, ning seal ei saanud ümber pöörata. Alguses tahtsime panna viitasid tee kohale. Linnal on selline teenus, et tavaliste viitade kõrvale paigutatakse kollased lisaviidat, neid loetakse reklaamiks. Ja hind nende eest on nagu reklaami eest: Entusiastide maanteel maksab üks silt miljoni rubla aastas. Samal ajal kirjutasime Yandexile ja nad isegi üllatuslikult vastasid. Ja lõpetasid murettekitava käitumise. Isegi saab näidata väravate dioode: sisenemine läbi ühtede, väljumine läbi teiste.

Google, kui sa meid loed, siis tea, et sul on endiselt probleem, ja me ei tea, kellele sellest rääkida, et meid kuulda oleks.

Kutsungikirjadesse lisati lingid mitte lihtsalt aadressile, vaid aadressile koos kasutaja geopaigutusest lähtuva marsruudi joonisega. Seega on eksimine vähenenud.

Gobo-projektorid ja teised pisiasjad

Kas te teate, mis on gobo-projektorid? Me ei teadnud ka. Mõtlesime, kuidas ridadesse märkida stendid. Ise stendid on loomulikult märgitud spetsiaalsete kiirete eemaldamisetikettidega, kuid need on nähtavad 1–2 meetri kauguselt. Tuba ise on 500 m², seega on seal kergesti eksida. Seetõttu asusime ikkagi ridadesse märgistamise kallale. Algas ajurünnak. Kuidas märkida, millega ja kuhu? Ükskõik, kas põrandal, seinal, lakke viitidega jne. Ja siis märkas meie kolleeg, et „Ikeas” olid põrandal varem kuluvatest kleebiseid, ja seejärel ilmusid valgusnooled. Noh, otsustasime kasutada lihtsat meetodit: minna „Ikeasse” ja vaadata, mis üks projektor endast kujutab. See ei õnnestunud: enne, kui me toole kandsime, küsis müüja, mida me teeme. Ja aitas kohe, öeldes, et see on gobo. Selgus, et see pole projektor ise, vaid plaat või lääts värvilise pildi jaoks. See valgusfilter ongi gobo. Üks projektor maksab alates 40 000 rubla (seal on võimas lamp päevaseks kasutamiseks), kuid meil on 14 rida igas neljas masinasaalis. Seega kleepisime kleebised.

Meil on seinaplaanid, mis aastatega tuhmuvad. Vahetasime need laminaatplaadiks, millel on "sisse õmmeldud" spetsiaalsed taskud revisjoni jaoks. Meie puhul on revisjonimees peainsener, kelle kohustuseks on kontrollida kõigi andmeajakeskuses (DC) asuvate plaanide ajakohasust. Kõiki plaane tuleb igal aastal kontrollida ja allkirjastada sellise revisjoni poolt. Spetsiaalse väikese ajakirja olemasolu plaani taskus lihtsustab seda protseduuri ja ei nõua plaani vahetamist iga kolme aasta tagant. Kasu!

Teostasime valepõranda välispoolte rullpuhastuse. Meil on regulaarsed koristused, tehnoloogiad ja koristusaega. Kuid raskete rackide rattad jätavad jälgi. Puhastasime need. Nüüd oleme närvilised: visuaalselt ei ole see siiski palju hoolikamaks muutunud, kuid teatud nurkades on teatud inimestel, kellel on oma markereid, tekkinud helkivad kohad. Praegu mõtleme ja otsime mingit kemikaali, mis pleegitaks põranda ja annaks sellele läike. Et isegi valitud küsimustel ei oleks kriitikat.

Kas olete näinud konsoolipulte? Need on nagu liikuvad kohvilaudade, ainult et jookide asemel on seal terminal riiulisse ühendamiseks. Nii et nendel konsoolipultidel kukuvad ratastelt ära ja jäävad kinni, nagu supermarketite kärudel. See on meid tohutult häirinud. Lõpuks on ainus võimalik viis ellu äratada — osta uus ratas. Meie mudelitele sobivate rataste leidmine polnud aga võimalik; uurisime kõiki tootjaid. Tulemusena projekteerisime endale pulti, pöörates tähelepanu liikuvuse mugavusele masinaruumis ja remonditavusele. Tuli välja väga hästi.

Oli lugu sünteetiliste sokkidega. On olemas selline asi — antistaatilised randmed. See tähendab, et kui lähed pulti, ühendad randme maapinna külge puidust, ja see seondub maandussüsteemiga. Nii et puldi korpus on maapinnaga ühendatud, kuid võib juhtuda, et insener ei ole maandatud. Kollegid eelmistest töökohtadest rääkisid, kuidas nad paar korda nägid sädelevaid sädemet videovalves, ja meie otsustasime endale, et pole mõtet riske võtta, ning nõudsime kõigilt reglemendi kohaselt randme kasutamist.

Kriitilised intsidendid

Tõeliselt tõsine olukord juhtus, kui korraga lakkasid töötamast kõik külmikud. Meie külmikud ei ole varustatud UPS-iga, kuna usume füüsikasse, ja meie temperatuurist reserveerimiseks on meil jahutatud veega bassein. Kui midagi katke, ei ole külmikutele toite jaoks vajalikud akud, vaid lihtsalt külm vesi, mis on juba ette valmistatud. Lihtne ja mugav, kuid on üks nüanss. Külmikutes on kaitseautomaatika, mis lülitab need välja, kui elektrivõrgus on ohtlikud parameetrid. Kui sisend katkeb, käivitame DGUs ja külmikud saavad toite nende kaudu. Kõik oleks olnud hästi, kui me ei elaks Venemaal. Meil on olnud palju võrgu langusi, kuid kõik on olnud hästi. Kuid kord oli äkiline tõus — esmalt allapoole, siis äkitselt ülespoole, seejärel jälle allapoole – mõne sekundi jooksul muutsid sisendi parameetrid umbes 4 korda. Loomulikult lülitusid külmikud välja. Proovisime neid esmalt kaugelt sisse lülitada, kuid nad kaitsesid end väga usaldusväärselt, avariirežiimis. Tuli minna jala katusesse ja lülitada need käsitsi sisse. Oluline on see, et Tier III standardi järgi on selline olukord seaduslik põhjus andmekeskuse peatamiseks. Meil ei olnud peatumist, sest kohapeal on inimesed pead täis ja on korraldatud harjutusi. Selle eest toetas meid UI pidevalt, et olla kindel Tier III operatiivsetes tingimustes. Kui on küsimusi, oleme läbinud UI sertifitseerimise Tier III Gold - Operatiivne jätkusuutlikkus. Venemaa kommertsdatasetentside turul ei ole midagi paremat, kui meie, samasugust saavutust omab ainult üks. Andmekeskus. Tahan märkida, et resertifitseerimine on keerulisem kui sertifikaadi saamine nullist, kuna nad kontrollivad ka eelnevat perioodi ja vajalikud tõendid on palju keerulisemad.

Olid huvitav intsidendid kaameratega. Otsustasime igaks juhuks pimealad üle lugeda, joonistasime ühisalad, ehitasime vaate nurkade diagonaalid plaanile ja äkki avastasime umbes 30 sentimeetri laiuse ja 15 meetri pikkuse surnud ala otse ühe ruumi keskosas. Kitsas ja pikk. Naaberruumis ei olnud sellist. Selgus, et pööratav kaamera on aastate jooksul aeglaselt nihkunud nii, et see näitab umbes poolteist kraadi vasakule, kui peaks olema äärmuslikus asendis.

Veel üks suur juhtum oli postis DDIBP remondivahetuse kohta.