Andmeid keskus: nĂ€iliselt kĂ”rvalised ĂŒksikasjad 7 aasta töötamisest. Ja jĂ€tkub rÀÀkimine hiirest

Andmeid keskus: nĂ€iliselt kĂ”rvalised ĂŒksikasjad 7 aasta töötamisest. Ja jĂ€tkub rÀÀkimine hiirest

Ma ĂŒtleksin kohe: see hiir, mis meie serveris paar aastat tagasi pĂ€rast elektrilööki teed joonud, on tĂ”enĂ€oliselt Ă€ra jooksnud. Sest ĂŒhel ringkĂ€igul nĂ€gime tema sĂ”brannat. Ja otsustasime kohe paigaldada ultrahelipesade peletid.

NĂŒĂŒd on andmekeskuse ĂŒmber sĂ”naga neetud maa: hoonele ei istu linnud ja tĂ”enĂ€oliselt on kĂ”ik pĂŒgid ja ussid ka Ă€ra jooksnud. Oli mure, et heli vĂ”ib kĂ”vaketta rikki ajada, aga kontrollisime, sagedused ei olnud Ă”iged.

JĂ€rgnev lugu on palju lĂ”busam. Saime kunagi paar miljonit rubla maksva seadme, mille kohvris olid kalded, vibratsioonid ja niiskuse sensorid. KĂ”ik oli terve. TĂ”stsime ettevaatlikult pakendi maha, aga seade oli kĂ”ver. MĂŒsteerium.

Korpus on otse kaar. Kenasti.

Detektiiv

Me ei oleks sellele tÀhelepanu pööranud, sest kÔver metallkorpus nÀgi peaaegu disainitud vÀlja. Kenasti, ilma tƥipita. Ja kui ei oleks olnud teisi sarnaseid seadmeid lÀheduses, ei oleks me avamisel isegi mÔelnud, et midagi on valesti. Aga seal olid samasugused, ainult parema geomeetrilise kujuga.

Õnneks on selliste seadmete avamine videole salvestatud (soovitan kĂ”igil selline harjumus omada), seega Ă”nnestus tootjale tĂ”estada, et see saabus sellisena. TĂ€ielik pakend ja hoolikalt kĂ”verdatud korpus ei olnud kraanikausside mĂ”ju. TĂ”enĂ€oliselt oli see kahjustunud juba enne Venemaale transportimist.

Tootja ĂŒtleb: "Äh, poisid, tehke nii, et vahetame selle teile kohe garantiiga." Ja siin ootas meid epiline lĂ”ks.

Asi on selles, et toll lubab meil selliseid seadmeid dokumentide jĂ€rgi importida ilma ekspordiklauslita. See tĂ€hendab, et vĂ”ime tuua, aga mĂŒĂŒa kellegile Venemaalt vĂ€ljas ei saa. Kui saadame tagasi rikkunud toiteploki, on kĂ”ik selge. See on varuosa, toiteplokk.

Aga nĂŒĂŒd pidime tagasi saatma kogu asja:
- Poisid, vaadake, me saadame seadme tootjale tagasi.
- Kas kogu varustus?
— Jah.
- Kas mudel on selline?
— Jah.
- Kas see töötab?
- Ei tea, ei kÀivitanud.
- Siis see on terve varustus.
- Aga ta ei tööta ju.
- Vaadake, see on sellise mudeli terve varustus. Ilma reeksportimise Ôigusteta. Ei lase lÀbi.

ÜhesĂ”naga, enne kui saime aru, et me ei eksporti, vaid anname tagasi, oli palju pusimist. LĂ”ppkokkuvĂ”ttes Ă”nnestus kĂ”ik korda ajada.

Veel olid meil jalanÔud.

Meil oli alguses palju aastaid tagasi esimene automaatne, adminni unistus. Paned sinna kingakatted hunnikusse, see avab need ise, samuti asetab need asendisse, kus tuleb vaid astuda. KlÔps-klÔps ja valmis.

Umbes poole aasta pÀrast oli see nÀrinud umbes sada pakki kingakatteid ja lÀmbunud. Selgus, et seal on nii palju liikvaid osi, et tuleb kas remontida seda kord kuus meie koormuse juures (meil on objektil palju insenere-klienditeenindajaid, sest me oleme kommertskeskus) vÔi osta uus.

Teine probleem oli see, et siis ĂŒhel regulaarsel koristamisel leidsime kuidagi "sinise lapikese", mis rippus ĂŒhe oma testimisstendi restil. Kohtuekspertiis inseneri X-meeskonnana tuvastas kingakate tĂŒki. Selgus, et polikliinikus on kingakatted mugavad: poole tunni pĂ€rast oled ringi kĂ€inud — ja kĂ”ik. MĂ”ned insenerid vĂ”ivad tervelt pĂ€eva töötada rauaga. Krapsates jalgu. Tugevalt krapsates. Ja kingakatted kuluvad selle kĂ€igus sellisteks pisikesteks lĂ”ikudeks, mis lendavad mööda masinasaali.

Peaaegu kohe ostsime uue kingakate masina. Vaatasime termokatte masinat: see on masin, kuhu laaditakse kile ja see tĂ”mbab selle kile hoolikalt jalanĂ”u peale. Ilus, efektiivne, vastupidav. VĂ€hem lendab laiali. See seisis meil ĂŒsna kaua, kuid pidime umbes iga 1-2 tunni jĂ€rel vahetama termokile, sest talla omadus oli iseenesest lahti tulla.

Alguses mĂ”tlesime, et see on lihtsalt meie ebaĂ”nn, kuid inimestel nĂ€ib see probleem olevat lahendatud. Aga ei. KĂŒsimiseks lÀÀnes kolleegide seas — sama lugu. LĂ”puks hakkasime mĂ”tlema, kuidas seda korralikult teha. Tagasi masinasaali uute kingakatete jĂ€rele minemine — idee, ĂŒtleme otse, pole just parim. Leidsime tööstuslikud puhastajad ehitusplatsidele ja tootmisĂŒksustele. Need on midagi, nagu rullikud, mille kaudu vahetus lĂ€heb töökohta. Rullikud, millel on palju rulle, puhastavad kĂ”ike ja on ehitatud nii, et tahad vĂ”i mitte — jÀÀd kinni ja puhastab. Need maksavad pool miljonit - miljon rubla. VĂ€hemalt kirutasime ja leidsime sarnase, kuid jalga peab ise panema. MÔÔtudelt sarnaneb see jalanĂ”ude puhastamise masinale. Astud lĂ€hedale, paned jalga sisse, see nĂ€rib seda ja tagastab puhtana. Asetasime selle andmed andmete keskele.

Töötas suurepĂ€raselt, vĂ€lja arvatud kaks nĂŒanssi. Esiteks, ĂŒsna kiiresti selgus, et inseneridele sobib see hĂ€sti. Kuid tegelikult kĂŒlastavad andmekeskust kĂ”ige erinevamad inimesed, sealhulgas suurte ettevĂ”tete juhid. Nahast kingadega, mis on valmistatud draakoni nahast. Neil on isegi kingahoolduskreemile harja hind kĂ”rgem kui minu treeningketsid, nad valivad seal spetsiaalselt nurka. Just nemad keeldusid meie imeseadmest jala sisse panemast. Teine probleem tekkis talvel: kui kingad on tĂ”eliselt mudas, ei pruugi sĂŒgava tallaga kĂ”ik vĂ€lja tulla. Siis kĂ€id aul, jĂ€ttes ektooplasma jĂ€lgi.

Otsustasime lihtsalt. Panime ĂŒles rulliku kattemasina. KĂ”ik peab meil olema vastavalt standardile kopeeritud.

Ilmnes uus probleem. Vaadates tellijate inseneride kĂ€itumist, nĂ€gime sellist pilti: nad toppisid kĂ”igepealt jala puhastusseadmest sisse ja siis panid rulliku katte masinast sisse. NĂŒĂŒd panime ĂŒles sildi, et kas see vĂ”i see, ja parem on puhastada, kuid kui elu pĂ”himĂ”tted keelavad kingade puhastamise, siis kandke katteid. Tundus, et pilet, mis pidi kestma paar pĂ€eva, venis pikaks ajaks ja suleti. Siin on seade:

Andmeid keskus: nĂ€iliselt kĂ”rvalised ĂŒksikasjad 7 aasta töötamisest. Ja jĂ€tkub rÀÀkimine hiirest

Kaks korda "ku"

PCI DSSi nĂ”uete kohaselt peab olema vĂ”imalus visuaalselt eristada andmekeskuses olevate inimeste rolle. Ilma pÀÀsmeid vaatamata ja seal midagi lugemata, vaid tĂ”eliselt visuaalselt, nagu sĂ”javĂ€elased ĂŒksteist eristavad sĂ”javĂ€epooltega, ainult veel eredamalt. Otsustasime mitte uhkustada ja kasutasime vanamoodsat tĆĄatlani meetodit – pĂŒkste vĂ€rvilist eristamist. Konkreetsemalt hakkasime tegema erinevat vĂ€rvi pÀÀsmeid. Roheline, nii nagu meie administratsioon kohe Ă€ra vĂ”ttis.

KÔlab lihtsalt, kuid see tekitas kolme ootamatut efekti:

  1. Vajalikud olid retraktorid nende pÀÀsmete automaatseks tagasi tĂ”mbamiseks (need on sellised asjad, mis reguleerivad lĂ”nga pikkust ise). Kirjutasime tehnilise mÀÀratluse (TĆœ), kus arvestasime kĂ”igi osakondade soove. See oli strateegiline viga. VĂ€rv, formaat, materjal, retraktor mitte plastikust, metalltraat, et logo peale kanda, et see oleks lindi sisse Ă”mmeldud. Asjad said nii kalliks, et pidime seejĂ€rel nĂ”udeid kĂ€rpima ja formaati muutma.
  2. Kui pĂŒkste diferentseerimine toimis, sai see vĂ€ga mugavaks. AlltöövĂ”tjatel on ĂŒhed lindid, vĂ€listel adminnikel teised, meie adminnikel kolmandad. On selge, kellel on milline roll. Elektritöös on ainult hallid, kliimaseadmestuses sinised. Ja siis olid vajalikud lindid juhiks (see on eraldi roll, nad saavad siseneda laadimisalasse, kuid ei saa sealt Ă€ra minna muul viisil kui vĂ€lja). Sellegipoolest ei olnud juhile lube vaja. Alguses andsime neile linde ilma lubadeta. Siis arvasid turvatöötajad, et see on tĂ€iesti kummaline ja alandab juhide inimvÀÀrikust. Neil on oma sĂ”jaline loogika, seega kĂ€ivad juhid nĂŒĂŒd luba saamas kohe koos lintidega, kuid see luba ei luba neid kuhugi minna. Turvatugevdas nĂ€ib see oleva marker, et see inimene on kontrollitud.
  3. Üks meie insenere soovitas lintide asemel teha rohelisi vormiriietuse sviitreid. Ja saatis ratsionaliseerimise ettepaneku. Tegime pooleldi: lubade lindid jĂ€id, pluss tĂ”eliselt Ă”mmeldi rohelised vormiriietuse sviitrid. NĂŒĂŒd on meil adminni ĂŒlikond. Turvatöötajad toetasid nalja ja lisasid selle nĂ”uetele. NĂŒĂŒd on see kohustuslik (pĂŒksid, sĂ€rk, sviiter, kuid sviitri vĂ”ib eemaldada).

Meie kliendid kaebasid tihti kaardil olevate vale teede pĂ€rast meie andmekeskusesse "Kompressor" sisenedes. Paned aadressi ja tee kuvatakse valesti. KĂŒlastajad lĂ”puks sĂ”itsid valesti, kuna seal oli raudtee ja selle taga ummik, ning seal ei saa ĂŒmber pöörata. Alguses tahtsime panna mĂ€rke teede kohale. Linnal on selline teenus — tavapĂ€raste mĂ€rkide alla panna kollased lisamĂ€rgised, neid peetakse reklaamiks. Ja hind nende eest on nagu reklaami eest: Enthusiastide maanteel maksab ĂŒks silt miljon rubla aastas. Samuti kirjutasime Yandexisse, ja nad vastasid isegi ootamatult. Ja ei hakanud enam vÀÀrkohtlema. Isegi saab nĂ€idata vĂ€ravate dioode: sisenemine ĂŒhtedest, vĂ€ljumine teistest.

Google, kui te meid loete, siis teadke: teil on endiselt probleem ja me ei tea, kellele sellest öelda, et meid kuuldaks.

Kutsepostidesse lisasime lingid mitte lihtsalt aadressile, vaid aadressile koos marsruudiga kasutaja geopaiknemisest. Selle tulemusena hakkasid eksimised vÀhem esinema.

Gobo-proĆŸektorid ja muud pisiasjad

Kas te teadsite, mis on gobo-projektorid? Meie ei teadnud ka. MĂ”tlesime, kuidas ridade mĂ€rke teha. Riiulid ise on loomulikult varustatud spetsiaalsete kiiresti eemaldatavate mĂ€rkidega, aga neid on nĂ€ha ainult 1-2 meetri kauguselt. Tuba on 500 mÂČ, seega on seal kergesti eksida. SeetĂ”ttu hakkasime ikkagi mĂ€rkima ridasid. Alguses toimus ajurĂŒnnak. Kuidas tĂ€histada, millega ja kuhu? PĂ”randal, seinal, laepaneelides jne. Siis meie kolleeg mĂ€rkis tĂ€hele, et „Ikeas“ olid varem pĂ”randal kulunud kleebised, hiljem tuli vĂ€lja valgusnooled. Otsustasime lihtsate vahenditega: minna „Ikeasse“ ja vaadata ĂŒht projektorit. Eemaldada seda ei Ă”nnestunud: kui me toole kandsime, kĂŒsis mĂŒĂŒja, mida me teeme. Ta tuli kohe appi, öeldes, et see on gobo. Selgub, et see ei ole projektor ise, vaid plaat vĂ”i lÀÀts vĂ€rvilise pildi jaoks. See valgusfilter ongi gobo. Üks projektor maksab alates 40 000 rubla (seal on vĂ”imas lamp igapĂ€evaseks kasutamiseks), aga meil on 14 rida igas neljas masina saalis. SeetĂ”ttu kleepisime kleebised.

Meie seinte skeemid ka fadeeruvad aastatega. Oleme need vĂ€lja vahetanud lamineeritud versioonide vastu, mis sisaldavad spetsiaalseid taskuid revizorrile. Revizor meie puhul on peainsener, kelle kohustuseks on kontrollida kĂ”igi andmesĂŒsteemide skeemide ajakohasust. Niisiis, kĂ”ik skeemid peavad igal aastal olema kontrollitud ja allkirjastatud sellise revizori poolt. Eriline vĂ€ike ajakiri skeemi taskus teeb selle protseduuri lihtsamaks ja ei nĂ”ua skeemi vahetamist iga kolme aasta tagant. Kasu!

Teostasime vale pĂ”randa rotatsiooni puhastust vĂ€ljastpoolt. Meil on regulaarsed koristused, olemas on meetodid ja ajakavade korraldamise ajad. Kuid raske riiulite rataste tĂ”ttu jÀÀb maha jĂ€lgi. Teostasime puhastuse. NĂŒĂŒd oleme mures: see ei nĂ€e vĂ€lja eriti ettevaatlik, kuid teatud nurkade alt vĂ”ivad teatud inimestele ilmuda peegeldused, kellel on oma markerid vastavalt oma maitsele. NĂŒĂŒd mĂ”tleme ja otsime mingit kemikaali, mis pleegitaks pĂ”randat ja annaks sellele sĂ€ra. Et isegi erandlike kĂŒsimuste ĂŒle ei pea olema.

Kas sa oled nĂ€inud kontrolleri pulte? Need on nagu liikuvad buffet lauad, aga jookide asemel on seal terminal, et ĂŒhendada pult. Nii et nende kontrolleri pulkade rattad lĂ€hevad katki ja jÀÀvad kinni, nagu supermarketi kĂ€ru rattad. See on meid tohutult hĂ€irinud. Ainus vĂ”imalik viis olukorda parandada — osta uus ratas. Meie mudelitele sobivad rattad ei ole aga kergesti kĂ€tte saadavad, kĂŒsisime kĂ”ikidelt tarnijatelt. LĂ”puks projekteerisime ise pulti, keskendudes liikuvuse mugavusele ruumis ja parandatavusele. Tuli vĂ€ga hĂ€sti vĂ€lja.

Oli lugu sĂŒnteetilistest sokkidest. On olemas selline asi nagu antistaatilised kĂ€evĂ”rud. See tĂ€hendab, et lĂ€hed pulti, ĂŒhenda kĂ€evĂ”ru maapinnaga pultide juures, ja see seondub potentsiaalide tasakaalu sĂŒsteemiga. Nii et pult on maandatud, kuid vĂ”ib juhtuda, et insener ei ole maandatud. Kolleege varasematest töökohtadest rÀÀkisid, kuidas nad paar korda nĂ€gid videovalves vĂ€lku, ja me otsustasime endale igaks juhuks, et kĂ”ik peavad kĂ€ivitusprotseduuride kohaselt seda kasutama.

Kriitilised intsidentid

TĂ”siselt — oli olukord, kus kĂ”ik chillereid katkestati korraga. Meie chillerid ei ole kaitstud UPS-iga, sest usume fĂŒĂŒsikasse, ja temperatuurireservina on meil bassein jahutatud veega. Kui midagi lĂŒlitub vĂ€lja, ei vajata chillereid toiteakusid, mis jahutavad vett, vaid lihtsalt kĂŒlma vett, mis on juba valmis. Mugav ja lihtne, kuid on ĂŒks nĂŒanss. Chillereid kaitseb automaatika, mis ohtlike elektrivĂ”rgustiku parameetrite korral need katkestab. Kui sisend katkeb, lĂŒlitame sisse DGU ja seejĂ€rel saavad chillereid neist toidet. KĂ”ik oleks hĂ€sti, kui me ei elaks Venemaal. Meil on korduvalt olnud vĂ”rgu langusi, kuid kĂ”ik oli hĂ€sti. Kuid ĂŒhel korral oli tĂ”us jĂ€rsk — esiteks allapoole, siis jĂ€rsult ĂŒles, seejĂ€rel jĂ€lle alla – mĂ”ne sekundi jooksul muutusid sisendi parameetrid umbes 4 korda. Chillereid katkestati, loomulikult. Proovisime neid esialgu kaugelt sisse lĂŒlitada, kuid nad kaitsesid end vĂ€ga usaldusvÀÀrselt automaatreĆŸiimis. Oli vaja minna jala katusele ja need kĂ€sitsi sisse lĂŒlitada. Oluline on, et Tier III standardi kohaselt on selline olukord seaduslik pĂ”hjus andmekeskuse peatamiseks. Meil peatust ei olnud, sest kohapeal on inimesed head ja meil on treeningud ja Ă”ppused. SellepĂ€rast on meid UI lihtsalt regulaarselt kimbutanud, et olla kindlad TIII tööalastes standardites. Kui midagi, siis lĂ€bisime UI sertifitseerimise TIII Gold – tööalane jĂ€tkusuutlikkus. Venemaa kommertsandmekeskuste turul ei ole midagi paremat; ainult meie suudab sama saavutada. Andmekeskus. TĂ”den, et uuesti sertifitseerimine on raskem kui sertifikaadi saamine nullist, kuna nad kontrollivad ka eelmist perioodi, nagu mitte iseendaga, ja tĂ”endeid on palju rohkem vajalik.

Oli huvitav intsident kaamerate osas. Otsustasime ikka ĂŒle lugeda pimealad, joonistasime ristmised, ehitasime diagonaalid vaateplaanile ja Ă€kki leidsime umbes 30 sentimeetri ja 15 meetri suuruse surnud ala otse ĂŒhe saali keskel. Kitsas ja pikk. Naaber saalis sellist pole. Selgus, et pöördkamera oli aastate jooksul aeglaselt nihkunud, nii et see hakkas nĂ€itama umbes 1,5 kraadi vasakule, kui see on ÀÀrmises asendis.

Veel ĂŒks suur juhus oli postis DDI BP remondi asendamise kohta.

Viidatud lingid

Allikas: habr.com

Osta usaldusvÀÀrne hostimine veebilehtede jaoks DDoS-i kaitsega, VPS VDS serverid đŸ”„ Osta usaldusvÀÀrne hostimine veebilehtede jaoks DDoS-i kaitsega, VPS VDS serverid | ProHoster