Одмах ћу рећи: највероватније је побегао онај пацов у донетом серверу, који смо пре пар година после струјног удара дали чајем. Јер смо једном видели њену другарицу у обиласку. И одмах смо одлучили да уградимо ултразвучне репелере.
Сада је око дата центра проклета земља: ниједна птица неће слетети на зграду, а вероватно су све кртице и црви побегли. Били су забринути због тога узрок квара ХДД-а, али проверено, фреквенције нису исте.
Следећа прича је много забавнија. Једном смо добили комад хардвера за пар милиона рубаља у кутији са сензорима нагиба, вибрација и влажности. Све је цело. Пажљиво уклоњено паковање, а комад гвожђа је савијен. Мистиц.
Тело је право у луку. Тако лепо.
Детективе
Овоме не бисмо придавали никакав значај, јер је закривљено метално тело било готово дизајнерска слика. Тако лепа, без чипса. А да није било других сличних делова хардвера у близини, не бисмо ни помислили при распаковању да нешто није у реду. Али у близини је било истих, само правилнијег геометријског облика.
Срећом, распакивање таквог хардвера је снимљено (препоручујем свима да стекну ову навику), па смо успели да докажемо произвођачу да је тако стигао. Нетакнут пакет и уредно савијено тело нису ударац покретача. Највероватније је повређена и пре одласка у Русију.
Продавац каже: „Ух, момци, хајде да вам га одмах променимо под гаранцијом.“ А онда нас је сачекала епска заседа.
Чињеница је да нам царина дозвољава увоз такве опреме са документима без права на извоз. То јест, можете га донети, али не можете препродати некоме ван Русије. Када пошаљемо назад прегорело напајање, на пример, све је јасно. Ово је резервни део, напајање.
А онда сам морао све да пошаљем назад:
- Момци, видите, шаљемо комад хардвера назад произвођачу.
- Цела опрема?
- Да.
— Модел такав и такав?
- Да.
- Могу да раде?
— Не знамо, нисмо га укључили.
- Дакле, ово је цео комад опреме.
- Па, не ради.
- Па, види, цела опрема је овог модела. Нема права на поновни извоз. Нећемо те пустити унутра.
Углавном, било је доста чучњева пре него што смо схватили да то не извозимо, већ да враћамо. На крају смо све успели да урадимо.
Било је и навлака за ципеле
Прво, пре много година, имали смо први аутоматски, сан администратора. Убаците паковање навлака за ципеле, она их сама распакује, отвара и ставља у позицију у којој само треба да згазите на њих. Цхп-цхпк и готово.
После отприлике шест месеци, прожвакала је стотинак паковања навлака за ципеле и угушила се. Испоставило се да има толико покретних делова да или треба да их поправљамо једном месечно на нашем терету (имамо много инжењера купаца који шетају по објекту, јер смо комерцијални дата центар), или морамо да купимо Нова.
Други проблем је што смо касније, током једног од редовних чишћења, некако пронашли „малу плаву крпу“ која је висила на решетки једног од носача нашег тестирања. Форензичар, кога је заступао инжењер Кс-Теам-а, идентификовао је део тела навлаке за ципеле. Испоставило се да је згодно носити навлаке за ципеле на клиници: ходао сам около пола сата и то је све. А неки инжењери могу да раде са хардвером цео дан. Схуффлинг ноге. Много се меша. А навлаке за ципеле се троше у ове мале комадиће које лете око хале турбина.
Скоро одмах смо купили нову навлаку за ципеле. Узели смо термо футролу за чизме: ово је машина у коју се пуни филм и пажљиво топлотно скупља овај филм на врху ципеле. Лепа, ефектна, издржљива. Мање расипање. Имали смо га доста дуго, али смо морали да мењамо скупљајућу фолију отприлике једном у 1-2 сата, јер је ђон имао тенденцију да сам отпадне.
Прво смо мислили да немамо среће, али људи некако решавају овај проблем. Али не. Питали смо наше западне колеге – иста прича. Као резултат тога, почели су да размишљају о томе како то исправно урадити. Повратак из турбинске хале по нове навлаке за ципеле је, искрено речено, идеја. Пронашли смо индустријска средства за чишћење за градилишта и индустрију. То су нешто попут стаза којима смена улази у радионицу. Стазе са гомилом ваљака чисте све, а направљене су тако да ће хтели или не, ухватити и очистити. Коштају од пола милиона до милион рубаља. Копали смо и нашли исти за 200 хиљада, али мораш сам да ставиш ногу. По величини је сличан машини за полирање ципела. Ти приђеш, гурнеш ногу унутра, она је жваће и враћа чисту. Поставили су га на улаз у дата центар.
Ради одлично осим два проблема. Први је што је брзо постало јасно да је то нормално за нас инжењере. Али у пракси, различити људи долазе у дата центар да погледају, укључујући и највише руководиоце великих компанија. Са ципелама од коже од змајевог магарца. А чак и за наношење креме на ципеле, њихова четкица кошта више од мојих патика за обуку, посебно бирају чекиње. Они су одбили да ставе своје ноге у нашу чудотворну справу. Други проблем се појавио зими: када су ципеле заиста неуредне, не могу све да извуку из дубоког газећег слоја. Затим ходате по сали, остављајући трагове ектоплазме.
Одлучили смо једноставно. Поред њега смо поставили намотани покривач за ципеле. Свеједно, све треба да дуплирамо по стандарду.
Настао је нови проблем. Посматрајући понашање инжењера купаца, видели смо следећу слику: они су прво заболи ноге у машину за чишћење, а затим закачили навлаке за ципеле са намотаног поклопца за ципеле. Сада су поставили знак да је или једно или друго, и боље је да се очистите, али ако животни принципи забрањују чишћење ципела, онда носите навлаке за ципеле. Изгледа да је карта, која је била на пар дана, али је дуго трајала, затворена. Ево уређаја:
"ку" два пута
Према захтевима ПЦИ ДСС, морате бити у стању да визуелно разликујете улоге људи који се налазе у центру података. Не гледајући изблиза у пропусницу и читајући тамо нешто, већ директно визуелно, као војници се разликују по нараменицама, само још светлије. Одлучили смо да се не хвалимо и користили смо стари добри Цхатлан метод - разликовање панталона у боји. Конкретно, почели су да праве пролазне траке различитих боја. Наши администратори су одмах узели Греен као свог фаворита.
Звучи једноставно, али је изазвало три неочекивана ефекта:
- Ретрактори су били потребни за аутоматско увлачење ових пасова када се носе (ово су ствари које саме регулишу дужину траке). Написали смо техничку спецификацију која је узела у обзир све жеље свих одељења. Ово је била стратешка грешка. Боја, формат, материјал, ретрактор није пластични, конопац је од метала за наношење логотипа тако да се ушије у траку. Испоставило се да су комади толико скупи да смо онда морали да смањимо захтеве и променимо формат.
- Када је диференцијација панталона почела да ради, постало је веома згодно. Извођачи имају неке траке, спољни администратори имају друге, а наши администратори имају друге. Види се ко има какву улогу. За електрику - само сиве, за климу - плаве. А онда су нам биле потребне траке за возаче (ово је посебна улога, они могу да уђу у простор за истовар, али не могу да га напусте осим напољу). Возачима није потребна пропусница. Прво смо им давали траке без пропусница. Тада су радници обезбеђења закључили да је то потпуно чудно и понижавајуће људско достојанство возача. Они имају своју војну логику, па сада возачи долазе да добију пропусницу одмах са траком, али им ова пропусница не дозвољава нигде. Са становишта безбедности, испоставља се да је то ознака да је обезбеђење проверило ову особу.
- Један од наших инжењера је предложио да уместо траке направимо зелене униформне џемпере. И послао је предлог рационализације. Урадили су то на пола пута: оставили су пропуснице са траком, плус су заправо сашили зелене униформе. Сада имамо униформу администратора. Заштитари су подржали шалу и уврстили је у прописе. Сада је то обавезно (панталоне, кошуља, џемпер, али џемпер се може скинути).
Наши купци су се такође често жалили на криве руте на мапама пре него што су ушли у наш центар података Цомпрессор. Унесите адресу, али је пут приказан погрешно. Посетиоци су на крају таксирали у погрешном смеру, јер је ту била пруга, а иза ње је била гужва и није се могло скренути. Прво смо хтели да поставимо знакове изнад пута. Град има такву услугу - поставите жуте додатне знакове испод уобичајених знакова, они се сматрају рекламом. А цена за њих је као реклама: на Ентузиастовом аутопуту један знак кошта милион рубаља годишње. Истовремено смо писали Јандексу, а они су чак изненада одговорили. И престали су да се понашају. Можете чак одредити и диоде капије: улаз кроз неке, излаз кроз друге.
Гугл, ако нас читате, знајте: и даље имате проблем, а ми не знамо коме да кажемо о томе да бисмо могли да се чујемо.
Позивна писма су укључивала везе не само до адресе, већ и до адресе са рутом заснованом на геолокацији корисника. Као резултат тога, било је мање промашаја.
Гобо пројектори и друге ситнице
Да ли знате шта су гобо пројектори? Ни ми нисмо знали. Некако смо размишљали како да означимо редове регала. Сами регали су, наравно, означени посебним ознакама за брзо отпуштање, али се могу видети са удаљености од 1-2 метра. Сама сала има 500 м40, тако да има довољно простора да се изгубите. Стога смо коначно почели да обележавамо редове. Почела је идеја. Како обележити, чиме и где? На поду, на зиду, натписи на плафону итд. А онда је наш колега видео да су у Икеи некада биле налепнице које се троше по поду, а онда су се појавиле светле стрелице. Па, одлучили смо да то преокренемо на једноставан начин: идите у Икеу и окрените један од пројектора да погледа. Нисмо могли да га набавимо: док смо носили столице, продавац је питао шта радимо. И одмах је помогао, рекавши да је то гобо. Испоставља се да ово није сам пројектор, већ плоча или сочиво за слику у боји. Овај филтер је гобо. Један пројектор кошта од 14 хиљада рубаља (постоји моћна лампа за дневну употребу), а имамо XNUMX редова у свакој од четири машинске собе. Зато на њега стављамо налепнице.
Имамо и дијаграме на зидовима који бледе током година. Променили смо их у ламиниране, са посебним „ушивеним“ џеповима за ревизоре. У нашем случају, Инспектор је главни инжењер, чије одговорности укључују проверу релевантности свих шема које се налазе у центру података. Дакле, све шеме морају бити проверене годишње и потписане од стране таквог ревизора. А присуство посебног малог магазина у џепу дијаграма олакшава ову процедуру и не захтева замену самог дијаграма сваке три године. Профит!
Напољу смо обавили ротационо чишћење подигнутог пода. Имамо редовна чишћења, имамо методе и време чишћења. Али точкови тешких регала остављају трагове. Урадили смо чишћење. Сада смо нервозни: не изгледа много уредније, али истакнути делови су се појавили из одређених углова за одређене људе, па, који имају своје фломастере по свом укусу. Сада размишљамо о томе и тражимо неку врсту хемикалије која ће избелити под и додати сјај. Тако да чак ни одабрани немају питања.
Јесте ли видели полице за конзоле? Ово су као путујући бифе столови, али уместо пића постоји терминал за повезивање на сталак. Дакле, на овим конзолним регалима, точкови отпадају и заглављују, као колица у супермаркету. Невероватно смо сити. Као резултат тога, једини могући начин да се оживи је куповина новог точка. Али више није било могуће набавити точкове посебно за наше моделе; интервјуисали смо све извођаче. Као резултат тога, сами смо дизајнирали сталак, фокусирајући се на лакоћу кретања по машинској просторији и могућност одржавања. Успело је веома добро.
Била је прича са синтетичким чарапама. Постоји таква ствар - антистатичке наруквице. Ово је када одете до сталка, повежете наруквицу са земљом на сталку и она комуницира са системом за изједначавање потенцијала. Дакле, рацк је уземљен, али може се испоставити да инжењер није уземљен. Колеге са ранијих радних места испричале су нам како су пар пута виделе варнице на видео-надзору, а ми смо решили, из греха, да обавежемо све да га директно користе по прописима.
Критични инциденти
Озбиљније речено, дошло је до ситуације да су сви расхладни уређаји одједном прекинути. Наши расхладни уређаји нису заштићени УПС-ом, јер верујемо у физику, а као температурну резерву имамо базен хладне воде. Ако се нешто угаси, не требају вам батерије за напајање расхладних уређаја који хладе воду, већ само хладна вода, већ спремна. Погодно и једноставно, али постоји нијанса. Чилери су опремљени аутоматском сигурносном опремом, која их искључује у случају опасних параметара електричне мреже. Ако је улаз искључен, укључујемо дизел генераторски сет, а затим се из њих напајају чилери. Све би било у реду да не живимо у Русији. Много пута смо имали прекиде у мрежи, али све је било у реду. Али једног дана је дошло до оштрог скока, прво надоле, затим нагло нагоре, па поново надоле - за неколико секунди улазни параметри су се променили око 4 пута. Хладњаци су се, наравно, искључили. Прво смо покушали да их укључимо на даљину, али су се заштитили врло поуздано, као хитно. Смена је морала да хода са ногама по крову и да их укључује ручно. Оно што је битно, према стандарду ТиерИИИ, таква ситуација је легитиман разлог за гашење дата центра. Нисмо имали стајања, јер су људи на земљи са главом, а постоји вежба са вежбама. За ово, кориснички интерфејс нас је једноставно зајебавао редовно, да бисмо били сигурни у ТИИИ Оператионал. Ако ништа друго, прошли смо рецертификацију корисничког интерфејса на ТИИИ Голд – Оперативна одрживост. На руском комерцијалном тржишту дата центара нема ништа кул, осим нашег, само један има исто достигнуће . Напомињем да је рецертификација тежа од добијања сертификата од нуле, пошто они претходни период проверавају као да нисте сами, а потребно је много више доказа.
Десио се занимљив инцидент са камерама. Одлучили смо да за сваки случај прерачунамо слепе углове, нацртали раскрснице, уцртали дијагонале углова гледања на плану и одједном смо наишли на слепу тачку од око 30 сантиметара са 15 метара тачно у центру једне од сала. Уско и дуго. Тога нема у суседној просторији. Испоставило се да се ротирајућа камера током година полако померала тако да је почела да показује око један и по степен улево него што би требало у крајњем положају.
У посту се догодио још један велики инцидент .
референце
- и
- моја пошта: [емаил заштићен]
Извор: ввв.хабр.цом