🥇 Всекидневие на дата центъра: неочевидни детайли след 7 години експлоатация. И продължение за мишката

Ще кажа веднага: тази мишка в доставения сървър, която преди години напоихме с чай след токов удар, вероятно е избягала. Защото видяхме по време на обхода нейната приятелка. И веднага решихме да поставим ултразвукови отблъсквачи.

Сега около дата центъра е прокълната земя: птиците не кацат на сградата и, вероятно, всички кротове и червеи са избягали. Бяхме разтревожени, че звукът може да предизвика повреда на HDD, но проверихме, честотите не са тези.

Следващата история е много по-весела. Веднъж получихме желязо за няколко милиона рубли в кутия със сензори за наклон, вибрации и влажност. Всичко е здраво. Внимателно свалихме опаковката, а желязото е огънато. Мистика.

Корпусът е направо в дуга. Красиво е.

Детектив

Не бихме обърнали внимание на това, защото огънатият метален корпус изглеждаше почти дизайнерски. Прекрасно е, без ожулвания. И ако не бяха другите подобни желяза наблизо, нямаше да се замислим при разопаковането, че нещо не е наред. Но наблизо имаше такива, само с по-правилна геометрична форма.

За щастие, разопаковането на такова желязо се записва на видео (препоръчвам на всички да си създадат такава навика), така че успяхме да докажем на производителя, че то е пристигнало така. Цяла опаковка и внимателно огънат корпус — това не е удар от хамали. Най-вероятно, то е било повредено още преди да потегли за Русия.

Вендорът казва: „Еее, момчета, да я сменим веднага по гаранция.“ И тук ни чакаше епичен капан.

Работата е там, че митницата ни позволява да внасяме такова оборудване по документи без право на износ. Тоест можем да го внесем, но да го препродадем на някого извън пределите на Русия не можем. Когато изпращаме назад изгорял блок захранване, например, всичко е ясно. Това е резервна част, блок захранване.

А тук трябваше да изпратим обратно всичко:
— Момчета, вижте, изпращаме желязото обратно на производителя.
— Цялото оборудване?
— Да.
— Моделът е такъв?
— Да.
— Може ли да работи?
— Не знаем, не го включвахме.
— Значи, това е цяло оборудване.
— Но то не работи.
— Ами вижте, ето такова цяло оборудване. Без право на реекспорт. Няма да ви пуснем.

В обобщение, имаше много премятания, преди да разберат, че не експортираме, а даваме обратно. В крайна сметка успяхме да направим всичко.

Имаше и бахилници

Преди много години имахме първата автоматизирана машина за бахили, мечтата на администратора. Зареждаш пачка бахили, а тя сама ги разпакова, отваря и слага в положение, в което само трябва да стъпиш. Чпок-чпок и готово.

Около половин година по-късно тя изяде около сто пачки бахили и се задуши. Оказа се, че там има толкова много движещи се части, че трябва или да я ремонтираме на всеки месец при нашето натоварване (имаме много инженери-клиенти, които ходят по обектите, защото сме търговски ЦОД), или пък да купим нова.

Втората проблема е, че на една от редовните чистки по някакъв начин намерихме 'синята кърпичка', която се беше закачила на решетката на един от тестовете. Съдебният експерт под формата на инженер от икс-екипа разпозна фрагмент от тялото на бахилата. Оказа се, че в поликлиниката с бахилите е удобно: ходиш половин час — и всичко е наред. А някои инженери могат да работят с метали цял ден. Шаркащи стъпала. Силно шаркащи. И бахилите се износват до малките лоскутчета, които летят из машзала.

Почти веднага купихме нова машина за бахили. Взехме термобахилница: това е машина, в която се зарежда пленка, и тя тази пленка старателно термоусажда върху обувката. Красиво, ефективно, здраво. По-малко се разпилява. Доста дълго време стоя при нас, но трябваше да сменяме термоусадъчната пленка на всеки 1-2 часа, защото подметката имаше свойството да се отлепя сама.

Първоначално мислехме, че просто не ни върви, а пък на другите хора тази проблема се решава. Но не. Попитахме западни колеги — същата история. В крайна сметка започнахме да мислим как да го направим нормално. Връщането от машинната зала за нови бахили — идеята, да кажем направо, не е никак добра. Намерихме промишлени очистващи устройства за строителни площадки и производства. Това са неща, като пътеки, по които сменът влиза в цеха. Пътеки с купчини ролки, които чистят всичко, и са направени така, че искаш или не — ще уловят и почистят. Цените им са между половин и един милион рубли. Ние се поровихме и намерихме такова за 200 хиляди, но трябва сам да вкараш крак в него. По размери прилича на машина за почистване на обувки. Приближаваш, пъхаш крака вътре, тя го жува и ти го връща чист.

Работи отлично с изключение на две нюанса. Първият — доста бързо стана ясно, че за нас, инженерите, е нормално. А в практиката в ЦОД идват да гледат най-разни хора, сред които — шефове на големи компании. С обувки от кожа на дракон. А при тях дори за нанасяне на крема на обувките четката струва повече от тренировъчните ми маратонки, те там специално подбират влакната. Те отказваха да слагат краката си в нашия чудо-устройство. Вторият проблем възникна зимата: когато обувките са много в кал, от дълбокия протектор не може да извади всичко. После ходиш по залата, оставяш следи от ектоплазма.

Решихме просто. Поставихме до тях рулонна бахилница. Все пак всичко при нас трябва да бъде дублирано по стандарт.

Появи се нов проблем. Наблюдавайки поведението на инженерите-клиенти, видяхме следната картина: те първо слагаха крака в машината за почистване, а след това слагаха бахилите от рулонната бахилница. Сега окачихме табела, че или едното, или другото, и по-добре е да се очистят, но ако жизнените принципи забраняват да се чистят обувките, то да слагат бахилите. Изглежда, че тикетът, който беше за няколко дни, се проточва дълго и се затвори. Ето устройството:

Два пъти "ку"

Според изискванията на PCI DSS, трябва да имаме възможност визуално да различаваме ролите на хората, намиращи се в ЦОД. Не да се гледа пропуска и да се чете нещо, а просто зрително, както военните различават един друг по ранг, само че още по-ярко. Решихме да не се изтъкваме и използвахме стария добър чатлански метод — цветова диференциация на панталоните. По-точно — започнахме да правим ленти за пропуски в различни цветове. Зеленото, като любимото им веднага го взеха нашите администратори.

Звучи просто, но това предизвика три неочаквани ефекта:

Нужни бяха ретрактори за автоматично прибиране на тези пропуски при носене (тези устройства сами регулират дължината на лентата). Написахме ТЗ, в което взехме предвид всички желания на всички департаменти. Това беше стратегическа грешка. Цвят, формат, материал, не-пластмасов ретрактор, жицата от метал, за да се нанесе лого, за да бъде вшит в лентата. Устройствата се оказаха толкова скъпи, че после се наложи да намалим изискванията и да променим формата.
Когато диференциацията на панталоните заработи, стана много удобно. При изпълнителите има едни ленти, при външните администратори други, а при нашите администратори трети. Ясно се вижда кой каква роля има. В електротехниката — само сиви, в климатизацията — сини. И тук се наложиха ленти за шофьорите (това е отделна роля, те могат да влиза в зоната за разтоварване, но не могат да я напускат, освен навън). При това шофьорите не се нуждаят от пропуски. Първоначално им давахме ленти без пропуски. После охранителите решиха, че това е съвсем странно и унижава човешкото достойнство на шофьорите. Те имат своя военна логика, затова сега шофьорите идват да получат пропуск веднага с лентата, но този пропуск никъде не дава достъп. От гледна точка на охраната това е маркер, че охраната е проверила този човек.
Един от нашите инженери предложи вместо лента да направим униформени пуловери в зелено. И изпрати рационализаторско предложение. Стана наполовина: пропуските с лента останаха, плюс още наистина ушити зелени униформени пуловери. Сега имаме униформа за администратори. Охранителите подкрепиха шегата и я внесоха в регламентите. Сега тя е задължителна (панталони, риза, пуловер, но пуловера може да бъде свален).

Нашите клиенти често се оплакваха от кривите маршрути в картите до входа на нашия дата център „Компресор“. Въвеждаш адреса, а пътя показва неправилно. В резултат на това посетителите се отклоняваха, защото там има железопътна линия, след която е задръстване, и там не могат да се завият. Първоначално искахме да поставим указатели над пътя. Има такава услуга от града - под обикновените указатели да се поставят жълти допълнителни, считат се за реклама. И цената за тях е като за реклама: на шосе Ентусиастов една табела струва един милион рубли на година. Паралелно написахме до Яндекс, и те дори неочаквано отговориха. И престанаха да правят безобразия. Дори може да се посочат диодите на вратите: вход през едни, изход през други.

Гугъл, ако ни четете, знайте: все още имате проблем и не знаем на кого да съобщим за него, за да бъдем чути.

В писмата-покани добавихме линкове не само към адреса, а и към адреса с зададен маршрут от геопозицията на потребителя. В резултат на това сгрешаването намаля.

Гобо-проектори и други дреболии

Знаете ли какво е гобо-прожектор? И ние не знаехме. Някак си мислехме как да маркираме редовете на стойките. Самите стойки, естествено, са маркирани със специални бързо-свалящи се маркировки, но те се виждат от разстояние 1-2 метра. Самата зала е 500 кв.м, така че е възможно да се изгубите там. Затова все пак се захванахме с маркировката на редовете. Започна брейнсторм. Как да маркираме, с какво и къде? На пода, на стената, указателни табели на тавана и т.н. И тук нашият колега видя, че в „Икеа“ преди на пода е имало износващи се стикери, а след това се появиха светлинни стрелки. Така решихме да направим обратното: да отидем в „Икеа“ и да видим един от проекторите. Не успяхме да го извадим: докато носехме столовете, продавачът попита какво правим. И веднага ни помогна, казвайки, че това е гобо. Оказа се, че това не е самият проектор, а пластина или леща за цветни изображения. Този светофилтър е гобо. Един проектор струва от 40 хиляди рубли (там има мощна лампа за дневно използване), а ние имаме 14 реда в четирите машзали. Затова сложихме стикери.

Имаме и схеми на стените, които с годините избледняват. Затова ги сменихме с ламинирани, с „вшити“ специални джобове за ревизорро. Ревизорро в нашия случай е главният инженер, чиято работа е да проверява актуалността на всички схеми, поставени в ЦОД. Всички схеми трябва да се проверяват ежегодно и да се подписват от такъв ревизорро. И наличието на специален малък журнал в джоба на схемата прави тази процедура по-лесна и не изисква замяна на самата схема на всеки три години. Печалба!

Правихме роторно почистване на фалшивия под отвън. Имаме регулярни почиствания, имаме методики и време за провеждане на почистванията. Но от колелата на тежките стойки остават следи. Направихме почистване. Сега се притесняваме: не изглежда много по-аккуратно, но се появиха отблясъци под определени ъгли при определени хора, които имат свои флумастери по свой вкус. Сега се замисляме и търсим някаква химия, която да избели пода и да му придаде лъскавина. За да няма дори у избраните въпроси.

Видяхте ли конзолните стойки? Те са като подвижните фуршетни маси, само че вместо напитки там има терминал за свързване към стойката. Така че, колелата на тези конзолни стойки се откъсват и засядат, като количките в супермаркета. Стана ни ужасно досадно. В крайна сметка единственият възможен начин да ги възстановим е да купим ново колело. А колелата не успяхме да намерим конкретно за нашите модели, разпитахме всички доставчици. В крайна сметка сами проектирахме стойката за себе си, акцентирайки на удобството при придвижване в машинната зала и възможността за ремонт. Получи се много добре.

Имаше история със синтетични чорапи. Има нещо такова — антистатични гривни. Това е, когато се приближиш до стойката, свързваш гривната за земя на стойката и тя се свързва със системата за уравновесяване на потенциали. Така че стойката е заземлена, но може да се окаже, че инженерът не е заземлен. Колегите от предишните ми места на работа разказваха, как два пъти видели искри на видеонаблюдението, и ние решихме да задължим всички по регламент да използват.

Критични инциденти

От сериозно — имаше ситуация, когато всички чилъри спряха внезапно. Чилърите при нас не са защитени с ИБП, защото вярваме в физиката, и като резерв по температура имаме басейн със захладена вода. Ако нещо се изключи, не са ни нужни батерии за захранване на чилърите, а просто самата студена вода, вече готова. Удобно и просто, но има нюанс. На чилърите има защитна автоматика, която ги изключва при опасни параметри на електрическата мрежа. Ако входът се изключи, включваме ДГУ, и след това чилърите получават захранване от тях. Всичко щеше да е наред, ако не живеехме в Русия. Имаме много случаи на просадка на мрежата, но всичко беше наред. Обаче веднъж имаше рязък скок — първо надолу, после рязко нагоре, след това пак надолу — за няколко секунди параметрите на входа се променяха около 4 пъти. Чилърите се изключиха, естествено. Първо се опитахме да ги включим отдалеч, но те се защитиха много надеждно, по аварийному. Припадна се на смена да отиде пеш на покрива и да ги включи ръчно. Както е важно, по стандартите TierIII, такава ситуация е легитимна причина за спиране на ЦОДа. Ние не спираме, защото хората на местата са подготвени, и има обучение с учения. Заради това UI ни проверяваше редовно, за да са сигурни в TIII Operational. Ако е необходимо, преминахме рецертификация на UI по TIII Gold — Operational Sustainability. На руския търговски пазар за дата центрове няма нищо по-добро, освен нашето, само един има подобна постижима. ЦОД. Ще отбележа, че рецертификацията е по-трудна от получаването на сертификат от нулата, тъй като те проверяват и миналия период като за разкош, и са нужни много повече доказателства.

Имаше интересен инцидент с камерите. Решихме да преброим слепите зони на всяка цена, нарисувахме пресечки, построихме диагонали на ъглите на видимост на плана и изведнъж намерихме мъртва зона около 30 сантиметра на 15 метра точно в центъра на една от залите. Узка и дълга. В съседната зала такава няма. Оказа се, че въртящата камера с времето е изместваща, така че започна да показва около полтора градуса наляво, отколкото е трябвало в крайно положение.

Още един голям случай имаше в поста за ремонтна подмяна на ДДИБП.