🥇Работен ден в дата центъра: неочевидни детайли след 7 години експлоатация. И продължението за мишката

Нека да кажа веднага: онзи мишка в доставения сървър, която преди две години напоихме с чай след удар с ток, вероятно е избягала. Защото видяхме как на обхода бяха приятелките ѝ. И веднага решихме да поставим ултразвукови отблъскватели.

Сега около дата-центъра е прокълната земя: птиците не кацат на сградата и вероятно всички кротове и червеи са избягали. Бяхме загрижени, че звукът може да предизвика повреда на HDD, но проверихме, честотите не са такива.

Следващата история е много по-весела. Някак получихме железария за няколко милиона рубли в кутия с датчици за наклон, вибрация и влажност. Всичко е цяло. Внимателно свалихме опаковката, а желязото е изкривено. Мистерия.

Корпусът е направо дъговиден. Красиво.

Детектив

Не бихме обърнали значение на това, защото изкривеният метален корпус почти изглеждаше дизайнерски. Красиво, без чипове. И ако нямаше други подобни железарии наблизо, щяхме дори да не помислим, че нещо не е наред при разопаковането. Но наблизо имаше такива, само с по-правилна геометрична форма.

За щастие, разопаковането на такова желязо се снима на видео (препоръчвам на всеки да създаде такава практика), затова успяхме да докажем на производителя, че е пристигнало такова. Цялата опаковка и внимателно изкривен корпус — това не е удар от товароснещачи. Най-вероятно е повредено още преди да напусне Русия.

Вендорът казва: „Ей, момчета, как да не смянаме директно по гаранция“. И тук ни застига епична засада.

Факт е, че митницата позволява вноса на такова оборудване по документи без право за износ. Тоест, можете да го внесете, но да го препродадете на някого извън Русия не можете. Когато изпращаме обратно изгорял блок захранване, например, всичко е ясно. Това е резервна част, блок захранване.

А тук трябваше да върнем всичко:
— Момчета, вижте, изпращаме желязото обратно на производителя.
— Цялото оборудване?
— Да.
— Моделът такъв ли е?
— Да.
— Може ли да работи?
— Не знаем, не сме го включвали.
— Значи, това е цялото оборудване.
— Но то не работи.
— Ами, вижте, цялото оборудване е с такъв модел. Без право за реекспорт. Няма да го пропуснем.

Общо взето, имаше много приседания, преди да разберат, че не го експортираме, а го връщаме обратно. В крайна сметка успяхме да направим всичко.

Имаше и машинки за обувки.

Преди много години имахме първата автоматична, мечта на администратора. Зареждаш я с обувки на пачки, тя сама ги разпакова, отваря и ги поставя в положение, където само трябва да настъпиш. Чпок-чпок и готово.

Около шест месеца по-късно тя сдъвка около сто пачки обувки и се задуши. Оказа се, че има толкова много подвижни части, че трябва или да я ремонтираме всеки месец при нашата натовареност (имаме много инженери-клиенти по обекта, тъй като сме търговски ЦОД), или трябва да купим нова.

Втората проблем е, че по време на една от редовните почиствания намерихме "синия парцал", висящ на решетката на един от тестовите рафтове. Съдебният експерт в лицето на инженера от екипа разпозна фрагмент от тялото на обувката. Оказа се, че в поликлиниката с обувките е удобно: половин час си се разходил — и всичко. А някои инженери могат да работят цял ден с железата. Търкайки крака. Силно търкайки. И обувките в този процес се износват до малки парцалчета, които летят из машинната зала.

Почти веднага купихме нова обувка. Взехме термообувка: това е машина, в която се зарежда фолио, и тя внимателно термоусажда фолиото над обувката. Красиво, ефективно, здраво. По-малко се разлита. Доста дълго време стоя при нас, но трябваше да сменяме термоусаждащото фолио на всеки 1-2 часа, защото подметката имаше свойството да се откъсва сама.

Първоначално си мислехме, че просто нямаме късмет, докато другите решават този проблем. Но не е така. Попитахме западните колеги — и там историята е същата. В крайна сметка решихме как да го направим правилно. Да се върнем в машинното помещение за нови обувки — идеята, да сме честни, е доста слаба. Намерихме индустриални почистващи препарати за строителни площадки и производства. Това е нещо като пътеки, по които работниците влизат в цеха. Пътеките с много ролки почистват всичко, и са направени така, че независимо дали искаш или не — ще те хванат и почистят. Цената им е около половин милион до милион рубли. Разровихме се и намерихме подобна на цена от 200 хиляди, но трябва сам да сложиш крака. По размери прилича на машина за почистване на обувки. Приближаваш, слагането на крака и тя го изяжда и ти го връща чист. Поставихме я на входа на ЦОД.

Работи отлично, с изключение на два нюанса. Първото — бързо стана ясно, че на нас, инженерите, е добре. Но на практика в ЦОД идват да разгледат различни хора, сред които и ръководители на големи компании. С обувки от кожа, направена от драконови дупета. А при тях дори четката за нанасяне на крем за обувки струва повече от тренировъчните ми маратонки, те специално подбират влакната. Те отказваха да слагат крака в нашето чудо-устройство. Вторият проблем възникна през зимата: когато обувките са наистина много мръсни, те не могат да извадят всичко от дълбокия протектор. След това ходиш из залата и оставяш следи от ектоплазма.

Решихме просто. Поставихме до него рулонна шалтека за обувки. Все пак всичко при нас трябва да се дублира по стандарт.

Възникна нов проблем. Наблюдавайки поведението на инженерите-клиенти, видяхме следната картина: те първо слагаха крака в машината за почистване, а след това слагаха обувки от рулонната шалтека. Сега поставихме табела, че трябва да се избира между двете, и е по-добре да се почисти, но ако житейските принципи забраняват почистването на обувки, тогава слагайте шалтека. Изглежда, че билетът, който беше за няколко дни, се разтегна за дълго, завърши. Ето устройството:

Два пъти «ку»

Според изискванията на PCI DSS, е необходимо визуално да се различават ролите на хората, които се намират в ЦОД. Без да се вглеждаш в пропуска и да четеш нещо там, а директно визуално, както военните различават помежду си по пагоните, само още по-ярко. Ние решихме да не си усложняваме живота и използвахме стария добър чатлански метод — цветова диференциация на панталоните. Конкретно — започнахме да правим ленти за пропуски в различни цветове. Зеленото, което е любимото на нашите администратори, беше веднага взето.

Звучи просто, но това доведе до три неочаквани ефекта:

Необходими бяха ретрактори за автоматично прибиране на тези пропуски при носене (това са такива устройства, които сами регулират дължината на лентата). Написахме ТЗ, в което взехме под внимание всички желания на всички отдели. Това се оказа стратегическа грешка. Цвят, формат, материал, ретрактор не от пластмаса, а метална влакна, за да се нанесе лого, за да бъде вшит в лентата. Резултатът стана толкова скъп, че впоследствие се наложи да съкратим изискванията и да променим формата.
Когато диференциацията на панталоните заработи, стана много удобно. При изпълнителите имаше едни ленти, при външните администратори — други, при нашите администратори — трети. Видимо е, кой каква роля играе. В електрическите системи — само сиви, в климатизацията — сини. И тук се наложи да се добавят ленти за шофьорите (това е отделна роля, те могат да влизат в зоната на разтоварване, но не могат да я напускат освен навън). Освен това на шофьорите не им трябват пропуски. В началото им давахме ленти без пропуски. После охранителите решиха, че това е странно и унижава човешкото достойнство на шофьорите. Те имат своя собствена военна логика, затова сега шофьорите идват да получат пропуск веднага с лента, но този пропуск не им позволява да влизат никъде. От гледна точка на охраната, това е маркер, че охранителят е проверил този човек.
Един от нашите инженери предложи вместо лента да се направят униформени пуловери в зелен цвят. И изпрати предложение за рационализация. Направихме наполовина: оставихме пропуските с лента, плюс това наистина ушихме зелени униформени пуловери. Сега имаме униформа за администратори. Охранителите подкрепиха шегата и я включиха в регламентите. Сега тя е задължителна (панталони, риза, пуловер, но пуловерът може да се сваля).

Нашите клиенти често се оплакват от криви маршрути на картите до входа в наш дата център "Компресор". Въведете адреса и пътят не се показва правилно. В посетителите в крайна сметка завиват на грешно място, защото там има железопътна линия, а след нея задръстване, и там не може да се обърне. Първоначално искахме да поставим указатели над пътя. Има такава услуга в града – да поставите жълти допълнителни знаци под стандартните, които се смятат за реклама. И цената им е като на реклама: на шосето "Ентузиасти" една табела струва един милион рубли на година. Паралелно написахме до Яндекс и те дори изненадващо отговориха. И спряха да правят безобразия. Дори може да се посочат диоди на вратите: входът е през едни, изходът е през други.

Гугъл, ако четете това, знайте: все още имате проблем и не знаем на кого да кажем за него, за да ни чуят.

В поканите за писма добавихме линкове не само към адреса, а към адрес с планиран маршрут от геопозицията на потребителя. В крайна сметка, грешките значително намаляха.

Гобо проектори и други дреболии

Знаете ли какво е гобо проектор? Ние също не знаехме. Някога се чудехме как да маркираме редовете с рафтове. Самите рафтове, разбира се, са маркирани със специални бързо свалящи се маркировки, но могат да се видят от разстояние 1-2 метра. Самата зала е 500 кв.м, така че е лесно да се изгубите. Затова все пак решихме да се заемем с маркирането на редовете. Започна мозъчна буря. Как да маркираме, с какво и къде? На пода, на стената, указатели на тавана и т.н. И тук нашият колега видя, че в "Икея" преди на пода бяха износващи се стикери, а след това се появиха светлинни стрелки. Решихме да опитаме прост начин: да отидем в "Икея" и да вземем един от проекторите да го погледнем. Не успяхме да го вземем: докато носехме столове, продавачът попита какво правим. И веднага помогна, казвайки, че това е гобо. Оказа се, че не е самият проектор, а пластина или леща за цветно изображение. Този светофилтър е гобо. Един проектор струва от 40 хиляди рубли (има мощна лампа за дневна употреба), а при нас има 14 реда в всеки от четирите машзала. Затова поставихме стикери.

Схемите по стените ни се сменят с времето. Заменихме ги с ламинирани, с вградени специални джобове за ревизор. Ревизор в нашия случай е главният инженер, чиято задача е да проверява актуалността на всички схеми, поставени в ЦОД. Всички схеми трябва да се проверяват и подписват ежегодно от такъв ревизор. А наличието на специален малък журнал в джоба на схемата прави тази процедура по-лесна и не изисква смяна на самата схема на всеки три години. Полза!

Извършихме ротационно почистване на фалшивия под отвън. Имаме редовно почистване, методи и време за него. Но от тежките колела на стелажите остават следи. Извършихме почистването. Сега се притесняваме: визуално не видимо стана много по-внимателно, но пък се появиха отблясъци под определени ъгли у определени хора, които имат свои фломастери по свой вкус. Сега се замисляме и търсим някаква химия, която да избели пода и да му придаде блясък. Така че дори у избрани да няма въпроси.

Видели ли сте конзолни стелажи? Това са раздвижни фуршетни маси, само че вместо напитки там има терминал за свързване към стелажа. Е, колелата на тези конзолни стелажи се откачат и блокират, като при количките в супермага. Станахме безкрайно уморени от това. В крайна сметка единственият възможен начин да ги съживим е да купим ново колело. А да намерим колела точно за нашите модели не се получи, обходихме всички доставчици. В крайна сметка сами проектирахме стелажа по себе си, акцентирали на удобството за движение в машинната зала и ремонта. Стана много добре.

Имаше история със синтетични чорапи. Има такова нещо — антистатични гривни. Това е, когато се приближаваш до стелажа, свързваш гривната със заземяването на стелажа и тя се свързва със системата за уравняване на потенциалите. Има и заземяване на стелажа, но може да се окаже, че инженерът не е заземен. Колегите от предишните места на работа разказваха как два пъти са виждали искри на видеонаблюдението, и ние при нас решихме да задължим всички да ги използват точно по регламента.

Критични инциденти

Сериозна ситуация възникна, когато всичките ни чилъри изведнъж спряха. Чилърите не са защитени от UPS, тъй като вярваме в физиката и за резерв по температура имаме басейн с охладена вода. Когато нещо се изключва, не са нужни батерии за захранване на чилърите, охлаждащи водата, а сама студена вода, вече готова. Удобно и просто, но има един нюанс. На чилърите има защитна автоматика, която при опасни параметри на електрическата мрежа ги изключва. Когато захранването се прекъсне, включваме генератора и след това чилърите се захранват от него. Всичко щеше да е добре, ако не живеехме в Русия. Имахме много спадове в мрежата, но всичко беше наред. Обаче веднъж имаше рязък скок, първо надолу, после рязко нагоре, след това пак надолу — параметрите на входа се променяха около 4 пъти за няколко секунди. Чилърите се изключиха, разбира се. Първо се опитахме да ги включим дистанционно, но те се защитиха много надеждно, аварийно. Пришло се да отидем пеша на покрива и да ги включим ръчно. Важно е, че според стандарта Tier III, такава ситуация е легитимна причина за спиране на ЦОД-а. Ние нямаме спиране, защото служителите на място са подготвени, и имаме тренировки. Заради това ни UI непрекъснато проверяваше, за да бъдем сигурни за TIII Operational. Ако е нужно, преминахме повторна сертификация UI на TIII Gold — Operational Sustainability. На руския търговски пазар на дата центрове няма нищо по-добро, освен нашето, с такова постижение разполага само един. ЦОД. Искам да подчертая, че ресертификацията е по-трудна от получаването на сертификат от нулата, тъй като проверяват и предходния период, и доказателствата, необходими за това, са много повече.

Имаше интересен инцидент с камерите. Решихме да преброим слепите зони за всеки случай, начертахме пресечни точки, построихме диагонали на ъглите на видимост на плана и изведнъж намерихме мртва зона с размери приблизително 30 сантиметра на 15 метра точно в центъра на една от залите. Тясна и дълга. В съседната зала такава зона няма. Оказа се, че въртящата се камера бавно е изменила позицията си през годините, така че сега показва около полутора градуса наляво от необходимото в крайното положение.

И имаше голям случай по ремонтната смяна на ДДИБП.