Ежедневието на центъра за данни: неочевидни малки неща за 7 години работа. И продължение за един плъх

Веднага ще кажа: този плъх в донесения сървър, на който дадохме чай преди няколко години след токов удар, най-вероятно е избягал. Защото веднъж видяхме приятеля й на кръг. И веднага решихме да инсталираме ултразвукови репелери.

Сега около центъра за данни има прокълната земя: птици няма да кацат на сградата и вероятно всички къртици и червеи са избягали. Бяха притеснени, че звук може причинява повреда на HDD, но проверено, честотите не са еднакви.

Следващата история е много по-забавна. Веднъж получихме хардуер за няколко милиона рубли в кутия със сензори за накланяне, вибрации и влажност. Всичко е цяло. Внимателно отстранете опаковката и парчето желязо се огъна. Мистик.

Тялото е изправено в дъга. Толкова красива.

детектив

Не бихме придали никакво значение на това, защото извитият метален корпус беше почти дизайнерско изображение. Толкова красиво, без чипове. И ако не бяха други подобни хардуерни части наблизо, нямаше дори да си помислим при разопаковането, че нещо не е наред. Но наблизо имаше същите, само че с по-правилна геометрична форма.

За щастие, разопаковането на подобен хардуер се заснема (препоръчвам на всеки да придобие този навик), така че успяхме да докажем на производителя, че е пристигнал така. Непокътнатият пакет и спретнато огънато тяло не са удар от хамалите. Най-вероятно тя е била ранена още преди да замине за Русия.

Продавачът казва: „Ъъъ, момчета, нека ви го сменим веднага в гаранция.“ И тогава ни чакаше епична засада.

Факт е, че митниците ни позволяват да внасяме такова оборудване с документи без право на износ. Тоест можете да го донесете, но не можете да го препродадете на някой извън Русия. Когато изпратим обратно изгоряло захранване, например, всичко е ясно. Това е резервна част, захранване.

И тогава трябваше да изпратя всичко обратно:
- Момчета, вижте, изпращаме хардуерната част обратно на производителя.
- Цялото оборудване?
- Да.
— Модел такъв и такъв?
- Да.
- Може ли да работи?
— Не знаем, не сме го включили.
- Значи това е цяло оборудване.
- Е, не става.
- Ами виж, цялата техника е от този модел. Без права за реекспорт. Няма да те пуснем.

Общо взето имаше доста клечки, преди да разберем, че не го изнасяме, а го връщаме. В крайна сметка успяхме да направим всичко.

Имаше и калъфи за обувки

Първо, преди много години имахме първия автоматичен, мечтата на администратора. Зареждате там пакет калъфи за обувки, той сам ги разопакова, отваря ги и ги поставя в позиция, в която просто трябва да ги стъпите. Чп-чпк и готово.

След около шест месеца тя сдъвка около сто опаковки калъфи за обувки и се задави. Оказа се, че има толкова много движещи се части, че или трябва да го ремонтираме веднъж месечно при натоварване (имаме много инженери клиенти, които се разхождат из съоръжението, защото сме търговски център за данни), или трябва да купим нов.

Вторият проблем е, че по-късно, по време на едно от редовните почиствания, по някакъв начин открихме „малък син парцал“, висящ на решетката на един от стелажите на нашето тестване. Експертът по криминалистика, представляван от инженер от X-Team, идентифицира фрагмент от тялото на капака на обувката. Оказа се, че е удобно да нося калъфи за обувки в клиниката: обиколих половин час и това е всичко. И някои инженери могат да работят с хардуер цял ден. Търкане на краката. Разбъркване много. И капаците на обувките се износват в тези малки парчета, които летят около турбинната зала.

Почти веднага купихме нов калъф за обувки. Взехме термичен калъф за ботуши: това е машина, в която се зарежда филм и внимателно топлинно свива този филм върху горната част на обувката. Красив, ефектен, издръжлив. По-малко разпръскване. Имахме го доста дълго време, но трябваше да сменяме термосвиваемото фолио веднъж на всеки 1-2 часа, защото подметката падаше сама.

Първо си помислихме, че нямаме късмет, но хората някак решават този проблем. Но не. Попитахме нашите западни колеги - същата история. В резултат на това започнаха да мислят как да го направят нормално. Връщането от турбинната зала за нови калъфи за обувки е, честно казано, идея. Намерихме индустриални почистващи препарати за строителни обекти и индустрии. Това са нещо като пътеки, по които смяната влиза в цеха. Пътеки с куп ролки чистят всичко, и така са направени, че искаш или не искаш хваща и чисти. Те струват от половин милион до милион рубли. Разровихме се и намерихме същия за 200 хил., но трябва сам да си сложиш крака. По размер е подобен на машина за полиране на обувки. Качваш се, пъхаш крака си там, тя го дъвче и го връща чист. Те го поставиха на входа на центъра за данни.

Работи чудесно с изключение на два проблема. Първият е, че бързо стана ясно, че това е нормално за нас инженерите. Но на практика най-различни хора идват в центъра за данни да гледат, включително топ мениджъри на големи компании. С обувки от кожа от змейско дупе. И дори за нанасяне на крем върху обувки, четката им струва повече от моите тренировъчни маратонки, те специално подбират косъмчетата. Именно те отказаха да пъхнат краката си в чудотворното ни устройство. Вторият проблем възникна през зимата: когато обувките са наистина разхвърляни, те не могат да извадят всичко от дълбокия протектор. След това се разхождате из залата, оставяйки следи от ектоплазма.

Решихме просто. До него поставихме навито покривало за обувки. Все пак трябва да дублираме всичко според стандарта.

Появи се нов проблем. Наблюдавайки поведението на инженерите на клиентите, видяхме следната картина: те първо пъхнаха краката си в машината за почистване, а след това закачиха калъфи за обувки от навита калъфка за обувки. Сега са поставили табела, че е или едното, или другото и е по-добре да се почистите, но ако принципите на живота забраняват да почиствате обувките си, тогава носете калъфи за обувки. Изглежда билетът, който беше за няколко дни, но продължи дълго време, беше затворен. Ето го устройството:

"ку" два пъти

Съгласно изискванията на PCI DSS, трябва да можете да разграничите визуално ролите на хората, намиращи се в центъра за данни. Без да гледам внимателно пропуска и да чета нещо там, но директно визуално, като военни се различават по презрамките, само още по-ярко. Решихме да не се излагаме на показ и използвахме добрия стар метод на Chatlan - цветово разграничаване на панталоните. По-конкретно, те започнаха да правят ленти за пропуски в различни цветове. Нашите администратори веднага взеха Green за свой фаворит.

Звучи просто, но предизвика три неочаквани ефекта:

1. Бяха необходими ретрактори за автоматично прибиране на тези пропуски, когато се носят (това са неща, които сами регулират дължината на лентата). Написахме техническа спецификация, която взе предвид всички желания на всички отдели. Това беше стратегическа грешка. Цвят, формат, материал, прибиращото устройство не е пластмасово, въдицата е метална за нанасяне на логото, така че да е зашито в лентата. Парчетата се оказаха толкова скъпи, че се наложи да намалим изискванията и да сменим формата.
2. След като диференциацията на панталоните започна да работи, стана много удобно. Изпълнителите имат едни ленти, външните администратори имат други, а нашите администратори имат други. Можете да видите кой каква роля има. За електро - само сиви, за климатик - сини. И тогава имахме нужда от панделки за шофьорите (това е отделна роля, те могат да влязат в зоната за разтоварване, но не могат да я напуснат, освен отвън). Шофьорите не се нуждаят от пропуск. Отначало им дадохме ленти без пропуски. Тогава охраната прецени, че това е напълно странно и унизително за човешкото достойнство на шофьорите. Те имат своя собствена военна логика, така че сега шофьорите идват да получат пропуск веднага с лента, но този пропуск не им позволява да отидат никъде. От гледна точка на сигурността това се оказва маркер, че сигурността е проверила този човек.
3. Един от нашите инженери предложи да направим зелени униформени пуловери вместо панделка. И изпрати предложение за рационализация. Направиха го наполовина: оставиха пропуските с лентата, плюс всъщност ушиха зелените униформени пуловери. Сега имаме администраторска униформа. Охранителите подкрепиха шегата и я включиха в правилника. Сега е задължително (панталон, риза, пуловер, но пуловерът може да се сваля).

Нашите клиенти също често се оплакваха от криви маршрути на картите, преди да влязат в нашия център за данни Compressor. Въведете адреса, но пътят се показва неправилно. Посетителите накрая рулираха в грешната посока, защото там имаше железопътна линия, а зад нея имаше задръстване и нямаше как да се обърне там. Първоначално искахме да поставим табели над пътя. Градът има такава услуга - поставете жълти допълнителни табели под обичайните табели, считат се за реклама. И цената за тях е като реклама: на магистрала Ентузиастов един знак струва милион рубли годишно. В същото време писахме на Yandex и те дори изведнъж отговориха. И спряха да се държат. Можете дори да посочите диодите на вратата: влизане през някои, излизане през други.

Google, ако ни четете, тогава знайте: все още имате проблем и ние не знаем на кого да кажем за него, за да бъдем чути.

Писмата с покани включват връзки не само към адрес, но и към адрес с маршрут, базиран на геолокацията на потребителя. В резултат на това имаше по-малко пропуски.

Гобо проектори и други дребни предмети

Знаете ли какво представляват гобо проекторите? И ние не знаехме. Някак си мислехме как да маркираме редовете стелажи. Самите стелажи, разбира се, са маркирани със специални маркировки за бързо освобождаване, но те могат да се видят от разстояние 1-2 метра. Самата зала е 500 кв.м, така че има много място да се изгубите там. Затова най-накрая започнахме да маркираме редовете. Започна мозъчна атака. Как да маркирам, с какво и къде? На пода, на стената, табели на тавана и т.н. И тогава нашият колега видя, че в Икеа имаше стикери, които се изтриваха на пода, след което се появиха светлинни стрелки. Е, решихме да го обърнем по прост начин: отидете в Ikea и извадете един от проекторите, за да го погледнете. Не можахме да го вземем: докато пренасяхме столовете, продавачът попита какво правим. И той веднага помогна, като каза, че е гобо. Оказва се, че това не е самият проектор, а плоча или леща за цветно изображение. Този филтър е гобо. Един проектор струва от 40 хиляди рубли (има мощна лампа за дневна употреба) и имаме 14 реда във всяка от четирите машинни зали. Затова му сложихме стикери.

Имаме и диаграми по стените, които избледняват с годините. Сменихме ги с ламинирани, със специални „зашити” джобове за одитори. В нашия случай инспекторът е главният инженер, чиито отговорности включват проверка на уместността на всички схеми, разположени в центъра за данни. Така че всички схеми трябва да се проверяват ежегодно и да се подписват от такъв одитор. А наличието на специално малко списание в джоба на диаграмата улеснява тази процедура и не изисква подмяна на самата диаграма на всеки три години. печалба!

Направихме роторно почистване на повдигнатия под отвън. Имаме редовни почиствания, имаме методи и часове за почистване. Но колелата на тежките стелажи оставят следи. Ние направихме почистването. Сега сме нервни: не изглежда много по-спретнато, но се появяват акценти от определени ъгли за определени хора, добре, които имат свои собствени флумастери според вкуса си. Сега мислим за това и търсим някакъв химикал, който да избели пода и да придаде блясък. Така че дори избраните да нямат въпроси.

Виждали ли сте конзолните стелажи? Те са като пътуващи бюфетни маси, но вместо напитки има терминал за свързване към стелажа. И така, на тези конзолни стелажи колелата падат и задръстват, като колички в супермаркет. Невероятно ни писна. В резултат на това единственият възможен начин да го съживите е да закупите ново колело. Но вече не беше възможно да вземем колела специално за нашите модели; интервюирахме всички изпълнители. В резултат на това ние сами проектирахме стелажа, като се фокусирахме върху лекотата на движение из машинното помещение и поддръжката. Получи се много добре.

Имаше една история със синтетични чорапи. Има такова нещо - антистатични гривни. Това е, когато отидете до стойката, свържете гривната към земята на стойката и тя комуникира със системата за изравняване на потенциала. И така, багажникът е заземен, но може да се окаже, че инженерът не е заземен. Колеги от предишни места на работа ни разказаха как няколко пъти са виждали искри на видеонаблюдението и ние решихме от грях да задължим всички да го използват директно според разпоредбите.

Критични инциденти

По-сериозно, имаше ситуация, при която всички охладители бяха прекъснати наведнъж. Нашите чилъри не са защитени от UPS, защото вярваме във физиката и имаме басейн със студена вода като температурен резерв. Ако нещо изгасне, нямате нужда от батерии за захранване на охладителите, които охлаждат водата, а просто от самата студена вода, вече готова. Удобно и просто, но има нюанс. Чилърите са оборудвани с автоматични предпазни устройства, които ги изключват при опасни параметри на електрическата мрежа. Ако входът е изключен, включваме дизеловия генератор и след това охладителите се захранват от тях. Всичко щеше да е наред, ако не живеехме в Русия. Имахме прекъсвания на мрежата много пъти, но всичко беше наред. Но един ден имаше рязък скок, първо надолу, после рязко нагоре, после отново надолу - за няколко секунди входните параметри се промениха около 4 пъти. Охладителите се изключиха, разбира се. Първо се опитахме да ги включим дистанционно, но те се защитиха много надеждно, аварийно. Смяната трябваше да ходи с крака на покрива и да ги включва ръчно. Важното е, че според стандарта TierIII подобна ситуация е легитимна причина за изключване на центъра за данни. Нямахме спирка, защото хората са на земята с глави, а има тренировка с упражнения. За това потребителският интерфейс просто ни прецаква редовно, за да сме сигурни за TIII Operational. Ако не друго, преминахме повторно сертифициране на потребителския интерфейс към TIII Gold - Оперативна устойчивост. На руския търговски пазар на центрове за данни няма нищо по-хладно, с изключение на нашия, само един има същото постижение Център за данни. Отбелязвам, че повторното сертифициране е по-трудно от получаването на сертификат от нулата, тъй като те проверяват предишния период, сякаш не сте себе си, и се изискват много повече доказателства.

Имаше интересна случка с камерите. Решихме да преизчислим слепите петна за всеки случай, начертахме пресечки, начертахме диагонали на ъгли на видимост върху плана и изведнъж открихме сляпо петно ​​от около 30 сантиметра на 15 метра точно в центъра на една от залите. Тесен и дълъг. В съседната стая такова нещо няма. Оказа се, че въртящата се камера бавно се е преместила през годините, така че започнала да показва около градус и половина наляво, отколкото трябва в крайна позиция.

Имаше още един голям инцидент в публикацията за ремонтна подмяна на DDIBP.

Позоваването

• Фотообиколка на центъра за данни
• Как построихме и инфраструктура на отказоустойчив център за данни от клас TIER-III
• Софтуерно дефиниран център за данни
• Център за данни в чекмедже
• Как инсталираме DDIBP
• Ново поколение Hi-tech DDIBP
• моята поща: [имейл защитен]

Източник: www.habr.com