Відразу скажу: той щур у привезеному сервері, який ми пару років тому відпоїли чаєм після удару струмом, швидше за все, втік. Тому що ми побачили якось на обході її подругу. І одразу вирішили поставити ультразвукові відлякувачі.
Тепер навколо дата-центру проклята земля: на будівлю не сідають птахи, і, мабуть, утекли всі кроти та черви. Турбувались, що викликати вихід з ладу HDD, але перевірили, чи частоти не ті.
Наступна історія набагато веселіша. Ми якось отримали залізницю за пару мільйонів рублів у коробці з датчиками нахилу, вібрації та вологості. Все ціле. Акуратно зняли упаковку, а залізяка гнута. Містика.
Корпус прямо дугою. Гарно так.
Детектив
Ми б не надали цьому значення, тому що вигнутий металевий корпус був майже дизайнерським чином. Гарно так, без сколів. І якби не інші такі ж залізячки поруч, ми б на розпакуванні навіть не подумали, що щось не так. Але поряд були такі самі, лише правильнішої геометричної форми.
На щастя, розпакування такого заліза знімається на відео (рекомендую всім завести таку звичку), тому вдалося довести виробнику, що вона такою приїхала. Ціла упаковка та акуратно зігнутий корпус – це не удар від вантажників. Швидше за все, це вона зашкодила ще до виїзду до Росії.
Вендор каже: «Еее, хлопці, а давайте ми її вам відразу за гарантією поміняємо». І тут на нас чекала епічна засідка.
Справа в тому, що митниця дозволяє нам ввозити таке обладнання за документами без права експорту. Тобто, можна привезти, але перепродавати комусь за межі Росії не можна. Коли ми відправляємо назад згорілий блок живлення, наприклад, все зрозуміло. Це запчастина, блок живлення.
А тут знадобилося відправити назад все:
— Хлопці, дивіться, ми залізку назад відправляємо виробнику.
- Устаткування цілком?
- Так.
— Модель така?
- Так.
- Може працювати?
— Не знаємо, не вмикали.
— Значить це ціле обладнання.
— Ну, вона ж не працює.
— Ну, дивіться, ціле обладнання ось такої моделі. Без права реекспорту. Чи не пустимо.
Загалом було багато присідань, перш ніж розібралися, що ми його не експортуємо, а віддаємо назад. У результаті вдалося все зробити.
Ще були бахильниці
У нас спочатку багато років тому була перша автоматична мрія адміну. Завантажуєш туди бахили пачкою, вона їх сама розпаковує, відкриває і ставить у становище, де треба тільки наступити. Чпок-чпок та готове.
Приблизно за півроку вона пережувала близько ста пачок бахіл і подавилася. Виявилося, там стільки рухливих частин, що треба або ремонтувати її раз на місяць на нашому навантаженні (у нас дуже багато інженерів-замовників по об'єкту ходить, тому що ми комерційний ЦОД), або треба купувати нову.
Друга проблема в тому, що потім на одному з регулярних прибирань ми якось знайшли «синеньку ганчірочку», що бовталася на решітці однієї зі стійок свого тестингу. Судмедексперт в особі інженера ікс-команди впізнав фрагмент тіла бахили. Виявилося, що це в поліклініці з бахилами зручно: півгодини скидався — і все. А деякі інженери можуть цілий день працювати із залізом. Шорхаючи ногами. Сильно човгаючи. І бахіли при цьому стираються в ці ось маленькі клаптики, які літають машзалом.
Ми майже відразу купили нову бахельницю. Взяли термобахильницю: це машина, в яку заряджається плівка, і вона цю плівку акуратно термоусаджує поверх черевика. Гарно, ефективно, міцно. Менше розлітається. Досить довго вона у нас стояла, але треба було приблизно раз на 1-2 години міняти термозбіжну плівку, тому що підошва мала властивість відвалюватися сама.
Ми спершу думали, що це нам не щастить, а у людей якось ця проблема вирішується. Але немає. Запитали західних колег — та сама історія. У результаті почали думати, як зробити нормально. Повертатися з машзалу за новими бахилами — ідея, прямо скажемо, так собі. Знайшли промислові очищувачі для будмайданчиків та виробництв. Це щось на зразок доріжок, якими до цеху входить зміна. Доріжки з купою роликів чистять все, і зроблено так, що хочеш чи ні — зловить і почистить. Вони коштують по півмільйона-мільйона рублів. Ми поколупалися і знайшли таку ж за 200 тисяч, але ногу в неї треба пхати самому. За габаритами схожа на машинку для чищення взуття. Підходиш, пхає туди ногу, вона її жує і віддає назад чистою. Поставили на вході до ЦОДу.
Працює добре за винятком двох аспектів. Перший - досить швидко з'ясувалося, що це вона нам, інженерам нормально. А на практиці в ЦОД приходять подивитися різні люди, серед яких — топи великих компаній. Із взуттям зі шкіри з драпи дупи. А у них навіть для нанесення крему на взуття щітка коштує дорожче, ніж мої тренувальні кросівки, вони там спеціально підбирають ворс. Вони й відмовлялися пхати ноги в наш диво-девайс. Друга проблема виникла взимку: коли взуття пряме ось дуже в місиві, воно з глибокого протектора може дістати не все. Потім ходиш по залі, залишаєш сліди ектоплазми.
Вирішили просто. Поставили поруч рулонну бахильницю. Все одно у нас все треба дублювати за стандартом.
Виникла нова проблема. Спостерігаючи за поведінкою інженерів-замовників, ми бачили таку картину: вони спочатку пхали ногу в машину для очищення, а потім чіпляли бахили з рулонної бахильниці. Зараз повісили табличку, що або те, або інше, і краще очиститися, але якщо життєві принципи забороняють чистити взуття, то надягайте бахіли. Наче тикет, який був на пару днів, а розтягнувся надовго, закрився. Ось пристрій:
Двічі «ку»
За вимогами PCI DSS потрібно мати можливість візуально відрізняти ролі людей, які перебувають у ЦОД. Не придивляючись до пропуску і читаючи там щось, а прямий візуально, як військові один одного відрізняють по погонах, тільки яскравіше. Ми вирішили не викаблучуватися і використовували старий добрий чатланський метод — колірну диференціацію штанів. Саме стали робити стрічки перепусток різного кольору. Зелений як свій коханий одразу забрали наші адміни.
Звучить просто, але це викликало три несподівані ефекти:
- Потрібні були ретрактори для автоматичного втягування цих перепусток при носінні (це такі штуки, які самі регулюють довжину стрічки). Ми написали ТЗ, де зважили на всі побажання всіх департаментів. Це була стратегічна помилка. Колір, формат, матеріал, ретрактор не пластиковий, жилка з металу, щоб лого нанести, щоб він був вшитий у стрічку. Штуки вийшли такими дорогими, що потім довелося порізати вимоги і поміняти формат.
- Коли диференціація штанів почала працювати, стало дуже зручно. У підрядників одні стрічки, у зовнішніх адмінів інші, у наших адмінів треті. Видно, хто має роль. В електриці лише сірі, в кондиціонуванні сині. І тут знадобилися стрічки для водіїв (це окрема роль, вони можуть заходити в зону розвантаження, але не можуть залишати її крім як назовні). При цьому перепустки водіям не треба. Спочатку ми їм давали стрічки без перепусток. Потім безпечники вирішили, що це дуже дивно і принижує людську гідність водіїв. У них своя військова логіка, тому тепер водії приходять отримувати перепустку одразу зі стрічкою, але ця перепустка нікуди не пускає. З погляду охорони виходить маркер, що охорона цієї людини перевірила.
- Один із наших інженерів запропонував замість стрічки зробити формені светри зеленого кольору. І надіслав раціоналізаторську пропозицію. Зробили наполовину: перепустки зі стрічкою залишили, плюс ще справді пошили зелені формені светри. Тепер ми маємо уніформу адміну. Безпеки підтримали жарт і внесли його до регламентів. Тепер вона обов'язкова (штани, сорочка, светр, але светр можна знімати).
Ще наші замовники часто скаржилися на криві маршрути в картах до в'їзду до нашого дата-центру «Компресор». Забиваєш адресу, а дорога показується неправильно. Відвідувачі зрештою зарулювали не туди, бо там залізниця, а за нею пробка, і там не розвернутися. Спершу ми хотіли повісити вказівники над дорогою. Є така послуга у міста – під звичайними вказівниками розмістити жовті додаткові, вони вважаються рекламою. І ціна на них як на рекламу: на шосе Ентузіастів одна табличка коштує мільйон рублів на рік. Паралельно ми написали в Яндекс, і вони раптом відповіли. І перестали бешкетувати. Навіть можна вказати діоди воріт: в'їзд через одну, виїзд через іншу.
Google, якщо ви читаєте нас, то знайте: у вас проблема все ще є, і ми не знаємо, кому про це сказати, щоб нас почули.
У листи-запрошення вставили посилання не просто на адресу, а на адресу з прокладеним маршрутом від геопозиції користувача. У результаті промахуватись стали менше.
Гобо-проектори та інші дрібниці
Ось ви знаєте, що таке гобопроектори? Ми також не знали. Якось думали, як маркувати ряди стояків. Самі стійки, звичайно, промарковані спеціальними швидкознімними маркуваннями, але їх видно з відстані 1-2 метри. Сама зала 500 кв.м, тому заблукати там є де. Тому таки підступилися до маркування рядів. Почався брейншторм. Як маркувати, чим і куди? На підлозі, на стіні, вказівники на стелі та ін. І тут наш колега побачив, що в «Ікеї» на підлозі раніше були наклейки, що стиралися, а потім з'явилися світлові стрілочки. Ну ми вирішили відреверсувати простим способом: піти в Ікею і вивернути один із проекторів подивитися. Дістати його не вдалося: поки ми носили стільці, продавець спитав, що ми робимо. І одразу допоміг, сказавши, що це гобо. Виявляється, це не проектор, а пластина або лінза для кольорового зображення. Ось цей світлофільтр і є гобо. Один проектор коштує від 40 тисяч рублів (там потужна лампа для денного використання), а у нас 14 рядів у кожному із чотирьох машзалів. Тому поклеїли наклейки.
Ще у нас схеми на стінах із роками вицвітають. Ми їх поміняли на ламіновані, з «вшитими» спеціальними кишеньками для ревізорро. Ревізорро в нашому випадку — це головний інженер, обов'язком якого є перевірка на актуальність усіх схем, розміщених у ЦОД. Так от, усі схеми мають щорічно перевірятись та підписуватись таким ревізорро. А наявність спеціального журналу в кишені схеми робить цю процедуру простіше і не вимагає заміни самої схеми кожні три роки. Профіт!
Робили роторне чищення фальшпідлоги зовні. У нас є регулярні прибирання, є методики та час проведення прибирань. Але від коліс важких стояків залишаються сліди. Зробили чищення. Тепер нервуємо: дуже акуратніше на вигляд не стало, зате з'явилися відблиски під певними ракурсами у певних людей, ну у яких свої фломастери на свій смак. Зараз задумалися і шукаємо якусь хімію, яка вибілить підлогу та додасть лиску. Щоб навіть у вибраних питань не було.
Чи бачили консольні стійки? Це якісь роз'їзні фуршетні столики, тільки замість напоїв там термінал для підключення до стійки. Так от у цих консольних стійок коліщата відвалюються і клинять, як у візків у супермаркеті. Дістало нас неймовірно. У результаті єдиний можливий спосіб реанімувати купити нове колесо. А колеса дістати саме до наших моделей вже не сталося, ми всіх підрядників опитали. У результаті самі спроектували стійку під себе, роблячи акцент на зручність пересування по машзалу та ремонтопридатність. Дуже добре вийшло.
Була історія із синтетичними шкарпетками. Є така штука – антистатичні браслети. Це коли ти підходиш до стійки, підключаєш браслет до землі на стійці і зв'язується з системою зрівнювання потенціалів. Так ось, стійка заземлена, але може виявитися, що інженер не заземлений. Колеги з минулих місць роботи розповідали, як кілька разів бачили іскри на відеоспостереженні, і ми вирішили від гріха зобов'язати всіх прямо за регламентом користуватися.
Критичні інциденти
Із серйозного — була ситуація, коли разом відрубали всі чилери. Чилери у нас не захищені ДБЖ, тому що ми віримо у фізику, і як резерв за температурою у нас басейн із захищеною водою. Якщо щось відключається, потрібні не батареї для живлення чилерів, що охолоджують воду, а просто сама холодна вода вже готова. Зручно та просто, але є нюанс. На чилерах стоїть захисна автоматика, яка за небезпечних параметрів електричної мережі їх відключає. Якщо введення відключається, ми включаємо ДДУ, і далі чилери живляться від них. Все добре, якби ми жили не в Росії. У нас багато разів були просідання мережі, але все було добре. А от одного разу стрибок був різкий спочатку вниз, потім різко вгору, потім знову вниз - за кілька секунд параметри введення змінювалися приблизно в 4 рази. Чиллери відключилися, звичайно. Ми їх спочатку спробували включити віддалено, але вони захистили себе дуже надійно, аварійно. Довелося зміні йти ніжками на дах і вмикати їх вручну. Що важливо, за TierIII-стандартом, така ситуація – це легітимна причина зупинення ЦОДу. У нас зупинки не було, бо люди на місцях із головою, і є муштра із навчаннями. За це нас UI зносив просто регулярно, щоб бути впевненими про TIII Operational. Якщо ми пройшли ресертифікацію UI на TIII Gold — Operational Sustainability. На російському комерційному ринку дата-центрів нічого крутішого немає, крім нашого такою ж ачивкою володіє лише один . Зазначу, що ресертифікуватися важче, ніж отримати сертифікат з нуля, оскільки вони перевіряють ще минулий період як не в собі, і доказів потрібно значно більше.
Був цікавий інцидент із камерами. Вирішили перерахувати сліпі зони про всяк випадок, намалювали перетину, збудували діагоналі кутів огляду на плані, і раптом знайшли мертву зону приблизно 30 сантиметрів на 15 метрів прямо в центрі однієї із залів. Вузька та довга. У сусідній залі такої немає. Виявилося, що поворотна камера повільно зрушила за роки так, що почала показувати приблизно на півтора градуси лівіше, ніж треба в крайньому положенні.
Ще великий випадок був у пості .
Посилання
- и
- Моя пошта: [захищено електронною поштою]
Джерело: habr.com