Привіт, Хабре! Я Тарас Чирков, директор ЦОД Linxdatacenter у Санкт-Петербурзі. І сьогодні в нашому блозі я розповім про те, яку роль у нормальній роботі сучасного дата-центру відіграє підтримання чистоти у приміщенні, як правильно її вимірювати, досягати та підтримувати на потрібному рівні.
Тригер чистоти
Якось до нас звернувся клієнт дата-центру в Санкт-Петербурзі щодо шару пилу в нижній частині стійки з обладнанням. Це стало відправною точкою розслідування, перші гіпотези якого припускали таке:
- пил потрапляє в серверні зали з підошв взуття співробітників та клієнтів дата-центру,
- заноситься через систему вентиляції,
- і те і інше.
Сині бахіли – на звалище історії
Почали із взуття. На той момент проблема чистоти вирішувалася традиційним способом: контейнер із бахилами при вході. Ефективність підходу не досягала бажаного рівня: контролювати їх використання гостями ЦОД було важко, а сам формат – незручний. Швидко відмовилися на користь більш сучасних технологій у вигляді бахильної машини. Перша встановлена у нас модель такого апарату провалилася: машина занадто часто рвала бахили при спробі одягти їх на взуття, її використання дратувало більше, ніж полегшувало життя.
Звернення до досвіду колег у Варшаві та Москві не вирішило завдання, і в результаті вибір було зроблено на користь технології наплавлення термоплівки на взуття. За допомогою термоплівки можна надіти «бахили» на взуття з будь-якою підошвою – аж до тонких жіночих підборів. Так, плівка теж, буває, зісковзує, але набагато рідше, ніж класичні сині бахіли, а сама технологія – в рази зручніша для відвідувача та сучасніша. Ще важливий (для мене) плюс - плівка легко покриває найбільші розміри взуття, на відміну від традиційних бахіл, що рвуться при спробі одягнути їх на 45 розмір. Для більшої сучасності процесу встановили урни з автоматизованим відкриттям кришки датчиком руху.
Виглядає цей процес так:
Гості одразу оцінили новацію.
Пил на вітрі
Впорядкуючи найбільш очевидний канал можливого забруднення простору, ми взялися за більш тонкі матерії – за повітря. Цілком ймовірно, що значна частина пилу надходить у серверні через вентиляцію через недостатню фільтрацію, або заноситься з вулиці. Чи вся справа в низькій якості прибирання? Розслідування продовжилося.
Ми вирішили взяти виміри вмісту частинок у повітрі всередині дата-центру та запросили для проведення цих робіт лабораторію, що спеціалізується на контролі якості повітря у чистих приміщеннях спеціального призначення.
Співробітники лабораторії виміряли кількість контрольних точок (20), склали розклад забору проб для відстеження динаміки та створення максимально точної картини. Вартість повного процесу вимірів лабораторією становила близько 1 млн. руб., що здалося нам зовсім недоцільним, проте дало низку ідей для самостійної реалізації. Принагідно стало зрозуміло, що лабораторія - це добре, але аналізи треба проводити в динаміці і постійно звертатися до їх послуг вкрай незручно.
Подивившись на плановані дії лабораторії, вирішили подивитися більш утилітарні пристрої для самостійної роботи. У результаті нам вдалося знайти необхідний для цього завдання інструмент – аналізатор якості повітря. Ось такий:
Прилад показує вміст часток різного діаметра (у мікрометрах).
Переглядаючи стандарти
Цей прилад аналізує кількість частинок, температури, вологості та показує результати в одиницях вимірювання відповідно до стандартів ISO за цим параметром. На дисплеї видно рівні вмісту частинок із різними діаметрами в пробі повітря.
Паралельно грішили на фільтри: тоді використовували всередині серверних приміщень моделі фільтрів G4. Ця модель забезпечує грубе очищення повітря, тому допускали ймовірність пропуску частинок, що призводили до забруднення. Вирішили закупити на пробу фільтри тонкого очищення F5, що застосовуються в системах кондиціювання та вентиляції як фільтри другого ступеня очищення (доочищення).
Розслідування провели – можна розпочинати контрольні виміри. Як орієнтир вирішили використовувати вимоги стандарту ISO 14644-1 за кількістю зважених частинок.
Класифікація чистих приміщень за кількістю завислих частинок.
Здавалося б – вимірювай та порівнюй за таблицею. Але не все так просто: на практиці виявилося досить важко знайти стандарти чистоти повітря для серверних приміщень ЦОДу. У явному вигляді це ніде не прописано жодною організацією чи галузевим інститутом. І лише на внутрішньому форумі Uptime Inside Track (доступ до нього мають особи, які пройшли навчання за програмами Uptime Institute), знайшлася окрема дискусія на цю тему. За підсумками її вивчення схилилися до орієнтації на стандарт ISO 8 – передостанній у класифікації.
Перші ж виміри показали, що ми недооцінювали себе – результати перевірок внутрішнього повітря дали відповідність вимогам ISO 5 у внутрішніх приміщеннях, що значно перевищувало бажані учасниками Uptime Inside Track нормативи. При цьому – з великим запасом. У нас дата-центр, а не біологічна лабораторія, звичайно, але щоб концентрація частинок у повітрі дорівнювала ISO 8 – це повинен бути об'єкт класу мінімум «цементний завод». І як можна застосовувати цей стандарт до дата-центру – не дуже зрозуміло. При цьому результат ISO 5 ми отримали, роблячи виміри при фільтрації повітря фільтрами G4. Тобто, пил у стійки через повітря потрапляти не може, фільтри F5 виявилися надмірними, і навіть їх не стали застосовувати.
Негативний результат – також результат: ми продовжили пошуки причини забруднення в інших напрямках, а контроль якості повітря включили до щоквартальних перевірок, поєднавши з перевірками датчиків BMS повіреними пристроями (вимоги ISO 9000 та аудитів клієнтів).
Нижче – приклад звіту, який заповнюється на підставі даних, отриманих під час виміру. Для більшої точності виміри виконуються двома приладами – Testo 610 та датчиком БМС. У шапці таблиці вказано граничні значення для приладів. Відхилення вказаних параметрів автоматично виділяється кольором для полегшення ідентифікації проблемних ділянок або часових періодів.
У нас все чітко: різниця в показниках приладів мінімальна, а концентрація частинок набагато нижча за граничну межу.
Через чорний вхід
Так як в чисті приміщення були ще й інші входи, крім головного входу для клієнтів, де ми встановили бахільну машину, залишалася необхідність виключення потрапляння бруду в ЦОД через них.
Одягати/знімати бахіли під час процедур з розвантаження обладнання незручно, тому знайшли автомат для чищення підошв. Зручно, функціонально, але дається взнаки людський фактор у вигляді необов'язковості підходу до цього апарату. По суті, те саме, що з бахилами на головному вході.
Для вирішення завдання стали шукати варіанти очищення, від яких не можна ухилитися: з цим найкраще справлялися липкі килими з шарами, що відокремлюються. У процесі авторизації біля вхідних дверей відвідувач обов'язково встає на такий килимок, видаляючи зайвий пил з підошв свого взуття.
Прибиральниці відривають верхній шар такого килимка щодня, всього в ньому 60 шарів - вистачає приблизно на 2 місяці.
Відвідавши ЦОД Ericsson у Стокгольмі, серед іншого я звернув увагу на те, як вирішують ці питання там: поряд з шарами, що відриваються, у Швеції використовують багаторазові антибактеріальні килими Dycem. Ідея сподобалася через принцип багаторазового використання та можливості забезпечити велику площу покриття.
Чарівний антибактеріальний килим. Шкода, не літак, а міг би – за такою ціною!
Насилу знайшли в Росії представників компанії і зробили оцінку вартості рішення для нашого дата-центру. У результаті отримали цифру майже в 100 разів дорожчі за рішення з багатошаровими килимами - приблизно той же 1 млн рублів, що і в проекті із вимірами чистоти повітря. Крім того, з'ясувалась необхідність використання спецзасобів для очищення, природно, доступних тільки у цього виробника. Рішення також відпало само собою, зупинилися на багатошаровому варіанті.
Ручна праця
Особливо хотілося б звернути увагу, що всі ці заходи не скасовували використання праці прибиральниць. У рамках підготовки до атестації ЦОД Linxdatacenter за стандартом Uptime Institute Management & Operations потрібно чітко регламентувати дії співробітників служби клінінгу на території ЦОД. Були складені докладні інструкції, що наказують, де, що і яким чином їм потрібно робити.
Пара витягів з інструкції:
Як видно, прописується все, буквально кожен аспект роботи в конкретному приміщенні, допустимі для використання засоби для чищення, матеріали і т.д. Без уваги не залишається жодна деталь, навіть найдрібніша. Інструктаж – під підпис кожного працівника служби. У серверних приміщеннях, електроприміщеннях і т.д. вони забираються лише у присутності уповноважених співробітників ЦОДу, наприклад, чергового інженера.
Але це ще не все
Також у переліку заходів, що гарантують чистоту в ЦОД: обходи з візуальним оглядом приміщень, у тому числі щотижневі огляди стійок на предмет виявлення залишків усередині них обрізків проводів, залишків упаковок від обладнання та компонентів. По кожному такому епізоду заводиться інцидент, клієнт отримує повідомлення про необхідність усунення порушень у найкоротший термін.
Також, для розпакування та налаштування обладнання нами створено окрему кімнату – це також частина клінінгової політики компанії.
Ще один захід, який ми почерпнули з практики Ericsson - підтримка постійного підпору повітря в серверних приміщеннях: усередині приміщень тиск більший, ніж зовні, щоб не було потягу всередину - про це рішення детальніше розповімо в окремому матеріалі.
Нарешті ми завели собі роботів-помічників для приміщень, які виключені з переліку доступних для відвідування клінінговим персоналом.
Ґрати зверху не тільки дають +10 до захисту робота, але й дозволяють йому не застрявати під вертикальними кабельними лотками стійок.
Несподівана знахідка як висновок
Чистота в ЦОД важлива для експлуатації серверного та мережевого обладнання, яке тягне повітря через себе. Перевищення допустимих показників запилення призведе до накопичення пилу на компонентах та сумарного підвищення температури в межах до 1 градуса за Цельсієм. Пил знижує ефективність охолодження, що у перерахунку роком може обертатися помітними непрямими витратами, і навіть впливати на отказоустойчивость об'єкта загалом.
Можна сказати, що це умоглядне припущення, але експерти Uptime Institute, які проводили сертифікацію ЦОД Linxdatacenter за стандартом якості операційного управління (Management & Operations) приділяють найсерйознішу увагу чистоті. І тим більше приємно було отримати в цьому напрямі найприємніші оцінки: вимоги сертифікації наш дата-центр у Петербурзі серйозно перевищує. Експерт інституту назвав нас «найчистішим ЦОДом, який він бачив», більш того, наш ЦОД використовується Uptime як приклад вирішення питання з чистотою серверних приміщень. Також, ми з легкістю проходимо будь-який клієнтський аудит за цим параметром – найсерйозніші вимоги найпримхливіших клієнтів задовольняються з перевищенням.
Повернемося до початку історії. Звідки ж взялися забруднення за тією самою скаргою з початку статті? Та частина стійки клієнта, яка спричинила запуск всього проекту «чистота в ЦОДі», була забруднена з моменту ввезення та встановлення стійки в дата-центр. Клієнт не очистив стійку до моменту ввезення в серверне приміщення – при перевірці сусідніх стійок, встановлених у той же час, з'ясувалося, що там із пилом та сама ситуація. Ця ситуація стала приводом для додавання пункту контролю очищення в клієнтський чек-лист із встановлення стійки. Про ймовірність подібних речей також ніколи не можна забувати = попереджений, отже, озброєний. Це все про «чистоту та диктатуру» в нашому ЦОД, у наступній статті розповім про датчики тиску, а поки що ставте питання в коментарях.
Джерело: habr.com