Здравейте, Хабр! Аз съм Тарас Чирков, директор на центъра за данни Linxdatacenter в Санкт Петербург. Днес в нашия блог ще разкажа за ролята, която поддръжката на чистотата в помещението играе за нормалната работа на съвременния център за данни, как да я измерим, постигнем и поддържаме на необходимото ниво.
Триггер на чистотата
Веднъж ни се обърна клиент на центъра за данни в Санкт Петербург относно слоя прах в долната част на стелажите с оборудване. Това стана отправна точка на разследването, чиито първи хипотези предполагали следното:
- прахът попада в серварните зали с обувките на служителите и клиентите на центъра за данни,
- внася се чрез вентилационната система,
- и двете.
Сините бахили – на сметището на историята
Започнахме с обувките. В този момент проблемът с чистотата се решаваше по традиционния начин: контейнер с бахили при входа. Ефикасността на подхода не достига желаното ниво: контролът върху използването им от гостите на ЦОД беше труден, а самия формат – неудобен. Бързо се отказахме в полза на по-напредничави технологии под формата на машина за бахили. Първата инсталирана у нас модификация на такъв апарат се провали: машината твърде често късаше бахилите при опит да ги сложи на обувките, а използването ѝ по-скоро дразнеше, отколкото облекчаваше живота.
Обращението към опита на колеги от Варшава и Москва не реши проблема, и в крайна сметка изборът беше направен в полза на технологията на термопластичен филм на обувката. Чрез термопластичния филм може да се сложат 'бахили' на обувки с всяка подметка – даже и на тънък дамски ток. Да, филмът понякога също слиза, но много по-рядко от класическите сини бахили, а самата технология е много по-удобна за посетителя и по-съвременна. Още един важен (за мен) плюс – филмът лесно покрива най-големите размеры обувки, за разлика от традиционните бахили, които се късат при опит да се сложат на размер 45. За по-голяма съвременност на процеса инсталирахме боксове с автоматично отваряне на капака по датчик за движение.
Процесът изглежда така:
Гостите бързо оцениха нововъведението.
Прах на вятъра
Подредив наиболее очевидный канал возможного замърсяване на пространството, се заехме с по-фините въпроси – с въздуха. Напълно е вероятно, че значителна част от праха попада в сървърните помещения чрез вентилация поради недостатъчна филтрация, или е занесен отвън. Или всичко е в ниското качество на почистването? Разследването продължи.
Решихме да направим измервания на съдържанието на частици във въздуха в центъра за данни и поканихме лаборатория, специализирана в контрола на качеството на въздуха в чисти помещения със специално предназначение, за да извърши тези работи.
Служителите на лабораторията измериха количеството контролни точки (20), съставиха график за пробите, за да проследят динамиката и да създадат максимално точна картина. Цената на целия процес на измервания от лабораторията беше около 1 млн. руб., което ни се видя напълно нецелесъобразно, но даде редица идеи за самостоятелно изпълнение. Паралелно стана ясно, че лабораторията е добра, но анализите трябва да се извършват в динамика и постоянно да се обръщаме към техните услуги е крайно неудобно.
Разглеждайки планираните действия на лабораторията, решихме да проучим по-утилитарни устройства за самостоятелна работа. В крайна сметка успяхме да намерим необходимия инструмент за тази задача – анализатор на качеството на въздуха. Ето такъв:
Уредът показва съдържанието на частици с различен диаметър (в микрометри).
Преглеждайки стандартите
Този уред анализира количеството частици, температурата, влажността и показва резултатите в единици за измерване в съответствие със стандартите ISO за този параметър. На дисплея са видими нивата на съдържанието на частици с различни диаметри в пробата въздух.
Паралелно подозираме филтрите: в момента използвахме модели филтри G4 в сървърните помещения. Този модел осигурява груба филтрация на въздуха, поради което допускахме вероятността за пропускане на частици, водещи до замърсяване. Решихме да закупим на проба филтри за фина филтрация F5, използвани в системите за климатизация и вентилация като филтри от второ ниво на филтрация (допълнителна филтрация).
Разследването е проведено – можем да преминем към контролни измервания. Като ориентир решихме да използваме изискванията на стандарта ISO 14644-1 за количеството на взвешените частици.
Класификация на чистите помещения по количеството на взвешените частици.
На пръв поглед – измервай и сравнявай по таблицата. Но не всичко е толкова просто: на практика беше доста трудно да се намерят стандарти за чистота на въздуха за сървърни помещения на ЦОД. В явен вид това не е описано никъде, нито от една организация, нито от браншов институт. И само на вътрешния форум Uptime Inside Track (достъп до който имат лица, преминали обучение по програмите на Uptime Institute) се намери отделна дискусия по тази тема. В резултат на нейното проучване се склоняваме към ориентация към стандарт ISO 8 – предпоследният в класификацията.
Първите измервания показаха, че сме се недооценявали – резултатите от проверките на вътрешния въздух дадоха съответствие с изискванията на ISO 5 във вътрешните помещения, което значително надвишава желаните норми от участниците в Uptime Inside Track. При това – с голям запас. Имамe дата-център, а не биологична лаборатория, разбира се, но за концентрацията на частици във въздуха да е равна на ISO 8 – това трябва да бъде обект клас минимум "цементен завод". И как е възможно да се приложи същият стандарт към дата-център – не е много ясно. При това, резултатът на ISO 5 го получихме, правейки измервания при филтриране на въздуха с филтри G4. Тоест, прахта не може да попадне в шкафовете чрез въздуха, филтрите F5 се оказаха излишни, и дори не ги използвахме.
Отрицателен резултат – също резултат: продължихме търсенето на причината за замърсяването в други направления, а контролът на качеството на въздуха включихме в тримесечните проверки, съвместявайки го с проверките на датчици BMS с одобрени устройства (изисквания ISO 9000 и одити на клиенти).
По-долу – примерен отчет, който се попълва на основание на данните, получени при измерването. За по-голяма точност измерванията се извършват с два уреда – Testo 610 и датчика BMS. В заглавието на таблицата са посочени пределните стойности за уредите. Отклонението на посочените параметри автоматично се оцветява, за да се улесни идентифицирането на проблемни участъци или времеви периоди.
При нас всичко е ясно: разликата в показателите на уредите е минимална, а концентрацията на частици е значително по-ниска от пределната граница.
През черния вход
Тъй като в чистите помещения имаше и други входове освен главния вход за клиенти, където инсталирахме машина за обувки, оставаше необходимостта да се изключи попадане на мръсотия в ЦОТ през тях.
Носенето/свалянето на обувки по време на процедурите по разтоварване на оборудването е неудобно, затова намерихме автомат за почистване на стъпалата. Удобно, функционално, но човешкият фактор оказва влияние в лицето на небрежността към този апарат. По същество, това е същото, което и с обувките на главния вход.
За решаване на задачата започнахме да търсим варианти за почистване, от които не може да се избегне: с това най-добре се справят лепкави килими с отделящи се слоеве. По време на авторизацията при входните врати, посетителят непременно стъпва на такъв килим, премахвайки излишния прах от подметките на обувките си.
Служителките по почистването откъсват горния слой на такъв килим всеки ден, а в него има общо 60 слоя – достатъчни са за около 2 месеца.
Посещавайки ЦОТ Ericsson в Стокхолм, освен всичко друго, обърнах внимание на това как решават тези въпроси там: наред с откъсваемите слоеве, в Швеция се използват многоразови антибактериални килими Dycem. Идеята ми хареса заради принципа на многоразовото използване и възможността да се осигури по-голяма покривна площ.
Вълшебен антибактериален килим. Жалко, че не е самолет, а можеше да бъде – на такава цена!
С трудност намерихме в Русия представители на компанията и направихме оценка на стойността на решението за нашия дата център. В крайна сметка получихме цифра почти 100 пъти по-скъпа от решението с многослойните килими – почти същите 1 милион рубли, както и в проекта със замерите на чистотата на въздуха. Освен това, се установи необходимостта от използването на специални средства за почистване, разбира се, налични само при този производител. Решението също отпадна само по себе си, спряхме се на многослойния вариант.
Ръчен труд
Особено искахме да обърнем внимание, че всички посочени мерки не отменят използването на труда на чистачи. В рамките на подготовката за сертификацията на ЦОД-а Linxdatacenter по стандарта Uptime Institute Management & Operations беше необходимо ясно да се регламентира действието на служителите на клининг службите на територията на ЦОД-а. Бяха съставени подробни инструкции, които предписват къде, какво и по какъв начин е нужно да правят.
Няколко цитата от инструкцията:
Както е видно, всичко е описано, буквално всеки аспект на работата в конкретния обект, допустимите почистващи средства, материали и т.н. Нито един детайл, дори най-малкият, не остава без внимание. Инструктажът се подписва от всеки служител на клининг службата. В сървърни помещения, електрически стаи и т.н. те чистят само в присъствието на упълномощени служители на ЦОД-а, например дежурния инженер.
Но и това не е всичко
Също така, в списъка на мерките, гарантиращи чистота в ЦОД-а, влизат обходи с визуален преглед на помещенията, включително седмични проверки на стойките за откриване на оставени в тях остатъци от кабели, остатъци от опаковки от оборудването и компоненти. За всеки такъв инцидент се завежда инцидент, клиентът получава уведомление за необходимостта от отстраняване на нарушенията в най-кратки срокове.
Също така, за разопаковане и настройка на оборудването създадохме отделна стая - това също е част от клининговата политика на компанията.
Още една мярка, която взехме от практиката на Ericsson - поддържане на постоянно по-високо налягане на въздуха в сървърните помещения: вътре налягането е по-високо, отколкото отвън, за да няма засмукване навътре - за това решение ще разкажем по-подробно в отделен материал.
И накрая, си осигурихме роботи-помощници за помещения, които не са в списъка на достъпните за посещение от клининг персонала.
Решетката отгоре не само осигурява +10 защита на робота, но и му позволява да не се заплита под вертикалните кабелни канали на стойките.
Неочаквана находка като заключение
Чистотата в ЦОД е важна за експлоатацията на сървърно и мрежово оборудване, което всмуква въздух. Превишаването на допустимите нива на запрашаване ще доведе до натрупване на прах в компонентите и до общо повишаване на температурата с до 1 градус по Целзий. Прахът намалява ефективността на охлаждането, което на годишна база може да се превърне в значителни косвени разходи и да повлияе на отказоустойчивостта на обекта като цяло.
Може да се каже, че това е умозрително предположение, но експертите от Uptime Institute, които проведоха сертификация на ЦОДа Linxdatacenter по стандарта за качество на операционното управление (Management & Operations), отделят много сериозно внимание на чистотата. И е още по-приятно, че получихме най-високи оценки в това направление: изискванията за сертификация нашият дата-център в Санкт Петербург сериозно надвишава. Експертът от института ни нарече "най-чистия ЦОД, който е виждал", а освен това, нашият ЦОД се използва от Uptime като пример за решение на въпроса с чистотата на сървърните помещения. Освен това, с лекота преминаваме всеки клиентски одит по този параметър – най-сериозните изисквания на най-капризните клиенти се задоволяват с излишък.
Нека се върнем в началото на историята. Какво предизвика замърсяванията по споменатата жалба в началото на статията? Частта от стойката на клиента, която доведе до стартиране на проекта „чистота в ЦОД“, беше замърсена още при вноса и инсталирането в дата-центъра. Клиентът не е почистил стойката до момента на вноса в сървърната стая – при проверка на съседни стойки, инсталирани по същото време, се установи, че там ситуацията с праха е същата. Тази ситуация послужи за основа за добавяне на контролен пункт за почистване в клиентския чек-лист за инсталация на стойка. Никога не трябва да се забравя и вероятността за подобни неща = предупреждаван, значит, въоръжен. Това е всичко за „чистотата и диктатурата“ в нашия ЦОД, в следващата статия ще разкажа за сензорите за налягане, а засега задавайте въпросите си в коментарите.
Източник: habr.com
