Присвячую цю посаду тим людям, які брехали у сертифікатах, через що ми мало не встановили у нас у залах бенгальські вогні.
Історії більше за чотири роки, але публікую зараз, тому що закінчився NDA. Тоді ми зрозуміли, що завантажили дата-центр (який здаємо в оренду) майже повністю, а енергоефективність у нього щось не дуже покращала. Раніше гіпотеза була в тому, що чим сильніше ми його заповнюємо, тим краще, тому що інженер розподіляється на всіх. Але виявилося, що ми себе в цьому плані обманювали, і за хорошого завантаження десь були втрати. Працювали ми з багатьох напрямків, але наша відважна команда зайнялася охолодженням.
Реальне життя дата-центру – це трохи не те, що у проекті. Постійні докручування від служби експлуатації для підвищення ефективності та оптимізація налаштувань під нові завдання. Ось узяти міфічну середню стійку. Насправді її немає, по навантаженню розподіл нерівномірне, десь густо, десь порожньо. От і довелося дещо переналаштувати для кращої енергоефективності.
Наш дата-центр Компресор потрібен для різних замовників. Тому там серед звичайних двох-чотирикіловатних стійок може виявитися цілком собі 23-кіловатна або більше. Відповідно кондиціонери були налаштовані на те, щоб охолоджувати їх, і через менш потужні стійки повітря просто проносилося повз.
Друга гіпотеза була в тому, що теплий і холодний коридори не поєднуються. Після вимірів можу сказати, що це ілюзія і справжня аеродинаміка відрізняється від моделі приблизно всім.
Обстеження
Спочатку ми почали дивитись повітряні потоки в залах. Чому туди полізли? Тому що розуміли, що ЦОД розрахований на п'ять-шість кВт на стійку, але знали, що вони за фактом від 0 до 25 кВт. Регулювати все це плитками майже неможливо: перші виміри показали, що вони майже однаково пропускають. А плиток на 25 кВт взагалі не буває, вони повинні бути не просто порожніми, а з рідким вакуумом.
Купили анемометр і почали міряти потоки між стійками та над стійками. Взагалі з ним треба працювати за ГОСТом і купою стандартів, що важко здійснити без зупинки машзала. Нас цікавила не точність, а важлива картина. Тобто заміряли приблизно.
За виміром зі 100 відсотків того повітря, що виходить із плиток, у стійки потрапляє 60 відсотків, решта пролітає повз. Це через те, що є важкі стійки на 15–25 кВт, за якими збудовано охолодження.
Взяти та пригасити кондиціонери ми не можемо, тому що на теплих стійках у районі верхніх серверів буде зовсім тепло. У цей момент ми розуміємо, що треба щось від чогось ізолювати, щоб повітря не стрибало з ряду в ряд і щоб термообмін у блоці все ж таки відбувався.
Паралельно з цим запитуємо, чи доцільно це фінансово.
З подивом виявляємо, що енергоспоживання ЦОДу загалом у нас є, а от порахувати фанкойли по конкретній залі ми просто не можемо. Тобто аналітично можемо, а за фактом – ні. І оцінити економію ми не можемо. Завдання стає цікавішим і цікавішим. Якщо ми заощадимо 10% потужності кондиціонерів, скільки можна грошей відкласти на ізоляцію? Як рахувати?
Пішли до автоматизаторів, які допилювали систему моніторингу. Дякую хлопцям: усі датчики у них були, треба було лише дописати код. Вони почали виводити окремо чилери, ДБЖ, освітлення. З новою приблудою з'явилася можливість дивитися, як змінюється ситуація щодо елементів системи.
Досліди зі шторками
Паралельно починаємо досліди зі шторками (загородками). Вирішуємо кріпити їх на штирі кабельних лотків (більше все одно нема до чого), благо вони повинні бути легкими. З навісами чи гребінцями визначились швидко.
Засідка в тому, що ми до цього працювали з купою вендорів. У всіх є рішення для власних ЦОД компаній, але для комерційного ЦОД готових рішень немає по суті. У нас замовники заїжджають та виїжджають постійно. Ми один з небагатьох «важких» ЦОДів без обмеження по ширині стійки з можливістю приймати ці сервери-молотилки до 25 КВт. Жодного планування інфраструктури заздалегідь. Тобто якщо ми братимемо модульні системи кейджингу вендорів — завжди будуть дірки на два місяці. Тобто, ніколи машзал не буде енергоефективним у принципі.
Вирішили робити самі, добре, що у нас є свої інженери.
Перше, що взяли — стрічки від промислових холодильників. Це такі гнучкі поліетиленові соплі, якими можна захитати. Ви їх напевно бачили десь на вході до м'ясного відділу найбільших продуктових. Стали шукати нетоксичні та негорючі матеріали. Знайшли, купили на два ряди. Завісили, почали дивитись, що виходить.
Розуміли, що буде не дуже. Але вийшло взагалі дуже не дуже. Вони починають, як макарони, майоріти на потоках. Знайшли магнітні стрічки типу, як магніти на холодильник. Наклеїли їх на ці смуги, приклеїли одна до одної, стіна вийшла в міру монолітна.
Почали прикидати, що буде на зал.
Пішли до будівельників, показуємо свій проект. Ті дивляться, кажуть: шторки ваші дуже важкі. 700 кілограмів по всьому машзалу. Ідіть, кажуть, добрі люди, до біса. Точніше, до команди СКС. Нехай вважають, скільки там локшини в лотках, бо 120 кг на квадратний метр — максимум.
СКС кажуть: пам'ятаєте, до нас приїхав один великий замовник? Має десятки тисяч портів в одному залі. По краях машзала ще нормально, але ближче до кросової кріпитися вже не вийде: лотки відваляться.
Ще будівельники попросили сертифікат на матеріал. Зазначу, що ми до цього працювали на чесному слові постачальника, оскільки це був лише тест-прогін. Звернулися до цього постачальника, кажемо: ОК, готові вийти в бету, давайте всі папірці. Вони надсилають щось дуже встановленого зразка.
Ми говоримо: слухайте, а де ви цей папірець взяли? Вони: це нам наш китайський виробник у відповідь на запити надіслав. За папірцем ця штука не горить взагалі.
У цей момент ми зрозуміли, що настав час зупинятися і перевіряти факти. Ідемо до дівчат із пожбезпеки ЦОДу, вони називають нам лабораторію, яка перевіряє горючість. Цілком земні гроші та терміни (правда, ми прокляли все, поки становили потрібну кількість папірців). Там вчені кажуть: привозіть матеріал, робитимемо тести.
Наприкінці було написано, що з кілограма речовини залишається попелу приблизно на 50 грамів. Решта яскраво горить, стікає і дуже добре підтримує горіння в калюжці.
Розуміємо — добре, що не купували. Почали шукати інший матеріал.
Знайшли полікарбонат. Він виявився жорсткішим. Прозорий лист - два мм, двері - із чотириміліметрового. По суті це оргскло. Разом із виробником починаємо розмову із пожежобезпечністю: давайте сертифікат. Вони надсилають. Підписано тим самим інститутом. Ми дзвонимо туди, кажемо: ну чого, мужики, у вас таке перевіряли?
Вони кажуть: так, перевіряли. Спершу у себе попалили, потім лише на тести принесли. Там із кілограма матеріалу залишається (якщо пальником його палити) приблизно 930 грамів попелу. Він плавиться і капає, але калюжа не горітиме.
Відразу перевіряємо наші магніти (вони на полімерній підкладці). Напрочуд горять погано.
збірка
Із цього починаємо збирати. Полікарбонат прекрасний, тому що він легший за поліетилен, куди гірше гнеться. Щоправда, привозять листи 2,5 на 3 метри, і постачальнику начхати, що з цим робити. А нам треба 2,8 завширшки 20–25 сантиметрів. Двері відправляли на контори, які ріжуть лист як треба. А ламелі порізали самі. Сам процес різання коштує вдвічі дорожче, ніж лист.
Ось що вийшло:
Підсумок – система кейджингу окупається менше ніж за рік. Це ми заощадили по 200–250 кВт постійно на потужності фанкойлів. Скільки ще на чиллерах, скільки точно — не знаємо. Серваки всмоктують із постійною швидкістю, фанкойли дмуть. А чиллери включаються і вимикаються гребінкою: з неї дані складно витягнути. Зупиняти машзал не можна для тестів.
Радіємо, що свого часу було правило ставити в модулях 5х5 стійок так, щоб їхнє середнє споживання було шість КВт максимум. Тобто тепла не зосереджена островом, а розподілена по машзалу. Але є ситуація, де 10 штук 15-кіловатних стійок поряд, але там навпроти сторадж. Він холодний. Балансується.
Де немає стійки – потрібна загородка до підлоги.
А ще у нас деякі замовники ізольовані ґратами. З ними також було кілька особливостей.
На ламелі різали, тому що ширина стійок нефіксована, а періодичність гребінки кріплень визначена: три-чотири см або вправо, або вліво завжди буде. Якщо у тебе блок 600 під стійкомісце, то він з ймовірністю 85 відсотків не встане. А короткі та довгі ламелі співіснують та склеюються. Іноді ріжемо ламель буквою Г за контурами стійок.
Датчики
До того як зменшувати потужність фанкойлів, треба було налаштувати дуже точний моніторинг температури в різних точках зали, щоб не зловити сюрпризів. Так з'явилися бездротові датчики. Дротові - на кожен ряд треба вішати свою штуку для кросування цих датчиків і іноді на неї - подовжувачі. Це перетворюється на гірлянду. Дуже погано. І коли ці дроти заходять у клітини замовникам, безпечники одразу порушуються і просять пояснити із сертифікатом, що там по цих дротах знімається. Нерви безпечників треба берегти. Бездротових датчиків вони чомусь не чіпають.
І ще стійки приїжджають-їдуть. Датчик на магніті простіше перемонтувати, тому що його щоразу треба вішати вище чи нижче. Якщо сервери в нижній третині стійки, треба вішати вниз, а не за стандартом на півтора метри від підлоги на двері стійки в холодному коридорі. Там міряти марно, треба міряти те, що в залізі.
Один датчик на три стійки – частіше можна не вішати. Температура не відрізняється. Боялися, що буде перетягування повітря крізь самі стійки, — не сталося. Але ми все одно даємо трохи більше холодного повітря, ніж розрахункові значення. Зробили віконця в ламелях 3, 7 та 12, над стійкою робимо отвір. У нього при обході ставимо анемометр: дивимося, що потік йде куди треба.
Далі повісили яскраві ниточки: стара практика для снайперів. Виглядає дивно, але дозволяє детектувати можливу проблему швидше.
Смішне
Поки ми все це мовчки робили, приїжджав вендор, який виготовляє інженерку для ЦОДів. Говорить: давайте ми приїдемо і про енергоефективність розповімо. Приїжджають, починають розповідати про неоптимальну залу, повітряні потоки. Ми розуміємо киваємо. Тому що у нас три роки, як встановлено.
Вони на кожну стійку вішають по три датчики. Картинки моніторингу забиті, красиві. Більше половини цього рішення в ціні – софт. На рівні "алерт у Заббіксі", але пропрієтарний і дуже дорогий. Засідка ще в тому, що вони мають датчики, софт, і далі вони шукають підрядника на місці: немає своїх вендорів на кейджинги.
З'ясовується, що їх руками коштує у п'ять-сім разів дорожче, ніж ми зробили.
Посилання
- .
- .
- .
- .
- .
- Моя пошта: [захищено електронною поштою]
Джерело: habr.com