🥇Как вложихме усилия в енергийната ефективност на машинната зала

Посвещавам този пост на хората, които лъгаха в сертификатите, поради което почти не инсталирахме бенгалски огньове в залите.

Историята е повече от четири години, но я публикувам сега, защото изтече NDA. Тогава разбрахме, че почти напълно сме запълнили дата центъра (който даваме под наем), а енергийната ефективност не се подобри особено. По-рано хипотезата беше, че колкото повече го запълваме, толкова по-добре, защото инженерната работа се разпределя между всички. Но се оказа, че сме се заблуждавали в това отношение, и при добро запълване имахме загуби. Работихме по много направления, но нашият смел екип се зае с охлаждането.

Истинският живот на дата центъра е малко по-различен от проекта. Постоянни настройки от експлоатационната служба за повишаване на ефективността и оптимизиране на настройките за нови задачи. Ето, например, митичният среден стелаж. На практика такъв не съществува, натоварването е неравномерно, където е натъпкано, където е празно. И затова трябваше да пренастроим нещо за по-добра енергийна ефективност.

Нашият дата център Компресор е нужен за различни клиенти. Ето защо сред обикновените стелажи от две до четири киловата може да се окаже напълно струен стелаж от 23 киловата или повече. Съответно, климатизаторите бяха настроени да охлаждат тях, а през по-малко мощните стелажи въздухът просто прелиташе покрай.

Втората хипотеза беше, че топлите и студените коридори не се смесват. След измерванията мога да кажа, че това е илюзия и истинската аеродинамика се различава от модела почти във всичко.

Проучване

Първо започнахме да разглеждаме въздушните потоци в залите. Защо се захванахме с това? Защото разбрахме, че ЦОД е проектиран за пет-шест КВт на стелаж, но знаехме, че те фактически варират от 0 до 25 КВт. Регулирането на всичко това с плочки е почти невъзможно: първите измервания показаха, че пропускат почти еднакво. А плочки от 25 КВт изобщо не съществуват, те трябва да не са просто празни, а с течен вакуум.

Купихме анемометър и започнахме да измерваме потоките между стелажите и над стелажите. Всъщност с него трябва да се работи по ГОСТ и множество стандарти, трудно изпълними без спиране на машинната зала. Нас ни интересуваше не точността, а принципната картина. Тоест измерихме приблизително.

Според измерване, от 100 процента на въздуха, който излиза от плочките, 60 процента попада в стойките, а останалото минава покрай. Това се дължи на факта, че имаме тежки стойки от 15–25 кВт, по които е изградена охладителната система.

Не можем просто да изключим климатизаторите, защото в топлите стойки в района на горните сървъри ще стане много топло. В този момент осъзнаваме, че трябва да изолираме нещо, за да предотвратим въздуха да преминава от ред на ред и да се осигури термообмен в блока.

Паралелно с това се чудим дали е финансово целесъобразно.

С удивление откриваме, че имаме информация за общото енергийно потребление на ЦОД-а, но не можем да изчислим фанкойлите по конкретната зала. Тоест можем аналитично, но реално — не. И не можем да оценим икономията. Задачата става все по-интригуваща. Ако икономисаме 10% от мощността на климатизаторите — колко пари можем да заделим за изолация? Как да сметнем?

Отидохме при автоматизаторите, които завършваха системата за мониторинг. Благодаря на момчетата: всичките датчици бяха налични, просто трябваше да напишат код. Те започнаха да извеждат отделно чилъри, ИБП и осветление. С новия инструмент се появи възможност да наблюдаваме как се променя ситуацията по елементите на системата.

Опити с прегради

Паралелно започваме опити с прегради. Решаваме да ги закрепим на стълбовете на кабелните канали (все пак няма къде друго да ги закачим), носят лекота. Бързо се обединихме около навесите или решетките.

Проблемът е, че преди това работихме с много доставчици. Всички предлагат решения за собствените ЦОД-ове на компаниите, но не съществуват готови решения за търговски ЦОД. Нашите клиенти постоянно идват и си отиват. Ние сме един от малкото „тежки“ ЦОД, които нямат ограничения за ширината на стойките и можем да приемем тези сървъри с мощност до 25 кВт. Няма никакво планиране на инфраструктурата предварително. Тоест, ако взимаме модулни системи за кейджинг от доставчиците, винаги ще има дупки за два месеца. Тоест, никога машинната зала по принцип няма да бъде енергийно ефективна.

Решихме да го направим сами, защото имаме свои инженери.

Първото, което направихме, беше да използваме ленти от индустриални хладилници. Това са гъвкави полиетиленови ленти, с които можете да постигнете значителен ефект. Вероятно сте ги виждали на входа на месния отдел в най-големите магазини. Започнахме да търсим нетоксични и негорими материали. Намерихме и купихме два реда. Завесихме ги и започнахме да наблюдаваме резултата.

Бяхме наясно, че няма да е никак лесно. Но резултатът наистина се оказа доста лош. Они започнаха да се развяват при потоците, като спагети. Намерихме магнитни ленти, подобни на тези на хладилниците. Налепихме ги на тези ленти и ги залепихме една за друга, получи се стената, която беше донякъде монолитна.

Започнахме да обмисляме какво ще стане в залата.

Отидохме при строителите, показахме им проекта си. Те погледнаха и казаха: вашите завеси са много тежки. 700 килограма в целия машинен зал. Идете, казват, мили хора, при #Системата. Нека да изчислят колко им имат там в контейнерите, защото 120 кг на квадратен метър е максимум.

Системата казва: помнете, че при нас дойде един голям клиент? Той има десетки хиляди портове в един зал. По краищата на машинния зал е все още нормално, но по-близо до кросовата стойка не може да се прикрепи: контейнерите ще отпаднат.

Строителите поискаха сертификат за материала. Ще подчертая, че преди това работихме на честното слово на доставчика, тъй като това беше просто тестов прогон. Обърнахме се към доставчика и казахме: ОК, готови сме да влезем в бета версия, дайте ни всички документи. Те изпратиха нещо, което не е в установен формат.

Попитахме: слушайте, откъде взехте този документ? Те: нашият китайски производител го изпрати в отговор на запитвания. Според документа, този материал е напълно негорим.

В този момент осъзнахме, че трябва да спрем и да проверим фактите. Отидохме при момичетата от противопожарната безопасност в ЦОД-а, те ни посочиха лаборатория, която проверява горимостта. Наистина приемливи цени и срокове (въпреки че проклехме всичко, докато събирахме необходимото количество документи). Там учените казаха: донесете материала, ще проведем тестове.

В заключението беше написано, че от един килограм вещество остават около 50 грама пепел. Останалото гори ярко, стича се и много добре поддържа горенето в локва.

Разбрахме - добре, че не купихме. Започнахме да търсим друг материал.

Намерихме поликарбонат. Той се оказа по-стегнат. Прозрачният лист е с дебелина два мм, а вратите — от четиримилиметрово. По същество, това е оргстъкло. Започваме разговор с производителя относно пожарната безопасност: давайте сертификат. Те го изпращат. Подписан е от същия институт. Звъним там и питаме: какво, колеги, проверявахте ли го?

Те казват: да, проверявахме. Първо го изгорихме при нас, след това само го донесохме за тестове. От един килограм материал остава (ако го горим с горелка) около 930 грама пепел. Той се топи и капе, но локва няма да гори.

Веднага проверяваме нашите магнити (те са на полимерна подложка). За удивление, горят лошо.

Сборка

Започваме да сглобяваме. Поликарбонатът е чудесен, защото е по-лек от полиетилена, който значително по-лошо се огъва. Вярно е, че доставят листове 2,5 на 3 метра и на доставчика не му пука какво да прави с това. А на нас ни трябват 2,8 ширина 20–25 сантиметра. Вратите изпращахме на фирми, които изрязват листа както трябва. А ламелите ги нарязахме сами. Процесът на рязане струва два пъти повече от цената на листа.

Ето какво се получи:

Резултатът — системата за кейджинг се изплаща за по-малко от година. Спестихме по 200–250 КВт постоянно на мощността на фанкойлите. Някаква част още на чилерите, точно колко — не знаем. Сървърите консумират с постоянна скорост, фанкойлите духат. А чилерите включват и изключват, комбинирайки: трудно извличаме данни от тях. Не можем да спираме машинната зала за тестове.

Радваме се, че в свое време имаше правило да се поставят стойки в модули 5х5, така, че средното им потребление да е максимум шест КВт. Тоест, топлата зона не е концентрирана в остров, а разпределена по машинната зала. Но има ситуации, където 10 стълба по 15 киловата са на близо, но точно от среща има хладилна камера. Там е студено. Балансира се.

Където няма стойка — е необходима преграда до пода.

Имаме и някои клиенти, изолирани с решетки. Имаше и няколко особености с тях.

На ламелите режем, защото ширината на стойките не е фиксирана, а периодичността на комбинирането на крепежите е определена: три-четири см или наляво, или надясно винаги ще бъде. Ако имаш блок 600 под стойко място, вероятността е 85 процента да не се постави. А късите и дългите ламели съществуват заедно и се лепят. Понякога нарязваме ламелата с форма на Г по контурите на стойките.

Датчици

Преди да намалим мощността на вентилаторите, трябваше да настроим много точно наблюдение на температурата в различни точки на залата, за да не се излъжем. Така се появиха безжичните датчици. При жичните — за всеки ред трябва да се сложи собствено устройство за свързване на тези датчици и понякога удължители. Това се превръща в гирлянд. Много зле. И когато тези жици влизат в рафтовете на клиентите, безопасността веднага се активира и иска обяснение с удостоверение какво минава по тези жици. Нервите на безопасността трябва да се пазят. Безжичните датчици по някаква причина не ги засягат.

И стойките непрекъснато идват и си отиват. Датчикът на магнит е по-лесен за пренастройване, защото трябва да се поставя всеки път по-високо или по-ниско. Ако сървърите са в долната трета на стойката — трябва да се поставя надолу, а не по стандарт на метър и половина от пода на вратата на стойката в студения коридор. Там измерването е безполезно, трябва да се измерва в сърцето на оборудването.

Един датчик на три стойки — често може да не се поставя. Температурата не се различава. Опасявахме се, че ще има прехвърляне на въздух през самите стойки, — не се случи. Но все пак даваме малко повече студен въздух, отколкото изчислените стойности. Направихме отвори в ламелите 3, 7 и 12, над стойката правим отвор. В него при обхода поставяме анемометър: гледаме, че потокът върви там, където трябва.

След това закачихме ярки нишки: стара практика за снайперисти. Изглежда странно, но позволява да се открие възможен проблем по-бързо.

Забавно

Докато всичко това вършехме тихо, идваха доставчици, които произвеждат инженерни решения за ЦОД-ове. Казват: да дойдем и да поговорим за енергийната ефективност. Появяват се, започват да обясняват за неоптималната зала, въздушните потоци. Ние разбираемо кимаме. Защото при нас е установено от три години.

Те поставят по три датчика на всеки рафт. Мониторинговите изображения са впечатляващи, красиви. Повече от половината от това решение в цената — софтуер. На ниво "аларма в Zabbix", но собствен и много скъп. Проблемът е още в това, че имат датчици, софтуер, и след това търсят изпълнител на място: нямат свои доставчици за cage.

Изяснява се, че ръчното им изчисление струва пет до седем пъти повече от това, което направихме.