🥇Как се насочихме към енергийната ефективност на машинната зала

Посвещавам този пост на хората, които лъжат в сертификатите, поради което почти не инсталирахме в залите си бенгалски огньове.

Историята е повече от четири години, но я публикувам сега, защото изтече NDA. Тогава разбрахме, че почти напълно запълнихме дата центъра (който отдават в наем), а енергийната му ефективност не се подобри особено. Преди хипотезата беше, че колкото повече го запълваме, толкова по-добре, защото инженерството се разпределя между всички. Но се оказа, че се лъжем в това отношение и при добро натоварване имахме загуби. Работихме в много направления, но нашият смел екип се зае с охлаждането.

Истинският живот на дата центъра не е точно това, което е в проекта. Постоянни корекции от експлоатационната служба за повишаване на ефективността и оптимизиране на настройките за нови задачи. Вземете за пример митичния среден шкаф. На практика такъв не съществува, разпределението на натоварването е неравномерно, понякога пълно, понякога празно. Затова се наложи да пренастроим някои неща за по-добра енергийна ефективност.

Нашият дата център Компресор е необходим за най-различни клиенти. Затова сред стандартните дву- до четирикитовни стелажи може да се окаже напълно 23-киловатен или дори по-мощен. Съответно климатеците бяха настроени да ги охлаждат, а през по-слабите стелажи въздухът просто минаваше покрай.

Втората хипотеза беше, че топлите и студените коридори не се смесват. След измервания мога да кажа, че това е илюзия и истинската аеродинамика се различава от модела почти във всичко.

Обследване

Първо започнахме да разглеждаме въздушните потоци в залите. Защо го направихме? Защото разбирахме, че ЦОД-ът е проектиран за пет-шест КВт на стелаж, но знаехме, че всъщност са от 0 до 25 КВт. Регулирането на всичко това с плочки почти не е възможно: първите измервания показаха, че те пропускат почти еднакво. А плочките на 25 КВт изобщо не съществуват, те трябва да са не просто празни, а с течен вакуум.

Купихме анемометър и започнахме да измерваме потоците между стелажите и над тях. Всъщност, с него трябва да се работи по ГОСТ и различни стандарти, което е трудно осъществимо без спиране на машинната зала. Ни интересуваше не точността, а принципната картина. Тоест измерихме само ориентировъчно.

Според измерванията, от 100 процента от въздуха, който излиза от плочките, 60 процента попада в стойките, а останалото минава покрай тях. Това е заради тежките стойки с мощност от 15–25 КВт, по които е изградена охлаждащата система.

Не можем просто да затворим климатизаторите, защото на топлите стойки в района на горните сървъри ще стане твърде горещо. В този момент осъзнаваме, че трябва да изолира някои елементи, за да предотвратим движението на въздуха от ред в ред и да осигурим термообмен в блока.

Паралелно с това се питаме дали това е икономически целесъобразно.

С учудване откриваме, че имаме данни за енергийното потребление на ЦОД-а в общи линии, но не можем да изчислим потреблението на фанкойлите за конкретната зала. Тоест аналитично можем, но на практика — не. И не можем да оценим спестяванията. Задачата става все по-интересна. Ако спестим 10 % от мощността на климатизаторите — колко пари можем да отделим за изолация? Как да изчислим?

Отидохме при автоматизаторите, които доразвиваха системата за мониторинг. Благодаря на момчетата: те имаха всички сензори, просто трябваше да напишем допълнителен код. Започнаха да показват отделно чилерите, ИБП и осветлението. С новото устройство се появи възможността да следим как се променя ситуацията по елементите на системата.

Експерименти с пердета

Паралелно започваме експерименти с пердета (прегради). Решаваме да ги прикрепим на шипове на кабелните лотки (все пак няма къде другаде), тъй като трябва да бъдат леки. Бързо се споразумяхме относно приспособленията или гребените.

Проблемът е, че до сега сме работили с много доставчици. Всички те предлагат решения за собствените си ЦОД-ове, но за търговския ЦОД нямат готови решения. Нашите клиенти постоянно идват и напускат. Ние сме един от малкото 'тежки' ЦОД-ове без ограничения по ширината на стойките, което ни позволява да приемаме тези сървъри с мощност до 25 КВт. Няма предварително планиране на инфраструктурата. Тоест, ако решим да използваме модулни системи за кейджинг на доставчиците — винаги ще имаме дупки за два месеца. Тоест, никога машинната зала няма да бъде енергоефективна по принцип.

Решихме да го направим сами, защото имаме свои инженери.

Първото, което взехме, бяха лентите от индустриалните хладилници. Това са гъвкави полиетиленови ленти, с които може да се направят много неща. Вероятно сте ги виждали на входа на месния отдел в най-големите магазини. Започнахме да търсим нетоксични и незапалими материали. Намерихме, купихме две редици. Затворихме, започнахме да наблюдаваме какво се получава.

Разбирахме, че ще стане не много добре. Но всъщност стана много, много не добре. Те започват, като паста, да се развяват на потоци. Намерихме магнитни ленти, като магнитите за хладилник. Залепихме ги на тези ленти, залепихме ги една за друга, стена се получи до известна степен монолитна.

Започнахме да обмисляме какво ще бъде в залата.

Отидохме при строителите, показваме им нашия проект. Те гледат и казват: вашите завеси са много тежки. 700 килограма в целия машинен зал. Отидете, казват, добри хора, на минутата. По-скоро, към екипа СКС. Нека да сметнат, колко има от тях в контейнерите, защото 120 кг на квадратен метър е максимум.

СКС казват: помните ли, че дойде един голям клиент? Той има десетки хиляди порта в един зал. Отстрани на машинния зал още е нормално, но по-близо до кросовата вече не може да се закрепи: контейнерите ще паднат.

Строителите също поискат сертификат за материала. Ще отбележа, че досега работехме на честното слово на доставчика, тъй като това беше само тестово изпробване. Обърнахме се към този доставчик, казваме: ОК, готови сме да излезем в бета, дайте ни всички документи. Те изпратиха нещо, което не е много стандартно.

Казахме: слушайте, откъде взехте тази хартия? Те: това ни го изпрати нашият китайски производител в отговор на запитванията. Според хартията, този материал изобщо не гори.

В този момент разбрахме, че е време да спрем и да проверим фактите. Отидохме при момичетата от пожарната безопасност на ЦОД-а, те ни посочиха лаборатория, която проверява запалимост. Разумни пари и срокове (впрочем, проклинахме всичко, докато съставяхме нужните документи). Там учените казват: донесете материала, ще направим тестовете.

В заключението беше написано, че от един килограм вещество остава пепел около 50 грама. Останалото гори ярко, тече и много добре подпомага горенето в локвата.

Разбираме — добре, че не купихме. Започнахме да търсим друг материал.

Намерихме поликарбонат. Оказа се, че е по-стръмен. Прозрачният лист е два мм, а вратите - от четириметрови. Всъщност, това е оргстъкло. Започваме разговор с производителя относно противопожарна безопасност: давайте сертификат. Те го изпращат. Подписан е от същия институт. Обаждаме се там, казваме: какво, момчета, проверихте ли това?

Те казват: да, проверихме. Първо запалиха при себе си, после само донесоха за тестовете. От килограм материал, ако го палим с горелка, остава около 930 грама пепел. Той се топи и капе, но локвата няма да гори.

Веднага проверяваме нашите магнити (те са на полимерна основа). На учудване горят слабо.

Сглобяване

Започваме да събираме. Поликарбонатът е прекрасен, защото е по-лек от полиета, който се огъва много по-зле. Ала ни доставят листове 2,5 на 3 метра, и на доставчика му е безразлично какво да правим с това. А на нас ни трябва ширина 20–25 сантиметра, дължина 2,8. Вратите изпратихме на фирми, които режат листа както трябва. А ламелите сами ги нарязахме. Самият процес на рязане струва два пъти повече от цената на листа.

Вижте какво стана:

Резултатът — системата за кейджинг се изплаща за по-малко от година. Спестихме по 200–250 КВт постоянно на капацитета на фанкойлите. Колко точно на чилърите, не знаем. Серверите поемат с постоянна скорост, фанкойлите издухват. Чилърите включват и изключват с „гребен“: трудно е да се извлекат данни от него. Не можем да спрем машинната зала за тестове.

Радваме се, че навремето е имало правило да се поставят стойки 5х5 в модулите така, че средното им потребление да е максимум шест КВт. Тоест топлото не е концентрирано в остров, а е разпределено по машинната зала. Но има ситуации, където 10 бр. 15-киловаттни стойки са близо една до друга, но там отсреща — хранилище. То е студено. Балансира се.

Където няма стойка — е необходима преграда до пода.

Освен това, имаме някои клиенти, които са изолирани с решетки. С тях също имаше няколко особености.

Ламелите бяха нарязани, защото ширината на стойките не е фиксирана, а периодичността на гребените за закрепване е определена: три-четири см или вляво, или вдясно винаги ще бъде така. Ако имаш блок 600 под стойка, то с вероятност 85 процента той няма да се постави. А кратките и дългите ламели съжителстват и се залепват. Понякога режем ламела с форма на Г по контурите на стойките.

Сензори

Преди да намалим мощността на фънкойлите, трябваше да настроим много точен мониторинг на температурата в различни точки на залата, за да избегнем неприятни изненади. Така се появиха безжичните датчици. За кабелните – за всеки ред трябва да се закачи свое устройство за кросировка на тези датчици и понякога удължители. Това става на гирлянда. Много е лошо. И когато тези кабели влязат в клетки на клиентите, безопасността веднага се активира и искат да обяснят с сертификат какво точно минава през тези кабели. Необходими са нерви за безопасност. За безжичните датчици по някаква причина не се намесват.

И още, стойките идват и си отиват. Датчикът на магнит е по-лесен за преустановяване, защото всеки път трябва да се закачи по-високо или по-ниско. Ако сървърите са в долната третина на стойката – трябва да се закачи по-ниско, а не по стандарт на метър и половина от пода на вратата на стойката в студения коридор. Там е безполезно да се мери, трябва да се измерва това, което е в желязото.

Един датчик на три стойки – по-често не е нужно да се окачва. Температурата не се различава. Опасявахме се, че ще има разместване на въздуха през самите стойки – но това не се случи. Все пак ние даваме малко повече студен въздух, отколкото изчислените стойности. Направихме отворчета в ламелите 3, 7 и 12, над стойката правим отвор. В него при обхода слагаме аниометър: гледаме дали потокът върви където трябва.

После окачихме ярки нишки: стара практика за снайпери. Изглежда странно, но позволява да се детектира възможен проблем по-бързо.

Забавно

Докато всичко това мълчаливо правехме, дойде доставчик, който произвежда инженерна техника за ЦОД. Казва: давайте ще дойдем и ще разкажем за енергийна ефективност. Дойдоха, започват да разказват за неоптимален зал, въздушни потоци. Ние разбираемо кимаме. Защото при нас е инсталирано от три години.

Те за всяка стойка окачват по три датчика. Картинките на мониторинга са великолепни, красиви. Повече от половината от това решение в цената – софтуер. На ниво „аларма в Забикс“, но проприетарен и много скъп. За проблема е и фактът, че имат датчици, софтуер, и след това търсят изпълнител на място: нямат свои доставчици за cage-овете.

Оказва се, че труда им струва пет – седем пъти повече, отколкото ние направихме.