Привіт, Хабре! Кілька тижнів тому видався спекотний день, який ми обговорювали в «курилці» робочого чату. Буквально за кілька хвилин розмова про погоду переросла у розмову про системи охолодження дата-центрів. Для технарів, тим більше співробітників Selectel, у цьому немає нічого дивного, ми постійно говоримо про подібні теми.
Під час обговорення ми вирішили опублікувати статтю про системи охолодження у дата-центрах Selectel. Сьогоднішня стаття — про фрикулінг, технологію, яка застосовується у двох наших дата-центрах. Під катом — докладна розповідь про наші рішення та їх особливості. Технічними деталями поділилися керівник відділу сервісного обслуговування систем кондиціювання та вентиляції Леонід Лупандін та старший технічний письменник Микола Рубанов.
Системи охолодження в Selectel
Тут коротко про те, які системи охолодження використовуємо у всіх своїх об'єктах. До фрикулінгу перейдемо у наступному розділі. У нас у Москві, Санкт-Петербурзі та Ленінградській області. Погодні умови у цих регіонах різні, тому ми використовуємо різні системи охолодження. До речі, у московському дата-центрі часто приводом для жартів було те, що відповідальні за охолодження — спеціалісти з прізвищами Холодилін та Мороз. Так вийшло випадково, але все ж...
Ось список ДЦ із системою охолодження:
- Берзаріна - Фрікулінг.
- Квіткова 1 - Фреон, класичні промислові кондиціонери для ЦОД.
- Квіткова 2 - Чилери.
- Дубрівка 1 - Чилери.
- Дубрівка 2 - Фреон, класичні промислові кондиціонери для ЦОД.
- Дубрівка 3 - Фрікулінг.
У своїх дата-центрах ми прагнемо підтримувати температуру повітря біля нижньої межі рекомендованого по діапазону. Це 23°C.
Про фрикулінг
У двох дата-центрах, Дубрівка 3 и Берзаріна, ми встановили системи фрикулінгу, причому різні.
Система фрикулінгу в ДЦ Берзаріна
Основний принцип систем фрикулінгу – відмова від теплообмінників, отже охолодження обчислювального устаткування відбувається з допомогою обдування з допомогою вуличного повітря. Він очищується за допомогою фільтрів, після чого надходить у машинну залу. Восени та взимку холодне повітря потрібно «розбавляти» теплим, щоб температура повітря, яким обдувається обладнання, не змінювалася. Влітку в Москві та Санкт-Петербурзі потрібно доохолодження.
Регульовані повітряні заслінки
Чому фрикулінг? Та тому, що це ефективна технологія охолодження обладнання. Системи фрикулінгу здебільшого дешевші в експлуатації, ніж класичні системи охолодження з кондиціонерами. Ще один плюс фрикулінгу в тому, що системи охолодження мають не такий сильний негативний вплив на навколишнє середовище, як кондиціонери з фреоном.
Схема прямого фрикулінгу з доохолодженням без фальшпідлоги
Важливий момент: фрикулінг використовується у наших дата-центрах разом із системами доохолодження. Взимку проблем із забором зовнішнього холодного повітря немає – за вікном прохолодно, іноді навіть дуже, тому додаткові системи охолодження не потрібні. А ось влітку температура повітря підвищується. Якби ми використовували чистий фрикулінг, температура всередині становила б близько 27 °C. Нагадаємо, що температурний стандарт у Selectel становить 23°C.
У Ленінградській області багаторічна середньодобова температура навіть у липні знаходиться на рівні 20°C. І все б нічого, але в деякі дні дуже спекотно. У 2010 році в області було зафіксовано температурний рекорд +37.8°C. З огляду на цю обставину повністю розраховувати на фрикулінг не можна — одного спекотного дня в році з лишком вистачить для виходу температури за межі стандарту.
Оскільки Санкт-Петербург і Москва — мегаполіси із забрудненим повітрям, ми застосовуємо потрійне його очищення при заборі з вулиці — фільтри стандартів G4, G5 та G7. Кожен наступний відсіює пил дедалі дрібніших фракцій, отже на виході ми чисте атмосферне повітря.
повітряні фільтри
Дубровка 3 і Берзаріна - фрикулінг, але різний
Через ряд причин ми використовуємо різні системи фрикулінгу в цих дата-центрах.
Дубрівка 3
Першим ДЦ із фрикулінгом була Дубровка 3. Тут використовується прямий фрикулінг, доповнений АБХМ, абсорбційною холодильною машиною, яка працює на природному газі. Машина застосовується як доохолодження у разі літньої спеки.
Охолодження дата-центру за схемою фрикулінгу з фальшпідлогою
Таке гібридне рішення дозволило досягти PUE ~1.25.
Чому АБХМ? Це ефективна система, де замість фреону використовується вода. АБХМ має мінімальний вплив на навколишнє середовище.
Як джерело енергії АБХМ-машина використовує природний газ, який підведений до неї трубопроводом. Взимку, коли машина не потрібна, газ можна спалювати для підігріву зовнішнього переохолодженого повітря. Це набагато дешевше, ніж використати електрику.
Вид на АБХМ
Ідея використовувати АБХМ як систему доохолодження належить одному з наших співробітників, інженеру, який побачив подібне рішення та запропонував застосувати у Selectel. Ми зробили модель, протестували її, отримали відмінний результат та вирішили його масштабувати.
Будувалася машина близько півтора року, разом із системою вентиляції та самим ЦОД. У 2013 році її було введено в експлуатацію. Проблем із нею практично немає, але для роботи потрібно пройти донавчання. Одна з особливостей АБХМ у тому, що машина підтримує різницю тиску всередині та зовні приміщення ДЦ. Це потрібно для того, щоб гаряче повітря виходило через клапанну систему.
Через різницю тиску пилу в повітрі практично немає, оскільки він просто вилітає назовні, навіть якщо з'являється. Надлишковий тиск виштовхує частки.
Витрати на технічне обслуговування системи, можливо, трохи вищі, ніж у разі звичайного охолодження. Але АБХМ дозволяє заощаджувати за рахунок зниження витрати електрики на нагрівання повітря та його доохолодження.
Берзаріна
Схема руху повітряного потоку всередині серверного приміщення
Тут використовується фрикулінг з адіабатичною системою доохолодження. Вона застосовується влітку, коли повітря стає занадто теплим, із температурою вище 23°C. У Москві це трапляється часто. Принцип роботи адіабатичної системи – охолодження повітря під час проходження через фільтри з рідиною. Уявіть собі мокру ганчірку, з якої випаровується вода, охолоджуючи тканину та прилеглий шар повітря. Приблизно так працює адіабатична система охолодження в дата-центрі. На шляху повітряного потоку розпорошуються дрібні краплі води, що знижує температуру повітря.
Принцип роботи адіабатичного охолодження
Тут фрикулінг вирішили використати, бо дата-центр розташований на останньому поверсі будівлі. А значить, нагріте повітря, що викидається назовні, відразу йде вгору, а не пригнічує інші системи, як це могло б статися, якби ДЦ розміщений на нижніх поверхах. Завдяки цьому показник PUE ~1.20
Коли цей поверх звільнився, ми зраділи, бо отримали нагоду проектувати все, що хочемо. Головним завданням було створення ДЦ з ефективною та недорогою системою охолодження.
Плюс адіабатичного охолодження у простоті самої системи. Вона простіше, ніж системи з кондиціонерами та ще простіше, ніж АБХМ, і дозволяє заощаджувати енергію, витрати якої мінімальні. Проте її необхідно ретельно контролювати, щоб не вийшло, як у Facebook у 2012 році. Тоді через проблеми з налаштуванням параметрів роботи в дата-центрі утворилася справжнісінька хмара і пішов дощ. .
Щити керування
Система працює лише другий рік, за цей час ми виявили низку невеликих проблем, які усуваємо з проектувальниками. Але це не страшно, оскільки в наш час важливо постійно бути в пошуку чогось нового, не забуваючи перевіряти вже існуючі рішення.
Ми постійно шукаємо можливості застосування нових технологій. Одне з них — обладнання, яке нормально працює за температури вище 23°. Можливо, розповімо про це в одній із майбутніх статей, коли проект вийде на фінальну стадію.
Якщо хочете дізнатися подробиці про інші системи охолодження у наших ДЦ, то з усією інформацією.
У коментарях ставте питання, постараємося відповісти на все, що зможемо.
Джерело: habr.com