Нерідко компанії стикаються з необхідністю встановити нове, потужніше обладнання у вже існуючих приміщеннях. Іноді вирішити це завдання буває непросто, але є низка стандартних підходів, які допомагають виконати її. Про них ми сьогодні розповімо на прикладі ЦОД Mediatek.
Компанія MediaTek, всесвітньо відомий виробник мікроелектроніки, вирішила збудувати новий центр обробки даних у своїй штаб-квартирі. Як завжди, проект потрібно було реалізувати в найкоротші терміни, а також забезпечити сумісність нового рішення з усім обладнанням. Крім цього, засоби електроживлення та охолодження потрібно було спочатку адаптувати до умов будівлі, в якій мав розпочати роботу новий ЦОД.
Від CIO компанії надійшов запит на технології автоматизації та моніторингу ЦОД, а також замовником віталося впровадження енергоефективних рішень у галузі охолодження та енергопостачання. Тобто на ці технології було виділено додатковий бюджет, що дозволило створити дійсно високопродуктивний ЦОД у заданих умовах.
Велике навантаження
Перш ніж приступати до проекту, слід добре вивчити особливості обладнання, що розміщується — а воно було дійсно потужним. У новому ЦОД планувалося встановити 80 стійок, причому деякі мали на увазі розміщення навантаження 25 кВт.
Було проведено моделювання розміщення навантаження та аналіз можливих схем охолодження, після чого прийнято вирішено розділити ЦОД на функціональні зони. Зона високого навантаження, де розміщується найпотужніше обладнання, була відокремлена, а для охолодження та електроживлення в ній вирішено встановити найбільш потужні та технологічні системи, включаючи внутрішньорядні кондиціонери RowCool.
Зона із середньою щільністю розміщення, куди потрапили в основному мережеве комутаційне обладнання, системи зберігання та допоміжні сервери, також розташовувалася окремо. Враховуючи менше виділення енергії стійками, тут вдалося створити довший "гарячий коридор", а значить - заощадити корисну площу.
Ми провели симуляцію руху повітря та оцінили допустимі параметри температури для обох зон, розрахували потужність обладнання та допустимі розміри коридорів, а також параметри розміщення обладнання у стійках.
Симуляція руху повітря допомогла знайти оптимальні точки для розміщення внутрішньорядних кондиціонерів RowCool, щоб спільне використання активного охолодження та системи поділу гарячих та холодних коридорів давало максимальний ефект.
Було спроектовано та встановлено модульні системи поділу навантаження для обох зон. В результаті зона з високим навантаженням отримала коротші коридори і більшу кількість кондиціонерів RowCool, ніж зона середнього навантаження.
Рядні кондиціонери були підключені до чилерів за допомогою водяного охолодження. Щоб забезпечити безпеку такої системи, у ЦОД було встановлено десятки сенсорів, а також визначено зони виявлення можливих протікань рідини. У разі появи хоч однієї краплі води система одразу ж видає повідомлення та допомагає виправити ситуацію.
Більш того, кондиціонери RowCool, розташовані в зоні високого навантаження, з'єднані до груп, а між ними налаштована автономна взаємодія. Це зроблено для того, щоб у разі виходу одного кондиціонера з ладу інші могли посилити свою роботу і забезпечити достатнє охолодження з урахуванням роботи холодного коридору, поки кондиціонер лагодити або замінювати. Для цього рядні кондиціонери також встановлені за схемою N+1.
ДБЖ та розподіл електроживлення
Спираючись на перевірену практику, ми розмістили резервні акумулятори, а також системи ДБЖ в окремій зоні, щоб повітряні потоки не змішувалися і системи охолодження не втрачали потужність на тих навантаженнях, яким особливо і не потрібний додатковий холод.
Враховуючи, що сумарна потужність всього ЦОД перевищує 1500 кВт, інфраструктуру харчування та зону ДБЖ потрібно було проектувати з особливою ретельністю. Модульні ДБЖ були встановлені з урахуванням резервування за схемою N+1, а для кожної стійки було підведено кільцеве харчування, тобто як мінімум два кабелі з живленням. У системі моніторингу при цьому одночасно відстежувалося енергоспоживання, напруга та струм, щоб миттєво помітити будь-яку нештатну зміну.
У зоні з високим навантаженням кабінети розподілу живлення (PDU) були встановлені із задньої сторони від стійок Delta, а зверху розміщені додаткові модулі розподілу на 60А.
У зоні із середнім навантаженням вдалося обійтися кабінетами розподілу, встановленими над стійками. Такий підхід дозволив заощадити кошти без шкоди для якості.
Управління та DCIM
У новому ЦОД було реалізовано системи управління роботою устаткування. Так, через систему DCIM InfraSuite можна відстежити все обладнання та місце розташування в ЦОД, а також всі параметри електроживлення для кожної окремо взятої стійки.
У кожній стійці також встановлено датчик з індикатором EnviroProbe, дані з яких збираються на концентраторах EnviroStation по кожному ряду і передаються на центральний сервер управління. Завдяки цьому диспетчери ЦОД можуть постійно контролювати параметри температури повітря та вологості у кожній стійці.
Крім контролю електроживлення, система InfraSuite також дозволяє планувати заповнення ЦОД, тому що в систему внесені дані про кількість і потужність встановленого обладнання. Інженери можуть запланувати встановлення нових серверів або комутаційних систем одночасно перерозподіляючи електроживлення через інтелектуальні кабінети PDU.
Висновок
Практика побудови ЦОД для MediaTek була цікавою тим, що нам довелося розмістити багато високопродуктивного навантаження на досить невеликій площі. І замість того, щоб розподіляти її по всьому приміщенню, ефективніше виділити високопотужні сервери в окрему зону і облаштувати там потужніше і технологічніше охолодження.
Система комплексного контролю та керування дозволяє постійно стежити за енергоспоживанням високопотужних серверів, а резервні елементи охолодження та електроживлення допомагають не допускати простоїв, навіть у разі виходу з ладу обладнання. Саме такі ЦОД слід будувати під критично важливі бізнес-процеси сучасних компаній.
Тільки зареєстровані користувачі можуть брати участь в опитуванні. , будь ласка.
А ви використовуєте резервування у ЦОД?
-
Так, ми також використовуємо N+1 кондиціонерів
-
У нас теж N+1 ДБЖ
-
Ми навіть сильніше все зарезервували
-
Ні, ми не використовуємо резервування
Проголосували 9 користувачів. Утрималися 6 користувачів.
Джерело: habr.com