Десь посередині між Москвою та Санкт-Петербургом є невелике місто Удомля. Раніше він був відомий Калінінською АЕС. У 2019 році поруч з'явилася ще одна визначна пам'ятка – мегаЦОД «Удомля» на 4 тис. стійок.
Після приєднання до команди Ростелеком-ЦОД фахівці DataLine також займатимуться експлуатацією дата-центру. Напевно, ви вже щось чули про «Удомлю». Сьогодні ми вирішили докладно розповісти, як там усе влаштовано.
Індустріальні пейзажі: дата-центр площею 32 000 м2019 та АЕС на задньому плані. Придомля зразка весни XNUMX року.
Під катом зібрали понад 40 фото інженерних систем дата-центру з детальним описом. На тих, хто дійде до кінця, чекає приємний сюрприз.
Про логістику
Дата-центр знаходиться у Тверській області. З Москви до Удомлі дорога займе близько трьох годин: 1 годину 45 хвилин на Сапсані до станції Вишній Волочок, а звідти за попередньою заявкою вас зустріне шатл і довезе до дата-центру. З Санкт-Петербурга до Вишнього Волочка трохи довше – 2 години 20 хвилин.
На машині з Москви можна дістатися за 4,5 години, із Санкт-Петербурга – за 5.
Так, заради пари юнітів, мабуть, їхати сюди не захочеться. А от якщо вам потрібен новий будинок для десятків стійок, варто придивитися. Місця та електрики вистачить, навіть якщо вам захочеться подвоїти цю кількість у будь-який момент. У Москві, де, на наш досвід, дата-центри бронюються ще на етапі будівництва, такий трюк не завжди пройде.
Крім того, розташування дата-центру між Москвою та Пітером можна використовувати для георезервування. Якщо основні потужності у Москві чи Пітері, то сюди непогано впишеться резервний майданчик.
З усіма стандартними операціями на місці допомагатиме команда smart hands. Вони приймуть, розпакують та встановлять обладнання у стійках, підключать його до живлення та мережі, нададуть віддалений доступ до обладнання. У разі несправностей допоможуть з діагностикою і замінять компоненти, що вийшли з ладу.
Перша черга дата-центру – це 4 машинні зали, або модулі, по 205 стійок. На першому поверсі працюють 2 машинні зали та енергоцентр, на другому – ще два зали та холодоцентр. Ходімо дивитися, як тут усе влаштовано.
Фізична безпека
Дата-центр займає виділену територію, на яку не пройти без перепустки та документа, що засвідчує особу. Ті, хто приїжджає своїм автомобілем, також отримують перепустку на транспорт і тільки після цього можуть потрапити на територію дата-центру. Для тих, у кого з перепусткою все гаразд, дата-центр відкритий 24х7.
Перший пост цілодобової охорони – вхід на територію.
Ідемо далі та потрапляємо на пропускний пункт безпосередньо при вході до дата-центру.
Співробітники охорони не лише зустрічають клієнтів та видають перепустки, а й цілодобово стежать за відеостіною, куди виводиться зображення всіх внутрішніх приміщень дата-центру та прилеглих територій.
Електропостачання
Свій шлях до дата-центру електрика починає від АЕС. У дата-центр надходить 10 кВ на 6 понижувальних трансформаторів. Далі – вже 0,4 кВ двома незалежними маршрутами йдуть у розподільчий пристрій низької напруги (РУНН). Потім через ДІБП електроживлення надходить на ІТ-і інженерне обладнання. До стійки підходять два незалежні введення, тобто резервування 2N. Докладніше про те, як все влаштовано в частині електропостачання, розкажемо в окремій статті.
Шлях електрики у дата-центрі «Удомля»
Силові шини, якими електрика приходить від РУНН до силових панелей ДИБП
Ряди РУНН
Незважаючи на те, що під боком АЕС, у будь-якому надійному дата-центрі основним харчуванням вважається гарантоване. У наших дата-центрах, як ви знаєте, за нього відповідають ДГУ, але тут використовуються динамічні ДБЖ (ДІБД). Вони також забезпечують безперебійне харчування. ДИБП зарезервовані за схемою N+1.
ДІБП марки Euro-Diesel (Kinolt) потужністю 2 МВт. Ревуть так, що без беруш туди краще не заходити
І як це працює. ДИБП – це зв'язка трьох основних компонентів: дизельний двигун, синхронна електромашина та акумулятор кінетичної енергії з ротором. Усі вони закріплені на головному валу.
Електромашина може працювати в режимі електродвигуна та генератора. Коли ДІБП живиться штатно від міста, електромашина - це електромотор, який крутить ротор і запасає кінетичну енергію в акумуляторі.
Сірий блок на першому плані – синхронна машина ДІБП
Дизельний двигун ДИБП
Якщо міське харчування зникає, електромашина перетворюється на режим генератора. Завдяки накопиченій кінетичній енергії ротор змушує обертатися основний вал ДІБП, електромашина продовжує працювати без міського харчування та напруга на виході не пропадає. Так забезпечується безперебійне харчування у дата-центрі. Одночасно з цим система керування ДІБП подає сигнал на запуск дизельного двигуна. Та сама кінетична енергія ротора запускає дизель і допомагає йому вийти на робочу частоту. Ротор тримає оберти до однієї хвилини, і цього вистачить, щоб вступив у справу дизель. Після запуску дизель обертає основний вал, а через нього – і електромашину (ось перемикання ДИБП з одного режиму до іншого).
В результаті харчування у стійках не пропадає ні на мить.
Бак кожного дизель-генератора розрахований на 3:80. У дата-центрі є своє паливосховище на 24 тонн, яке дозволить тримати все навантаження дата-центру протягом XNUMX годин. На випадок дуже гіпотетичних блекаутів (АЕС під боком цього не допустить) є договори з кількома підрядниками, які оперативно підвезуть дизельне паливо на дзвінковий майданчик. Загалом, все як належить.
Щотижня ДІБП самотестуються та заводять дизель. Щомісяця проходять тести з короткочасним відключенням міської мережі.
Панель управління ДИБП
Приміщення ЩДП та ЩБП
«Магістралі» та «розв'язки» силових кабелів
Машинні зали
Кожен модуль розташовується у гермозоні, у спеціальному коробі. Ці додаткові стіни та дах захищають машинний зал від пилу, води та вогню. При прийманні дата-центру гермозону зазвичай проливають водою, щоб перевірити на герметичність.
Дах будівлі та свій дах машинного залу з дренажними трубами
Вода, що потрапляє на дах гермозони, йде жолобами в дренажний трубопровід
Кожна зала готова прийняти по 205 стійок середньою потужністю 5 кВт.
Розміщення обладнання в залі організовано за схемою холодних та гарячих коридорів.
По стелі відбувається розведення систем раннього пожежовиявлення Bolid та газового пожежогасіння.
Датчики задимлення розташовані під фальшпідлогою. Достатньо спрацювати двом будь-яким датчикам, і завиє сирена пожежної тривоги, але про це поговоримо трохи згодом.
Тут же, вздовж рядів кондиціонерів, розташовані стрічкові датчики протікання.
Кожен коридор між стійками прострілюється камерами відеоспостереження.
За бажання, стійки можна розмістити за спеціальною огорожею (cage) та встановити на неї додаткові камери, СКУД та датчики руху, об'єму та інше.
Холодопостачання
У дата-центрі «Удомля» використовується чилерна схема на етиленгліколі. У машинних залах працюють кондиціонери, на даху - чиллери, а на другому поверсі знаходиться хладоцентр з трубопроводами, системою автоматики та управління, насосами, баками, що акумулюють, тощо.
У кожному залі 12 кондиціонерів, половина з них – з парозволожувачами. Схема резервування N+1.
У холодному коридорі підтримується температура в межах 21-25 ° C та вологість 40-60%.
Прецизійні кондиціонери Stulz Cyber Cool
Навколо кожного машинного залу два кільця: холодна магістраль, що подає охолоджений етиленгліколь в кондиціонер, і гаряча, що відводить нагрітий гліколь від кондиціонерів до чилерів. Якщо відкриємо фальшпідлогу в коридорі, то побачимо опуски в машинні зали від системи холодопостачання.
Маршрут етиленгліколю виглядає так: з кондиціонера нагрітий етиленгліколь потрапляє спочатку у зворотну магістраль навколо машинного залу, а потім у загальне кільце. Потім етиленгліколь йде на насос і далі на чилер, де й охолоджується до 10 °C. Після чиллера етиленгліколь знову повертається до кондиціонера через магістраль загального кільця, що акумулюють баки і кільце навколо модуля.
Схема холодопостачання дата-центру
Ось так виглядає холодоцентр, через який проходить 100 м3 етиленгліколю.
Сірі ємності – це розширювальні баки. Через них проходить нагрітий етиленгліколь на шляху до чиллера. Влітку етиленгліколь розширюється і потребує додаткового простору.
Ці великі ємності - баки, що акумулюють, по 5 м3 кожен. Вони забезпечують безперебійне охолодження дата-центру у разі відмови чиллеров.
Охолоджений етиленгліколь з баків подається в систему, що дозволяє зберегти температуру повітря на виході з кондиціонера на рівні 19 °C протягом 5 хвилин. Навіть якщо за вікном +40 °C.
Насоси системи холодопостачання
Сітчасті кишенькові фільтри та баки-сепаратори для очищення етиленгліколю від механічних частинок та повітря
Тонка червона лінія на підлозі під трубами – це стрічкові датчики протікання. Вони йдуть по всьому периметру холодоцентру.
Якщо якась із труб дасть текти, то етиленгліколь піде за системою дренажу і потрапить у спеціальний бак у приміщенні водопідготовки. Тут же стоять два баки із «запасним» етиленгліколем для підживлення системи холодопостачання на випадок великих протікань.
І про чилери. На даху працює 5 чилерів за схемою резервування N+1. Щодобово автоматика визначає, залежно від напрацювання, який чилер вивести в резерв.
Чилери марки Stulz CyberCool 2 потужністю 1096 кВт
Чилери підтримують три режими:
- компресорний – від 12 °C;
- змішаний – при 0–12 °C;
- фрикулінг – від 0 та нижче. Цей режим має на увазі охолодження етиленгліколю за рахунок роботи вентиляторів, а не компресора.
Пожежна безпека
У дата-центрі дві станції газового пожежогасіння. У кожному дві батареї з 11 балонів: перша основна, друга – резерв.
Протипожежна система дата-центру зав'язана із сервером Калінінської АЕС, і, якщо буде потрібно, на місце за хвилини приїде власна пожежна служба станції.
На фото система пожежної сигналізації та кнопка аварійного виходу у машинному залі. Остання потрібна, якщо під час пожежної тривоги двері з якоїсь причини не розблоковувалися: вони розривають живлення електрозамку.
Телеком
До дата-центру незалежними маршрутами приходять дві магістралі Ростелеком. Кожна з DWDM систем має ємність 8 Терабіт.
У дата-центрі два телеком-введення, які розташовуються на відстані більше 25 метрів один від одного.
Також на майданчику є оператори Раском, Telia Carrier Russia, Консист, в найближчому майбутньому з'явиться DataLine.
Від Удомлі можна побудувати канал до Москви, Санкт-Петербурга або будь-якої точки Росії та світу.
моніторинг
У центрі моніторингу цілодобово несуть свою посаду чергові інженери.
Сюди надходить вся інформація щодо інженерних систем: кліматичні умови в залі, стан вводів, ДІБП тощо.
Кожні дві години чергові обходять всі інфраструктурні приміщення, щоб оглянути стан інженерного та ІТ-обладнання.
Допоміжна інфраструктура
Для доставки обладнання до дата-центру передбачена зона розвантаження.
Зона розвантаження зсередини.
Якщо ваш зал на другому поверсі, то цей гідравлічний вантажопідйомник доставить туди будь-яке обладнання.
Шафки для зберігання клієнтських інструментів і не тільки.
Трохи про побут
Для постійного персоналу можна орендувати обладнані робочі місця офісної частини. Якщо ж наїжджатимете час від часу, то можна зупинитися в тимчасовому готелі з усіма зручностями прямо на території дата-центру.
В офісній частині також працює їдальня та кухня.
А ще тут навколо шалена природа з лісами, озерами, річками, рибалкою та іншим дозвіллям на свіжому повітрі. Приїжджайте в гості.
Як і обіцяли, приємний бонус для тих, хто дійшов до кінця. Перші півроку оренда стійко-місця в «Удомлі» з підведеною потужністю 5 кВт буде безкоштовною. Платіть тільки за споживану електроенергію. Заявку надсилайте на .
Джерело: habr.com