Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Где-то посередине между Москвой и Санкт-Петербургом есть небольшой город Удомля. Раньше он был известен Калининской АЭС. В 2019 году рядом появилась еще одна достопримечательность – мегаЦОД «Удомля» на 4 тыс. стоек. 

После присоединения к команде Ростелеком-ЦОД специалисты DataLine также будут заниматься эксплуатацией этого дата-центра. Наверняка вы уже что-то слышали про «Удомлю». Сегодня мы решили подробно рассказать, как там все устроено.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Индустриальные пейзажи: дата-центр площадью 32 000 м² и АЭС на заднем плане. Удомля образца весны 2019.

Под катом собрали больше 40 фото инженерных систем дата-центра с подробным описанием. Тех, кто дойдет до конца, ждет приятный сюрприз.

О логистике

Дата-центр находится в Тверской области. Из Москвы в Удомлю дорога займет около трех часов: 1 час 45 минут на Сапсане до станции Вышний Волочек, а оттуда по предварительной заявке вас встретит шаттл и довезет до дата-центра. Из Санкт-Петербурга до Вышнего Волочка чуть дольше – 2 часа 20 минут. 

На машине из Москвы можно добраться за 4,5 часа, из Санкт-Петербурга – за 5.

Да, ради пары юнитов, наверное, ехать сюда не захочется. А вот если вам нужен новый дом для десятков стоек, то стоит присмотреться. Места и электричества хватит, даже если вам захочется удвоить это количество в любой момент. В Москве, где, по нашему опыту, дата-центры бронируются еще на этапе строительства, такой трюк не всегда пройдет.

Кроме того, расположение дата-центра между Москвой и Питером можно использовать для георезервирования. Если основные мощности в Москве или в Питере, то сюда неплохо впишется резервная площадка.

Со всеми стандартными операциями на месте будет помогать команда smart hands. Они примут, распакуют и установят оборудование в стойках, подключат его к питанию и сети, предоставят удаленный доступ к оборудованию. В случае неисправностей помогут с диагностикой и заменят вышедшие из строя компоненты.

Первая очередь дата-центра – это 4 машинных зала, или модуля, по 205 стоек. На первом этаже работают 2 машинных зала и энергоцентр, на втором – еще два зала и хладоцентр. Идем смотреть, как тут все устроено.

Физическая безопасность

Дата-центр занимает выделенную территорию, на которую не пройти без пропуска и документа, удостоверяющего личность. Те, кто приезжает на своем автомобиле, также получают пропуск на транспорт и только после этого могут попасть на территорию дата-центра. Для тех, у кого с пропуском все в порядке, дата-центр открыт 24х7.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Первый пост круглосуточной охраны – вход на территорию.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Идем дальше и попадаем на пропускной пункт непосредственно при входе в дата-центр.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Сотрудники охраны не только встречают клиентов и выдают пропуска, но и круглосуточно следят за видеостеной, куда выводится изображение всех внутренних помещений дата-центра и прилегающих территорий.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Электроснабжение

Свой путь в дата-центр электричество начинает от АЭС. В дата-центр приходит 10 кВ  на 6 понижающих трансформаторов. Далее – уже 0,4 кВ двумя независимыми маршрутами идут в распределительное устройство низкого напряжения (РУНН). Потом через ДИБП электропитание поступает на ИТ- и инженерное оборудование. К стойке подходят два независимых ввода, то есть резервирование 2N. Подробнее о том, как все устроено в части электроснабжения, расскажем в отдельной статье.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Путь электричества в дата-центре «Удомля»

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Силовые шины, по которым электричество приходит от РУНН до силовых панелей ДИБП

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Ряды РУНН

Несмотря на то, что под боком АЭС, в любом надежном дата-центре основным питанием считается гарантированное. В наших дата-центрах, как вы знаете, за него отвечают ДГУ, но тут используются динамические ИБП (ДИБП). Они также обеспечивают и бесперебойное питание. ДИБП зарезервированы по схеме N+1. 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
ДИБП марки Euro-Diesel (Kinolt) мощностью 2 МВт. Ревут так, что без беруш туда лучше не заходить

И вот как это работает. ДИБП – это связка трех основных компонентов: дизельный двигатель, синхронная электромашина и аккумулятор кинетической энергии с ротором. Все они закреплены на главном валу.

Электромашина может работать в режиме электродвигателя и генератора. Когда ДИБП питается штатно от города, электромашина – это электромотор, который крутит ротор и запасает кинетическую энергию в аккумуляторе.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Серый блок на первом плане – синхронная машина ДИБП

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Дизельный двигатель ДИБП

Если городское питание пропадает, электромашина переходит в режим генератора. Благодаря накопленной кинетической энергии ротор заставляет вращаться основной вал ДИБП, электромашина продолжает работать без городского питания и напряжение на выходе не пропадает. Так обеспечивается бесперебойное питание в дата-центре. Одновременно с этим система управления ДИБП подает сигнал на запуск дизельного двигателя. Та же кинетическая энергия ротора запускает дизель и помогает ему выйти на рабочую частоту. Ротор держит обороты до одной минуты, и этого хватит, чтобы в дело вступил дизель. После запуска уже дизель вращает основной вал, а через него – и электромашину (вот наглядное видео переключения ДИБП из одного режима в другой).

В результате питание в стойках не пропадает ни на секунду.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Бак каждого дизель-генератора рассчитан на 3 часа. В дата-центре есть и свое топливохранилище на 80 тонн, которое позволит держать всю нагрузку дата-центра в течение 24 часов. На случай очень гипотетических блэкаутов (АЭС под боком этого не допустит) есть договоры с несколькими подрядчиками, которые оперативно подвезут дизельное топливо на площадку по звонку. В общем, все как положено.

Каждую неделю ДИБП самотестируются и заводят дизель. Раз в месяц проходят тесты с кратковременным отключением городской сети.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Панель управления ДИБП

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Помещение ЩГП и ЩБП 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
«Магистрали» и «развязки» силовых кабелей

Машинные залы

Каждый модуль располагается в гермозоне, в специальном коробе. Эти дополнительные стены и крыша защищают машинный зал от пыли, воды и огня. При приемке дата-центра гермозону традиционно проливают водой, чтобы проверить на герметичность.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Крыша здания и своя крыша машинного зала с дренажными трубами

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Вода, попадающая на крышу гермозоны, уходит по желобам в дренажный трубопровод

Каждый зал готов принять по 205 стоек средней мощностью 5 кВт.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Расстановка оборудования в зале организована по схеме холодных и горячих коридоров. 
Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

По потолку проходит разводка систем раннего пожарообнаружения Bolid и газового пожаротушения. 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Датчики задымления расположены и под фальшполом. Достаточно сработать двум любым датчикам, и завоет сирена пожарной тревоги, но об этом поговорим чуть позже.

Тут же, вдоль рядов кондиционеров, расположены ленточные датчики протечек.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Каждый коридор между стойками «простреливается» камерами видеонаблюдения.
При желании, стойки можно разместить за специальным ограждением (cage) и установить на него дополнительные камеры, СКУД и датчики движения, объема и прочее. 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Холодоснабжение

В дата-центре «Удомля» используется чиллерная схема на этиленгликоле. В машинных залах работают кондиционеры, на крыше – чиллеры, а на втором этаже находится хладоцентр с трубопроводами, системой автоматики и управления, насосами, аккумулирующими баками и пр.

В каждом зале 12 кондиционеров, половина из них – с пароувлажнителями. Схема резервирования N+1.

В холодном коридоре поддерживается температура в пределах 21–25 °C и влажность 40–60%.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Прецизионные кондиционеры Stulz Cyber Cool 

Вокруг каждого машинного зала два кольца: «холодная» магистраль, подающая охлажденный этиленгликоль в кондиционер, и «горячая», отводящая нагретый гликоль от кондиционеров к чиллерам. Если откроем фальшпол в коридоре, то увидим опуски в машинные залы от системы холодоснабжения. 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Маршрут этиленгликоля выглядит следующим образом: из кондиционера нагретый этиленгликоль попадает сначала в обратную магистраль вокруг машинного зала, а потом в общее кольцо. Затем этиленгликоль идет на насос и далее на чиллер, где и охлаждается до 10 °C. После чиллера этиленгликоль снова возвращается к кондиционеру через подающую магистраль общего кольца, аккумулирующие баки и кольцо вокруг модуля.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Схема холодоснабжения дата-центра

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Вот так выглядит хладоцентр, через который проходит 100 м3 этиленгликоля 

Серые емкости – это расширительные баки. Через них проходит нагретый этиленгликоль на пути к чиллеру. Летом этиленгликоль расширяется и требует дополнительного пространства.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Эти внушительные емкости – аккумулирующие баки, по 5 м3 каждый. Они обеспечивают бесперебойное охлаждение дата-центра на случай отказа чиллеров.
Охлажденный этиленгликоль из баков подается в систему, и это позволяет сохранить температуру воздуха на выходе из кондиционера на уровне 19 °C в течение 5 минут. Даже если за окном +40 °C.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Насосы системы холодоснабжения

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Сетчатые карманные фильтры и баки-сепараторы для очистки этиленгликоля от механических частиц и воздуха

Тонкая красная линия на полу под трубами – это ленточные датчики протечек. Они идут по всему периметру хладоцентра.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Если какая-то из труб даст течь, то этиленгликоль уйдет по системе дренажа и попадет в специальный бак в помещении водоподготовки. Тут же стоят два бака с «запасным» этиленгликолем для подпитки системы холодоснабжения на случай крупных протечек.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

И про чиллеры. На крыше работает 5 чиллеров по схеме резервирования N+1. Каждые сутки автоматика определяет, в зависимости от наработки, какой чиллер вывести в резерв. 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»
Чиллеры марки Stulz CyberCool 2 мощностью 1096 КВт

Чиллеры поддерживают три режима:

  • компрессорный – от 12 °C;
  • смешанный – при 0–12 °C;
  • фрикулинг – от 0 и ниже. Этот режим подразумевает охлаждение этиленгликоля за счет работы вентиляторов, а не компрессора.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Пожарная безопасность

В дата-центре две станции газового пожаротушения. В каждом две батареи из 11 баллонов: первая основная, вторая – резерв.

Противопожарная система дата-центра завязана с сервером Калининской АЭС, и, если потребуется, на место за минуты приедет собственная пожарная служба станции.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

На фото система пожарной сигнализации и кнопка аварийного выхода в машинном зале. Последняя нужна, если во время пожарной тревоги двери по какой-то причине не разблокировались: она разрывает питание электрозамка.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Телеком

В дата-центр независимыми маршрутами приходят две магистрали Ростелеком.  Каждая из DWDM систем имеет емкость 8 Терабит.

В дата-центре два телеком-ввода, которые располагаются на расстоянии более 25 метров друг от друга.

Также на площадке присутствуют операторы Раском, Telia Carrier Russia, Консист, в ближайшем будущем появится DataLine.  

От Удомли можно построить канал в Москву, Санкт-Петербург или любую точку России и мира. 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Мониторинг

В центре мониторинга круглосуточно несут свой пост дежурные инженеры.

Сюда поступает вся информация по инженерными системам: климатические условия в зале, состояние вводов, ДИБП и т. д.

Каждые два часа дежурные совершают обход всех инфраструктурных помещений, чтобы осмотреть состояние инженерного и ИТ-оборудования. 

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Вспомогательная инфраструктура

Для доставки оборудования в дата-центр предусмотрена зона разгрузки.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Зона разгрузки изнутри.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Если ваш зал на втором этаже, то вот этот гидравлический грузоподъемник доставит туда любое оборудование.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Шкафчики для хранения клиентских инструментов, и не только.  

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Немного про быт

Для постоянного персонала можно арендовать оборудованные рабочие места в офисной части. Если же будете наезжать время от времени, то можно остановиться во временной гостинице со всеми удобствами прямо на территории дата-центра. 
В офисной части также работает столовая и кухня.  

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

А еще тут кругом обалденная природа с лесами, озерами, реками, рыбалкой и прочим досугом на свежем воздухе. Приезжайте в гости.

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

Как и обещали, приятный бонус для тех, кто дошел до конца. Первые полгода аренда стойко-места в «Удомле» с подведенной мощностью 5 кВт будет бесплатной. Платите только за фактически потребленную электроэнергию. Заявку отправляйте на [email protected].

Источник: habr.com