En algún lugar entre Moscú y San Petersburgo hay una pequeña ciudad llamada Udomlya. Anteriormente era conocida por la central nuclear de Kalinin. En 2019 apareció cerca otra atracción: el megacentro de datos Udomlya con 4 mil racks.
Después de unirse al equipo Rostelecom-DPC, los especialistas de DataLine también participarán en el funcionamiento de este centro de datos. Seguramente ya habrás oído algo sobre “Udomlya”. Hoy decidimos contarte en detalle cómo funciona todo allí.
Paisajes industriales: un centro de datos de 32 m² y una central nuclear al fondo. Muestra de Udomlya primavera de 000.
Debajo del corte hemos recopilado más de 40 fotografías de los sistemas de ingeniería del centro de datos con una descripción detallada. Una agradable sorpresa espera a quienes lleguen al final.
Sobre logística
El centro de datos está ubicado en la región de Tver. El viaje de Moscú a Udomlya durará unas tres horas: 1 hora y 45 minutos en Sapsan hasta la estación Vyshny Volochek y desde allí, previa solicitud, le recibirá un servicio de transporte que le llevará al centro de datos. De San Petersburgo a Vyshny Volochek se tarda un poco más: 2 horas y 20 minutos.
En coche se puede llegar desde Moscú en 4,5 horas, desde San Petersburgo en 5.
Sí, probablemente no querrás venir aquí por un par de unidades. Pero si necesita un nuevo hogar para docenas de bastidores, entonces vale la pena echarle un vistazo más de cerca. Hay suficiente espacio y electricidad, incluso si deseas duplicar esta cantidad en cualquier momento. En Moscú, donde, según nuestra experiencia, los centros de datos están reservados en la etapa de construcción, este truco no siempre funciona.
Además, la ubicación del centro de datos entre Moscú y San Petersburgo se puede utilizar para la reserva geográfica. Si las instalaciones principales están en Moscú o San Petersburgo, entonces un sitio de respaldo encajaría bien.
El equipo de Smart Hands ayudará con todas las operaciones estándar en el sitio. Recibirán, desembalarán e instalarán equipos en racks, los conectarán a la alimentación y a la red y proporcionarán acceso remoto al equipo. En caso de mal funcionamiento, ayudarán con el diagnóstico y reemplazarán los componentes defectuosos.
La primera etapa del centro de datos consta de 4 salas de ordenadores, o módulos, con 205 racks cada uno. Hay 2 cuartos de máquinas y un centro de energía en la planta baja, y dos cuartos más y un centro de refrigeración en el segundo piso. Vamos a ver cómo funciona todo aquí.
Seguridad física
El centro de datos ocupa un área designada a la que no se puede acceder sin un pase y un documento de identificación. Quienes lleguen en coche también recibirán un pase de transporte y sólo después podrán acceder al centro de datos. Para aquellos que tengan todo en orden con su pase, el centro de datos está abierto 24 horas al día, 7 días a la semana.
El primer puesto de seguridad las XNUMX horas es la entrada al territorio.
Seguimos adelante y llegamos al puesto de control directamente en la entrada del centro de datos.
Los agentes de seguridad no solo reciben a los clientes y emiten pases, sino que también monitorean el videowall las XNUMX horas, que muestra imágenes de todas las instalaciones internas del centro de datos y sus alrededores.
Fuente de alimentación
La electricidad inicia su viaje hacia el centro de datos desde la central nuclear. El centro de datos recibe 10 kV para 6 transformadores reductores. A continuación, 0,4 kV pasa por dos rutas independientes hasta la aparamenta de baja tensión (LVSD). Luego, a través del DIBP, se suministra energía a los equipos de ingeniería y TI. Dos entradas independientes son adecuadas para el rack, es decir, redundancia 2N. Te contamos más sobre cómo funciona todo en términos de suministro de energía en un artículo aparte.
El camino de la electricidad en el centro de datos de Udomlya
Buses de energía a través de los cuales llega la electricidad desde el RUNN hasta los paneles de energía del DIBP
Filas de RUNN
A pesar de que hay una central nuclear cerca, en cualquier centro de datos fiable el suministro de energía principal se considera garantizado. En nuestros centros de datos, como saben, los grupos electrógenos diésel se encargan de ello, pero aquí se utilizan SAI dinámicos (DIUPS). También proporcionan suministro de energía ininterrumpida. Los DIUP se reservan según el esquema N+1.
DIPS marca Euro-Diesel (Kinolt) con una capacidad de 2 MW. Rugen tan fuerte que es mejor no entrar sin tapones para los oídos.
Y así es como funciona. DIBP es una combinación de tres componentes principales: un motor diésel, una máquina eléctrica síncrona y un acumulador de energía cinética con rotor. Todos ellos están fijados al eje principal.
La máquina eléctrica puede funcionar en modo motor eléctrico y generador. Cuando el DIBP se alimenta regularmente desde la ciudad, la máquina eléctrica es un motor eléctrico que hace girar el rotor y almacena energía cinética en la batería.
El bloque gris en primer plano es una máquina síncrona DIBP.
Motor diésel DIBP
Si se corta la electricidad en la ciudad, la máquina eléctrica cambia al modo generador. Gracias a la energía cinética acumulada, el rotor hace girar el eje principal del DIBP, la máquina eléctrica sigue funcionando sin electricidad de la ciudad y la tensión de salida no desaparece. Esto garantiza un suministro de energía ininterrumpido en el centro de datos. Al mismo tiempo, el sistema de control DIBP envía una señal para arrancar el motor diésel. La misma energía cinética del rotor arranca el motor diésel y le ayuda a alcanzar la frecuencia de funcionamiento. El rotor mantiene la velocidad durante hasta un minuto, tiempo suficiente para que el diésel entre en acción. Después del arranque, el motor diesel hace girar el eje principal y, a través de él, la máquina eléctrica (aquí cambiar el DIBP de un modo a otro).
Como resultado, la energía en los bastidores no se pierde ni por un segundo.
El tanque de cada generador diesel está diseñado para 3 horas. El centro de datos también cuenta con su propia instalación de almacenamiento de combustible de 80 toneladas, que mantendrá toda la carga del centro de datos durante 24 horas. En caso de apagones muy hipotéticos (la central nuclear cercana no lo permitirá), existen acuerdos con varios contratistas que entregarán rápidamente combustible diesel al lugar cuando sea necesario. En general todo es como debería ser.
Cada semana, los DIBP se autoprueban y arrancan el motor diésel. Una vez al mes se realizan pruebas con un cierre breve de la red de la ciudad.
Panel de control DIBP
Locales de ShchGP y ShchBP
“Líneas troncales” y “uniones” de cables de alimentación
Salas de maquinas
Cada módulo está ubicado en una zona hermética, en una caja especial. Estas paredes y techo adicionales protegen la sala de turbinas del polvo, el agua y el fuego. Al aceptar un centro de datos, tradicionalmente se vierte agua en el área de contención para comprobar si hay fugas.
El techo del edificio y su propio techo de la sala de turbinas con tuberías de drenaje.
El agua que cae sobre el techo de la zona de contención pasa por las canaletas hacia la tubería de drenaje.
Cada sala está preparada para recibir 205 racks con una potencia media de 5 kW.
La disposición de los equipos en la sala se organiza según el esquema de pasillos fríos y calientes.
A lo largo del techo están instalados sistemas de detección temprana de incendios y extinción de incendios por gas.
Los sensores de humo también se encuentran debajo del suelo técnico. Basta con activar dos sensores cualesquiera y sonará la sirena de alarma contra incendios, pero hablaremos de eso un poco más adelante.
Allí mismo, a lo largo de las filas de aires acondicionados, hay cintas con sensores de fugas.
Cada pasillo entre los mostradores está “vigilado” con cámaras CCTV.
Si lo desea, los bastidores se pueden colocar detrás de una cerca especial (jaula) y se pueden instalar cámaras adicionales, sistemas de control de acceso y sensores de movimiento, sensores de volumen, etc.
Refrigeración
El centro de datos de Udomlya utiliza un circuito enfriador de etilenglicol. Hay aires acondicionados en las salas de máquinas, enfriadores en el techo, y en el segundo piso hay un centro de refrigeración con tuberías, sistema de automatización y control, bombas, tanques de almacenamiento, etc.
Cada habitación cuenta con 12 aires acondicionados, la mitad de ellos con humidificadores de vapor. Esquema de redundancia N+1.
En el pasillo frío, la temperatura se mantiene entre 21 y 25 °C y una humedad del 40 al 60 %.
Aires acondicionados de precisión Stulz Cyber Cool
Hay dos anillos alrededor de cada sala de máquinas: una línea "fría" que suministra etilenglicol enfriado al aire acondicionado y una línea "caliente" que elimina el glicol calentado de los acondicionadores de aire a los enfriadores. Si abrimos el suelo técnico del pasillo, veremos gotas del sistema de refrigeración en las salas de máquinas.
La ruta del etilenglicol es la siguiente: desde el aire acondicionado, el etilenglicol calentado ingresa primero a la línea de retorno alrededor de la sala de máquinas y luego al anillo común. Luego el etilenglicol pasa a la bomba y luego al enfriador, donde se enfría a 10 °C. Después del enfriador, el etilenglicol regresa al aire acondicionado a través de la línea de suministro del anillo común, los tanques de almacenamiento y el anillo alrededor del módulo.
Diagrama de suministro de refrigeración del centro de datos
Así luce un centro frigorífico por el que pasan 100 m3 de etilenglicol
Los contenedores grises son tanques de expansión. El etilenglicol calentado pasa a través de ellos en su camino hacia el enfriador. En verano, el etilenglicol se expande y requiere espacio adicional.
Estos impresionantes contenedores son tanques de almacenamiento de 5 m3 cada uno. Proporcionan refrigeración ininterrumpida del centro de datos en caso de fallo del enfriador.
Se suministra al sistema etilenglicol enfriado desde los tanques, lo que permite mantener la temperatura de salida del aire acondicionado a 19 °C durante 5 minutos. Aunque afuera haga +40°C.
Bombas de refrigeración
Filtros de bolsillo de malla y tanques separadores para purificar etilenglicol de partículas mecánicas y aire.
La delgada línea roja en el piso debajo de las tuberías es la cinta del sensor de fugas. Recorren todo el perímetro del centro frigorífico.
Si alguna de las tuberías tiene fugas, el etilenglicol pasará por el sistema de drenaje y terminará en un tanque especial en la sala de tratamiento de agua. También hay dos tanques con etilenglicol “de repuesto” para reponer el sistema de refrigeración en caso de fugas importantes.
Y sobre enfriadores. Hay 5 enfriadoras en el techo que utilizan un esquema de redundancia N+1. Cada día, la automatización determina, en función de las horas de funcionamiento, qué enfriadora poner en reserva.
Enfriadoras de la marca Stulz CyberCool 2 con una capacidad de 1096 kW
Los enfriadores admiten tres modos:
- compresor – desde 12 °C;
- mixto – a 0–12 °C;
- enfriamiento gratuito: desde 0 y menos. Este modo implica enfriar el etilenglicol mediante el funcionamiento de ventiladores en lugar de un compresor.
seguridad contra incendios
El centro de datos cuenta con dos estaciones de extinción de incendios por gas. Cada uno contiene dos baterías de 11 cilindros: la primera es la principal, la segunda es de reserva.
El sistema de extinción de incendios del centro de datos está conectado al servidor de la central nuclear de Kalinin y, si es necesario, los propios bomberos de la estación llegarán al lugar en cuestión de minutos.
La foto muestra un sistema de alarma contra incendios y un botón de salida de emergencia en la sala de turbinas. Este último es necesario si las puertas no se desbloquearon por algún motivo durante una alarma de incendio: corta el suministro de energía a la cerradura eléctrica.
Telecom
Dos autopistas Rostelecom llegan al centro de datos por rutas independientes. Cada sistema DWDM tiene una capacidad de 8 Terabits.
El centro de datos tiene dos entradas de telecomunicaciones ubicadas a una distancia de más de 25 metros entre sí.
También están presentes en el sitio los operadores Rascom, Telia Carrier Russia, Consyst y DataLine que aparecerán en un futuro próximo.
Desde Udomlya se puede construir un canal hacia Moscú, San Petersburgo o cualquier lugar de Rusia y del mundo.
Monitoreo
Los ingenieros de servicio están de guardia en el centro de control las XNUMX horas.
Aquí se recibe toda la información sobre los sistemas de ingeniería: condiciones climáticas en la sala, estado de las entradas, DIBP, etc.
Cada dos horas, el personal de servicio recorre todas las instalaciones de infraestructura para comprobar el estado de los equipos de ingeniería y TI.
Infraestructura de apoyo
Se proporciona un área de descarga para la entrega de equipos al centro de datos.
Zona de descarga desde el interior.
Si su sala está en el segundo piso, este elevador hidráulico le entregará cualquier equipo allí.
Casilleros para guardar herramientas del cliente y más.
Un poco sobre la vida cotidiana.
Para el personal permanente, se pueden alquilar puestos de trabajo equipados en la parte de oficinas. Si lo visita de vez en cuando, podrá alojarse en un hotel temporal con todas las comodidades en el territorio del centro de datos.
La parte de oficina también cuenta con comedor y cocina.
Y hay una naturaleza asombrosa por todas partes con bosques, lagos, ríos, pesca y otras actividades al aire libre. Ven a visitarnos.
Como prometí, un buen bono para aquellos que llegaron hasta el final. Durante los primeros seis meses, el alquiler de un espacio de rack en Udomlya con una potencia suministrada de 5 kW será gratuito. Paga sólo por la electricidad realmente consumida. Envía tu solicitud a .
Fuente: habr.com