🥇Cómo nos esforzamos por la eficiencia energética del centro de datos

Dedico esta publicación a aquellas personas que mintieron en los certificados, lo que casi nos llevó a instalar bengalas en nuestras salas.

La historia tiene más de cuatro años, pero la publico ahora porque se ha terminado el NDA. Entonces nos dimos cuenta de que habíamos cargado casi por completo el centro de datos (que alquilamos), pero su eficiencia energética no había mejorado en nada. Antes, teníamos la hipótesis de que cuanto más lo llenáramos, mejor sería, porque la ingeniería se distribuía entre todos. Pero resultó que nos estábamos engañando en este aspecto, y con una buena carga había pérdidas en algún lugar. Trabajamos en muchas áreas, pero nuestro valiente equipo se ocupó del enfriamiento.

La vida real del centro de datos no es exactamente lo que se proyecta. Hay constantes ajustes del servicio de operación para aumentar la eficiencia y optimizar configuraciones para nuevas tareas. Hablando de la mitológica unidad promedio. En la práctica, no existe; la distribución de la carga es desigual, hay lugares con mucha carga y otros con poca. Así que tuvimos que reconfigurar algunas cosas para una mejor eficiencia energética.

Nuestro centro de datos Compresor es necesario para diversos clientes. Por lo tanto, en medio de las estanterías ordinarias de dos a cuatro kilovatios puede haber una de 23 kilovatios o más. En consecuencia, los aires acondicionados estaban ajustados para enfriarlas, y el aire simplemente pasaba sin enfriarse a través de las estanterías menos potentes.

La segunda hipótesis era que los corredores calientes y fríos no se mezclan. Después de las mediciones, puedo decir que es una ilusión, y la verdadera aerodinámica difiere del modelo en casi todos los aspectos.

Inspección

Primero comenzamos a observar los flujos de aire en las salas. ¿Por qué nos metimos en eso? Porque entendíamos que el centro de datos estaba diseñado para cinco o seis kW por estantería, pero sabíamos que en realidad variaban de 0 a 25 kW. Regular todo esto con los paneles es casi imposible: las primeras mediciones mostraron que todos eran prácticamente iguales en cuanto a lo que permitían pasar. Y no hay paneles de 25 kW, deben ser no solo vacíos, sino con vacío líquido.

Compramos un anemómetro y comenzamos a medir los flujos entre las estanterías y sobre ellas. En general, es necesario trabajar con él de acuerdo con las normativas y muchos estándares, difícilmente cumplibles sin detener el salón de máquinas. Nos interesaba no la precisión, sino la imagen general. Es decir, medimos de manera aproximada.

Según las mediciones, del 100 por ciento del aire que sale de las unidades, solo un 60 por ciento llega a los racks, el resto se pierde. Esto se debe a que hay racks pesados de 15 a 25 kW, para los cuales se ha diseñado el sistema de refrigeración.

No podemos simplemente apagar los aires acondicionados porque en los racks cálidos cerca de los servidores superiores hará demasiado calor. En este momento nos damos cuenta de que debemos aislar algo para que el aire no salte de fila en fila y para que el intercambio térmico en el bloque se lleve a cabo.

Paralelamente, nos preguntamos si esto tiene sentido financiero.

Nos sorprende descubrir que tenemos el consumo energético del centro de datos en general, pero no podemos calcular los fan-coils por sala específica. Es decir, analíticamente podemos, pero en la práctica — no. Y no podemos evaluar el ahorro. La tarea se vuelve cada vez más interesante. Si ahorramos un 10 % en la potencia de los aires acondicionados, ¿cuánto dinero podemos destinar al aislamiento? ¿Cómo se calcula eso?

Fuimos a los automatizadores que estaban ajustando el sistema de monitoreo. Gracias a ellos: tenían todos los sensores, solo había que escribir un poco de código. Comenzaron a mostrar por separado los chillers, UPS y la iluminación. Con el nuevo dispositivo, ahora teníamos la posibilidad de ver cómo cambiaba la situación en los elementos del sistema.

Experimentos con cortinas.

Simultáneamente comenzamos experimentos con cortinas (pantallas). Decidimos fijarlas en los pernos de las canaletas de cables (no había otra opción), ya que debían ser ligeras. Nos decidimos rápidamente sobre los toldos o las peinas.

El problema es que antes trabajamos con muchos proveedores. Todos tienen soluciones para sus propios centros de datos, pero en realidad no hay soluciones listas para centros de datos comerciales. Nuestros clientes entran y salen constantemente. Somos uno de los pocos centros de datos 'pesados' sin restricciones de ancho en los racks, capaces de aceptar estos servidores de alta potencia de hasta 25 kW. No hay planificación de infraestructura por adelantado. Es decir, si vamos a adquirir sistemas modulares de cage de proveedores, siempre habrá vacíos de dos meses. Eso significa que nunca será energéticamente eficiente en principio.

Decidimos hacerlo nosotros mismos, afortunadamente tenemos nuestros propios ingenieros.

Lo primero que se utilizó fueron cintas de refrigeradores industriales. Son unas flexibles cintas de polietileno que se pueden utilizar de muchas formas. Seguramente las han visto en la entrada de la sección de carnes de los supermercados más grandes. Comenzamos a buscar materiales no tóxicos y no combustibles. Los encontramos, compramos para dos filas. Las colgamos y comenzamos a ver qué resultados obtendríamos.

Sabíamos que no sería fácil. Pero el resultado fue, en efecto, bastante malo. Ellas comenzaban a ondearse como espaguetis en las corrientes de aire. Encontramos cintas magnéticas similares a las que se utilizan en los imanes de los refrigeradores. Las pegamos en estas tiras, se unieron entre sí, y la pared resultó ser, en su mayoría, monolítica.

Comenzamos a estimar cómo sería la sala.

Fuimos con los constructores y les mostramos nuestro proyecto. Ellos miraron y dijeron: sus cortinas son demasiado pesadas. 700 kilogramos en todo el área de la maquinaria. Dígannos, amables hombres, a dónde ir, porque 120 kg por metro cuadrado es el máximo.

Los constructores mencionaron: ¿recuerdan que vino uno de nuestros grandes clientes? Tiene decenas de miles de puertos en una sola sala. Por los extremos del área de máquinas está bien, pero más cerca del cruce no se podrá fijar: las bandejas se caerán.

Los constructores también pidieron un certificado para el material. Cabe destacar que antes habíamos estado trabajando basándonos en la buena fe del proveedor, ya que esto era solo una prueba. Nos dirigimos a este proveedor y les dijimos: OK, estamos listos para pasar a la beta, envíenos todos los documentos. Nos enviaron algo que no estaba muy estandarizado.

Les preguntamos: ¿de dónde sacaron este documento? Ellos respondieron: nuestro fabricante chino nos lo envió en respuesta a nuestras consultas. Según este documento, este material no arde en absoluto.

En ese momento, nos dimos cuenta de que era hora de detenerse y verificar los hechos. Fuimos a las chicas de seguridad contra incendios del Centro de Datos, ellas nos nombraron un laboratorio que verifica la inflamabilidad. Era un costo y tiempo razonables (aunque maldijimos todo mientras recopilábamos la cantidad necesaria de documentos). Allí, los científicos nos dijeron: traigan el material, haremos pruebas.

En el informe final se escribió que de un kilogramo de sustancia queda ceniza de aproximadamente 50 gramos. El resto arde intensamente, se escurre y mantiene muy bien la combustión en un charco.

Entendemos que es bueno que no hayamos comprado. Comenzamos a buscar otro material.

Encontramos policarbonato. Resultó ser más rígido. La hoja transparente mide dos milímetros, las puertas son de cuatro milímetros. En esencia, es acrílico. Comenzamos una conversación con el fabricante sobre la seguridad contra incendios: proporcionen el certificado. Ellos lo envían. Está firmado por el mismo instituto. Llamamos allí y decimos: bueno, ¿lo han probado?

Ellos dicen: sí, lo hemos probado. Primero lo quemamos en casa, solo luego lo llevamos a las pruebas. Con un kilogramo de material, (si lo quemamos con un soplete) queda aproximadamente 930 gramos de ceniza. Se funde y gotea, pero un charco no se incendiará.

De inmediato verificamos nuestros imanes (están en una base de polímero). Para nuestra sorpresa, arden mal.

Compilación

A partir de esto comenzamos a ensamblar. El policarbonato es excelente porque es más ligero que el polietileno, que se deforma mucho peor. Sin embargo, nos traen hojas de 2.5 por 3 metros, y al proveedor no le importa qué hacer con eso. Y necesitamos 2.8 de ancho por 20–25 centímetros. Enviamos las puertas a las empresas que cortan la hoja según lo necesario. Y cortamos las láminas nosotros mismos. El propio proceso de corte cuesta el doble que la hoja.

Esto es lo que resultó:

El resultado es que el sistema de jaulas se amortiza en menos de un año. Esto nos ha ahorrado entre 200 y 250 kW constantemente en la potencia de los fancoils. Un poco más con los chillers, cuánto exactamente no lo sabemos. Los servidores absorben a una velocidad constante, los fancoils soplan. Y los chillers se encienden y apagan en conjunto: extraer datos de ellos es complicado. No se puede detener la sala de máquinas para las pruebas.

Nos alegramos de que en su momento había una regla de colocar módulos de 5x5 racks de tal manera que su consumo promedio fuera de seis kW como máximo. Es decir, el calor no está concentrado en un solo lugar, sino distribuido por la sala de máquinas. Pero hay una situación donde 10 racks de 15 kW están juntos, pero frente a ellos está el almacenamiento. Está frío. Se equilibra.

Donde no hay rack, se necesita un separador hasta el suelo.

Además, algunos de nuestros clientes están aislados con rejas. También hubo varias peculiaridades con ellos.

Se cortaron las láminas porque el ancho de los racks no es fijo y la periodicidad de la rejilla de anclaje está determinada: tres o cuatro centímetros hacia la derecha o hacia la izquierda siempre será. Si tienes un bloque de 600 debajo del puesto de rack, hay un 85 por ciento de probabilidad de que no encaje. Y las láminas cortas y largas coexisten y se pegaban. A veces cortamos la lámina en forma de L siguiendo los contornos de los racks.

Sensores

Antes de reducir la potencia de los fan coils, era necesario configurar un monitoreo muy preciso de la temperatura en diferentes puntos del salón para evitar sorpresas. Así surgieron los sensores inalámbricos. Los sensores por cable requieren que se cuelgue un dispositivo diferente para cada fila para la interconexión de esos sensores, y a veces también extensiones. Esto se convierte en una guirnalda. Muy mal. Y cuando esos cables entran en las celdas de los clientes, los especialistas en seguridad inmediatamente se ponen nerviosos y piden que se explique con un certificado qué está pasando con esos cables. Hay que cuidar los nervios de los especialistas en seguridad. Por alguna razón, no tocan los sensores inalámbricos.

Y además, los racks llegan y se van. Es más fácil volver a montar el sensor magnético porque hay que colgarlo cada vez más alto o más bajo. Si los servidores están en la parte inferior del rack, hay que colocar el sensor más abajo, y no, como es estándar, a uno punto cinco metros del suelo en la puerta del rack en el pasillo frío. Allí no tiene sentido medir, hay que medir lo que está en el hardware.

Un sensor para tres racks — a menudo no es necesario colgar más. La temperatura no varía. Temíamos que hubiera un arrastre de aire a través de los propios racks, pero no sucedió. Sin embargo, seguimos proporcionando un poco más de aire frío de lo que indicaban los cálculos. Hicimos agujeritos en las lamas 3, 7 y 12, encima del rack hacemos un orificio. En él colocamos un anemómetro durante la inspección: observamos que el flujo va hacia donde debe.

Luego colgamos cintas brillantes: una práctica antigua de los francotiradores. Se ve extraño, pero permite detectar un posible problema más rápido.

Divertido

Mientras hacíamos todo esto en silencio, llegó un proveedor que produce ingeniería para centros de datos. Dice: vamos a venir y hablar sobre la eficiencia energética. Vienen, comienzan a hablar sobre la sala no óptima, flujos de aire. Asentimos con comprensión. Porque hace tres años que lo tenemos instalado.

Ellos cuelgan tres sensores por cada rack. Las imágenes de monitoreo son impresionantes, hermosas. Más de la mitad de esta solución en precio es software. A nivel de «alerta en Zabbix», pero propietario y muy caro. El problema adicional es que tienen sensores, software, y luego buscan un contratista en el lugar: no tienen sus proveedores para los cageings.

Se descubre que su trabajo cuesta de cinco a siete veces más que lo que hicimos nosotros.