Dedícolle este post a aquelas persoas que mentiron nos certificados, polo que case instalamos bengalas nos nosos salóns.
A historia ten máis de catro anos, pero publícoa agora porque o NDA caducou. Entón démonos conta de que o centro de datos (que alugamos) estaba case completamente cargado e a súa eficiencia enerxética non mellorara moito. Antes, a hipótese era que canto máis o enchemos, mellor, porque o enxeñeiro está repartido entre todos. Pero resultou que nos enganábamos a nós mesmos neste sentido, e aínda que a carga era boa, houbo perdas nalgún lugar. Traballamos en moitas áreas, pero o noso valente equipo centrouse no arrefriamento.
A vida real dun centro de datos é un pouco diferente da que hai no proxecto. Axustes constantes do servizo de operacións para aumentar a eficiencia e optimizar a configuración para novas tarefas. Tome o mítico piar B. Na práctica, isto non ocorre; a distribución da carga é desigual, nalgún lugar denso, nalgún lugar baleiro. Entón tivemos que reconfigurar algunhas cousas para unha mellor eficiencia enerxética.
O noso centro de datos Compressor é necesario para unha variedade de clientes. Polo tanto, alí, entre os habituais bastidores de dous a catro quilovatios, ben pode haber un de 23 quilovatios ou máis. En consecuencia, os acondicionadores de aire estaban configurados para arrefrialos e o aire simplemente pasou a través dos bastidores menos potentes.
A segunda hipótese era que os corredores cálidos e fríos non se mesturan. Despois das medicións, podo dicir que esta é unha ilusión e que a aerodinámica real difiere do modelo en case todos os aspectos.
Enquisa
Primeiro comezamos a mirar os fluxos de aire nos corredores. Por que foron alí? Porque entendían que o centro de datos está deseñado para cinco a seis kW por rack, pero sabían que en realidade son de 0 a 25 kW. É case imposible regular todo isto con tellas: as primeiras medicións demostraron que transmiten case por igual. Pero non hai baldosas de 25 kW; non deben estar só baleiras, senón con baleiro de líquidos.
Compramos un anemómetro e comezamos a medir os fluxos entre os bastidores e por riba dos bastidores. En xeral, cómpre traballar con el de acordo con GOST e unha serie de estándares que son difíciles de implementar sen pechar a sala de turbinas. Non nos interesaba a precisión, senón a imaxe fundamental. É dicir, mediron aproximadamente.
Segundo as medicións, do 100 por cento do aire que sae das tellas, o 60 por cento entra nos bastidores, o resto pasa voando. Isto débese ao feito de que hai bastidores pesados de 15-25 kW ao longo dos que se constrúe o arrefriamento.
Non podemos apagar os acondicionadores de aire, porque estará moi quente nos bastidores quentes na zona dos servidores superiores. Neste momento entendemos que hai que illar algo doutra cousa para que o aire non salte de fila en fila e para que aínda se produza o intercambio de calor no bloque.
Ao mesmo tempo, preguntámonos se isto é viable economicamente.
Sorpréndenos ao descubrir que temos o consumo de enerxía do centro de datos no seu conxunto, pero simplemente non podemos contar as unidades de fan coil para unha sala específica. É dicir, analíticamente podemos, pero de feito non podemos. E non somos capaces de estimar o aforro. A tarefa faise cada vez máis interesante. Se aforramos un 10% da potencia do aire acondicionado, cantos cartos podemos destinar ao illamento? Como contar?
Fomos aos especialistas en automatización, que estaban rematando o sistema de vixilancia. Grazas aos rapaces: tiñan todos os sensores, só tiñan que engadir o código. Comezaron a instalar refrigeradores, UPS e iluminación por separado. Co novo gadget, foi posible ver como cambia a situación entre os elementos do sistema.
Experimentos con cortinas
Ao mesmo tempo, comezamos experimentos con cortinas (vallas). Decidimos montalos nos pasadores das bandexas de cables (non fai falta nada máis), xa que deben ser lixeiros. Axiña decidímonos por marquesiñas ou peites.
O problema é que xa tiñamos traballado previamente cun grupo de vendedores. Todo o mundo ten solucións para os propios centros de datos das empresas, pero esencialmente non hai solucións preparadas para un centro de datos comercial. Os nosos clientes van e veñen todo o tempo. Somos un dos poucos centros de datos "pesados" sen restricións de ancho de rack con capacidade para aloxar estes servidores de moedor de ata 25 kW. Sen planificación de infraestruturas con antelación. É dicir, se collemos sistemas modulares de gaiola dos vendedores, sempre haberá buratos durante dous meses. É dicir, a sala de turbinas nunca será eficiente enerxéticamente en principio.
Decidimos facelo nós, xa que temos os nosos propios enxeñeiros.
O primeiro que levaron foron cintas dos frigoríficos industriais. Estes son mocos de polietileno flexibles que podes golpear. Probablemente xa os vira nalgún lugar da entrada do departamento de carne das maiores tendas de comestibles. Comezaron a buscar materiais non tóxicos e non inflamables. Atopámolo e comprámolo por dúas filas. Colgámolo e comezamos a ver que pasaba.
Entendemos que non sería moi bo. Pero en xeral resultou moi, moi non moi ben. Comezan a revolotear nos regatos coma pasta. Atopamos cintas magnéticas como imáns de neveira. Pegámolos nestas tiras, pegámolos entre si e a parede resultou ser bastante monolítica.
Comezamos a descubrir o que lle esperaba ao público.
Imos aos construtores e amosámosvos o noso proxecto. Miran e din: as túas cortinas son moi pesadas. 700 quilos en toda a sala de turbinas. Vaia ao carallo, din, boa xente. Máis precisamente, ao equipo SKS. Que conte cantos fideos teñen nas bandexas, porque 120 kg por metro cadrado son o máximo.
SKS di: lembra, un gran cliente veu a nós? Ten decenas de miles de portos nunha mesma sala. Ao longo dos bordos da sala de turbinas aínda está ben, pero non será posible fixalo máis preto da sala de cruces: as bandexas caerán.
Os construtores tamén solicitaron un certificado para o material. Observo que antes traballamos na palabra de honra do provedor, xa que esta era só unha proba. Contactámonos con este provedor e dixémoslle: OK, estamos preparados para entrar en versión beta, dános todos os trámites. Envían algo que non é dun patrón moi establecido.
Nós dicimos: escoita, de onde conseguiches este papel? Eles: o noso fabricante chinés enviounos isto en resposta ás solicitudes. Segundo o xornal, esta cousa non arde en absoluto.
Neste punto decatámonos de que era hora de parar e comprobar os feitos. Acudimos ás rapazas do departamento de seguridade contra incendios do centro de datos, dinnos o laboratorio que proba a inflamabilidade. Diñeiro e prazos bastante terrestres (aínda que maldicimos todo mentres recompilabamos o número necesario de papeles). Os científicos alí din: trae o material, faremos probas.
En conclusión, escribiuse que dun quilo de substancia quedan uns 50 gramos de cinzas. O resto arde intensamente, flúe cara abaixo e mantén moi ben a combustión na poza.
Entendemos: é bo que non o compramos. Comezamos a buscar outro material.
Atopamos policarbonato. Resultou ser máis duro. A folla transparente é de dous mm, as portas son de catro mm. Esencialmente, é plexiglás. Xunto co fabricante, comezamos unha conversación coa seguridade contra incendios: dános un certificado. Envían. Asinado polo mesmo instituto. Chamamos alí e dicímoslle: ben, rapaces, comprobaches isto?
Din: si, comprobaron. Primeiro queimárono na casa, logo só o trouxeron para probas. Alí, dun quilo de material, quedan aproximadamente 930 gramos de cinzas (se o queimas cun queimador). Derrétese e gotea, pero a poza non se queima.
Inmediatamente comprobamos os nosos imáns (están nun forro de polímero). Sorprendentemente arden mal.
Asemblea
A partir disto comezamos a recoller. O policarbonato é xenial porque é máis lixeiro que o polietileno e se dobra moito menos facilmente. É certo que traen follas de 2,5 por 3 metros, e ao provedor non lle importa que facer con ela. Pero necesitamos 2,8 cun ancho de 20-25 centímetros. As portas foron enviadas a oficinas que cortaban as sabas segundo fose necesario. E nós mesmos cortamos as lamelas. O proceso de corte en si custa o dobre que unha folla.
Aquí tes o que pasou:
O resultado é que o sistema de engaiolado se amortiza en menos dun ano. Así é como aforramos 200-250 kW constantemente en potencia do fan coil. Non sabemos canto hai aínda nos refrixeradores, exactamente canto. Os servidores chupan a unha velocidade constante, os fan coils explotan. E os refrixeradores acéndense e apáganse cun peite: é difícil extraer datos del. Non se pode parar a sala de turbinas para realizar probas.
Alegrámonos de que no seu momento existira a norma de instalar bastidores 5x5 en módulos para que o seu consumo medio fose de seis kW como máximo. É dicir, o calor non está concentrado pola illa, senón que se distribúe por toda a sala de turbinas. Pero hai unha situación na que hai 10 pezas de bastidores de 15 quilovatios un ao carón do outro, pero hai unha pila deles fronte. Ten frío. Equilibrado.
Onde non hai mostrador, necesitas un valado ata o chan.
E algúns dos nosos clientes están illados con reixas. Tamén houbo varias peculiaridades con eles.
Cortan en lamelas, porque a anchura dos postes non está fixada e a frecuencia do peite das fixacións está determinada: sempre serán tres ou catro cm á dereita ou á esquerda. Se tes un bloque de 600 para espazo en rack, hai un 85 por cento de posibilidades de que non encaixe. E as lamelas curtas e longas conviven e péganse. Ás veces cortamos a lamela coa letra G ao longo dos contornos dos bastidores.
Sensores
Antes de reducir a potencia dos ventiloconvectores, foi necesario establecer un seguimento moi preciso da temperatura en distintos puntos do salón, para non coller sorpresas. Así xurdiron os sensores sen fíos. Con cable: en cada fila, debes colgar o teu propio para conectar estes sensores e, ás veces, cables de extensión. Isto convértese nunha guirlanda. Moi malo. E cando estes cables entran nas gaiolas dos clientes, os gardas de seguridade inmediatamente se emocionan e piden que expliquen cun certificado o que se está retirando por estes cables. Hai que protexer os nervios dos gardas de seguridade. Por algún motivo non tocan sensores sen fíos.
E máis postos veñen e van. É máis fácil montar un sensor nun imán porque debe colgarse máis ou máis baixo cada vez. Se os servidores están no terzo inferior do rack, deben colgarse cara abaixo e non segundo o estándar a un metro e medio do chan na porta do rack nun corredor frío. Non serve de nada medir alí, hai que medir o que hai no ferro.
Un sensor para tres bastidores - máis frecuentemente non tes que colgalo. A temperatura non é diferente. Tiñamos medo de que o aire fose atravesado polos propios puntais, pero iso non sucedeu. Pero aínda proporcionamos un pouco máis de aire frío que os valores calculados. Fixemos fiestras nos listóns 3, 7 e 12, e fixemos un burato encima do soporte. Ao dar a volta poñémoslle un anemómetro: vemos que o caudal vai onde debe.
Despois colgaron cordas brillantes: unha práctica antiga para os francotiradores. Parece estraño, pero permíteche detectar un posible problema máis rápido.
divertido
Mentres facíamos todo isto en silencio, chegou un provedor que produce equipos de enxeñería para centros de datos. Di: veñamos falarvos da eficiencia enerxética. Chegan e comezan a falar do salón subóptimo e dos fluxos de aire. Asentimos comprensivamente. Porque temos tres anos segundo o establecido.
Colgan tres sensores en cada rack. As imaxes do seguimento son impresionantes e fermosas. Máis da metade do prezo desta solución é software. A nivel de alerta Zabbix, pero propietario e moi caro. O problema é que teñen sensores, software, e despois buscan un contratista no lugar: non teñen os seus propios provedores para o cadging.
Resulta que as súas mans custan de cinco a sete veces máis que o que fixemos nós.
referencias
- .
- .
- .
- .
- .
- O meu correo: [protexido por correo electrónico]
Fonte: www.habr.com