🥇Como nos dedicamos à eficiência energética da sala de máquinas

Dedico este post às pessoas que mentiram nos certificados, o que quase nos levou a instalar fogos de artifício em nossas salas.

A história tem mais de quatro anos, mas estou publicando agora porque o NDA terminou. Na época, percebemos que ocupamos quase totalmente o data center (que alugamos), mas a eficiência energética não melhorou muito. A hipótese anterior era de que quanto mais o preenchêssemos, melhor seria, porque a engenharia se distribui entre todos. Mas percebemos que estávamos nos enganando nesse aspecto, e com uma boa carga, havia perdas em algum lugar. Trabalhamos em várias frentes, mas nossa corajosa equipe se dedicou ao resfriamento.

A vida real do data center é um pouco diferente do que está no projeto. Há constantes ajustes pela equipe de operações para aumentar a eficiência e otimizar as configurações para novas tarefas. Por exemplo, a mítica unidade média. Na prática, ela não existe, a carga é distribuída de forma desigual, em alguns lugares está cheia, em outros, vazia. Portanto, tivemos que reconfigurar algumas coisas para melhor eficiência energética.

Nosso data center Compressor é necessário para vários tipos de clientes. Portanto, no meio de racks comuns de dois a quatro quilowatts, pode haver um de 23 quilowatts ou mais. Assim, os condicionadores de ar foram ajustados para resfriá-los, e o ar simplesmente passava pelas unidades menos potentes.

A segunda hipótese era de que os corredores quentes e frios não se misturavam. Após medições, posso dizer que isso é uma ilusão, e a verdadeira aerodinâmica difere do modelo em praticamente todos os aspectos.

Inspeção

Primeiro começamos a observar os fluxos de ar nas salas. Por que investigamos isso? Porque entendíamos que o data center foi projetado para cinco a seis kW por rack, mas sabíamos que na prática variava de 0 a 25 kW. Regular tudo isso com placas é quase impossível: as primeiras medições mostraram que elas quase permitem a mesma quantidade. E não há placas para 25 kW, elas devem ser não apenas vazias, mas com vácuo líquido.

Compramos um anemômetro e começamos a medir os fluxos entre os racks e acima deles. Na verdade, é necessário trabalhar com ele de acordo com normas e uma série de padrões, difíceis de cumprir sem parar a sala de máquinas. O que nos interessava não era a precisão, mas a imagem geral. Ou seja, medimos aproximadamente.

De acordo com a medição, dos 100% de ar que sai dos racks, 60% chegam aos racks, o restante passa direto. Isso se deve ao fato de haver racks pesados de 15 a 25 kW, pelos quais a refrigeração é estruturada.

Não podemos simplesmente desligar os condicionadores de ar, porque nos racks quentes na área dos servidores superiores ficaria muito quente. Neste momento, entendemos que precisamos isolar algo de algo, para que o ar não pule de fila em fila e que a troca térmica no bloco ainda ocorra.

Paralelamente, nos perguntamos se isso é financeiramente viável.

Com surpresa, descobrimos que temos o consumo de energia do data center em geral, mas não conseguimos calcular os fan coils de uma sala específica. Ou seja, podemos fazer isso analiticamente, mas na prática — não. E não conseguimos avaliar a economia. A tarefa se torna cada vez mais interessante. Se economizarmos 10% da potência dos condicionadores de ar — quanto dinheiro poderemos destinar para o isolamento? Como calcular?

Fomos até os automatizadores que estavam aprimorando o sistema de monitoramento. Agradecemos aos rapazes: todos os sensores estavam lá, apenas precisávamos escrever mais código. Eles começaram a exibir separadamente chillers, UPS e iluminação. Com essa nova ferramenta, tivemos a possibilidade de ver como a situação muda nos elementos do sistema.

Experimentos com cortinas

Paralelamente, começamos experimentos com cortinas (divisórias). Decidimos fixá-las em pinos de canaletas de cabos (não havia mais nada a que agarrá-las), pois devem ser leves. Com os toldos ou grelhas, decidimos rapidamente.

O problema é que antes trabalhávamos com uma infinidade de fornecedores. Todos eles têm soluções para seus próprios data centers, mas para data centers comerciais, na verdade, não há soluções prontas. Nossos clientes entram e saem constantemente. Somos um dos poucos data centers 'pesados' sem limitações na largura dos racks, com a capacidade de aceitar esses servidores triturador de 25 kW. Nenhum planejamento de infraestrutura prévio. Ou seja, se formos optar por sistemas modulares de cage de fornecedores — sempre haverá lacunas de dois meses. Isso significa que, em princípio, o data center nunca será energeticamente eficiente.

Decidimos fazer por conta própria, ainda bem que temos nossos próprios engenheiros.

A primeira coisa que pegamos foram as cortinas de refrigeradores industriais. São como tiras flexíveis de polietileno, que você pode agitar. Você provavelmente as viu em algum lugar na entrada da seção de carnes dos supermercados maiores. Começamos a procurar materiais não tóxicos e não inflamáveis. Encontramos, compramos para dois corredores. Pendure-os e começamos a ver o que sairia.

Sabíamos que não seria fácil. Mas ficou realmente muito, muito difícil. Elas começam a se espalhar como macarrão em correntes de ar. Encontramos fitas magnéticas, como aquelas que ficam na porta da geladeira. Colamos elas nessas tiras, grudamos uma na outra, e a parede ficou consideravelmente monolítica.

Começamos a imaginar como seria o auditório.

Fomos até os construtores, mostramos nosso projeto. Eles olham e dizem: suas cortinas parecem muito pesadas. Setecentos quilos por todo o salão da máquina. Disseram, vá, bons amigos, para o inferno. Melhor dizendo, para a equipe de SCS. Deixe-os calcular quanto há de peso nas bandejas, porque 120 kg por metro quadrado é o máximo.

A SCS comentou: lembram que um cliente importante nos procurou? Ele tem dezenas de milhares de portas em uma sala. Nas extremidades do salão está tudo bem, mas mais perto do crossbar não funciona: as bandejas irão soltar.

Os construtores também pediram um certificado do material. Vale ressaltar que até então estávamos trabalhando sob a boa fé do fornecedor, já que era apenas um teste. Contatamos esse fornecedor e dissemos: OK, estamos prontos para entrar na fase beta, vamos precisar de toda a documentação. Eles enviaram algo que não parecia seguir um modelo padrão.

Dissemos: escute, onde você conseguiu esse documento? Eles responderam: foi o nosso fabricante chinês que enviou isso em resposta ao nosso pedido. Pelo documento, esse material não pega fogo de jeito nenhum.

Nesse momento, percebemos que era hora de parar e checar os fatos. Fomos falar com as meninas da segurança contra incêndios do Data Center, e elas nos indicaram um laboratório que verifica a inflamabilidade. Os preços e prazos eram razoáveis (embora tenham nos feito xingar tudo enquanto reuníamos a quantidade necessária de papéis). Os cientistas lá disseram: tragam o material, vamos fazer os testes.

No final, estava escrito que de um quilo da substância sobrava cerca de 50 gramas de cinzas. O restante queima intensamente, escorre e apoia muito bem a combustão em poças.

Entendemos - ainda bem que não compramos. Começamos a procurar outro material.

Encontramos policarbonato. Ele se revelou mais rígido. A folha transparente tem dois mm, as portas são de quatro mm. Na verdade, isso é acrílico. Começamos a conversa com o fabricante sobre a segurança contra incêndios: vamos ver o certificado. Eles enviam. Assinado pelo mesmo instituto. Ligamos para lá, dizemos: então, pessoal, vocês testaram isso?

Eles dizem: sim, testamos. Primeiro queimamos internamente, só depois levamos para os testes. De um quilo de material, fica (se queimá-lo com um maçarico) aproximadamente 930 gramas de cinzas. Ele derrete e pinga, mas uma poça não vai pegar fogo.

Verificamos imediatamente nossos ímãs (eles estão em uma base de polímero). Para nossa surpresa, queimam mal.

Compilação

A partir disso começamos a montar. O policarbonato é ótimo porque é mais leve que o polietileno, que se dobra muito pior. No entanto, eles entregam folhas de 2,5 por 3 metros, e para o fornecedor não importa o que fazer com isso. Precisamos de 2,8 cm de largura, entre 20 e 25 centímetros. As portas foram enviadas para empresas que cortam as folhas como necessário. E nós cortamos as lamelas sozinhos. O próprio processo de corte custa cerca de duas vezes mais que a folha.

Aqui está o que conseguimos:

O resultado — o sistema de cages se paga em menos de um ano. Economizamos cerca de 200–250 kW constantemente na potência dos fan coils. Um pouco mais nos chillers, quanto exatamente — não sabemos. Os servidores consomem com uma velocidade constante, os fan coils sopram. E os chillers ligam e desligam em gradiente: é difícil extrair dados deles. Não podemos parar a sala de máquinas para testes.

Estamos contentes que, em seu tempo, havia a regra de colocar rack de 5x5 módulos de forma que seu consumo médio não ultrapassasse seis kW. Ou seja, o calor não está concentrado em uma ilha, mas distribuído pela sala de máquinas. Mas há uma situação onde 10 racks de 15 kW estão próximos, enquanto há um armazenamento em frente — ele é frio. É equilibrado.

Onde não há rack — uma barreira até o chão é necessária.

E temos alguns clientes isolados por grades. Também houve algumas particularidades com eles.

Cortamos as lamelas porque a largura dos racks não é fixa, e a periodicidade dos suportes do gradiente é determinada: três a quatro cm para a direita ou para a esquerda sempre será. Se você tiver um bloco de 600 sob o lugar do rack, ele provavelmente não encaixará 85 por cento das vezes. E lamelas curtas e longas coexistem e se colam. Às vezes cortamos a lamela em forma de L de acordo com os contornos dos racks.

Sensores

Antes de reduzir a potência dos fan coils, era necessário configurar um monitoramento de temperatura muito preciso em diferentes pontos do ambiente, para evitar surpresas. Assim surgiram os sensores sem fio. Com os sensores com fio, é preciso instalar um dispositivo de cruzamento para cada fileira, e às vezes, cabos extensor. Isso se transforma em uma verdadeira decoração. Muito ruim. E quando esses fios entram nas racks dos clientes, os responsáveis pela segurança logo se preocupam e pedem explicações com o certificado sobre o que está sendo monitorado através desses fios. É importante preservar a paciência dos responsáveis pela segurança. Por algum motivo, eles não se incomodam com os sensores sem fio.

E ainda, as racks chegam e partem. O sensor magnético é mais fácil de reinstalar, pois precisa ser colocado mais alto ou mais baixo a cada vez. Se os servidores estão na parte inferior da rack, ele deve ser instalado abaixo, e não conforme o padrão a um metro e meio do chão em frente à porta da rack no corredor frio. Medir ali é inútil; precisamos medir o que está dentro do equipamento.

Um sensor para três racks — muitas vezes não é necessário instalar mais. A temperatura não varia. Temíamos que houvesse um arraste de ar através das próprias racks, mas isso não aconteceu. No entanto, ainda fornecemos um pouco mais de ar frio do que o estimado. Fizemos aberturas nas lâminas 3, 7 e 12, e acima da rack, criamos um orifício. Colocamos um anemômetro nele durante a inspeção: verificamos se o fluxo está indo para onde deve.

Depois, penduramos fitas coloridas: uma prática antiga dos snipers. Parece estranho, mas permite detectar problemas potenciais mais rapidamente.

Engraçado

Enquanto tudo isso estava sendo feito em silêncio, um fornecedor, que produz equipamentos para data centers, veio visitar. Eles disseram: vamos lá e falaremos sobre eficiência energética. Aí eles chegam e começam a falar sobre o ambiente não otimizado, fluxos de ar. Nós assentimos com compreensão, porque já temos isso instalado há três anos.

Eles instalam três sensores para cada rack. As imagens de monitoramento são impressionantes, bonitas. Mais da metade do custo dessa solução é referente ao software. No nível de "alerta no Zabbix", mas proprietário e muito caro. O problema é que eles têm os sensores e o software, mas depois precisam encontrar um contratado local: não têm fornecedores próprios para as cages.

Descobri que o custo deles é de cinco a sete vezes maior do que o que fizemos.