{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Como nos dedicamos \u00e0 efici\u00eancia energ\u00e9tica do datacenter","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Como
\n
\nDedico este post \u00e0s pessoas que mentiram nos certificados, o que quase nos levou a instalar fogos de artif\u00edcio em nossas salas.<\/p>\n

A hist\u00f3ria tem mais de quatro anos, mas estou publicando agora porque o NDA terminou. Na \u00e9poca, percebemos que ocupamos quase totalmente o data center (que alugamos), mas a efici\u00eancia energ\u00e9tica n\u00e3o melhorou muito. A hip\u00f3tese anterior era de que quanto mais o preench\u00eassemos, melhor seria, porque a engenharia se distribui entre todos. Mas percebemos que est\u00e1vamos nos enganando nesse aspecto, e com uma boa carga, havia perdas em algum lugar. Trabalhamos em v\u00e1rias frentes, mas nossa corajosa equipe se dedicou ao resfriamento. <\/p>\n

A vida real do data center \u00e9 um pouco diferente do que est\u00e1 no projeto. H\u00e1 constantes ajustes pela equipe de opera\u00e7\u00f5es para aumentar a efici\u00eancia e otimizar as configura\u00e7\u00f5es para novas tarefas. Por exemplo, a m\u00edtica unidade m\u00e9dia. Na pr\u00e1tica, ela n\u00e3o existe, a carga \u00e9 distribu\u00edda de forma desigual, em alguns lugares est\u00e1 cheia, em outros, vazia. Portanto, tivemos que reconfigurar algumas coisas para melhor efici\u00eancia energ\u00e9tica.<\/p>\n

Nosso data center Compressor \u00e9 necess\u00e1rio para v\u00e1rios tipos de clientes. Portanto, no meio de racks comuns de dois a quatro quilowatts, pode haver um de 23 quilowatts ou mais. Assim, os condicionadores de ar foram ajustados para resfri\u00e1-los, e o ar simplesmente passava pelas unidades menos potentes. <\/p>\n

A segunda hip\u00f3tese era de que os corredores quentes e frios n\u00e3o se misturavam. Ap\u00f3s medi\u00e7\u00f5es, posso dizer que isso \u00e9 uma ilus\u00e3o, e a verdadeira aerodin\u00e2mica difere do modelo em praticamente todos os aspectos. <\/a><\/noindex><\/p>\n

Inspe\u00e7\u00e3o<\/h3>\n

\nPrimeiro come\u00e7amos a observar os fluxos de ar nas salas. Por que investigamos isso? Porque entend\u00edamos que o data center foi projetado para cinco a seis kW por rack, mas sab\u00edamos que na pr\u00e1tica variava de 0 a 25 kW. Regular tudo isso com placas \u00e9 quase imposs\u00edvel: as primeiras medi\u00e7\u00f5es mostraram que elas quase permitem a mesma quantidade. E n\u00e3o h\u00e1 placas para 25 kW, elas devem ser n\u00e3o apenas vazias, mas com v\u00e1cuo l\u00edquido. <\/p>\n

Compramos um anem\u00f4metro e come\u00e7amos a medir os fluxos entre os racks e acima deles. Na verdade, \u00e9 necess\u00e1rio trabalhar com ele de acordo com normas e uma s\u00e9rie de padr\u00f5es, dif\u00edceis de cumprir sem parar a sala de m\u00e1quinas. O que nos interessava n\u00e3o era a precis\u00e3o, mas a imagem geral. Ou seja, medimos aproximadamente.<\/p>\n

De acordo com a medi\u00e7\u00e3o, dos 100% de ar que sai dos racks, 60% chegam aos racks, o restante passa direto. Isso se deve ao fato de haver racks pesados de 15 a 25 kW, pelos quais a refrigera\u00e7\u00e3o \u00e9 estruturada. <\/p>\n

N\u00e3o podemos simplesmente desligar os condicionadores de ar, porque nos racks quentes na \u00e1rea dos servidores superiores ficaria muito quente. Neste momento, entendemos que precisamos isolar algo de algo, para que o ar n\u00e3o pule de fila em fila e que a troca t\u00e9rmica no bloco ainda ocorra. <\/p>\n

Paralelamente, nos perguntamos se isso \u00e9 financeiramente vi\u00e1vel. <\/p>\n

Com surpresa, descobrimos que temos o consumo de energia do data center em geral, mas n\u00e3o conseguimos calcular os fan coils de uma sala espec\u00edfica. Ou seja, podemos fazer isso analiticamente, mas na pr\u00e1tica \u2014 n\u00e3o. E n\u00e3o conseguimos avaliar a economia. A tarefa se torna cada vez mais interessante. Se economizarmos 10% da pot\u00eancia dos condicionadores de ar \u2014 quanto dinheiro poderemos destinar para o isolamento? Como calcular?<\/p>\n

Fomos at\u00e9 os automatizadores que estavam aprimorando o sistema de monitoramento. Agradecemos aos rapazes: todos os sensores estavam l\u00e1, apenas precis\u00e1vamos escrever mais c\u00f3digo. Eles come\u00e7aram a exibir separadamente chillers, UPS e ilumina\u00e7\u00e3o. Com essa nova ferramenta, tivemos a possibilidade de ver como a situa\u00e7\u00e3o muda nos elementos do sistema.<\/p>\n

Experimentos com cortinas<\/h3>\n

\nParalelamente, come\u00e7amos experimentos com cortinas (divis\u00f3rias). Decidimos fix\u00e1-las em pinos de canaletas de cabos (n\u00e3o havia mais nada a que agarr\u00e1-las), pois devem ser leves. Com os toldos ou grelhas, decidimos rapidamente. <\/p>\n

\"Como
\n
\n\"Como
\n
\nO problema \u00e9 que antes trabalh\u00e1vamos com uma infinidade de fornecedores. Todos eles t\u00eam solu\u00e7\u00f5es para seus pr\u00f3prios data centers, mas para data centers comerciais, na verdade, n\u00e3o h\u00e1 solu\u00e7\u00f5es prontas. Nossos clientes entram e saem constantemente. Somos um dos poucos data centers 'pesados' sem limita\u00e7\u00f5es na largura dos racks, com a capacidade de aceitar esses servidores triturador de 25 kW. Nenhum planejamento de infraestrutura pr\u00e9vio. Ou seja, se formos optar por sistemas modulares de cage de fornecedores \u2014 sempre haver\u00e1 lacunas de dois meses. Isso significa que, em princ\u00edpio, o data center nunca ser\u00e1 energeticamente eficiente. <\/p>\n

Decidimos fazer por conta pr\u00f3pria, ainda bem que temos nossos pr\u00f3prios engenheiros. <\/p>\n

A primeira coisa que pegamos foram as cortinas de refrigeradores industriais. S\u00e3o como tiras flex\u00edveis de polietileno, que voc\u00ea pode agitar. Voc\u00ea provavelmente as viu em algum lugar na entrada da se\u00e7\u00e3o de carnes dos supermercados maiores. Come\u00e7amos a procurar materiais n\u00e3o t\u00f3xicos e n\u00e3o inflam\u00e1veis. Encontramos, compramos para dois corredores. Pendure-os e come\u00e7amos a ver o que sairia. <\/p>\n

Sab\u00edamos que n\u00e3o seria f\u00e1cil. Mas ficou realmente muito, muito dif\u00edcil. Elas come\u00e7am a se espalhar como macarr\u00e3o em correntes de ar. Encontramos fitas magn\u00e9ticas, como aquelas que ficam na porta da geladeira. Colamos elas nessas tiras, grudamos uma na outra, e a parede ficou consideravelmente monol\u00edtica. <\/p>\n

Come\u00e7amos a imaginar como seria o audit\u00f3rio. <\/p>\n

Fomos at\u00e9 os construtores, mostramos nosso projeto. Eles olham e dizem: suas cortinas parecem muito pesadas. Setecentos quilos por todo o sal\u00e3o da m\u00e1quina. Disseram, v\u00e1, bons amigos, para o inferno. Melhor dizendo, para a equipe de SCS. Deixe-os calcular quanto h\u00e1 de peso nas bandejas, porque 120 kg por metro quadrado \u00e9 o m\u00e1ximo. <\/p>\n

A SCS comentou: lembram que um cliente importante nos procurou? Ele tem dezenas de milhares de portas em uma sala. Nas extremidades do sal\u00e3o est\u00e1 tudo bem, mas mais perto do crossbar n\u00e3o funciona: as bandejas ir\u00e3o soltar. <\/p>\n

Os construtores tamb\u00e9m pediram um certificado do material. Vale ressaltar que at\u00e9 ent\u00e3o est\u00e1vamos trabalhando sob a boa f\u00e9 do fornecedor, j\u00e1 que era apenas um teste. Contatamos esse fornecedor e dissemos: OK, estamos prontos para entrar na fase beta, vamos precisar de toda a documenta\u00e7\u00e3o. Eles enviaram algo que n\u00e3o parecia seguir um modelo padr\u00e3o. <\/p>\n

Dissemos: escute, onde voc\u00ea conseguiu esse documento? Eles responderam: foi o nosso fabricante chin\u00eas que enviou isso em resposta ao nosso pedido. Pelo documento, esse material n\u00e3o pega fogo de jeito nenhum. <\/p>\n

Nesse momento, percebemos que era hora de parar e checar os fatos. Fomos falar com as meninas da seguran\u00e7a contra inc\u00eandios do Data Center, e elas nos indicaram um laborat\u00f3rio que verifica a inflamabilidade. Os pre\u00e7os e prazos eram razo\u00e1veis (embora tenham nos feito xingar tudo enquanto reun\u00edamos a quantidade necess\u00e1ria de pap\u00e9is). Os cientistas l\u00e1 disseram: tragam o material, vamos fazer os testes. <\/p>\n

No final, estava escrito que de um quilo da subst\u00e2ncia sobrava cerca de 50 gramas de cinzas. O restante queima intensamente, escorre e apoia muito bem a combust\u00e3o em po\u00e7as. <\/p>\n

Entendemos - ainda bem que n\u00e3o compramos. Come\u00e7amos a procurar outro material. <\/p>\n

Encontramos policarbonato. Ele se revelou mais r\u00edgido. A folha transparente tem dois mm, as portas s\u00e3o de quatro mm. Na verdade, isso \u00e9 acr\u00edlico. Come\u00e7amos a conversa com o fabricante sobre a seguran\u00e7a contra inc\u00eandios: vamos ver o certificado. Eles enviam. Assinado pelo mesmo instituto. Ligamos para l\u00e1, dizemos: ent\u00e3o, pessoal, voc\u00eas testaram isso?<\/p>\n

Eles dizem: sim, testamos. Primeiro queimamos internamente, s\u00f3 depois levamos para os testes. De um quilo de material, fica (se queim\u00e1-lo com um ma\u00e7arico) aproximadamente 930 gramas de cinzas. Ele derrete e pinga, mas uma po\u00e7a n\u00e3o vai pegar fogo. <\/p>\n

Verificamos imediatamente nossos \u00edm\u00e3s (eles est\u00e3o em uma base de pol\u00edmero). Para nossa surpresa, queimam mal. <\/p>\n

Compila\u00e7\u00e3o<\/h3>\n

\nA partir disso come\u00e7amos a montar. O policarbonato \u00e9 \u00f3timo porque \u00e9 mais leve que o polietileno, que se dobra muito pior. No entanto, eles entregam folhas de 2,5 por 3 metros, e para o fornecedor n\u00e3o importa o que fazer com isso. Precisamos de 2,8 cm de largura, entre 20 e 25 cent\u00edmetros. As portas foram enviadas para empresas que cortam as folhas como necess\u00e1rio. E n\u00f3s cortamos as lamelas sozinhos. O pr\u00f3prio processo de corte custa cerca de duas vezes mais que a folha.<\/p>\n

Aqui est\u00e1 o que conseguimos:<\/p>\n

\"Como
\n
\nO resultado \u2014 o sistema de cages se paga em menos de um ano. Economizamos cerca de 200\u2013250 kW constantemente na pot\u00eancia dos fan coils. Um pouco mais nos chillers, quanto exatamente \u2014 n\u00e3o sabemos. Os servidores consomem com uma velocidade constante, os fan coils sopram. E os chillers ligam e desligam em gradiente: \u00e9 dif\u00edcil extrair dados deles. N\u00e3o podemos parar a sala de m\u00e1quinas para testes. <\/p>\n

Estamos contentes que, em seu tempo, havia a regra de colocar rack de 5x5 m\u00f3dulos de forma que seu consumo m\u00e9dio n\u00e3o ultrapassasse seis kW. Ou seja, o calor n\u00e3o est\u00e1 concentrado em uma ilha, mas distribu\u00eddo pela sala de m\u00e1quinas. Mas h\u00e1 uma situa\u00e7\u00e3o onde 10 racks de 15 kW est\u00e3o pr\u00f3ximos, enquanto h\u00e1 um armazenamento em frente \u2014 ele \u00e9 frio. \u00c9 equilibrado.<\/p>\n

Onde n\u00e3o h\u00e1 rack \u2014 uma barreira at\u00e9 o ch\u00e3o \u00e9 necess\u00e1ria. <\/p>\n

E temos alguns clientes isolados por grades. Tamb\u00e9m houve algumas particularidades com eles. <\/p>\n

Cortamos as lamelas porque a largura dos racks n\u00e3o \u00e9 fixa, e a periodicidade dos suportes do gradiente \u00e9 determinada: tr\u00eas a quatro cm para a direita ou para a esquerda sempre ser\u00e1. Se voc\u00ea tiver um bloco de 600 sob o lugar do rack, ele provavelmente n\u00e3o encaixar\u00e1 85 por cento das vezes. E lamelas curtas e longas coexistem e se colam. \u00c0s vezes cortamos a lamela em forma de L de acordo com os contornos dos racks.<\/p>\n

\"Como
\n<\/p>\n

Sensores<\/h3>\n

\nAntes de reduzir a pot\u00eancia dos fan coils, era necess\u00e1rio configurar um monitoramento de temperatura muito preciso em diferentes pontos do ambiente, para evitar surpresas. Assim surgiram os sensores sem fio. Com os sensores com fio, \u00e9 preciso instalar um dispositivo de cruzamento para cada fileira, e \u00e0s vezes, cabos extensor. Isso se transforma em uma verdadeira decora\u00e7\u00e3o. Muito ruim. E quando esses fios entram nas racks dos clientes, os respons\u00e1veis pela seguran\u00e7a logo se preocupam e pedem explica\u00e7\u00f5es com o certificado sobre o que est\u00e1 sendo monitorado atrav\u00e9s desses fios. \u00c9 importante preservar a paci\u00eancia dos respons\u00e1veis pela seguran\u00e7a. Por algum motivo, eles n\u00e3o se incomodam com os sensores sem fio. <\/p>\n

E ainda, as racks chegam e partem. O sensor magn\u00e9tico \u00e9 mais f\u00e1cil de reinstalar, pois precisa ser colocado mais alto ou mais baixo a cada vez. Se os servidores est\u00e3o na parte inferior da rack, ele deve ser instalado abaixo, e n\u00e3o conforme o padr\u00e3o a um metro e meio do ch\u00e3o em frente \u00e0 porta da rack no corredor frio. Medir ali \u00e9 in\u00fatil; precisamos medir o que est\u00e1 dentro do equipamento. <\/p>\n

Um sensor para tr\u00eas racks \u2014 muitas vezes n\u00e3o \u00e9 necess\u00e1rio instalar mais. A temperatura n\u00e3o varia. Tem\u00edamos que houvesse um arraste de ar atrav\u00e9s das pr\u00f3prias racks, mas isso n\u00e3o aconteceu. No entanto, ainda fornecemos um pouco mais de ar frio do que o estimado. Fizemos aberturas nas l\u00e2minas 3, 7 e 12, e acima da rack, criamos um orif\u00edcio. Colocamos um anem\u00f4metro nele durante a inspe\u00e7\u00e3o: verificamos se o fluxo est\u00e1 indo para onde deve.<\/p>\n

\"Como
\n
\nDepois, penduramos fitas coloridas: uma pr\u00e1tica antiga dos snipers. Parece estranho, mas permite detectar problemas potenciais mais rapidamente. <\/p>\n

\"Como
\n <\/p>\n

Engra\u00e7ado<\/h3>\n

\nEnquanto tudo isso estava sendo feito em sil\u00eancio, um fornecedor, que produz equipamentos para data centers, veio visitar. Eles disseram: vamos l\u00e1 e falaremos sobre efici\u00eancia energ\u00e9tica. A\u00ed eles chegam e come\u00e7am a falar sobre o ambiente n\u00e3o otimizado, fluxos de ar. N\u00f3s assentimos com compreens\u00e3o, porque j\u00e1 temos isso instalado h\u00e1 tr\u00eas anos. <\/p>\n

Eles instalam tr\u00eas sensores para cada rack. As imagens de monitoramento s\u00e3o impressionantes, bonitas. Mais da metade do custo dessa solu\u00e7\u00e3o \u00e9 referente ao software. No n\u00edvel de \"alerta no Zabbix\", mas propriet\u00e1rio e muito caro. O problema \u00e9 que eles t\u00eam os sensores e o software, mas depois precisam encontrar um contratado local: n\u00e3o t\u00eam fornecedores pr\u00f3prios para as cages.<\/p>\n

Descobri que o custo deles \u00e9 de cinco a sete vezes maior do que o que fizemos.<\/p>\n

Links<\/h3>\n

<\/p>\n