Em algum lugar entre Moscou e São Petersburgo existe uma pequena cidade chamada Udomlya. Anteriormente, era conhecido pela Usina Nuclear Kalinin. Em 2019, outra atração apareceu nas proximidades - o megadata center Udomlya com 4 mil racks.
Depois de ingressar na equipe Rostelecom-DPC, especialistas da DataLine também estarão envolvidos na operação deste data center. Certamente você já ouviu algo sobre “Udomlya”. Hoje decidimos contar detalhadamente como tudo funciona por lá.
Paisagens industriais: um data center de 32 m² e uma usina nuclear ao fundo. Amostra Udomlya primavera de 000.
Abaixo do corte coletamos mais de 40 fotos dos sistemas de engenharia do data center com uma descrição detalhada. Uma agradável surpresa aguarda quem chega ao fim.
Sobre logística
O data center está localizado na região de Tver. A viagem de Moscou a Udomlya levará cerca de três horas: 1 hora e 45 minutos em Sapsan até a estação Vyshny Volochek, e de lá, mediante solicitação prévia, um ônibus irá encontrá-lo e levá-lo ao data center. De São Petersburgo a Vyshny Volochek demora um pouco mais - 2 horas e 20 minutos.
De carro você pode chegar de Moscou em 4,5 horas, de São Petersburgo em 5.
Sim, você provavelmente não vai querer comprar algumas unidades aqui. Mas se você precisa de um novo lar para dezenas de racks, vale a pena dar uma olhada mais de perto. Há espaço e eletricidade suficientes, mesmo que você queira dobrar esse valor a qualquer momento. Em Moscou, onde, em nossa experiência, os data centers são reservados na fase de construção, esse truque nem sempre funciona.
Além disso, a localização do data center entre Moscou e São Petersburgo pode ser usada para reserva geográfica. Se as instalações principais estiverem em Moscou ou São Petersburgo, um local de backup seria adequado.
A equipe de mãos inteligentes ajudará em todas as operações padrão no local. Eles receberão, desembalarão e instalarão equipamentos em racks, conectarão à energia e à rede e fornecerão acesso remoto aos equipamentos. Em caso de mau funcionamento, eles ajudarão no diagnóstico e na substituição de componentes com falha.
A primeira etapa do data center é composta por 4 salas de informática, ou módulos, com 205 racks cada. Existem 2 casas de máquinas e um centro de energia no rés-do-chão, e mais duas salas e um centro de refrigeração no segundo andar. Vamos ver como tudo funciona aqui.
Segurança física
O data center ocupa uma área designada, onde não é possível entrar sem passe e documento de identificação. Quem chega de carro também recebe um passe de transporte e só depois pode entrar no data center. Para quem está com tudo em ordem com o passe, o data center funciona 24 horas por dia, 7 dias por semana.
O primeiro posto de segurança XNUMX horas é a entrada do território.
Vamos mais longe e chegamos ao posto de controle logo na entrada do data center.
Os agentes de segurança não apenas cumprimentam os clientes e emitem passes, mas também monitoram XNUMX horas por dia o video wall, que exibe imagens de todas as dependências internas do data center e arredores.
Fonte de alimentação
A eletricidade começa sua jornada até o data center a partir da usina nuclear. O data center recebe 10 kV para 6 transformadores abaixadores. Em seguida, 0,4 kV passa por duas rotas independentes até o quadro de distribuição de baixa tensão (LVSD). Então, por meio do DIBP, a energia é fornecida aos equipamentos de TI e de engenharia. Duas entradas independentes são adequadas para o rack, ou seja, redundância 2N. Contaremos mais sobre como tudo funciona em termos de fonte de alimentação em um artigo separado.
O caminho da eletricidade no data center Udomlya
Barramentos de energia através dos quais a eletricidade vem do RUNN para os painéis de energia DIBP
Linhas de RUNN
Apesar de existir uma usina nuclear próxima, em qualquer data center confiável o fornecimento de energia principal é considerado garantido. Em nossos data centers, como você sabe, os grupos geradores a diesel são responsáveis por isso, mas aqui são usados UPS dinâmicos (DIUPS). Eles também fornecem fonte de alimentação ininterrupta. Os DIUPs são reservados de acordo com o esquema N+1.
Marca DIPS Euro-Diesel (Kinolt) com capacidade de 2 MW. Eles rugem tão alto que é melhor não entrar sem protetores de ouvido.
E é assim que funciona. DIBP é uma combinação de três componentes principais: um motor diesel, uma máquina elétrica síncrona e um acumulador de energia cinética com rotor. Todos eles são fixados no eixo principal.
A máquina elétrica pode operar em modo motor elétrico e gerador. Quando o DIBP é alimentado regularmente pela cidade, a máquina elétrica é um motor elétrico que gira o rotor e armazena energia cinética na bateria.
O bloco cinza em primeiro plano é uma máquina síncrona DIBP
Motor diesel DIBP
Se houver falta de energia na cidade, a máquina elétrica muda para o modo gerador. Graças à energia cinética acumulada, o rotor faz girar o eixo principal do DIBP, a máquina elétrica continua operando sem energia da cidade e a tensão de saída não desaparece. Isso garante fornecimento de energia ininterrupto no data center. Ao mesmo tempo, o sistema de controle DIBP envia um sinal para dar partida no motor diesel. A mesma energia cinética do rotor dá partida no motor diesel e o ajuda a atingir a frequência operacional. O rotor mantém a velocidade por até um minuto, e isso é suficiente para que o diesel entre em ação. Após a partida, o motor diesel gira o eixo principal, e através dele a máquina elétrica (aqui mudar o DIBP de um modo para outro).
Como resultado, a energia nos racks não é perdida nem por um segundo.
O tanque de cada gerador a diesel é projetado para 3 horas. O data center também possui armazenamento próprio de combustível para 80 toneladas, que manterá toda a carga do data center por 24 horas. No caso de apagões muito hipotéticos (a usina nuclear próxima não permitirá isso), existem acordos com vários empreiteiros que entregarão prontamente óleo diesel no local mediante solicitação. Em geral, tudo está como deveria ser.
Toda semana os DIBPs fazem autoteste e dão partida no motor diesel. Uma vez por mês, são realizados testes com desligamento temporário da rede municipal.
Painel de controle DIBP
Instalações ShchGP e ShchBP
“Linhas tronco” e “junções” de cabos de energia
Salas de máquinas
Cada módulo está localizado em uma zona hermética, em uma caixa especial. Estas paredes e telhado adicionais protegem a sala da turbina contra poeira, água e fogo. Ao aceitar um data center, a área de contenção é tradicionalmente derramada com água para verificar se há vazamentos.
O telhado do edifício e o próprio telhado da sala das turbinas com tubos de drenagem
A água que cai no telhado da zona de contenção passa pelas calhas até a tubulação de drenagem
Cada sala está preparada para receber 205 racks com potência média de 5 kW.
A disposição dos equipamentos no hall é organizada de acordo com o esquema de corredores frios e quentes.
Sistemas sólidos de detecção precoce de incêndio e extinção de incêndio a gás são direcionados ao longo do teto.
Sensores de fumaça também estão localizados sob o piso elevado. Basta acionar dois sensores quaisquer e a sirene do alarme de incêndio soará, mas falaremos sobre isso um pouco mais tarde.
Bem ali, ao longo das fileiras de aparelhos de ar condicionado, estão sensores de vazamento de fita.
Cada corredor entre os balcões é “vigiado” com câmeras CCTV.
Se desejar, os racks podem ser colocados atrás de uma cerca especial (gaiola) e câmeras adicionais, sistemas de controle de acesso e sensores de movimento, sensores de volume, etc.
Refrigeração
O data center Udomlya usa um circuito resfriador de etilenoglicol. Existem condicionadores de ar nas salas de máquinas, chillers na cobertura e no segundo andar uma central de refrigeração com tubulações, sistema de automação e controle, bombas, tanques de armazenamento, etc.
Cada sala possui 12 aparelhos de ar condicionado, metade deles com umidificadores a vapor. Esquema de redundância N+1.
No corredor frio, a temperatura é mantida entre 21–25 °C e umidade entre 40–60%.
Ar condicionado de precisão Stulz Cyber Cool
Existem dois anéis ao redor de cada sala de máquinas: uma linha “fria” que fornece etilenoglicol resfriado ao ar condicionado e uma linha “quente” que remove o glicol aquecido dos aparelhos de ar condicionado para os resfriadores. Se abrirmos o piso elevado do corredor, veremos quedas do sistema de refrigeração nas casas de máquinas.
A rota do etilenoglicol é a seguinte: do ar condicionado, o etilenoglicol aquecido entra primeiro na linha de retorno ao redor da sala de máquinas e depois no anel comum. Em seguida, o etilenoglicol vai para a bomba e depois para o chiller, onde é resfriado a 10 °C. Após o resfriador, o etilenoglicol retorna ao ar condicionado através da linha de alimentação do anel comum, dos tanques de armazenamento e do anel ao redor do módulo.
Diagrama de fornecimento de refrigeração do data center
É assim que se parece um centro de refrigeração por onde passam 100 m3 de etilenoglicol
Os contêineres cinza são tanques de expansão. O etilenoglicol aquecido passa através deles a caminho do resfriador. No verão, o etilenoglicol se expande e requer espaço adicional.
Esses impressionantes contêineres são tanques de armazenamento de 5 m3 cada. Eles fornecem resfriamento ininterrupto do data center em caso de falha do chiller.
O etilenoglicol resfriado dos tanques é fornecido ao sistema, e isso permite que a temperatura de saída do ar condicionado seja mantida em 19 °C por 5 minutos. Mesmo que esteja +40°C lá fora.
Bombas de refrigeração
Filtros de bolso de malha e tanques separadores para purificação de etilenoglicol de partículas mecânicas e ar
A fina linha vermelha no chão sob os canos é a fita do sensor de vazamento. Eles percorrem todo o perímetro da central frigorífica.
Se alguma das tubulações vazar, o etilenoglicol passará pela rede de drenagem e irá parar em um tanque especial na sala de tratamento de água. Existem também dois tanques com etilenoglicol “sobressalente” para reabastecer o sistema de refrigeração em caso de grandes vazamentos.
E sobre resfriadores. Existem 5 chillers no telhado usando um esquema de redundância N+1. Diariamente, a automação determina, em função das horas de funcionamento, qual chiller colocar em reserva.
Chillers da marca Stulz CyberCool 2 com capacidade de 1096 kW
Os chillers suportam três modos:
- compressor – a partir de 12 °C;
- misturado – a 0–12 °C;
- resfriamento livre – de 0 e abaixo. Este modo envolve o resfriamento do etilenoglicol através da operação de ventiladores em vez de um compressor.
segurança contra incêndios
O data center possui duas estações de extinção de incêndio a gás. Cada uma contém duas baterias de 11 cilindros: a primeira é a principal, a segunda é a reserva.
O sistema de combate a incêndio do data center está vinculado ao servidor da central nuclear de Kalinin e, se necessário, o próprio corpo de bombeiros da estação chegará ao local em poucos minutos.
A foto mostra um sistema de alarme de incêndio e um botão de saída de emergência na sala das turbinas. Este último é necessário se as portas não foram destrancadas por algum motivo durante um alarme de incêndio: corta a alimentação da fechadura elétrica.
Telecom
Duas rodovias da Rostelecom chegam ao data center por meio de rotas independentes. Cada sistema DWDM tem capacidade de 8 Terabits.
O data center possui duas entradas de telecomunicações, que ficam distantes mais de 25 metros uma da outra.
Também estão presentes no site as operadoras Rascom, Telia Carrier Russia, Consyst e DataLine que aparecerão em um futuro próximo.
De Udomlya você pode construir um canal para Moscou, São Petersburgo ou qualquer lugar da Rússia e do mundo.
Monitoramento
Engenheiros de plantão estão de plantão no centro de monitoramento XNUMX horas por dia.
Aqui são recebidas todas as informações sobre os sistemas de engenharia: condições climáticas do pavilhão, estado das entradas, DIBP, etc.
A cada duas horas, o pessoal de plantão faz um tour por todas as instalações da infraestrutura para inspecionar as condições dos equipamentos de engenharia e TI.
Infraestrutura de apoio
É disponibilizada uma área de descarga para entrega dos equipamentos ao data center.
Área de descarga por dentro.
Se o seu hall estiver no segundo andar, este elevador hidráulico entregará qualquer equipamento lá.
Armários para armazenar ferramentas de cliente e muito mais.
Um pouco sobre o dia a dia
Para funcionários permanentes, você pode alugar locais de trabalho equipados na parte de escritórios. Se você visitar de vez em quando, poderá se hospedar em um hotel temporário com todas as comodidades no território do data center.
A parte de escritório conta ainda com sala de jantar e cozinha.
E há uma natureza incrível ao redor com florestas, lagos, rios, pesca e outras atividades ao ar livre. Venha fazer uma visita.
Como prometido, um belo bônus para quem chegou até o fim. Durante os primeiros seis meses, o aluguel de um rack em Udomlya com potência fornecida de 5 kW será gratuito. Pague apenas pela eletricidade efetivamente consumida. Envie a sua candidatura para .
Fonte: habr.com