Nalgún lugar no medio entre Moscova e San Petersburgo hai unha pequena cidade chamada Udomlya. Anteriormente, era coñecida pola Central Nuclear de Kalinin. En 2019, apareceu outra atracción preto: o centro de megadatos Udomlya con 4 mil racks.
Despois de unirse ao equipo de Rostelecom-DPC, os especialistas de DataLine tamén participarán no funcionamento deste centro de datos. Seguro que xa escoitaches algo sobre "Udomlya". Hoxe decidimos contarvos en detalle como funciona todo alí.
Paisaxes industriais: un centro de datos de 32 m² e unha central nuclear ao fondo. Mostra de Udomlya primavera 000.
Debaixo do corte recollemos máis de 40 fotos dos sistemas de enxeñería do centro de datos cunha descrición detallada. Unha agradable sorpresa agarda aos que chegan ao final.
Sobre a loxística
O centro de datos está situado na rexión de Tver. A viaxe de Moscova a Udomlya durará unhas tres horas: 1 hora e 45 minutos en Sapsan ata a estación de Vyshny Volochek, e desde alí, previa solicitude, unha lanzadeira recibirache e levaráte ao centro de datos. De San Petersburgo a Vyshny Volochek leva un pouco máis de tempo - 2 horas e 20 minutos.
En coche pódese chegar desde Moscova en 4,5 horas, desde San Petersburgo en 5.
Si, probablemente non queiras ir aquí por un par de unidades. Pero se necesitas un novo fogar para decenas de bastidores, paga a pena botar unha ollada máis atentamente. Hai espazo e electricidade suficientes, aínda que queiras duplicar esta cantidade en calquera momento. En Moscova, onde, segundo a nosa experiencia, os centros de datos están reservados na fase de construción, este truco non sempre funcionará.
Ademais, a localización do centro de datos entre Moscova e San Petersburgo pódese utilizar para a xeo-reserva. Se as instalacións principais están en Moscova ou San Petersburgo, entón un sitio de reserva encaixaría ben.
O equipo de mans intelixentes axudará con todas as operacións estándar no lugar. Recibirán, desembalarán e instalarán equipos en bastidores, conectarán á alimentación e á rede e proporcionarán acceso remoto aos equipos. En caso de mal funcionamento, axudarán co diagnóstico e substituirán os compoñentes que fallan.
A primeira etapa do centro de datos consta de 4 salas de informática, ou módulos, con 205 racks cada unha. Hai 2 salas de máquinas e un centro de enerxía na planta baixa, e dúas salas máis e un centro de refrixeración na segunda planta. Imos ver como funciona todo aquí.
Seguridade física
O centro de datos ocupa unha zona designada, á que non se pode acceder sen un pase e un documento de identificación. Os que chegan en coche tamén reciben un pase de transporte e só despois poden entrar no centro de datos. Para aqueles que teñan todo en orde co seu pase, o centro de datos está aberto 24x7.
O primeiro posto de seguridade XNUMX horas é a entrada ao territorio.
Imos máis aló e chegamos ao punto de control directamente na entrada do centro de datos.
Os axentes de seguridade non só saúdan aos clientes e emiten pases, senón que tamén supervisan o muro de vídeo durante todo o día, que mostra imaxes de todas as instalacións internas do centro de datos e das áreas circundantes.
Fonte de alimentación
A electricidade comeza a súa viaxe ao centro de datos desde a central nuclear. O centro de datos recibe 10 kV para 6 transformadores reductores. A continuación, 0,4 kV pasa por dúas vías independentes ata a aparamenta de baixa tensión (LVSD). A continuación, a través do DIBP, submítese enerxía aos equipos informáticos e de enxeñería. Dúas entradas independentes son adecuadas para o rack, é dicir, redundancia 2N. Contarémosche máis sobre como funciona todo en termos de subministración de enerxía nun artigo separado.
O camiño da electricidade no centro de datos de Udomlya
Autobuses eléctricos a través dos cales chega a electricidade dende o RUNN ata os paneis de enerxía DIBP
Filas de RUNN
A pesar de que hai unha central nuclear nas proximidades, en calquera centro de datos fiable considérase garantida a subministración de enerxía principal. Nos nosos centros de datos, como sabes, os grupos electróxenos diésel son os responsables diso, pero aquí utilízanse os SAI dinámicos (DIUPS). Tamén proporcionan alimentación ininterrompida. As DIUP resérvanse segundo o esquema N+1.
Euro-Diesel da marca DIPS (Kinolt) cunha potencia de 2 MW. Ruxen tan forte que é mellor non entrar alí sen tapóns para os oídos.
E así é como funciona. O DIBP é unha combinación de tres compoñentes principais: un motor diésel, unha máquina eléctrica síncrona e un acumulador de enerxía cinética cun rotor. Todos eles están fixados no eixe principal.
A máquina eléctrica pode funcionar en modo de motor eléctrico e xerador. Cando o DIBP é alimentado regularmente desde a cidade, a máquina eléctrica é un motor eléctrico que fai xirar o rotor e almacena enerxía cinética na batería.
O bloque gris no primeiro plano é unha máquina sincrónica DIBP
Motor diésel DIBP
Se a enerxía da cidade se apaga, a máquina eléctrica pasa ao modo xerador. Grazas á enerxía cinética acumulada, o rotor fai que o eixe principal do DIBP xire, a máquina eléctrica segue a funcionar sen enerxía da cidade e a tensión de saída non desaparece. Isto garante a subministración de enerxía ininterrompida no centro de datos. Ao mesmo tempo, o sistema de control DIBP envía un sinal para arrancar o motor diésel. A mesma enerxía cinética do rotor pon en marcha o motor diésel e axúdalle a alcanzar a frecuencia de funcionamento. O rotor mantén a velocidade ata un minuto, e isto é suficiente para que o diésel entre en xogo. Despois do arranque, o motor diésel fai xirar o eixe principal e, a través del, a máquina eléctrica (aquí cambiar o DIBP dun modo a outro).
Como resultado, a potencia nos bastidores non se perde nin por un segundo.
O tanque de cada xerador diésel está deseñado para 3 horas. O centro de datos tamén ten a súa propia instalación de almacenamento de combustible para 80 toneladas, que manterá toda a carga do centro de datos durante 24 horas. En caso de apagóns moi hipotéticos (a central nuclear próxima non o permitirá), hai acordos con varios contratistas que entregarán de inmediato gasóleo ao lugar previa chamada. En xeral, todo é como debe ser.
Cada semana, os DIBP autoproba e arrancan o motor diésel. Unha vez ao mes realízanse as probas cunha parada a curto prazo da rede da cidade.
Panel de control DIBP
Instalacións ShchGP e ShchBP
"Liñas troncais" e "unións" dos cables de alimentación
Salas de máquinas
Cada módulo está situado nunha zona hermética, nunha caixa especial. Estas paredes e tellados adicionais protexen a sala de turbinas do po, da auga e do lume. Cando se acepta un centro de datos, a zona de contención é tradicionalmente derramada con auga para comprobar as fugas.
A cuberta do edificio e a cuberta propia da sala de turbinas con canalizacións de drenaxe
A auga que cae sobre o tellado da zona de contención pasa por cunetas cara á canalización de drenaxe
Cada nave está preparada para aceptar 205 racks cunha potencia media de 5 kW.
A disposición dos equipos no salón organízase segundo o esquema de corredores fríos e quentes.
Os sistemas de detección precoz de incendios e extinción de incendios con gas están encamiñados ao longo do teito.
Os sensores de fume tamén están situados baixo o chan elevado. É suficiente activar dous sensores e soará a sirena de alarma de incendio, pero diso falaremos un pouco máis tarde.
Alí mesmo, ao longo das filas de aire acondicionado, hai sensores de fugas de cinta.
Cada corredor entre os mostradores está "vixiado" con cámaras CCTV.
Se o desexa, os bastidores pódense colocar detrás dunha cerca especial (gaiola) e nel pódense instalar cámaras adicionais, sistemas de control de acceso e sensores de movemento, sensores de volume, etc.
Refrixeración
O centro de datos de Udomlya usa un circuíto de refrixeración de etilenglicol. Hai aire acondicionado nas salas de máquinas, chillers no tellado, e na segunda planta hai un centro frigorífico con canalizacións, sistema de automatización e control, bombas, depósitos de almacenamento, etc.
Cada habitación ten 12 equipos de aire acondicionado, a metade deles con humidificador de vapor. Réxime de redundancia N+1.
No corredor frío, a temperatura mantense entre 21-25 °C e a humidade do 40-60%.
Aire acondicionado de precisión Stulz Cyber Cool
Hai dous aneis ao redor de cada sala de máquinas: unha liña "fría" que subministra etilenglicol arrefriado ao aire acondicionado e unha liña "quente" que elimina o glicol quente dos equipos de aire acondicionado aos refrigeradores. Se abrimos o chan elevado no corredor, veremos caídas nas salas de máquinas procedentes do sistema de refrixeración.
A ruta do etilenglicol é a seguinte: dende o aire acondicionado, o etilenglicol quente entra primeiro na liña de retorno ao redor da sala de máquinas e despois no anel común. Despois, o etilenglicol vai á bomba e despois ao enfriador, onde se arrefría a 10 °C. Despois do enfriador, o etilenglicol volve ao aire acondicionado a través da liña de subministración de anel común, os tanques de almacenamento e o anel que rodea o módulo.
Diagrama de subministración de refrixeración do centro de datos
Así se ve un centro frigorífico polo que pasan 100 m3 de etilenglicol
Os recipientes grises son tanques de expansión. O etilenglicol quente pasa por eles no seu camiño cara ao enfriador. No verán, o etilenglicol se expande e require espazo adicional.
Estes impresionantes contedores son tanques de almacenamento de 5 m3 cada un. Proporcionan arrefriamento ininterrompido do centro de datos en caso de falla do enfriador.
O etilenglicol arrefriado dos depósitos é subministrado ao sistema, o que permite que a temperatura de saída do aire acondicionado se manteña a 19 °C durante 5 minutos. Aínda que fóra a +40 °C.
Bombas de refrixeración
Filtros de peto de malla e tanques separadores para purificar etilenglicol de partículas mecánicas e aire
A fina liña vermella no chan debaixo dos tubos é a cinta do sensor de fugas. Percorren todo o perímetro do centro frigorífico.
Se algún dos tubos ten fugas, o etilenglicol pasará polo sistema de drenaxe e acabará nun tanque especial na sala de tratamento de auga. Tamén hai dous depósitos con etilenglicol "de recambio" para repoñer o sistema de refrixeración en caso de grandes fugas.
E sobre refrixeradores. No tellado hai 5 refrixeradores mediante esquema de redundancia N+1. Cada día, a automatización determina, en función das horas de funcionamento, que refrigerador poñer en reserva.
Enfriadores da marca Stulz CyberCool 2 cunha potencia de 1096 kW
Os enfriadores admiten tres modos:
- compresor - a partir de 12 ° C;
- mesturado - a 0-12 ° C;
- refrixeración gratuíta: de 0 a menos. Este modo implica o arrefriamento do etilenglicol mediante o funcionamento de ventiladores en lugar dun compresor.
Seguridade contra incendios
O centro de datos conta con dúas estacións de extinción de incendios a gas. Cada unha contén dúas baterías de 11 cilindros: a primeira é a principal, a segunda é unha reserva.
O sistema de loita contra incendios do centro de datos está ligado ao servidor da central nuclear de Kalinin e, se é necesario, o propio servizo de bombeiros da estación chegará ao lugar nuns minutos.
A foto mostra un sistema de alarma contra incendios e un botón de saída de emerxencia na sala de turbinas. Este último é necesario se as portas non se abriron por algún motivo durante unha alarma de incendio: corta a subministración de enerxía á pechadura eléctrica.
Telecomunicacións
Dúas autoestradas de Rostelecom chegan ao centro de datos a través de rutas independentes. Cada sistema DWDM ten unha capacidade de 8 Terabits.
O centro de datos ten dúas entradas de telecomunicacións, que están situadas a unha distancia de máis de 25 metros entre si.
Tamén están presentes no sitio os operadores Rascom, Telia Carrier Russia, Consyst e DataLine aparecerán nun futuro próximo.
Desde Udomlya podes construír unha canle ata Moscova, San Petersburgo ou calquera lugar de Rusia e do mundo.
Seguimento
Os enxeñeiros de servizo están de servizo no centro de vixilancia durante todo o día.
Toda a información sobre sistemas de enxeñería recíbese aquí: condicións climáticas no salón, estado das entradas, DIBP, etc.
Cada dúas horas, o persoal de servizo fai un percorrido por todas as instalacións da infraestrutura para inspeccionar o estado dos equipos de enxeñería e informática.
Infraestruturas de apoio
Disponse dunha zona de descarga para a entrega de equipos ao centro de datos.
Zona de descarga dende o interior.
Se o teu salón está no segundo andar, este ascensor hidráulico entregará alí calquera equipo.
Armarios para almacenar ferramentas do cliente e moito máis.
Un pouco sobre a vida cotiá
Para o persoal fixo, pódese alugar postos de traballo equipados na parte de oficina. Se visitas de cando en vez, podes quedarte nun hotel temporal con todas as comodidades no territorio do centro de datos.
A parte despacho tamén conta cun comedor e unha cociña.
E hai unha natureza incrible por todas partes con bosques, lagos, ríos, pesca e outras actividades ao aire libre. Veña de visita.
Como prometeu, un bonito extra para os que chegaron ata o final. Durante os primeiros seis meses, o aluguer dun espazo de rack en Udomlya cunha potencia subministrada de 5 kW será gratuíto. Pagar só pola electricidade realmente consumida. Envía a túa solicitude a .
Fonte: www.habr.com