En algun lloc al mig entre Moscou i Sant Petersburg hi ha una petita ciutat anomenada Udomlya. Anteriorment, era conegut per la central nuclear de Kalinin. El 2019, una altra atracció va aparèixer a prop: el centre de megadades Udomlya amb 4 mil bastidors.
Després d'unir-se a l'equip de Rostelecom-DPC, els especialistes de DataLine també participaran en el funcionament d'aquest centre de dades. Segur que ja heu sentit alguna cosa sobre "Udomlya". Avui hem decidit explicar-vos detalladament com funciona tot allà.
Paisatges industrials: un centre de dades de 32 m² i una central nuclear al fons. Mostra Udomlya primavera 000.
A sota del tall hem recollit més de 40 fotos dels sistemes d'enginyeria del centre de dades amb una descripció detallada. Una agradable sorpresa espera als que arriben al final.
Sobre la logística
El centre de dades es troba a la regió de Tver. El viatge de Moscou a Udomlya durarà unes tres hores: 1 hora 45 minuts a Sapsan fins a l'estació de Vyshny Volochek, i des d'allà, a petició prèvia, un servei de llançadora us trobarà i us portarà al centre de dades. De Sant Petersburg a Vyshny Volochek triga una mica més: 2 hores i 20 minuts.
Amb cotxe s'hi pot arribar des de Moscou en 4,5 hores, des de Sant Petersburg en 5.
Sí, probablement no voldreu anar aquí per un parell d'unitats. Però si necessiteu una casa nova per a desenes de bastidors, val la pena mirar-ho més de prop. Hi ha prou espai i electricitat, fins i tot si voleu duplicar aquesta quantitat en qualsevol moment. A Moscou, on, segons la nostra experiència, els centres de dades es reserven en l'etapa de construcció, aquest truc no sempre funcionarà.
A més, la ubicació del centre de dades entre Moscou i Sant Petersburg es pot utilitzar per a la georeserva. Si les instal·lacions principals es troben a Moscou o Sant Petersburg, un lloc de seguretat encaixaria bé.
L'equip de mans intel·ligents ajudarà amb totes les operacions estàndard al lloc. Rebran, desempaquetaran i instal·laran equips en bastidors, els connectaran a l'alimentació i la xarxa i proporcionaran accés remot a l'equip. En cas de mal funcionament, ajudaran amb el diagnòstic i substituiran els components fallits.
La primera etapa del centre de dades consta de 4 sales d'informàtica, o mòduls, amb 205 bastidors cadascuna. Hi ha 2 sales de màquines i un centre energètic a la planta baixa, i dues sales més i un centre de refrigeració a la segona planta. Anem a veure com funciona tot aquí.
Seguretat Física
El centre de dades ocupa una àrea designada, a la qual no es pot accedir sense un carnet i un document d'identificació. Els que arriben amb cotxe també reben un abonament de transport i només després poden entrar al centre de dades. Per a aquells que ho tinguin tot en ordre amb el seu passi, el centre de dades està obert les 24 hores del dia.
El primer lloc de seguretat de 24 hores és l'entrada al territori.
Anem més enllà i arribem al punt de control directament a l'entrada del centre de dades.
Els agents de seguretat no només saluden els clients i emeten passis, sinó que també supervisen la paret de vídeo durant tot el dia, que mostra imatges de totes les instal·lacions internes del centre de dades i els voltants.
Subministrament elèctric
L'electricitat comença el seu viatge al centre de dades des de la central nuclear. El centre de dades rep 10 kV per a 6 transformadors reductors. A continuació, 0,4 kV passa per dues vies independents fins a l'aparell de baixa tensió (LVSD). Després, a través del DIBP, es subministra energia als equips informàtics i d'enginyeria. Dues entrades independents són adequades per al bastidor, és a dir, redundància 2N. Us explicarem més sobre com funciona tot en termes d'alimentació en un article separat.
El camí de l'electricitat al centre de dades d'Udomlya
Autobusos elèctrics a través dels quals arriba l'electricitat des del RUNN fins als panells elèctrics DIBP
Files de RUNN
Tot i que a prop hi ha una central nuclear, en qualsevol centre de dades fiable es considera garantida la font d'alimentació principal. Als nostres centres de dades, com ja sabeu, els grups electrògens dièsel en són els responsables, però aquí s'utilitzen els SAI dinàmics (DIUPS). També proporcionen una font d'alimentació ininterrompuda. Les DIUP es reserven segons l'esquema N+1.
Euro-Diesel de la marca DIPS (Kinolt) amb una potència de 2 MW. Braguen tan fort que és millor no entrar-hi sense taps per les orelles.
I així és com funciona. DIBP és una combinació de tres components principals: un motor dièsel, una màquina elèctrica síncrona i un acumulador d'energia cinètica amb un rotor. Tots ells estan fixats a l'eix principal.
La màquina elèctrica pot funcionar en mode de motor elèctric i generador. Quan el DIBP s'alimenta regularment des de la ciutat, la màquina elèctrica és un motor elèctric que fa girar el rotor i emmagatzema energia cinètica a la bateria.
El bloc gris en primer pla és una màquina síncrona DIBP
Motor dièsel DIBP
Si s'apaga l'energia de la ciutat, la màquina elèctrica passa al mode de generador. Gràcies a l'energia cinètica acumulada, el rotor fa girar l'eix principal del DIBP, la màquina elèctrica continua funcionant sense energia de la ciutat i la tensió de sortida no desapareix. Això garanteix una font d'alimentació ininterrompuda al centre de dades. Al mateix temps, el sistema de control DIBP envia un senyal per engegar el motor dièsel. La mateixa energia cinètica del rotor engega el motor dièsel i l'ajuda a assolir la freqüència de funcionament. El rotor manté la velocitat fins a un minut, i això és suficient perquè el dièsel entri en joc. Després d'arrencar, el motor dièsel fa girar l'eix principal i, a través d'ell, la màquina elèctrica (aquí canviar el DIBP d'un mode a un altre).
Com a resultat, la potència als bastidors no es perd ni un segon.
El dipòsit de cada generador dièsel està dissenyat per a 3 hores. El centre de dades també té la seva pròpia instal·lació d'emmagatzematge de combustible per a 80 tones, que mantindrà tota la càrrega del centre de dades durant 24 hores. En cas d'apagades molt hipotètiques (la central nuclear propera no ho permetrà), hi ha acords amb diversos contractistes que lliuraran ràpidament gasoil al lloc a trucada. En general, tot és com ha de ser.
Cada setmana els DIBP s'autoproven i encenen el motor dièsel. Un cop al mes es fan proves amb una parada a curt termini de la xarxa de la ciutat.
Panell de control DIBP
Locals de ShchGP i ShchBP
"Línies troncals" i "unions" de cables d'alimentació
Sales de màquines
Cada mòdul està situat en una zona hermètica, en una caixa especial. Aquestes parets i sostre addicionals protegeixen la sala de turbines de la pols, l'aigua i el foc. Quan s'accepta un centre de dades, l'àrea de contenció s'aboca tradicionalment amb aigua per comprovar si hi ha fuites.
La coberta de l'edifici i la seva pròpia coberta de la sala de turbines amb canonades de drenatge
L'aigua que cau al sostre de la zona de contenció passa per canalons cap a la canonada de drenatge
Cada sala està preparada per acceptar 205 bastidors amb una potència mitjana de 5 kW.
La disposició dels equips a la sala s'organitza segons l'esquema de passadissos freds i calents.
Els sistemes de detecció precoç d'incendis i d'extinció d'incendis de gas s'encaminen al sostre.
Els sensors de fum també es troben sota el terra elevat. N'hi ha prou amb activar dos sensors qualsevol i sonarà la sirena d'alarma d'incendi, però en parlarem una mica més endavant.
Allà mateix, al llarg de les files d'aire condicionat, hi ha sensors de fuites de cinta.
Cada passadís entre els taulells està "vigilat" amb càmeres CCTV.
Si es desitja, els bastidors es poden col·locar darrere d'una tanca especial (gàbia) i s'hi poden instal·lar càmeres addicionals, sistemes de control d'accés i sensors de moviment, sensors de volum, etc.
Refrigeració
El centre de dades d'Udomlya utilitza un circuit refrigerador d'etilenglicol. Hi ha aparells d'aire condicionat a les sales de màquines, refrigeradors al terrat, i a la segona planta hi ha un centre de refrigeració amb canalitzacions, un sistema d'automatització i control, bombes, dipòsits d'emmagatzematge, etc.
Cada sala disposa de 12 aparells d'aire condicionat, la meitat d'ells amb humidificadors de vapor. Esquema de redundància N+1.
Al passadís fred, la temperatura es manté entre 21 i 25 °C i la humitat entre el 40 i el 60%.
Aire condicionat de precisió Stulz Cyber Cool
Hi ha dos anells al voltant de cada sala de màquines: una línia "freda" que subministra etilenglicol refrigerat a l'aire condicionat i una línia "calenta" que elimina el glicol escalfat dels aparells d'aire condicionat als refrigeradors. Si obrim el terra elevat al passadís, veurem caigudes a les sales de màquines des del sistema de refrigeració.
La ruta de l'etilenglicol és la següent: des de l'aire condicionat, l'etilenglicol escalfat entra primer a la línia de retorn al voltant de la sala de màquines i després a l'anell comú. A continuació, l'etilenglicol va a la bomba i després al refrigerador, on es refreda a 10 °C. Després del refrigerador, l'etilenglicol torna a l'aire condicionat a través de la línia de subministrament de l'anell comú, els dipòsits d'emmagatzematge i l'anell al voltant del mòdul.
Diagrama de subministrament de refrigeració del centre de dades
Així és un centre de refrigeració per on passen 100 m3 d'etilenglicol
Els contenidors grisos són tancs d'expansió. L'etilenglicol escalfat passa a través d'ells en el seu camí cap al refrigerador. A l'estiu, l'etilenglicol s'expandeix i requereix espai addicional.
Aquests impressionants contenidors són dipòsits d'emmagatzematge de 5 m3 cadascun. Proporcionen una refrigeració ininterrompuda del centre de dades en cas d'avaria del refrigerador.
L'etilenglicol refrigerat des dels dipòsits es subministra al sistema, i això permet que la temperatura de sortida de l'aire condicionat es mantingui a 19 °C durant 5 minuts. Encara que sigui a +40 °C a l'exterior.
Bombes de refrigeració
Filtres de butxaca de malla i dipòsits separadors per purificar etilenglicol de partícules mecàniques i aire
La fina línia vermella al terra sota les canonades és la cinta del sensor de fuites. Recorren tot el perímetre del centre de refrigeració.
Si alguna de les canonades filtra, l'etilenglicol passarà pel sistema de drenatge i acabarà en un dipòsit especial a la sala de tractament d'aigua. També hi ha dos dipòsits amb etilenglicol “de recanvi” per reposar el sistema de refrigeració en cas de fuites importants.
I sobre els refrigeradors. Hi ha 5 refrigeradors al terrat amb un esquema de redundància N+1. Cada dia, l'automatització determina, en funció de les hores de funcionament, quin refrigerador posar en reserva.
Refrigeradores de la marca Stulz CyberCool 2 amb una potència de 1096 kW
Els refrigeradors admeten tres modes:
- compressor - a partir de 12 ° C;
- barrejat - a 0-12 ° C;
- refrigeració lliure: a partir de 0 i per sota. Aquest mode implica refredar l'etilenglicol mitjançant el funcionament de ventiladors en lloc d'un compressor.
Seguretat contra incendis
El centre de dades disposa de dues estacions d'extinció d'incendis de gas. Cadascuna conté dues piles d'11 cilindres: la primera és la principal, la segona és una reserva.
El sistema d'extinció d'incendis del centre de dades està vinculat al servidor de la central nuclear de Kalinin i, si cal, el propi servei de bombers de l'estació arribarà al lloc en qüestió de minuts.
La foto mostra un sistema d'alarma contra incendis i un botó de sortida d'emergència a la sala de turbines. Això últim és necessari si les portes no es van desbloquejar per algun motiu durant una alarma d'incendi: talla l'alimentació del pany elèctric.
Telecom
Dues carreteres de Rostelecom arriben al centre de dades mitjançant rutes independents. Cada sistema DWDM té una capacitat de 8 Terabits.
El centre de dades té dues entrades de telecomunicacions, que es troben a una distància de més de 25 metres l'una de l'altra.
També estan presents al lloc els operadors Rascom, Telia Carrier Russia, Consyst i DataLine apareixeran en un futur proper.
Des d'Udomlya podeu construir un canal fins a Moscou, Sant Petersburg o qualsevol lloc de Rússia i del món.
Seguiment
Els enginyers de guàrdia estan de servei al centre de control durant tot el dia.
Tota la informació sobre sistemes d'enginyeria es rep aquí: condicions climàtiques a la sala, estat de les entrades, DIBP, etc.
Cada dues hores, el personal de servei fa un recorregut per totes les instal·lacions de la infraestructura per inspeccionar l'estat dels equips d'enginyeria i informàtica.
Infraestructures de suport
Es disposa d'una zona de descàrrega per al lliurament d'equips al centre de dades.
Zona de descàrrega des de l'interior.
Si el vostre vestíbul es troba al segon pis, aquest ascensor hidràulic us lliurarà qualsevol equipament.
Armariets per emmagatzemar les eines del client i molt més.
Una mica sobre la vida quotidiana
Per al personal fix, podeu llogar llocs de treball equipats a la part d'oficina. Si visiteu de tant en tant, podeu allotjar-vos en un hotel temporal amb totes les comoditats just al territori del centre de dades.
La part d'oficina també té un menjador i una cuina.
I hi ha una natura sorprenent per tot arreu amb boscos, llacs, rius, pesca i altres activitats a l'aire lliure. Vine de visita.
Tal com s'havia promès, un bon avantatge per als que van arribar fins al final. Durant els primers sis mesos, el lloguer d'un espai de bastidor a Udomlya amb una potència subministrada de 5 kW serà gratuït. Pagueu només per l'electricitat realment consumida. Envieu la vostra sol·licitud a .
Font: www.habr.com