Quelque part entre Moscou et Saint-Pétersbourg se trouve une petite ville appelée Udomlya. Auparavant, il était connu pour la centrale nucléaire de Kalinin. En 2019, une autre attraction est apparue à proximité : le mégacentre de données Udomlya avec 4 XNUMX racks.
Après avoir rejoint l'équipe Rostelecom-DPC, les spécialistes DataLine seront également impliqués dans l'exploitation de ce data center. Vous avez sûrement déjà entendu parler de « Udomlya ». Aujourd'hui, nous avons décidé de vous expliquer en détail comment tout fonctionne là-bas.
Paysages industriels : un data center de 32 000 m² et une centrale nucléaire en arrière-plan. Échantillon Udomlya printemps 2019.
Sous la coupe, nous avons rassemblé plus de 40 photos des systèmes d'ingénierie du centre de données avec une description détaillée. Une agréable surprise attend ceux qui arriveront au bout.
À propos de la logistique
Le centre de données est situé dans la région de Tver. Le trajet de Moscou à Udomlya prendra environ trois heures : 1 heure 45 minutes sur Sapsan jusqu'à la gare de Vyshny Volochek, et de là, sur demande préalable, une navette vous attendra et vous conduira au centre de données. De Saint-Pétersbourg à Vyshny Volochek, cela prend un peu plus de temps - 2 heures 20 minutes.
En voiture, vous pouvez vous y rendre depuis Moscou en 4,5 heures, depuis Saint-Pétersbourg en 5 heures.
Oui, vous ne voudrez probablement pas y aller pendant quelques unités. Mais si vous avez besoin d'une nouvelle maison pour des dizaines de racks, cela vaut la peine d'y regarder de plus près. Il y a suffisamment d'espace et d'électricité, même si vous souhaitez doubler cette quantité à tout moment. À Moscou, où, d’après notre expérience, les centres de données sont réservés dès la phase de construction, cette astuce ne fonctionnera pas toujours.
De plus, l'emplacement du centre de données entre Moscou et Saint-Pétersbourg peut être utilisé pour la géo-réservation. Si les installations principales se trouvent à Moscou ou à Saint-Pétersbourg, un site de secours conviendrait parfaitement.
L’équipe Smart Hands vous assistera dans toutes les opérations standard sur site. Ils recevront, déballeront et installeront l'équipement dans des racks, le connecteront à l'alimentation électrique et au réseau et fourniront un accès à distance à l'équipement. En cas de dysfonctionnement, ils aideront au diagnostic et remplaceront les composants défectueux.
La première étape du centre de données se compose de 4 salles informatiques, ou modules, de 205 racks chacune. Il y a 2 salles de machines et un centre énergétique au rez-de-chaussée, et deux autres salles et un centre de réfrigération au deuxième étage. Allons voir comment tout fonctionne ici.
Sécurité physique
Le centre de données occupe une zone désignée dans laquelle il est impossible d'entrer sans un laissez-passer et une pièce d'identité. Ceux qui arrivent en voiture reçoivent également un titre de transport et ne peuvent ensuite entrer dans le centre de données. Pour ceux qui ont tout en ordre avec leur pass, le data center est ouvert 24h/7 et XNUMXj/XNUMX.
Le premier poste de sécurité XNUMXh/XNUMX est l'entrée du territoire.
Nous allons plus loin et arrivons au point de contrôle directement à l'entrée du data center.
Les agents de sécurité accueillent non seulement les clients et délivrent des laissez-passer, mais surveillent également XNUMX heures sur XNUMX le mur vidéo, qui affiche des images de tous les locaux internes du centre de données et des zones environnantes.
Alimentation
L'électricité commence son voyage vers le centre de données depuis la centrale nucléaire. Le centre de données reçoit 10 kV pour 6 transformateurs abaisseurs. Ensuite, 0,4 kV passe par deux routes indépendantes jusqu'au tableau basse tension (LVSD). Ensuite, via le DIBP, l’alimentation est fournie aux équipements informatiques et d’ingénierie. Deux entrées indépendantes conviennent au rack, soit une redondance 2N. Nous vous en dirons plus sur le fonctionnement de tout en termes d'alimentation électrique dans un article séparé.
Le chemin de l'électricité dans le centre de données d'Udomlya
Bus d'alimentation à travers lesquels l'électricité provient du RUNN jusqu'aux panneaux d'alimentation DIBP
Rangées de RUNN
Malgré le fait qu'il y ait une centrale nucléaire à proximité, dans tout centre de données fiable, l'alimentation électrique principale est considérée comme garantie. Dans nos centres de données, comme vous le savez, ce sont des groupes électrogènes diesel qui en sont responsables, mais ici des UPS dynamiques (DIUPS) sont utilisés. Ils fournissent également une alimentation électrique ininterrompue. Les DIUP sont réservés selon le schéma N+1.
Euro-Diesel de marque DIPS (Kinolt) d'une capacité de 2 MW. Ils rugissent si fort qu’il vaut mieux ne pas y entrer sans bouchons d’oreilles.
Et voilà comment ça marche. Le DIBP est une combinaison de trois composants principaux : un moteur diesel, une machine électrique synchrone et un accumulateur d'énergie cinétique avec rotor. Tous sont fixés à l'arbre principal.
La machine électrique peut fonctionner en mode moteur électrique et générateur. Lorsque le DIBP est alimenté régulièrement depuis la ville, la machine électrique est un moteur électrique qui fait tourner le rotor et stocke l'énergie cinétique dans la batterie.
Le bloc gris au premier plan est une machine synchrone DIBP
Moteur diesel DIBP
En cas de coupure de courant municipale, la machine électrique passe en mode générateur. Grâce à l'énergie cinétique accumulée, le rotor fait tourner l'arbre principal du DIBP, la machine électrique continue de fonctionner sans alimentation électrique et la tension de sortie ne disparaît pas. Cela garantit une alimentation électrique ininterrompue dans le centre de données. Dans le même temps, le système de contrôle DIBP envoie un signal pour démarrer le moteur diesel. La même énergie cinétique du rotor démarre le moteur diesel et l'aide à atteindre la fréquence de fonctionnement. Le rotor maintient sa vitesse pendant une minute maximum, ce qui suffit pour que le diesel entre en jeu. Après le démarrage, le moteur diesel fait tourner l'arbre principal, et à travers lui la machine électrique (ici faire passer le DIBP d'un mode à un autre).
En conséquence, la puissance dans les racks n'est pas perdue, même pendant une seconde.
Le réservoir de chaque générateur diesel est conçu pour 3 heures. Le centre de données dispose également de sa propre installation de stockage de carburant de 80 tonnes, qui conservera toute la charge du centre de données pendant 24 heures. En cas de pannes très hypothétiques (la centrale nucléaire voisine ne le permettra pas), il existe des accords avec plusieurs entrepreneurs qui livreront rapidement du carburant diesel sur place, sur appel. En général, tout est comme il se doit.
Chaque semaine, les DIBP effectuent un auto-test et démarrent le moteur diesel. Une fois par mois, des tests sont effectués avec un arrêt de courte durée du réseau urbain.
Panneau de contrôle DIBP
Locaux ShchGP et ShchBP
« Lignes principales » et « jonctions » de câbles électriques
Salles des machines
Chaque module est situé dans une zone hermétique, dans un coffret spécial. Ces murs et toit supplémentaires protègent la salle des machines de la poussière, de l'eau et du feu. Lors de la réception d'un centre de données, la zone de confinement est traditionnellement aspergée d'eau pour vérifier les fuites.
Le toit du bâtiment et son propre toit de la salle des machines avec tuyaux de drainage
L'eau tombant sur le toit de la zone de confinement passe par les gouttières jusqu'à la canalisation de drainage
Chaque hall est prêt à accueillir 205 racks d'une puissance moyenne de 5 kW.
La disposition des équipements dans le hall est organisée selon le schéma des couloirs froids et chauds.
Des systèmes de détection précoce d'incendie et d'extinction d'incendie à gaz Bolid sont posés le long du plafond.
Des capteurs de fumée sont également situés sous le plancher surélevé. Il suffit de déclencher deux capteurs quelconques et la sirène d'alarme incendie retentit, mais nous en reparlerons un peu plus tard.
Juste là, le long des rangées de climatiseurs, se trouvent des capteurs de fuite à bande.
Chaque couloir entre les comptoirs est « surveillé » par des caméras de vidéosurveillance.
Si vous le souhaitez, les racks peuvent être placés derrière une clôture spéciale (cage) et des caméras supplémentaires, des systèmes de contrôle d'accès et des capteurs de mouvement, des capteurs de volume, etc. peuvent y être installés.
Réfrigération
Le centre de données d'Udomlya utilise un circuit de refroidissement à l'éthylène glycol. Il y a des climatiseurs dans les salles des machines, des refroidisseurs sur le toit et au deuxième étage il y a un centre de réfrigération avec des canalisations, un système d'automatisation et de contrôle, des pompes, des réservoirs de stockage, etc.
Chaque pièce dispose de 12 climatiseurs, dont la moitié avec humidificateurs à vapeur. Schéma de redondance N+1.
Dans l'allée froide, la température est maintenue entre 21 et 25 °C et l'humidité entre 40 et 60 %.
Climatiseurs de précision Stulz Cyber Cool
Il y a deux anneaux autour de chaque salle des machines : une ligne « froide » qui fournit de l'éthylène glycol refroidi au climatiseur, et une ligne « chaude » qui évacue le glycol chauffé des climatiseurs vers les refroidisseurs. Si nous ouvrons le plancher surélevé dans le couloir, nous verrons des gouttes du système de réfrigération dans les salles des machines.
Le parcours de l'éthylène glycol est le suivant : depuis le climatiseur, l'éthylène glycol chauffé entre d'abord dans la conduite de retour autour de la salle des machines, puis dans l'anneau commun. L'éthylène glycol est ensuite acheminé vers la pompe puis vers le refroidisseur, où il est refroidi à 10 °C. Après le refroidisseur, l'éthylène glycol retourne au climatiseur via la conduite d'alimentation à anneau commun, les réservoirs de stockage et l'anneau autour du module.
Schéma d'alimentation en refroidissement du centre de données
Voici à quoi ressemble une centrale frigorifique dans laquelle transitent 100 m3 d'éthylène glycol
Les conteneurs gris sont des vases d'expansion. L'éthylène glycol chauffé les traverse pour se diriger vers le refroidisseur. En été, l'éthylène glycol se dilate et nécessite un espace supplémentaire.
Ces conteneurs impressionnants sont des réservoirs de stockage de 5 m3 chacun. Ils assurent un refroidissement ininterrompu du centre de données en cas de panne du refroidisseur.
L'éthylène glycol refroidi des réservoirs est fourni au système, ce qui permet de maintenir la température de sortie du climatiseur à 19 °C pendant 5 minutes. Même s’il fait +40°C dehors.
Pompes de réfrigération
Filtres à poches à mailles et réservoirs séparateurs pour purifier l'éthylène glycol des particules mécaniques et de l'air
La fine ligne rouge sur le sol sous les tuyaux est le ruban adhésif du capteur de fuite. Ils parcourent tout le périmètre du centre frigorifique.
En cas de fuite dans l'un des tuyaux, l'éthylène glycol passera par le système de drainage et finira dans un réservoir spécial dans la salle de traitement de l'eau. Il existe également deux réservoirs contenant de l'éthylène glycol « de rechange » pour reconstituer le système de réfrigération en cas de fuites importantes.
Et à propos des refroidisseurs. Il y a 5 refroidisseurs sur le toit utilisant un schéma de redondance N+1. Chaque jour, l'automatisation détermine, en fonction des heures de fonctionnement, quel refroidisseur mettre en réserve.
Refroidisseurs de la marque Stulz CyberCool 2 d'une capacité de 1096 kW
Les refroidisseurs prennent en charge trois modes :
- compresseur – à partir de 12 °C ;
- mélangé – entre 0 et 12 °C ;
- refroidissement gratuit – de 0 et moins. Ce mode implique le refroidissement de l'éthylène glycol grâce au fonctionnement de ventilateurs plutôt que d'un compresseur.
la sécurité incendie
Le centre de données dispose de deux stations d'extinction d'incendie à gaz. Chacune contient deux batteries de 11 cylindres : la première est la principale, la seconde est une réserve.
Le système de lutte contre l'incendie du centre de données est relié au serveur de la centrale nucléaire de Kalinin et, si nécessaire, les pompiers de la centrale arriveront sur place en quelques minutes.
La photo montre un système d'alarme incendie et un bouton de sortie de secours dans la salle des machines. Ce dernier est nécessaire si les portes n'ont pas été déverrouillées pour une raison quelconque lors d'une alarme incendie : il coupe l'alimentation électrique de la serrure électrique.
Telecom
Deux autoroutes Rostelecom arrivent au centre de données via des itinéraires indépendants. Chaque système DWDM a une capacité de 8 térabits.
Le centre de données dispose de deux entrées télécoms situées à plus de 25 mètres l’une de l’autre.
Sont également présents sur le site les opérateurs Rascom, Telia Carrier Russia, Consyst et DataLine qui apparaîtront prochainement.
Depuis Udomlya, vous pouvez construire un canal vers Moscou, Saint-Pétersbourg ou n'importe où en Russie et dans le monde.
Surveillance
Les ingénieurs de service sont en service XNUMX heures sur XNUMX au centre de surveillance.
Toutes les informations sur les systèmes d'ingénierie sont reçues ici : conditions climatiques dans le hall, état des entrées, DIBP, etc.
Toutes les deux heures, le personnel de service effectue une visite de tous les locaux de l'infrastructure pour inspecter l'état des équipements d'ingénierie et informatiques.
Infrastructure de soutien
Une zone de déchargement est prévue pour la livraison des équipements au data center.
Zone de déchargement de l'intérieur.
Si votre hall est au deuxième étage, cet ascenseur hydraulique y livrera n'importe quel équipement.
Casiers pour stocker les outils clients, et plus encore.
Un peu sur la vie quotidienne
Pour le personnel permanent, vous pouvez louer des postes de travail équipés dans la partie bureau. Si vous visitez de temps en temps, vous pouvez séjourner dans un hôtel temporaire avec toutes les commodités directement sur le territoire du centre de données.
La partie bureau dispose également d'une salle à manger et d'une cuisine.
Et il y a une nature incroyable tout autour avec des forêts, des lacs, des rivières, de la pêche et d'autres activités de plein air. Venez pour une visite.
Comme promis, un joli bonus pour ceux qui seront arrivés au bout. Pendant les six premiers mois, la location d'un espace rack à Udomlya avec une puissance fournie de 5 kW sera gratuite. Ne payez que l'électricité réellement consommée. Envoyez votre candidature à .
Source: habr.com