Irgendwo in der Mitte zwischen Moskau und St. Petersburg liegt eine kleine Stadt namens Udomlya. Zuvor war es für das Kernkraftwerk Kalinin bekannt. Im Jahr 2019 entstand in der Nähe eine weitere Attraktion – das Megadatenzentrum Udomlya mit 4 Racks.
Nach ihrem Beitritt zum Rostelecom-DPC-Team werden DataLine-Spezialisten auch am Betrieb dieses Rechenzentrums beteiligt sein. Sicher haben Sie schon etwas über „Udomlya“ gehört. Heute haben wir uns entschieden, Ihnen im Detail zu erzählen, wie dort alles funktioniert.
Industrielandschaften: ein 32 m² großes Rechenzentrum und im Hintergrund ein Kernkraftwerk. Udomlya-Probe Frühjahr 000.
Unterhalb des Ausschnitts haben wir mehr als 40 Fotos der technischen Systeme des Rechenzentrums mit einer detaillierten Beschreibung zusammengestellt. Eine angenehme Überraschung erwartet diejenigen, die das Ende erreichen.
Über Logistik
Das Rechenzentrum befindet sich in der Region Twer. Die Fahrt von Moskau nach Udomlya dauert etwa drei Stunden: 1 Stunde 45 Minuten mit Sapsan bis zum Bahnhof Vyshny Volochek. Von dort werden Sie nach vorheriger Anfrage von einem Shuttle abgeholt und zum Rechenzentrum gebracht. Von St. Petersburg nach Vyshny Volochek dauert es etwas länger – 2 Stunden 20 Minuten.
Mit dem Auto gelangt man von Moskau in 4,5 Stunden dorthin, von St. Petersburg in 5.
Ja, für ein paar Einheiten werden Sie hier wahrscheinlich nicht hingehen wollen. Aber wenn Sie für Dutzende Racks ein neues Zuhause brauchen, dann lohnt sich ein genauerer Blick. Platz und Strom sind ausreichend vorhanden, auch wenn Sie diese Menge jederzeit verdoppeln möchten. In Moskau, wo unserer Erfahrung nach Rechenzentren bereits in der Bauphase gebucht werden, wird dieser Trick nicht immer funktionieren.
Darüber hinaus kann der Standort des Rechenzentrums zwischen Moskau und St. Petersburg zur Georeservierung genutzt werden. Befinden sich die Hauptstandorte in Moskau oder St. Petersburg, dann würde ein Backup-Standort gut passen.
Das Team von smart hands unterstützt Sie bei allen Standardarbeiten vor Ort. Sie nehmen Geräte entgegen, packen sie aus und installieren sie in Racks, schließen sie an Strom und Netzwerk an und ermöglichen den Fernzugriff auf die Geräte. Bei Störungen helfen sie bei der Diagnose und tauschen ausgefallene Komponenten aus.
Die erste Stufe des Rechenzentrums besteht aus 4 Computerräumen bzw. Modulen mit jeweils 205 Racks. Im Erdgeschoss befinden sich zwei Maschinenräume und eine Energiezentrale, im zweiten Obergeschoss zwei weitere Räume und eine Kühlzentrale. Schauen wir mal, wie hier alles funktioniert.
Physische Sicherheit
Das Rechenzentrum befindet sich in einem ausgewiesenen Bereich, der ohne Pass und Ausweis nicht betreten werden kann. Wer mit dem Auto anreist, erhält ebenfalls einen Fahrausweis und darf erst danach das Rechenzentrum betreten. Für diejenigen, die mit ihrem Pass alles in Ordnung haben, ist das Rechenzentrum rund um die Uhr geöffnet.
Der erste XNUMX-Stunden-Sicherheitsposten ist der Eingang zum Gebiet.
Wir gehen weiter und gelangen zum Kontrollpunkt direkt am Eingang des Rechenzentrums.
Sicherheitsbeamte begrüßen nicht nur Kunden und stellen Ausweise aus, sondern überwachen auch rund um die Uhr die Videowand, auf der Bilder aller internen Räumlichkeiten des Rechenzentrums und der umliegenden Bereiche angezeigt werden.
Stromversorgung
Der Strom beginnt seinen Weg vom Kernkraftwerk zum Rechenzentrum. Das Rechenzentrum erhält 10 kV für 6 Abwärtstransformatoren. Als nächstes werden 0,4 kV über zwei unabhängige Wege zur Niederspannungsschaltanlage (LVSD) geleitet. Anschließend wird über das DIBP die IT- und Technikausrüstung mit Strom versorgt. Für das Rack sind zwei unabhängige Eingänge geeignet, also 2N-Redundanz. Wie alles rund um die Stromversorgung funktioniert, verraten wir Ihnen in einem separaten Artikel.
Der Weg der Elektrizität im Udomlya-Rechenzentrum
Energiebusse, über die Strom vom RUNN zu den DIBP-Stromversorgungstafeln gelangt
Reihen von RUNN
Trotz der Tatsache, dass sich in der Nähe ein Kernkraftwerk befindet, gilt die Hauptstromversorgung in jedem zuverlässigen Rechenzentrum als gewährleistet. In unseren Rechenzentren sind dafür bekanntlich Dieselaggregate verantwortlich, hier kommen jedoch dynamische USVs (DIUPS) zum Einsatz. Sie sorgen auch für eine unterbrechungsfreie Stromversorgung. DIUPs werden nach dem N+1-Schema reserviert.
DIPS-Marke Euro-Diesel (Kinolt) mit einer Leistung von 2 MW. Sie brüllen so laut, dass man besser nicht ohne Ohrstöpsel hineingehen sollte.
Und so funktioniert es. DIBP ist eine Kombination aus drei Hauptkomponenten: einem Dieselmotor, einer synchronen elektrischen Maschine und einem kinetischen Energiespeicher mit Rotor. Alle sind an der Hauptwelle befestigt.
Die Elektromaschine kann im Elektromotor- und Generatorbetrieb betrieben werden. Wenn das DIBP regelmäßig aus der Stadt mit Strom versorgt wird, ist die elektrische Maschine ein Elektromotor, der den Rotor dreht und kinetische Energie in der Batterie speichert.
Der graue Block im Vordergrund ist eine Synchronmaschine DIBP
Dieselmotor DIBP
Fällt der Stadtstrom aus, schaltet die Elektromaschine in den Generatorbetrieb. Dank der akkumulierten kinetischen Energie versetzt der Rotor die Hauptwelle des DIBP in Rotation, die elektrische Maschine arbeitet ohne Stadtstrom weiter und die Ausgangsspannung verschwindet nicht. Dadurch ist eine unterbrechungsfreie Stromversorgung im Rechenzentrum gewährleistet. Gleichzeitig sendet das DIBP-Steuerungssystem ein Signal zum Starten des Dieselmotors. Die gleiche kinetische Energie des Rotors startet den Dieselmotor und hilft ihm, die Betriebsfrequenz zu erreichen. Der Rotor hält die Drehzahl bis zu einer Minute lang, und das reicht aus, damit der Diesel zum Einsatz kommt. Nach dem Start dreht der Dieselmotor die Hauptwelle und über diese die elektrische Maschine (hier). Umschalten des DIBP von einem Modus in einen anderen).
Dadurch geht die Stromversorgung in den Racks keine Sekunde lang verloren.
Der Tank jedes Dieselgenerators ist für 3 Stunden ausgelegt. Das Rechenzentrum verfügt außerdem über ein eigenes Treibstofflager für 80 Tonnen, das die gesamte Last des Rechenzentrums für 24 Stunden vorrätig hält. Für den Fall sehr hypothetischer Stromausfälle (das nahegelegene Kernkraftwerk lässt dies nicht zu) bestehen Vereinbarungen mit mehreren Auftragnehmern, die auf Abruf umgehend Dieselkraftstoff an den Standort liefern. Im Allgemeinen ist alles so, wie es sein sollte.
Jede Woche führen die DIBPs einen Selbsttest durch und starten den Dieselmotor. Einmal im Monat werden Tests mit kurzfristiger Abschaltung des Stadtnetzes durchgeführt.
DIBP-Bedienfeld
Räumlichkeiten von ShchGP und ShchBP
„Hauptleitungen“ und „Verbindungsstellen“ von Stromkabeln
Maschinenräume
Jedes Modul befindet sich in einer hermetischen Zone in einer speziellen Box. Diese zusätzlichen Wände und das Dach schützen den Turbinenraum vor Staub, Wasser und Feuer. Bei der Abnahme eines Rechenzentrums wird der Sicherheitsbereich traditionell mit Wasser überschüttet, um auf Undichtigkeiten zu prüfen.
Das Dach des Gebäudes und ein eigenes Dach des Turbinenraums mit Entwässerungsrohren
Wasser, das auf das Dach der Eindämmungszone fällt, gelangt durch Dachrinnen in die Entwässerungsleitung
Jede Halle ist für die Aufnahme von 205 Racks mit einer durchschnittlichen Leistung von 5 kW ausgelegt.
Die Anordnung der Geräte in der Halle ist nach dem Schema der Kalt- und Warmkorridore organisiert.
Entlang der Decke sind Bolid-Brandfrüherkennungs- und Gasfeuerlöschanlagen verlegt.
Unter dem Doppelboden befinden sich außerdem Rauchmelder. Es reicht aus, zwei beliebige Sensoren auszulösen und die Feueralarmsirene ertönt, aber darüber sprechen wir etwas später.
Genau dort, entlang der Reihen der Klimaanlagen, befinden sich Bandlecksensoren.
Jeder Korridor zwischen den Schaltern wird mit CCTV-Kameras „überwacht“.
Auf Wunsch können die Racks hinter einem speziellen Zaun (Käfig) platziert und darauf zusätzliche Kameras, Zutrittskontrollsysteme sowie Bewegungssensoren, Volumensensoren etc. installiert werden.
Kühlung
Das Udomlya-Rechenzentrum nutzt einen Ethylenglykol-Kühlkreislauf. Es gibt Klimaanlagen in den Maschinenräumen, Kältemaschinen auf dem Dach und im zweiten Stock gibt es eine Kühlzentrale mit Rohrleitungen, einem Automatisierungs- und Steuerungssystem, Pumpen, Lagertanks usw.
Jede Halle verfügt über 12 Klimaanlagen, die Hälfte davon mit Dampfbefeuchtern. N+1-Redundanzschema.
Im Kaltgang wird die Temperatur zwischen 21 und 25 °C und die Luftfeuchtigkeit zwischen 40 und 60 % gehalten.
Präzisionsklimageräte Stulz Cyber Cool
Um jeden Maschinenraum herum gibt es zwei Ringe: eine „kalte“ Leitung, die der Klimaanlage gekühltes Ethylenglykol zuführt, und eine „heiße“ Leitung, die erhitztes Glykol von den Klimaanlagen zu den Kältemaschinen abführt. Wenn wir den Doppelboden im Flur öffnen, sehen wir Tropfen aus der Kühlanlage in die Maschinenräume.
Der Weg des Ethylenglykols ist wie folgt: Von der Klimaanlage gelangt erhitztes Ethylenglykol zunächst in die Rücklaufleitung um den Maschinenraum und dann in den gemeinsamen Ring. Anschließend gelangt Ethylenglykol zur Pumpe und dann zum Kühler, wo es auf 10 °C abgekühlt wird. Nach dem Kühler kehrt Ethylenglykol über die gemeinsame Ringversorgungsleitung, die Lagertanks und den Ring um das Modul zur Klimaanlage zurück.
Kühlversorgungsdiagramm für Rechenzentren
So sieht eine Kühlzentrale aus, durch die 100 m3 Ethylenglykol strömen
Graue Behälter sind Ausdehnungsgefäße. Erhitztes Ethylenglykol durchströmt sie auf dem Weg zum Kühler. Im Sommer dehnt sich Ethylenglykol aus und benötigt zusätzlichen Platz.
Bei diesen beeindruckenden Behältern handelt es sich um Lagertanks mit je 5 m3. Sie sorgen für eine unterbrechungsfreie Kühlung des Rechenzentrums im Falle eines Kühlerausfalls.
Dem System wird gekühltes Ethylenglykol aus den Tanks zugeführt, wodurch die Auslasstemperatur der Klimaanlage 19 Minuten lang auf 5 °C gehalten werden kann. Auch wenn es draußen +40°C ist.
Kühlpumpen
Netztaschenfilter und Abscheidertanks zur Reinigung von Ethylenglykol von mechanischen Partikeln und Luft
Die dünne rote Linie auf dem Boden unter den Rohren ist das Lecksensorband. Sie verlaufen entlang des gesamten Umfangs der Kühlzentrale.
Wenn eines der Rohre undicht ist, gelangt das Ethylenglykol über das Abwassersystem in einen speziellen Tank im Wasseraufbereitungsraum. Außerdem gibt es zwei Tanks mit „Ersatz“-Ethylenglykol, um das Kühlsystem bei größeren Lecks aufzufüllen.
Und über Kühler. Auf dem Dach befinden sich 5 Kältemaschinen mit einem N+1-Redundanzschema. Die Automatisierung bestimmt jeden Tag abhängig von den Betriebsstunden, welche Kältemaschine in Reserve gestellt werden soll.
Kältemaschinen der Marke Stulz CyberCool 2 mit einer Leistung von 1096 kW
Kältemaschinen unterstützen drei Modi:
- Kompressor – ab 12 °C;
- gemischt – bei 0–12 °C;
- freie Kühlung – von 0 und darunter. In diesem Modus wird das Ethylenglykol durch den Betrieb von Ventilatoren und nicht durch einen Kompressor gekühlt.
Brandschutz
Das Rechenzentrum verfügt über zwei Gasfeuerlöschstationen. Jeder enthält zwei Batterien mit 11 Zylindern: Die erste ist die Hauptbatterie, die zweite ist eine Reserve.
Das Feuerlöschsystem des Rechenzentrums ist mit dem Server des Kernkraftwerks Kalinin verbunden, und bei Bedarf ist die feuerwehreigene Feuerwehr innerhalb weniger Minuten vor Ort.
Das Foto zeigt eine Brandmeldeanlage und einen Notausgangsknopf im Turbinenraum. Letzteres wird benötigt, wenn die Türen bei einem Feueralarm aus irgendeinem Grund nicht entriegelt wurden: Es unterbricht die Stromzufuhr zum Elektroschloss.
Telekommunikation
Zwei Rostelecom-Autobahnen erreichen das Rechenzentrum über unabhängige Routen. Jedes DWDM-System hat eine Kapazität von 8 Terabit.
Das Rechenzentrum verfügt über zwei Telekom-Eingänge, die mehr als 25 Meter voneinander entfernt liegen.
Auf der Website sind auch die Betreiber Rascom, Telia Carrier Russia, Consyst und DataLine vertreten, die in naher Zukunft erscheinen werden.
Von Udomlya aus können Sie einen Kanal nach Moskau, St. Petersburg oder überall in Russland und der Welt bauen.
Überwachung
Im Überwachungszentrum sind diensthabende Ingenieure rund um die Uhr im Einsatz.
Hier erhalten Sie alle Informationen zu technischen Systemen: klimatische Bedingungen in der Halle, Zustand der Eingänge, DIBP usw.
Alle zwei Stunden führt das diensthabende Personal einen Rundgang durch alle Infrastrukturräume durch, um den Zustand der technischen und IT-Ausrüstung zu überprüfen.
Unterstützende Infrastruktur
Für die Anlieferung der Geräte an das Rechenzentrum steht ein Entladebereich zur Verfügung.
Entladebereich von innen.
Wenn sich Ihre Halle im zweiten Stock befindet, transportiert dieser hydraulische Aufzug alle Geräte dorthin.
Schließfächer zur Aufbewahrung von Kundenwerkzeugen und mehr.
Ein wenig über den Alltag
Für Festangestellte können Sie im Büroteil ausgestattete Arbeitsplätze mieten. Wenn Sie von Zeit zu Zeit vorbeikommen, können Sie in einem temporären Hotel mit allen Annehmlichkeiten direkt auf dem Gelände des Rechenzentrums übernachten.
Der Büroteil verfügt außerdem über ein Esszimmer und eine Küche.
Und rundherum gibt es eine atemberaubende Natur mit Wäldern, Seen, Flüssen, Angeln und anderen Outdoor-Aktivitäten. Kommen Sie auf einen Besuch vorbei.
Wie versprochen ein schöner Bonus für diejenigen, die es bis zum Ende geschafft haben. In den ersten sechs Monaten ist die Anmietung eines Rackplatzes in Udomlya mit einer bereitgestellten Leistung von 5 kW kostenlos. Bezahlen Sie nur den tatsächlich verbrauchten Strom. Senden Sie Ihre Bewerbung an .
Source: habr.com