Ergens in het midden tussen Moskou en Sint-Petersburg ligt een klein stadje genaamd Udomlya. Voorheen stond het bekend om de kerncentrale van Kalinin. In 2019 verscheen er een andere attractie in de buurt: het megadatacentrum Udomlya met 4 racks.
Na aansluiting bij het team van Rostelecom-DPC zullen ook de specialisten van DataLine betrokken worden bij de exploitatie van dit datacenter. Je hebt vast al iets gehoord over "Udomlya". Vandaag hebben we besloten om u in detail te vertellen hoe alles daar werkt.
Industriële landschappen: een datacenter van 32 m² en een kerncentrale op de achtergrond. Udomlya voorbeeld lente 000.
Onder de uitsnede hebben we meer dan 40 foto's verzameld van de technische systemen van het datacenter met een gedetailleerde beschrijving. Degenen die het einde bereiken, wachten een aangename verrassing.
Over logistiek
Het datacenter bevindt zich in de regio Tver. De reis van Moskou naar Udomlya duurt ongeveer drie uur: 1 uur en 45 minuten op station Sapsan naar Vyshny Volochek, en vanaf daar zal een shuttle u op voorafgaand verzoek ontmoeten en naar het datacenter brengen. Van Sint-Petersburg naar Vyshny Volochek duurt het iets langer - 2 uur en 20 minuten.
Met de auto kun je er vanuit Moskou in 4,5 uur komen, vanuit Sint-Petersburg in 5 uur.
Ja, voor een paar eenheden wil je hier waarschijnlijk niet heen. Maar als je een nieuw huis nodig hebt voor tientallen racks, dan is het de moeite waard om het eens van dichterbij te bekijken. Er is voldoende ruimte en elektriciteit, ook als je dit bedrag op elk moment wilt verdubbelen. In Moskou, waar, naar onze ervaring, datacenters al in de bouwfase worden geboekt, zal deze truc niet altijd werken.
Daarnaast kan de locatie van het datacenter tussen Moskou en Sint-Petersburg worden gebruikt voor geo-reservering. Als de belangrijkste faciliteiten zich in Moskou of Sint-Petersburg bevinden, zou een back-uplocatie goed passen.
Het smart hands-team assisteert bij alle standaardwerkzaamheden ter plaatse. Zij ontvangen, pakken de apparatuur uit en installeren deze in racks, sluiten deze aan op stroom en netwerk en bieden externe toegang tot de apparatuur. In geval van storingen helpen ze bij de diagnose en vervangen ze defecte componenten.
De eerste fase van het datacenter bestaat uit 4 computerruimtes, of modules, met elk 205 racks. Er zijn 2 machinekamers en een energiecentrum op de begane grond, en nog twee kamers en een koelcentrum op de tweede verdieping. Laten we eens gaan kijken hoe alles hier werkt.
Fysieke bewaking
Het datacenter bevindt zich in een aangewezen ruimte, die zonder pas en identificatiedocument niet betreden kan worden. Wie met de auto komt, krijgt ook een vervoerspas en mag pas daarna het datacenter betreden. Voor wie alles op orde heeft met zijn pas, het datacenter is 24x7 geopend.
De eerste XNUMX-uurs beveiligingspost is de toegang tot het grondgebied.
We gaan verder en komen bij het controlepunt direct bij de ingang van het datacenter.
Beveiligingsagenten begroeten niet alleen klanten en geven pasjes uit, maar houden ook XNUMX uur per dag toezicht op de videomuur, waarop beelden te zien zijn van alle interne gebouwen van het datacenter en de omliggende gebieden.
Stroomvoorziening
Elektriciteit begint zijn reis naar het datacenter vanuit de kerncentrale. Het datacenter ontvangt 10 kV voor 6 step-down transformatoren. Vervolgens gaat 0,4 kV via twee onafhankelijke routes naar het laagspanningsschakelapparaat (LVSD). Vervolgens wordt via het DIBP stroom geleverd aan IT- en technische apparatuur. Twee onafhankelijke ingangen zijn geschikt voor het rack, dat wil zeggen 2N redundantie. Hoe alles werkt op het gebied van stroomvoorziening vertellen wij je in een apart artikel meer.
Het pad van elektriciteit in het datacenter van Udomlya
Stroombussen waarmee elektriciteit van de RUNN naar de DIBP-stroompanelen komt
Rijen van RUNN
Ondanks het feit dat er een kerncentrale in de buurt is, wordt in elk betrouwbaar datacenter de hoofdstroomvoorziening als gegarandeerd beschouwd. In onze datacenters zijn, zoals u weet, dieselgeneratorsets hiervoor verantwoordelijk, maar hier worden dynamische UPS'en (DIUPS) gebruikt. Ze bieden ook een ononderbroken stroomvoorziening. DIUP's worden gereserveerd volgens het N+1-schema.
DIPS-merk Euro-Diesel (Kinolt) met een capaciteit van 2 MW. Ze brullen zo hard dat je er beter niet zonder oordopjes naar binnen kunt gaan.
En dit is hoe het werkt. DIBP is een combinatie van drie hoofdcomponenten: een dieselmotor, een synchrone elektrische machine en een kinetische energieaccumulator met een rotor. Ze zijn allemaal bevestigd aan de hoofdas.
De elektrische machine kan werken in de elektromotor- en generatormodus. Wanneer de DIBP regelmatig vanuit de stad wordt gevoed, is de elektrische machine een elektromotor die de rotor laat draaien en kinetische energie in de batterij opslaat.
Het grijze blok op de voorgrond is een synchrone machine DIBP
Dieselmotor DIBP
Als de stadsstroom uitvalt, schakelt de elektrische machine over naar de generatormodus. Dankzij de opgebouwde kinetische energie zorgt de rotor ervoor dat de hoofdas van de DIBP draait, blijft de elektrische machine draaien zonder stadsstroom en verdwijnt de uitgangsspanning niet. Dit zorgt voor een ononderbroken stroomvoorziening in het datacenter. Tegelijkertijd verzendt het DIBP-regelsysteem een signaal om de dieselmotor te starten. Dezelfde kinetische energie van de rotor start de dieselmotor en helpt deze de bedrijfsfrequentie te bereiken. De rotor houdt de snelheid maximaal één minuut vast, en dit is voldoende om de diesel in actie te laten komen. Na het starten roteert de dieselmotor de hoofdas en daardoor de elektrische machine (hier het overschakelen van de DIBP van de ene modus naar de andere).
Hierdoor gaat er geen seconde stroom in de racks verloren.
De tank van elke dieselgenerator is ontworpen voor 3 uur. Het datacenter beschikt tevens over een eigen brandstofopslag van 80 ton, die de gehele lading van het datacenter 24 uur lang zal kunnen vasthouden. In het geval van zeer hypothetische stroomuitval (de nabijgelegen kerncentrale staat dit niet toe), zijn er overeenkomsten met verschillende aannemers die op afroep onmiddellijk dieselbrandstof op de locatie zullen leveren. Over het algemeen is alles zoals het zou moeten zijn.
Elke week voeren de DIBP's een zelftest uit en starten ze de dieselmotor. Eén keer per maand worden er tests uitgevoerd met een kortetermijnuitschakeling van het stadsnetwerk.
DIBP-bedieningspaneel
ShchGP- en ShchBP-gebouwen
“Hoofdlijnen” en “knooppunten” van stroomkabels
Machinekamers
Elke module bevindt zich in een hermetische zone, in een speciale doos. Deze extra muren en het dak beschermen de turbinekamer tegen stof, water en vuur. Bij acceptatie van een datacenter wordt traditioneel het containment met water overspoeld om te controleren op lekkages.
Het dak van het gebouw en een eigen dak van de turbinekamer met afvoerbuizen
Water dat op het dak van de insluitingszone valt, stroomt via goten in de afvoerleiding
Elke hal is klaar voor 205 racks met een gemiddeld vermogen van 5 kW.
De opstelling van apparatuur in de hal is georganiseerd volgens het schema van koude en warme gangen.
Bolid vroegtijdige branddetectie- en gasbrandblussystemen worden langs het plafond geleid.
Ook onder de verhoogde vloer bevinden zich rooksensoren. Het is voldoende om twee willekeurige sensoren te activeren en de sirene van het brandalarm klinkt, maar daar zullen we later over praten.
Daar, langs de rijen airconditioners, hangen tape-leksensoren.
Elke gang tussen de balies wordt “bewaakt” met CCTV-camera’s.
Indien gewenst kunnen de stellingen achter een speciaal hekwerk (kooi) worden geplaatst en kunnen er extra camera's, toegangscontrolesystemen en bewegingssensoren, volumesensoren etc. op worden geïnstalleerd.
Koeling
Het datacenter van Udomlya maakt gebruik van een ethyleenglycol-koelcircuit. Er zijn airconditioners in de machinekamers, koelmachines op het dak en op de tweede verdieping is er een koelcentrum met pijpleidingen, een automatiserings- en controlesysteem, pompen, opslagtanks, enz.
Elke kamer heeft 12 airconditioners, waarvan de helft met stoombevochtigers. N+1 afvloeiingsregeling.
In het koude gangpad wordt de temperatuur tussen 21–25 °C en een luchtvochtigheid van 40–60% gehouden.
Precisie-airconditioners Stulz Cyber Cool
Er zijn twee ringen rondom elke machinekamer: een “koude” lijn die gekoelde ethyleenglycol aan de airconditioner levert, en een “warme” lijn die verwarmde glycol van de airconditioners naar de koelmachines afvoert. Als we de verhoogde vloer in de gang openen, zien we vanuit het koelsysteem druppels in de machinekamers.
De route van ethyleenglycol is als volgt: vanuit de airconditioner komt verwarmde ethyleenglycol eerst de retourleiding rond de machinekamer binnen en vervolgens in de gemeenschappelijke ring. Vervolgens gaat ethyleenglycol naar de pomp en vervolgens naar de koelmachine, waar het wordt gekoeld tot 10 °C. Na de koelmachine keert ethyleenglycol terug naar de airconditioner via de gemeenschappelijke ringtoevoerleiding, opslagtanks en de ring rond de module.
Schema voor koeling van datacenters
Zo ziet een koelcentrum eruit waar 100 m3 ethyleenglycol doorheen gaat
Grijze containers zijn expansietanks. Verwarmde ethyleenglycol passeert ze op weg naar de koelmachine. In de zomer zet ethyleenglycol uit en heeft het extra ruimte nodig.
Deze indrukwekkende containers zijn opslagtanks van 5 m3 per stuk. Ze zorgen voor ononderbroken koeling van het datacenter in geval van een storing van de koelmachine.
Gekoelde ethyleenglycol uit de tanks wordt aan het systeem geleverd, waardoor de uitlaattemperatuur van de airconditioner gedurende 19 minuten op 5 °C kan worden gehouden. Zelfs als het buiten +40°C is.
Koelpompen
Gaaszakfilters en afscheidingstanks voor het zuiveren van ethyleenglycol van mechanische deeltjes en lucht
De dunne rode lijn op de vloer onder de leidingen is de leksensortape. Ze lopen langs de hele omtrek van het koelcentrum.
Als een van de leidingen lekt, gaat de ethyleenglycol door het afvoersysteem en komt in een speciale tank in de waterbehandelingsruimte terecht. Er zijn ook twee tanks met “reserve” ethyleenglycol om het koelsysteem bij te vullen in geval van grote lekkages.
En over koelers. Er staan 5 koelmachines op het dak die gebruik maken van een N+1 redundantieschema. Dagelijks bepaalt de automatisering, afhankelijk van de bedrijfsuren, welke koelmachine in reserve moet worden gezet.
Chillers van het merk Stulz CyberCool 2 met een vermogen van 1096 kW
Koelmachines ondersteunen drie modi:
- compressor – vanaf 12 °C;
- gemengd – bij 0–12 °C;
- gratis koeling – vanaf 0 en lager. Deze modus omvat het koelen van de ethyleenglycol door middel van ventilatoren in plaats van door een compressor.
brandveiligheid
Het datacenter beschikt over twee gasbrandblusstations. Elk bevat twee batterijen van 11 cilinders: de eerste is de hoofdbatterij, de tweede is een reserve.
Het brandbestrijdingssysteem van het datacentrum is gekoppeld aan de server van de kerncentrale van Kalinin en indien nodig is de eigen brandweer van het station binnen enkele minuten ter plaatse.
Op de foto is een brandmeldinstallatie en een nooduitgangknop in de turbinekamer te zien. Dit laatste is nodig als de deuren om wat voor reden dan ook niet ontgrendeld zijn tijdens een brandalarm: het onderbreekt de stroomtoevoer naar het elektrische slot.
Telecom
Twee Rostelecom-snelwegen arriveren via onafhankelijke routes bij het datacenter. Elk DWDM-systeem heeft een capaciteit van 8 Terabits.
Het datacenter beschikt over twee telecomingangen, die zich op een afstand van ruim 25 meter van elkaar bevinden.
Ook aanwezig op de site zijn operators Rascom, Telia Carrier Russia, Consyst en DataLine zullen in de nabije toekomst verschijnen.
Vanuit Udomlya kun je een kanaal bouwen naar Moskou, Sint-Petersburg of waar dan ook in Rusland en de wereld.
controle
Ingenieurs van dienst zijn XNUMX uur per dag aanwezig in het meldcentrum.
Hier wordt alle informatie over technische systemen ontvangen: klimatologische omstandigheden in de hal, toestand van de ingangen, DIBP, etc.
Elke twee uur maakt het dienstdoende personeel een rondleiding door alle infrastructuurgebouwen om de staat van de technische en IT-apparatuur te inspecteren.
Ondersteunende infrastructuur
Er is een losplaats voorzien voor de levering van apparatuur aan het datacenter.
Losplaats van binnenuit.
Bevindt uw hal zich op de tweede verdieping, dan brengt deze hydraulische lift de eventuele apparatuur daar af.
Kluisjes voor het opbergen van clienttools en meer.
Een beetje over het dagelijks leven
Voor vast personeel kun je in het kantoorgedeelte ingerichte werkplekken huren. Als u af en toe op bezoek komt, kunt u verblijven in een tijdelijk hotel met alle voorzieningen direct op het grondgebied van het datacenter.
Het kantoorgedeelte beschikt tevens over een eetkamer en een keuken.
En er is overal een prachtige natuur met bossen, meren, rivieren, vissen en andere buitenactiviteiten. Kom op bezoek.
Zoals beloofd een mooie bonus voor wie het einde heeft gehaald. De eerste zes maanden is het huren van een rackruimte in Udomlya met een geleverd vermogen van 5 kW gratis. Betaal alleen voor de daadwerkelijk verbruikte elektriciteit. Stuur uw sollicitatie naar .
Bron: www.habr.com