Et sted midt mellom Moskva og St. Petersburg ligger en liten by som heter Udomlya. Tidligere var det kjent for Kalinin kjernekraftverk. I 2019 dukket en annen attraksjon opp i nærheten - Udomlya megadatasenter med 4 tusen stativer.
Etter å ha blitt med i Rostelecom-DPC-teamet, vil DataLine-spesialister også være involvert i driften av dette datasenteret. Du har sikkert allerede hørt noe om "Udomlya". I dag bestemte vi oss for å fortelle deg i detalj hvordan alt fungerer der.
Industrilandskap: et 32 000 m² datasenter og et atomkraftverk i bakgrunnen. Udomlya-eksempel våren 2019.
Under kuttet har vi samlet mer enn 40 bilder av datasenterets tekniske systemer med en detaljert beskrivelse. En hyggelig overraskelse venter de som når slutten.
Om logistikk
Datasenteret ligger i Tver-regionen. Reisen fra Moskva til Udomlya vil ta omtrent tre timer: 1 time og 45 minutter på Sapsan til Vyshny Volochek stasjon, og derfra, på forhåndsforespørsel, vil en skyttel møte deg og ta deg til datasenteret. Fra St. Petersburg til Vyshny Volochek tar det litt lengre tid - 2 timer 20 minutter.
Med bil kan du komme dit fra Moskva på 4,5 timer, fra St. Petersburg på 5.
Ja, du vil sannsynligvis ikke gå hit for et par enheter. Men hvis du trenger et nytt hjem for dusinvis av stativer, så er det verdt å ta en nærmere titt. Det er nok plass og strøm, selv om du vil doble dette beløpet når som helst. I Moskva, hvor, etter vår erfaring, datasentre er booket på byggestadiet, vil ikke dette trikset alltid fungere.
I tillegg kan plasseringen av datasenteret mellom Moskva og St. Petersburg brukes til georeservasjon. Hvis hovedfasilitetene er i Moskva eller St. Petersburg, vil en reserveside passe godt inn.
Smarthendsteamet vil bistå med alle standardoperasjoner på stedet. De vil motta, pakke ut og installere utstyr i stativer, koble det til strøm og nettverk, og gi ekstern tilgang til utstyret. I tilfelle funksjonsfeil vil de hjelpe med diagnostikk og erstatte defekte komponenter.
Den første fasen av datasenteret består av 4 datarom, eller moduler, med 205 rack hver. Det er 2 maskinrom og energisentral i første etasje, og ytterligere to rom og kjølesentral i andre etasje. La oss se hvordan alt fungerer her.
Fysisk sikkerhet
Datasenteret opptar et angitt område, som ikke kan gås inn uten pass og identifikasjonsdokument. De som kommer med bil får også transportpass og først etter det kan de komme inn i datasenteret. For de som har alt i orden med passet, er datasenteret åpent 24x7.
Den første XNUMX-timers sikkerhetsposten er inngangen til territoriet.
Vi går videre og kommer til sjekkpunktet rett ved inngangen til datasenteret.
Sikkerhetsoffiserer hilser ikke bare på klienter og utsteder pass, men overvåker også videoveggen døgnet rundt, som viser bilder av alle de interne lokalene til datasenteret og områdene rundt.
Strømforsyning
Elektrisitet begynner sin reise til datasenteret fra atomkraftverket. Datasenteret mottar 10 kV for 6 nedtrappingstransformatorer. Deretter går 0,4 kV gjennom to uavhengige ruter til lavspenningsbryteren (LVSD). Deretter, gjennom DIBP, leveres strøm til IT og ingeniørutstyr. To uavhengige innganger er egnet for stativet, det vil si 2N redundans. Vi vil fortelle deg mer om hvordan alt fungerer med tanke på strømforsyning i en egen artikkel.
Veien til elektrisitet i Udomlya-datasenteret
Strømbusser som strømmer fra RUNN til DIBP-strømpanelene
Rader med RUNN
Til tross for at det er et kjernekraftverk i nærheten, anses hovedstrømforsyningen som garantert i ethvert pålitelig datasenter. I våre datasentre er det som kjent dieselgeneratorsett som står for det, men her brukes dynamiske UPSer (DIUPS). De gir også uavbrutt strømforsyning. DIUP-er er reservert i henhold til N+1-ordningen.
DIPS merke Euro-Diesel (Kinolt) med en kapasitet på 2 MW. De brøler så høyt at det er bedre å ikke gå inn der uten ørepropper.
Og slik fungerer det. DIBP er en kombinasjon av tre hovedkomponenter: en dieselmotor, en synkron elektrisk maskin og en kinetisk energiakkumulator med rotor. Alle er festet til hovedakselen.
Den elektriske maskinen kan fungere i elektrisk motor og generatormodus. Når DIBP drives regelmessig fra byen, er den elektriske maskinen en elektrisk motor som snur rotoren og lagrer kinetisk energi i batteriet.
Den grå blokken i forgrunnen er en synkronmaskin DIBP
Dieselmotor DIBP
Hvis bystrømmen går, går den elektriske maskinen over til generatormodus. Takket være den akkumulerte kinetiske energien får rotoren hovedakselen til DIBP til å rotere, den elektriske maskinen fortsetter å fungere uten bystrøm og utgangsspenningen forsvinner ikke. Dette sikrer uavbrutt strømforsyning i datasenteret. Samtidig sender DIBP-kontrollsystemet et signal om å starte dieselmotoren. Den samme kinetiske energien til rotoren starter dieselmotoren og hjelper den med å nå driftsfrekvens. Rotoren holder hastigheten i opptil ett minutt, og dette er nok til at dieselen kan spille inn. Etter start roterer dieselmotoren hovedakselen, og gjennom den den elektriske maskinen (her bytte DIBP fra en modus til en annen).
Som et resultat tapes ikke strømmen i stativene selv for et sekund.
Tanken til hver dieselgenerator er designet for 3 timer. Datasenteret har også et eget drivstofflager for 80 tonn, som vil holde hele lasten til datasenteret i 24 timer. Ved svært hypotetiske strømbrudd (kjernekraftverket i nærheten vil ikke tillate dette), er det avtaler med flere entreprenører som omgående vil levere diesel til stedet ved tilkalling. Generelt er alt som det skal være.
Hver uke tester DIBP-ene og starter dieselmotoren. En gang i måneden gjennomføres det tester med kortvarig stenging av bynettet.
DIBP kontrollpanel
ShchGP og ShchBP lokaler
"Stamledninger" og "kryss" av strømkabler
Maskinrom
Hver modul er plassert i en hermetisk sone, i en spesiell boks. Disse ekstra veggene og taket beskytter turbinrommet mot støv, vann og brann. Når du aksepterer et datasenter, blir inneslutningsområdet tradisjonelt sølt med vann for å se etter lekkasjer.
Taket på bygget og eget tak på turbinrommet med avløpsrør
Vann som faller på taket av inneslutningssonen går gjennom takrenner inn i avløpsrøret
Hver hall er klar til å ta imot 205 stativer med en gjennomsnittlig effekt på 5 kW.
Arrangementet av utstyr i hallen er organisert i henhold til ordningen med kalde og varme korridorer.
Bolide tidlig branndeteksjons- og gassslokkingssystemer er ført langs taket.
Det er også plassert røyksensorer under det hevede gulvet. Det er nok å utløse to sensorer og brannalarmsirenen vil høres, men vi snakker om det litt senere.
Akkurat der, langs rekkene med klimaanlegg, er det tapelekkasjesensorer.
Hver korridor mellom skrankene er "overvåket" med CCTV-kameraer.
Om ønskelig kan stativene plasseres bak et spesielt gjerde (bur) og ekstra kameraer, adgangskontrollsystemer og bevegelsessensorer, volumsensorer etc. kan installeres på den.
Kjøling
Udomlya-datasenteret bruker en etylenglykol-kjølekrets. Det er klimaanlegg i maskinrommene, kjølere på taket, og i andre etasje er det et kjølesenter med rørledninger, et automasjons- og kontrollsystem, pumper, lagertanker m.m.
Hvert rom har 12 klimaanlegg, halvparten av dem med dampfuktere. N+1 permitteringsordning.
I den kalde gangen holdes temperaturen mellom 21–25 °C og luftfuktighet 40–60 %.
Presisjonsklimaanlegg Stulz Cyber Cool
Det er to ringer rundt hvert maskinrom: en "kald" linje som leverer avkjølt etylenglykol til klimaanlegget, og en "varm" linje som fjerner oppvarmet glykol fra klimaanlegget til kjølerne. Åpner vi det hevede gulvet i korridoren, vil vi se fall inn i maskinrommene fra kjøleanlegget.
Ruten for etylenglykol er som følger: fra klimaanlegget går oppvarmet etylenglykol først inn i returledningen rundt maskinrommet, og deretter inn i fellesringen. Deretter går etylenglykol til pumpen og deretter til kjøleren, hvor den avkjøles til 10 °C. Etter kjøleren går etylenglykol tilbake til klimaanlegget gjennom den felles ringforsyningsledningen, lagertankene og ringen rundt modulen.
Datasenter kjøleforsyningsdiagram
Slik ser et kjølesenter ut der 100 m3 etylenglykol passerer
Grå beholdere er ekspansjonstanker. Oppvarmet etylenglykol passerer gjennom dem på vei til kjøleren. Om sommeren utvider etylenglykol seg og krever ekstra plass.
Disse imponerende beholderne er lagertanker på 5 m3 hver. De gir uavbrutt kjøling av datasenteret i tilfelle kjølefeil.
Avkjølt etylenglykol fra tankene tilføres systemet, og dette gjør at klimaanleggets utløpstemperatur kan holdes på 19 °C i 5 minutter. Selv om det er +40°C ute.
Kjølepumper
Nettinglommefiltre og separatortanker for rensing av etylenglykol fra mekaniske partikler og luft
Den tynne røde linjen på gulvet under rørene er lekkasjesensortapen. De går langs hele omkretsen av kjølesenteret.
Dersom noen av rørene lekker, vil etylenglykolen gå gjennom avløpssystemet og havne i en spesiell tank i vannbehandlingsrommet. Det er også to tanker med "reserve" etylenglykol for å fylle på kjølesystemet i tilfelle store lekkasjer.
Og om kjølere. Det er 5 kjølere på taket som bruker en N+1 redundansordning. Hver dag bestemmer automatikken, avhengig av driftstimer, hvilken kjøler som skal settes i reserve.
Kjølere av merket Stulz CyberCool 2 med en kapasitet på 1096 kW
Kjølere støtter tre moduser:
- kompressor – fra 12 °C;
- blandet – ved 0–12 °C;
- frikjøling – fra 0 og under. Denne modusen innebærer avkjøling av etylenglykol gjennom drift av vifter i stedet for en kompressor.
Brannsikkerhet
Datasenteret har to gassslukningsstasjoner. Hver inneholder to batterier på 11 sylindre: den første er den viktigste, den andre er en reserve.
Brannslokkingssystemet til datasenteret er koblet til serveren til Kalinin NPP, og om nødvendig vil stasjonens eget brannvesen ankomme stedet i løpet av minutter.
Bildet viser brannalarmanlegg og nødutgangsknapp i turbinrommet. Sistnevnte er nødvendig hvis dørene av en eller annen grunn ikke ble låst opp under en brannalarm: den bryter strømforsyningen til den elektriske låsen.
Telekom
To Rostelecom-motorveier ankommer datasenteret via uavhengige ruter. Hvert DWDM-system har en kapasitet på 8 terabit.
Datasenteret har to telekominnganger, som er plassert i en avstand på mer enn 25 meter fra hverandre.
Tilstede på siden er også operatørene Rascom, Telia Carrier Russia, Consyst, og DataLine vil vises i nær fremtid.
Fra Udomlya kan du bygge en kanal til Moskva, St. Petersburg eller hvor som helst i Russland og verden.
overvåking
Vakthavende ingeniører er på vakt på overvåkingssentralen hele døgnet.
All informasjon om tekniske systemer mottas her: klimatiske forhold i hallen, tilstand av innganger, DIBP, etc.
Hver annen time tar vakthavende personell en omvisning i alle infrastrukturlokaler for å inspisere tilstanden til ingeniør- og IT-utstyr.
Støtte infrastruktur
Det er avsatt et losseområde for levering av utstyr til datasenteret.
Losseplass fra innsiden.
Hvis hallen din er i andre etasje, vil denne hydrauliske heisen levere alt utstyr dit.
Skap for oppbevaring av klientverktøy og mer.
Litt om hverdagen
For fast ansatte kan du leie utstyrte arbeidsplasser i kontordelen. Hvis du besøker fra tid til annen, kan du bo på et midlertidig hotell med alle fasiliteter rett på territoriet til datasenteret.
Kontordelen har også spisestue og kjøkken.
Og det er fantastisk natur rundt omkring med skog, vann, elver, fiske og andre friluftsaktiviteter. Kom på besøk.
Som lovet, en fin bonus for de som kom til slutten. De første seks månedene vil det være gratis å leie en stativplass i Udomlya med en tilført effekt på 5 kW. Betal kun for strømmen som faktisk forbrukes. Send søknaden din til .
Kilde: www.habr.com