Et sted midt mellem Moskva og Sankt Petersborg ligger en lille by, der hedder Udomlya. Tidligere var det kendt for Kalinin-atomkraftværket. I 2019 dukkede en anden attraktion op i nærheden - Udomlya megadatacenter med 4 tusind stativer.
Efter at have tilsluttet sig Rostelecom-DPC-teamet, vil DataLine-specialister også være involveret i driften af dette datacenter. Du har helt sikkert allerede hørt noget om "Udomlya". I dag besluttede vi at fortælle dig i detaljer, hvordan alt fungerer der.
Industrielle landskaber: et 32 m² datacenter og et atomkraftværk i baggrunden. Udomlya prøve forår 000.
Under klippet har vi samlet mere end 40 billeder af datacenterets tekniske systemer med en detaljeret beskrivelse. En behagelig overraskelse venter dem, der når slutningen.
Om logistik
Datacentret er placeret i Tver-regionen. Rejsen fra Moskva til Udomlya vil tage omkring tre timer: 1 time og 45 minutter på Sapsan til Vyshny Volochek station, og derfra, efter forudgående anmodning, vil en shuttle møde dig og tage dig til datacentret. Fra St. Petersborg til Vyshny Volochek tager det lidt længere tid - 2 timer 20 minutter.
I bil kan du komme dertil fra Moskva på 4,5 timer, fra St. Petersborg på 5 timer.
Ja, du vil sandsynligvis ikke gå her for et par enheder. Men mangler du et nyt hjem til snesevis af stativer, så er det værd at kigge nærmere på. Der er plads og strøm nok, selvom du til enhver tid vil fordoble dette beløb. I Moskva, hvor vi efter vores erfaring booker datacentre i byggefasen, vil dette trick ikke altid fungere.
Derudover kan placeringen af datacentret mellem Moskva og Skt. Petersborg bruges til georeservation. Hvis hovedfaciliteterne er i Moskva eller Skt. Petersborg, så ville et backup-sted passe godt ind.
Teamet med smarte hænder vil hjælpe med alle standardoperationer på stedet. De vil modtage, pakke ud og installere udstyr i stativer, tilslutte det til strøm og netværk og give fjernadgang til udstyret. I tilfælde af funktionsfejl vil de hjælpe med diagnostik og udskifte defekte komponenter.
Den første fase af datacentret består af 4 computerrum, eller moduler, med hver 205 racks. Der er 2 maskinrum og et energicenter i stueetagen, og yderligere to rum og et kølecenter på XNUMX. sal. Lad os se, hvordan alt fungerer her.
Fysisk sikkerhed
Datacentret optager et udpeget område, som ikke kan betrædes uden pas og identifikationsdokument. De, der ankommer i bil, får også et transportpas og kan først derefter komme ind i datacentret. For dem, der har styr på det hele med deres pas, er datacentret åbent 24x7.
Den første XNUMX-timers sikkerhedspost er indgangen til territoriet.
Vi går videre og kommer til checkpointet direkte ved indgangen til datacentret.
Sikkerhedsofficerer hilser ikke kun på kunder og udsteder kort, men overvåger også videovæggen døgnet rundt, som viser billeder af alle de interne lokaler i datacentret og de omkringliggende områder.
Strømforsyning
Elektricitet begynder sin rejse til datacentret fra atomkraftværket. Datacentret modtager 10 kV til 6 nedtrappede transformere. Dernæst går 0,4 kV gennem to uafhængige ruter til lavspændingsanlægget (LVSD). Derefter bliver der via DIBP leveret strøm til it- og ingeniørudstyr. To uafhængige indgange er velegnede til racket, det vil sige 2N redundans. Vi vil fortælle dig mere om, hvordan alt fungerer med hensyn til strømforsyning i en separat artikel.
Elektricitetsstien i Udomlya-datacentret
Strømbusser, hvorigennem elektricitet kommer fra RUNN til DIBP strømpaneler
Rækker af RUNN
På trods af det faktum, at der er et atomkraftværk i nærheden, anses hovedstrømforsyningen for at være garanteret i ethvert pålideligt datacenter. I vores datacentre er det som bekendt dieselgeneratorsæt, der står for det, men her bruges dynamiske UPS'er (DIUPS). De giver også uafbrudt strømforsyning. DIUP'er er reserveret i henhold til N+1-ordningen.
DIPS mærke Euro-Diesel (Kinolt) med en kapacitet på 2 MW. De brøler så højt, at det er bedre ikke at gå derind uden ørepropper.
Og sådan fungerer det. DIBP er en kombination af tre hovedkomponenter: en dieselmotor, en synkron elektrisk maskine og en kinetisk energiakkumulator med en rotor. Alle er fastgjort til hovedakslen.
Den elektriske maskine kan fungere i elektrisk motor- og generatortilstand. Når DIBP'en får strøm regelmæssigt fra byen, er den elektriske maskine en elektrisk motor, der drejer rotoren og lagrer kinetisk energi i batteriet.
Den grå blok i forgrunden er en synkron maskine DIBP
Dieselmotor DIBP
Hvis byens strøm afbrydes, skifter den elektriske maskine til generatortilstand. Takket være den akkumulerede kinetiske energi får rotoren hovedakslen på DIBP til at rotere, den elektriske maskine fortsætter med at fungere uden bystrøm, og udgangsspændingen forsvinder ikke. Dette sikrer uafbrudt strømforsyning i datacentret. Samtidig sender DIBP styresystemet et signal om at starte dieselmotoren. Den samme kinetiske energi fra rotoren starter dieselmotoren og hjælper den med at nå driftsfrekvensen. Rotoren holder fart i op til et minut, og det er nok til, at dieselen kommer i spil. Efter start roterer dieselmotoren hovedakslen og gennem den den elektriske maskine (her skifter DIBP fra en tilstand til en anden).
Som et resultat går strømmen i stativerne ikke tabt selv et sekund.
Tanken på hver dieselgenerator er designet til 3 timer. Datacentret har også sit eget brændstoflager til 80 tons, som holder hele datacentrets last i 24 timer. I tilfælde af meget hypotetiske strømafbrydelser (det nærliggende atomkraftværk vil ikke tillade dette), er der aftaler med flere entreprenører, som omgående vil levere diesel til stedet efter tilkald. Generelt er alt, som det skal være.
Hver uge tester DIBP'erne og starter dieselmotoren. En gang om måneden udføres test med kortvarig nedlukning af bynettet.
DIBP kontrolpanel
ShchGP og ShchBP lokaler
"Trunk lines" og "junctions" af strømkabler
Maskinrum
Hvert modul er placeret i en hermetisk zone, i en speciel kasse. Disse ekstra vægge og tag beskytter turbinerummet mod støv, vand og ild. Når du accepterer et datacenter, spildes indeslutningsområdet traditionelt med vand for at kontrollere for utætheder.
Bygningens tag og eget tag af møllerummet med drænrør
Vand, der falder på taget af indeslutningszonen, går gennem tagrender ind i drænledningen
Hver hal er klar til at modtage 205 stativer med en gennemsnitlig effekt på 5 kW.
Arrangementet af udstyr i hallen er organiseret efter ordningen med kolde og varme korridorer.
Bolide tidlig branddetektion og gasbrandslukningssystemer er ført langs loftet.
Røgsensorer er også placeret under det hævede gulv. Det er nok at udløse to sensorer, og brandalarmsirenen vil lyde, men vi taler om det lidt senere.
Lige der, langs rækkerne af klimaanlæg, er der båndlækagesensorer.
Hver korridor mellem skrankerne er "overvåget" med CCTV-kameraer.
Hvis det ønskes, kan stativerne placeres bag et særligt hegn (bur), og der kan installeres ekstra kameraer, adgangskontrolsystemer og bevægelsessensorer, volumensensorer osv.
Køling
Udomlya-datacentret bruger et ethylenglycol-kølekredsløb. Der er klimaanlæg i maskinrummene, kølere på taget, og på anden sal er der et kølecenter med rørledninger, et automatiserings- og styresystem, pumper, lagertanke mv.
Hvert værelse har 12 klimaanlæg, halvdelen af dem med dampbefugtere. N+1 afskedigelsesordning.
I den kolde gang holdes temperaturen mellem 21–25 °C og luftfugtighed 40–60 %.
Præcisions klimaanlæg Stulz Cyber Cool
Der er to ringe rundt om hvert maskinrum: en "kold" linje, der leverer afkølet ethylenglykol til klimaanlægget, og en "varm" linje, der fjerner opvarmet glykol fra klimaanlæggene til køleanlæggene. Åbner vi det hævede gulv i gangen, vil vi se fald ind i maskinrummene fra køleanlægget.
Ruten for ethylenglycol er som følger: fra klimaanlægget kommer opvarmet ethylenglycol først ind i returledningen rundt om maskinrummet og derefter ind i den fælles ring. Derefter går ethylenglycol til pumpen og derefter til køleren, hvor den afkøles til 10 °C. Efter køleren vender ethylenglycol tilbage til klimaanlægget gennem den fælles ringforsyningsledning, lagertanke og ringen omkring modulet.
Datacenter køleforsyning diagram
Sådan ser et kølecenter ud, hvorigennem 100 m3 ethylenglycol passerer
Grå beholdere er ekspansionsbeholdere. Opvarmet ethylenglycol passerer gennem dem på vej til køleren. Om sommeren udvider ethylenglycol sig og kræver ekstra plads.
Disse imponerende beholdere er lagertanke på 5 m3 hver. De sørger for uafbrudt køling af datacentret i tilfælde af chillerfejl.
Afkølet ethylenglycol fra tankene tilføres systemet, og dette gør det muligt at holde klimaanlæggets udgangstemperatur på 19 °C i 5 minutter. Også selvom det er +40°C udenfor.
Kølepumper
Mesh lommefiltre og separatortanke til rensning af ethylenglycol fra mekaniske partikler og luft
Den tynde røde streg på gulvet under rørene er lækagesensortapen. De går langs hele kølecentrets omkreds.
Lækker nogle af rørene, vil ethylenglykolen gå gennem afløbssystemet og ende i en speciel tank i vandbehandlingsrummet. Der er også to tanke med "reserve" ethylenglycol til at genopfylde kølesystemet i tilfælde af større utætheder.
Og om kølere. Der er 5 kølere på taget med en N+1 redundansordning. Hver dag bestemmer automatikken, afhængigt af driftstimer, hvilken køler, der skal sættes i reserve.
Chillers af mærket Stulz CyberCool 2 med en kapacitet på 1096 kW
Chillere understøtter tre tilstande:
- kompressor – fra 12 °C;
- blandet – ved 0–12 °C;
- frikøling – fra 0 og derunder. Denne tilstand involverer afkøling af ethylenglycol gennem drift af ventilatorer i stedet for en kompressor.
Brandsikkerhed
Datacentret har to gasbrandslukningsstationer. Hver indeholder to batterier med 11 cylindre: den første er den vigtigste, den anden er en reserve.
Datacentrets brandslukningssystem er knyttet til serveren på Kalinin NPP, og om nødvendigt vil stationens eget brandvæsen ankomme på stedet inden for få minutter.
Billedet viser et brandalarmanlæg og en nødudgangsknap i møllerummet. Sidstnævnte er nødvendig, hvis dørene af en eller anden grund ikke blev låst op under en brandalarm: den afbryder strømforsyningen til den elektriske lås.
Telekom
To Rostelecom-motorveje ankommer til datacentret via uafhængige ruter. Hvert DWDM-system har en kapacitet på 8 terabit.
Datacentret har to teleindgange, som er placeret i en afstand på mere end 25 meter fra hinanden.
Også til stede på siden er operatørerne Rascom, Telia Carrier Russia, Consyst, og DataLine vil dukke op i den nærmeste fremtid.
Fra Udomlya kan du bygge en kanal til Moskva, St. Petersborg eller hvor som helst i Rusland og verden.
overvågning
Vakthavende ingeniører er på vagt på overvågningscenteret døgnet rundt.
Alle informationer om tekniske systemer modtages her: klimatiske forhold i hallen, tilstand af input, DIBP mv.
Hver anden time tager vagthavende personale en rundvisning i alle infrastrukturlokaler for at inspicere tilstanden af ingeniør- og IT-udstyr.
Understøttende infrastruktur
Der er tilvejebragt et aflæsningsområde til levering af udstyr til datacenteret.
Aflæsningsområde indefra.
Hvis din hal er på anden sal, så vil denne hydrauliske lift levere alt udstyr dertil.
Skabe til opbevaring af klientværktøjer og mere.
Lidt om hverdagen
For fast personale kan du leje udstyrede arbejdspladser i kontordelen. Hvis du besøger fra tid til anden, kan du bo på et midlertidigt hotel med alle faciliteter lige på datacentrets område.
Kontordelen har desuden spisestue og køkken.
Og der er fantastisk natur rundt omkring med skove, søer, floder, fiskeri og andre udendørs aktiviteter. Kom på besøg.
Som lovet, en fin bonus til dem, der nåede til slutningen. I de første seks måneder vil det være gratis at leje en rackplads i Udomlya med en leveret effekt på 5 kW. Betal kun for den faktisk forbrugte elektricitet. Send din ansøgning til .
Kilde: www.habr.com