Et sted midt imellem Moskva og Sankt Petersborg ligger en lille by ved navn Udomlya. Tidligere var det kendt for Kalinin-atomkraftværket. I 2019 dukkede endnu et vartegn op i nærheden – mega-datacentret “Udomlya” med 4 tusind racks.
Efter at være blevet en del af Rostelecom-DC-teamet, vil DataLine-specialister også være involveret i driften af dette datacenter. Du har helt sikkert allerede hørt noget om "Udomlya". I dag besluttede vi at fortælle dig i detaljer, hvordan alt fungerer der.
Industrilandskaber: et 32 m² stort datacenter og et atomkraftværk i baggrunden. Udomlya-prøve fra foråret 000.
Nedenfor har vi samlet mere end 40 billeder af datacentertekniske systemer med detaljerede beskrivelser. De, der når til slutningen, vil få sig en behagelig overraskelse.
Om logistik
Datacentret er placeret i Tver-regionen. Rejsen fra Moskva til Udomlya tager cirka tre timer: 1 time og 45 minutter med Sapsan til Vyshny Volochok station, og derfra vil en shuttlebus efter forudgående anmodning møde dig og køre dig til datacentret. Fra Sankt Petersborg til Vyshny Volochok tager det lidt længere tid – 2 timer og 20 minutter.
Med bil kan du komme dertil fra Moskva på 4,5 timer, fra Skt. Petersborg – på 5.
Ja, du ville sandsynligvis ikke komme her bare for et par enheder. Men hvis du har brug for et nyt hjem til snesevis af stativer, så er det værd at se nærmere på. Der er plads og strøm nok, selvom du når som helst ønsker at fordoble dette beløb. I Moskva, hvor datacentre efter vores erfaring bookes i byggefasen, vil dette trick ikke altid virke.
Derudover kan datacentrets placering mellem Moskva og Skt. Petersborg bruges til georeservation. Hvis hovedkapaciteten er i Moskva eller Skt. Petersborg, ville et backup-sted passe godt ind her.
Smart Hands-teamet vil være på stedet for at hjælpe med alle standardoperationer. De vil modtage, pakke ud og installere udstyret i racks, tilslutte det til strøm og netværket og give fjernadgang til udstyret. I tilfælde af funktionsfejl vil de hjælpe med diagnosticering og udskifte defekte komponenter.
Datacentrets første fase består af 4 maskinrum, eller moduler, med 205 racks hver. På første sal er der to maskinrum og et kraftcenter, på anden sal er der yderligere to rum og et kølecenter. Lad os se, hvordan alt er arrangeret her.
Fysisk sikkerhed
Datacenteret optager et dedikeret område, der ikke er tilgængeligt uden adgangskode og identitetsdokument. De, der ankommer i bil, får også et transportkort, og først derefter kan de komme ind på datacenterets område. For dem, der har et gyldigt pas, er datacenteret åbent døgnet rundt.
Det første post med 24-timers sikkerhed er indgangen til territoriet.
Vi går videre og befinder os ved kontrolpunktet direkte ved indgangen til datacentret.
Sikkerhedsvagter hilser ikke kun på kunder og udsteder adgangskort, men overvåger også videovæggen 24 timer i døgnet, hvor billeder af alle datacentrets indre rum og tilstødende områder vises.
Strømforsyning
Elektricitet begynder sin rejse til datacentret fra atomkraftværket. Datacentret modtager 10 kV gennem 6 step-down transformere. Dernæst går 0,4 kV til lavspændingskoblingsanlægget (LVS) via to uafhængige ruter. Derefter forsynes IT- og ingeniørudstyret via DIBP'en med strøm. Racket er forbundet til to uafhængige indgange, dvs. 2N redundans. Vi vil fortælle dig mere om, hvordan alt er arrangeret med hensyn til strømforsyning i en separat artikel.
Elektricitetens rute i Udomlya-datacentret
Strømbusser, hvorigennem elektricitet kommer fra lavspændingsanlægget til DIBP'ens strømpaneler
RUNN-rækker
Selvom der er et atomkraftværk i nærheden, anser ethvert pålideligt datacenter garanteret strømforsyning for at være sin primære strømforsyning. I vores datacentre er det som bekendt dieselgeneratorer, der står for dette, men her anvendes dynamiske UPS'er (DIUP'er). De sørger også for uafbrudt strømforsyning. DIBP'erne er reserveret i henhold til N+1-ordningen.
DIBP Euro-Diesel (Kinolt) mærke, 2 MW kapacitet. De brøler så højt, at det er bedre ikke at gå derind uden ørepropper.
Og sådan fungerer det. DIBP'en er en kombination af tre hovedkomponenter: en dieselmotor, en synkron elektrisk maskine og en kinetisk energiakkumulator med en rotor. Alle er fastgjort til hovedakslen.
Den elektriske maskine kan fungere i både elmotor- og generatortilstand. Når DIBP'en normalt drives af byen, er den elektriske maskine en elektrisk motor, der drejer rotoren og lagrer kinetisk energi i batteriet.
Den grå blok i forgrunden er synkronmaskinen DIBP
Dieselmotor DIBP
Hvis byens strømforsyning afbrydes, skifter den elektriske maskine til generatortilstand. Takket være den akkumulerede kinetiske energi får rotoren DIBP'ens hovedaksel til at rotere, den elektriske maskine fortsætter med at fungere uden bystrømforsyning, og udgangsspændingen forsvinder ikke. Dette sikrer en uafbrydelig strømforsyning i datacentret. Samtidig sender DIBP-styresystemet et signal om at starte dieselmotoren. Den samme kinetiske energi fra rotoren starter dieselmotoren og hjælper den med at nå sin driftsfrekvens. Rotoren opretholder sin hastighed i op til et minut, og det er nok til, at dieselmotoren kommer i spil. Efter start roterer dieselmotoren hovedakslen, og gennem den roterer den elektriske maskine (her) at skifte DIBP fra én tilstand til en anden).
Som følge heraf forsvinder strømmen i stativene ikke et sekund.
Hver dieselgeneratortank er designet til 3 timer. Datacentret har også sit eget brændstoflager til 80 tons, hvilket gør det muligt at understøtte hele datacentrets belastning i 24 timer. I tilfælde af meget hypotetiske strømafbrydelser (det nærliggende atomkraftværk tillader ikke dette), er der kontrakter med flere entreprenører, som straks leverer dieselolie til stedet efter anmodning. Generelt er alt, som det skal være.
Hver uge foretager DIBP en selvtest og starter dieselmotoren. En gang om måneden udføres der tests med en kortvarig nedlukning af byens netværk.
DIBP-kontrolpanel
ShGP's og ShBP's lokaler
"Hovedledninger" og "forbindelser" af strømkabler
Maskinrum
Hvert modul er placeret i et hermetisk lukket område, i en speciel kasse. Disse ekstra vægge og tag beskytter maskinrummet mod støv, vand og ild. Når man modtager et datacenter, oversvømmes indeslutningsområdet traditionelt med vand for at kontrollere for lækager.
Bygningens tag og maskinrummets eget tag med drænrør
Vand, der falder på taget af indeslutningsområdet, løber gennem tagrender ned i drænrøret
Hver hal er klar til at rumme 205 reoler med en gennemsnitlig effekt på 5 kW.
Arrangementet af udstyr i hallen er organiseret i henhold til ordningen for kolde og varme korridorer.
Ledningsnettet til Bolid-systemerne til tidlig branddetektion og gasbrandslukning løber langs loftet.
Røgdetektorer er også placeret under det falske gulv. Det er nok, at to sensorer udløses, og brandalarmen vil lyde, men vi vil tale om dette lidt senere.
Lige der, langs rækkerne af klimaanlæg, er der tapelækagesensorer.
Hver korridor mellem reolerne er "gennemskuet" af CCTV-kameraer.
Hvis det ønskes, kan stativerne placeres bag et særligt hegn (bur), og der kan installeres yderligere kameraer, adgangskontrolsystemer, bevægelsessensorer, volumensensorer osv. på dem.
Køleforsyning
Udomlya-datacentret bruger et kølekredsløb baseret på ethylenglycol. Klimaanlæggene er i drift i maskinrummene, kølere er på taget, og på anden sal er der et kølecenter med rørledninger, et automations- og styresystem, pumper, lagertanke osv.
Hvert værelse har 12 klimaanlæg, hvoraf halvdelen har dampbefugtere. N+1 redundansordning.
I den kolde korridor holdes temperaturen inden for 21-25 °C, og luftfugtigheden er 40-60%.
Stulz Cyber Cool præcisionsklimaanlæg
Der er to ringe omkring hvert maskinrum: en "kold" ledning, der forsyner klimaanlægget med afkølet ethylenglycol, og en "varm" ledning, der fører opvarmet glykol fra klimaanlæggene til kølerne. Hvis vi åbner det falske gulv i korridoren, vil vi se dråberne ned i maskinrummene fra kølesystemet.
Ethylenglycols rute er som følger: Fra klimaanlægget kommer opvarmet ethylenglycol først ind i returledningen omkring maskinrummet og derefter ind i den generelle ring. Derefter går ethylenglycolen til pumpen og derefter til køleren, hvor den afkøles til 10 °C. Efter køleren vender ethylenglycol tilbage til klimaanlægget gennem forsyningsledningen til fællesringen, akkumuleringstanke og ringen omkring modulet.
Køleplan for datacenter
Sådan ser et kølecenter ud, hvorigennem 100 m3 ethylenglycol passerer
De grå tanke er ekspansionstanke. Opvarmet ethylenglycol passerer gennem dem på sin vej til køleren. Om sommeren udvider ethylenglycol sig og kræver ekstra plads.
Disse imponerende containere er lagertanke på 5 m3 hver. De sørger for uafbrudt køling af datacentret i tilfælde af kølerens nedbrud.
Afkølet ethylenglycol fra tankene føres ind i systemet, og dette gør det muligt at opretholde lufttemperaturen ved klimaanlæggets udløb på 19 °C i 5 minutter. Selv hvis det er +40°C udenfor.
Kølesystempumper
Netlommefiltre og separatortanke til rensning af ethylenglycol fra mekaniske partikler og luft
Den tynde røde linje på gulvet under rørene er lækagesøgningstapen. De løber langs hele kølecentrets omkreds.
Hvis et af rørene lækker, vil ethylenglycolen gå gennem drænsystemet og ende i en særlig tank i vandbehandlingsrummet. Der er også to tanke med "reserve" ethylenglycol til at genopfylde kølesystemet i tilfælde af større lækager.
Og om kølere. Der er 5 køleanlæg i drift på taget i en N+1 redundansordning. Hver dag bestemmer automatiseringen, afhængigt af driftstiden, hvilken køler der skal sættes i reserve.
Kølere af mærket Stulz CyberCool 2 med en kapacitet på 1096 kW
Kølere understøtter tre tilstande:
- kompressor – fra 12 °C;
- blandet – ved 0–12 °C;
- frikøling – fra 0 og derunder. Denne tilstand involverer afkøling af ethylenglycolen ved hjælp af ventilatorer i stedet for en kompressor.
Brandsikkerhed
Datacentret har to gasbrandslukningsstationer. Hver har to batterier med 11 cylindre: det første er hovedbatteriet, det andet er reservebatteri.
Datacentrets brandbekæmpelsessystem er forbundet med Kalinin NPP-serveren, og om nødvendigt vil stationens eget brandvæsen ankomme til stedet inden for få minutter.
Billedet viser brandalarmsystemet og nødudgangsknappen i maskinrummet. Sidstnævnte er nødvendigt, hvis dørene af en eller anden grund ikke låses op under en brandalarm: det afbryder strømforsyningen til den elektriske lås.
Telekommunikation
To Rostelecom-hovedlinjer kommer til datacentret via uafhængige ruter. Hvert af DWDM-systemerne har en kapacitet på 8 terabit.
Datacenteret har to telekommunikationsindgange, som er placeret i en afstand af mere end 25 meter fra hinanden.
Også operatørerne Rascom, Telia Carrier Russia, Consist og DataLine vil dukke op i den nærmeste fremtid på siden.
Fra Udomlya er det muligt at bygge en kanal til Moskva, Sankt Petersborg eller et hvilket som helst punkt i Rusland og verden.
overvågning
Overvågningscentralen har vagthavende teknikere på vagt 24 timer i døgnet.
Alle oplysninger om tekniske systemer modtages her: klimatiske forhold i hallen, tilstanden af input, DIBP osv.
Hver anden time foretager vagthavende runder på alle infrastrukturelle områder for at inspicere tilstanden af teknisk udstyr og IT-udstyr.
Støttende infrastruktur
Der er et aflæsningsområde til levering af udstyr til datacentret.
Aflæsningsområde indefra.
Hvis din hal er på anden sal, så kan denne hydrauliske lift transportere alt udstyr dertil.
Skabe til opbevaring af klientinstrumenter og mere.
Lidt om hverdagen
For fastansatte er det muligt at leje udstyrede arbejdsstationer i kontorområdet. Hvis du besøger datacentret fra tid til anden, kan du bo på et midlertidigt hotel med alle faciliteter lige på datacenterets område.
Kontorområdet har også en kantine og et køkken.
Og der er også fantastisk natur hele vejen rundt med skove, søer, floder, fiskeri og andre udendørsaktiviteter. Kom og besøg.
Som lovet, en dejlig bonus til dem der nåede til slutningen. I de første seks måneder vil det være gratis at leje et rackplads i Udomlya med en strømforsyning på 5 kW. Betal kun for den strøm, du rent faktisk forbruger. Send din ansøgning til .
Kilde: www.habr.com
