Någonstans mitt emellan Moskva och St Petersburg finns en liten stad som heter Udomlya. Tidigare var det känt för kärnkraftverket i Kalinin. Under 2019 dök en annan attraktion upp i närheten - Udomlya megadatacenter med 4 tusen rack.
Efter att ha gått med i Rostelecom-DPC-teamet kommer DataLine-specialister också att vara involverade i driften av detta datacenter. Du har säkert redan hört något om "Udomlya". Idag bestämde vi oss för att berätta i detalj hur allt fungerar där.
Industrilandskap: ett 32 000 m² stort datacenter och ett kärnkraftverk i bakgrunden. Udomlya prov våren 2019.
Nedanför klippet har vi samlat mer än 40 bilder på datacentertekniksystemen med en detaljerad beskrivning. En trevlig överraskning väntar dem som når slutet.
Om logistik
Datacentret ligger i Tver-regionen. Resan från Moskva till Udomlya tar cirka tre timmar: 1 timme och 45 minuter på Sapsan till Vyshny Volochek-stationen, och därifrån, på förfrågan, möter en skyttel dig och tar dig till datacentret. Från St Petersburg till Vyshny Volochek tar det lite längre tid - 2 timmar 20 minuter.
Med bil kan du ta dig dit från Moskva på 4,5 timmar, från St Petersburg på 5 timmar.
Ja, du kommer förmodligen inte att vilja åka hit för ett par enheter. Men om du behöver ett nytt hem för dussintals ställ, så är det värt att ta en närmare titt. Det finns tillräckligt med utrymme och el, även om du när som helst vill dubbla denna mängd. I Moskva, där, enligt vår erfarenhet, datacenter bokas i byggskedet, kommer detta trick inte alltid att fungera.
Dessutom kan platsen för datacentret mellan Moskva och St. Petersburg användas för geo-reservation. Om huvudanläggningarna finns i Moskva eller S:t Petersburg, skulle en reservplats passa bra.
Teamet för smarta händer hjälper till med alla standardoperationer på plats. De kommer att ta emot, packa upp och installera utrustning i rack, ansluta den till ström och nätverk och ge fjärråtkomst till utrustningen. I händelse av funktionsfel hjälper de till med diagnostik och ersätter felaktiga komponenter.
Den första etappen av datacentret består av 4 datorrum, eller moduler, med 205 rack vardera. Det finns 2 maskinrum och en energicentral på bottenvåningen och ytterligare två rum och en kylcentral på andra våningen. Låt oss se hur allt fungerar här.
Fysisk säkerhet
Datacentret upptar ett angivet område, som inte kan gås in utan pass och identifieringsdokument. De som kommer med bil får också ett transportkort och får först därefter komma in i datacentret. För den som har allt i ordning med sitt pass är datacentret öppet dygnet runt.
Den första XNUMX-timmars säkerhetsposten är ingången till territoriet.
Vi går vidare och kommer till checkpointen direkt vid ingången till datacentret.
Säkerhetsansvariga hälsar inte bara på kunder och utfärdar pass, utan övervakar också videoväggen dygnet runt, som visar bilder på alla interna lokaler i datacentret och omgivande områden.
Strömförsörjning
El börjar sin resa till datacentret från kärnkraftverket. Datacentret tar emot 10 kV för 6 nedtrappningstransformatorer. Därefter går 0,4 kV genom två oberoende vägar till lågspänningsställverket (LVSD). Sedan, genom DIBP, tillförs ström till IT och ingenjörsutrustning. Två oberoende ingångar är lämpliga för racket, det vill säga 2N redundans. Vi kommer att berätta mer om hur allt fungerar vad gäller strömförsörjning i en separat artikel.
Elens väg i Udomlyas datacenter
Kraftbussar genom vilka elektricitet kommer från RUNN till DIBP kraftpaneler
Rader av RUNN
Trots det faktum att det finns ett kärnkraftverk i närheten, anses huvudströmförsörjningen garanterad i alla pålitliga datacenter. I våra datacenter är det som bekant dieselgeneratorer som ansvarar för det, men här används dynamiska UPS (DIUPS). De ger också oavbruten strömförsörjning. DIUPs är reserverade enligt N+1-schemat.
DIPS märke Euro-Diesel (Kinolt) med en kapacitet på 2 MW. De vrålar så högt att det är bättre att inte gå in där utan öronproppar.
Och så här fungerar det. DIBP är en kombination av tre huvudkomponenter: en dieselmotor, en synkron elektrisk maskin och en kinetisk energiackumulator med en rotor. Alla är fästa på huvudaxeln.
Den elektriska maskinen kan arbeta i elmotor- och generatorläge. När DIBP drivs regelbundet från staden, är den elektriska maskinen en elmotor som vrider rotorn och lagrar kinetisk energi i batteriet.
Det grå blocket i förgrunden är en synkronmaskin DIBP
Dieselmotor DIBP
Om stadens ström går ut, växlar den elektriska maskinen till generatorläge. Tack vare den ackumulerade kinetiska energin får rotorn DIBP:s huvudaxel att rotera, den elektriska maskinen fortsätter att fungera utan stadsström och utspänningen försvinner inte. Detta säkerställer oavbruten strömförsörjning i datacentret. Samtidigt skickar DIBP-styrsystemet en signal om att starta dieselmotorn. Samma kinetiska energi hos rotorn startar dieselmotorn och hjälper den att nå arbetsfrekvens. Rotorn håller hastigheten i upp till en minut, och det räcker för att dieseln ska komma till spel. Efter start roterar dieselmotorn huvudaxeln och genom den den elektriska maskinen (här växla DIBP från ett läge till ett annat).
Som ett resultat tappas strömmen i racken inte ens för en sekund.
Tanken på varje dieselgenerator är konstruerad för 3 timmar. Datacentret har även en egen bränslelagringsanläggning för 80 ton, som kommer att hålla hela datacentrets last i 24 timmar. Vid mycket hypotetiska strömavbrott (kärnkraftverket i närheten tillåter inte detta) finns det avtal med flera entreprenörer som omgående kommer att leverera dieselbränsle till platsen på utryckning. I allmänhet är allt som det ska.
Varje vecka testar DIBP:s självtest och startar dieselmotorn. En gång i månaden genomförs tester med korttidsavstängning av stadsnätet.
DIBP kontrollpanel
ShchGP och ShchBP lokaler
"Stamledningar" och "korsningar" av kraftkablar
Maskinrum
Varje modul är placerad i en hermetisk zon, i en speciell låda. Dessa extra väggar och tak skyddar turbinrummet från damm, vatten och eld. När du accepterar ett datacenter, spills inneslutningsområdet traditionellt med vatten för att kontrollera om det finns läckor.
Byggnadens tak och eget tak på turbinrummet med dräneringsrör
Vatten som faller på taket av inneslutningszonen går genom rännor in i dräneringsröret
Varje hall är redo att ta emot 205 rack med en medeleffekt på 5 kW.
Arrangemanget av utrustning i hallen är organiserat enligt schemat för kalla och varma korridorer.
Bolid tidig branddetektering och gasbrandsläckningssystem är dragna längs taket.
Röksensorer finns också under det upphöjda golvet. Det räcker att utlösa två sensorer och brandlarmsirenen kommer att ljuda, men vi kommer att prata om det lite senare.
Precis där, längs raderna av luftkonditioneringsapparater, finns det tejpläckagesensorer.
Varje korridor mellan diskarna "övervakas" med CCTV-kameror.
Om så önskas kan ställen placeras bakom ett speciellt staket (bur) och ytterligare kameror, passersystem och rörelsesensorer, volymsensorer etc. kan installeras på den.
Kylning
Udomlya datacenter använder en etylenglykol kylkrets. Det finns luftkonditionering i maskinrummen, kylare på taket och på andra våningen finns en kylcentral med rörledningar, ett automations- och kontrollsystem, pumpar, lagringstankar, etc.
Varje hall har 12 luftkonditioneringsapparater, hälften av dem med ångbefuktare. N+1 redundansschema.
I den kalla gången hålls temperaturen mellan 21–25 °C och luftfuktigheten 40–60 %.
Precisionsklimatanläggningar Stulz Cyber Cool
Det finns två ringar runt varje maskinrum: en "kall" ledning som levererar kyld etylenglykol till luftkonditioneringen, och en "het" ledning som tar bort uppvärmd glykol från luftkonditioneringarna till kylarna. Om vi öppnar det upphöjda golvet i korridoren ser vi droppar in i maskinrummen från kylsystemet.
Rutten för etylenglykol är som följer: från luftkonditioneringen kommer uppvärmd etylenglykol först in i returledningen runt maskinrummet och sedan in i den gemensamma ringen. Sedan går etylenglykol till pumpen och sedan till kylaren, där den kyls till 10 °C. Efter kylaren återgår etylenglykol till luftkonditioneringen genom den gemensamma ringens matningsledning, lagringstankar och ringen runt modulen.
Datacenter kyltillförseldiagram
Så här ser en kylcentral ut genom vilken 100 m3 etylenglykol passerar
Grå behållare är expansionstankar. Uppvärmd etylenglykol passerar genom dem på väg till kylaren. På sommaren expanderar etylenglykol och kräver ytterligare utrymme.
Dessa imponerande containrar är lagringstankar, 5 m3 vardera. De ger oavbruten kylning av datacentret i händelse av kylningsfel.
Kyld etylenglykol från tankarna tillförs systemet, och detta gör att luftkonditioneringens utloppstemperatur kan hållas vid 19 °C i 5 minuter. Även om det är +40°C ute.
Kylpumpar
Nätfickor och separatortankar för rening av etylenglykol från mekaniska partiklar och luft
Den tunna röda linjen på golvet under rören är läckagesensortejpen. De går längs hela omkretsen av kylcentralen.
Om något av rören läcker kommer etylenglykolen att gå genom avloppssystemet och hamna i en speciell tank i vattenreningsrummet. Det finns också två tankar med "reserv" etylenglykol för att fylla på kylsystemet vid större läckor.
Och om kylare. Det finns 5 kylaggregat på taket som använder ett N+1 redundansschema. Varje dag bestämmer automatiken, beroende på drifttimmar, vilken kylare som ska reserveras.
Kylare av märket Stulz CyberCool 2 med en kapacitet på 1096 kW
Kylare stöder tre lägen:
- kompressor – från 12 °C;
- blandad – vid 0–12 °C;
- frikyla – från 0 och lägre. Detta läge involverar kylning av etylenglykol genom drift av fläktar snarare än en kompressor.
Brandsäkerhet
Datacentret har två gasbrandsläckningsstationer. Var och en innehåller två batterier med 11 cylindrar: den första är den viktigaste, den andra är en reserv.
Brandsläckningssystemet i datacentret är kopplat till servern för Kalinin kärnkraftverk, och vid behov kommer stationens egen brandtjänst på plats inom några minuter.
Bilden visar ett brandlarmsystem och en nödutgångsknapp i turbinrummet. Det senare behövs om dörrarna inte låstes upp av någon anledning under ett brandlarm: det bryter strömförsörjningen till det elektriska låset.
Telekom
Två Rostelecom-motorvägar anländer till datacentret via oberoende vägar. Varje DWDM-system har en kapacitet på 8 terabit.
Datacentret har två telekomingångar, som är placerade på mer än 25 meters avstånd från varandra.
På webbplatsen finns också operatörerna Rascom, Telia Carrier Russia, Consyst och DataLine kommer att dyka upp inom en snar framtid.
Från Udomlya kan du bygga en kanal till Moskva, St. Petersburg eller var som helst i Ryssland och världen.
övervakning
Jourhavande ingenjörer är i tjänst på övervakningscentralen dygnet runt.
All information om tekniska system finns här: klimatförhållanden i hallen, tillstånd för ingångar, DIBP, etc.
Varannan timme gör tjänstgörande personal en rundtur i alla infrastrukturlokaler för att inspektera skicket på ingenjörs- och IT-utrustning.
Stödjande infrastruktur
Ett avlastningsområde tillhandahålls för leverans av utrustning till datacentret.
Avlastningsområde från insidan.
Om din hall ligger på andra våningen kommer denna hydrauliska hiss att leverera all utrustning dit.
Skåp för förvaring av klientverktyg och mer.
Lite om vardagen
För fast personal kan du hyra utrustade arbetsplatser i kontorsdelen. Om du besöker då och då kan du bo på ett tillfälligt hotell med alla bekvämligheter precis på datacentrets territorium.
I kontorsdelen finns även matsal och kök.
Och det finns en fantastisk natur runt om med skogar, sjöar, åar, fiske och andra friluftsaktiviteter. Kom på besök.
Som utlovat, en trevlig bonus för de som tog sig till slutet. Under de första sex månaderna kommer det att vara gratis att hyra ett rackutrymme i Udomlya med en tillförd effekt på 5 kW. Betala endast för den elektricitet som faktiskt förbrukas. Skicka din ansökan till .
Källa: will.com