Niekde uprostred medzi Moskvou a Petrohradom sa nachádza mestečko Udomlya. Predtým bola známa jadrovou elektrárňou Kalinin. V roku 2019 sa v blízkosti objavila ďalšia atrakcia - megadatacentrum Udomlya so 4 XNUMX stojanmi.
Špecialisti DataLine sa po nástupe do tímu Rostelecom-DPC budú podieľať aj na prevádzke tohto dátového centra. O „Udomlya“ ste už určite niečo počuli. Dnes sme sa rozhodli vám podrobne povedať, ako tam všetko funguje.
Priemyselná krajina: dátové centrum s rozlohou 32 000 m² a jadrová elektráreň v pozadí. Vzorka Udomlya jar 2019.
Pod rezom sme zhromaždili viac ako 40 fotografií inžinierskych systémov dátového centra s podrobným popisom. Na tých, ktorí sa dostanú až na koniec, čaká príjemné prekvapenie.
O logistike
Dátové centrum sa nachádza v regióne Tver. Cesta z Moskvy do Udomlya bude trvať približne tri hodiny: 1 hodina 45 minút na Sapsane do stanice Vyshny Volochek a odtiaľ vás po predchádzajúcej požiadavke čaká kyvadlová doprava, ktorá vás odvezie do dátového centra. Z Petrohradu do Vyšného Volochku to trvá trochu dlhšie – 2 hodiny 20 minút.
Autom sa tam dostanete z Moskvy za 4,5 hodiny, z Petrohradu za 5.
Áno, pravdepodobne sem nebudete chcieť ísť na pár jednotiek. Ale ak potrebujete nový domov pre desiatky regálov, potom sa oplatí pozrieť sa bližšie. Priestoru a elektriny je dosť, aj keď toto množstvo chcete kedykoľvek zdvojnásobiť. V Moskve, kde sú podľa našich skúseností dátové centrá rezervované vo fáze výstavby, tento trik nebude vždy fungovať.
Okrem toho možno na georezerváciu využiť polohu dátového centra medzi Moskvou a Petrohradom. Ak sú hlavné zariadenia v Moskve alebo Petrohrade, potom by sa dobre hodilo záložné miesto.
Tím inteligentných rúk bude pomáhať so všetkými štandardnými operáciami na mieste. Prijmú, rozbalia a nainštalujú zariadenia do stojanov, pripoja ich k napájaniu a sieti a poskytnú vzdialený prístup k zariadeniu. V prípade porúch pomôžu s diagnostikou a vymenia chybné komponenty.
Prvá etapa dátového centra pozostáva zo 4 počítačových miestností alebo modulov, každý s 205 stojanmi. Na prízemí sú 2 strojovne a energetické centrum, na druhom poschodí ďalšie dve miestnosti a chladiareň. Poďme sa pozrieť, ako tu všetko funguje.
Fyzická bezpečnosť
Dátové centrum zaberá vyhradenú oblasť, do ktorej nie je možné vstúpiť bez preukazu a identifikačného dokladu. Tí, ktorí prídu autom, dostanú aj prepravný preukaz a až potom môžu vstúpiť do dátového centra. Pre tých, ktorí majú so svojím preukazom všetko v poriadku, je dátové centrum otvorené 24x7.
Prvým XNUMX-hodinovým bezpečnostným stanovišťom je vstup do územia.
Ideme ďalej a dostávame sa na kontrolný bod priamo pri vchode do dátového centra.
Pracovníci bezpečnostnej služby nielen vítajú klientov a vydávajú preukazy, ale aj nepretržite monitorujú videostenu, ktorá zobrazuje zábery všetkých vnútorných priestorov dátového centra a okolia.
Napájanie
Elektrina začína svoju cestu do dátového centra z jadrovej elektrárne. Dátové centrum prijíma 10 kV pre 6 znižovacích transformátorov. Ďalej 0,4 kV prechádza dvoma nezávislými cestami do rozvádzača nízkeho napätia (LVSD). Potom sa prostredníctvom DIBP dodáva energia do IT a inžinierskych zariadení. Do racku sú vhodné dva nezávislé vstupy, teda 2N redundancia. Ako všetko funguje z hľadiska napájania vám povieme viac v samostatnom článku.
Cesta elektriny v dátovom centre Udomlya
Elektrické zbernice, cez ktoré prichádza elektrina z RUNN do napájacích panelov DIBP
Riadky RUNN
Napriek tomu, že sa v blízkosti nachádza jadrová elektráreň, v každom spoľahlivom dátovom centre sa hlavný zdroj energie považuje za garantovaný. V našich dátových centrách, ako viete, sú za to zodpovedné dieselové generátorové súpravy, ale tu sa používajú dynamické UPS (DIUPS). Poskytujú tiež neprerušované napájanie. DIUP sú rezervované podľa schémy N+1.
DIPS značky Euro-Diesel (Kinolt) s výkonom 2 MW. Hučia tak nahlas, že je lepšie tam bez štupľov do uší nevojsť.
A takto to funguje. DIBP je kombináciou troch hlavných komponentov: dieselového motora, synchrónneho elektrického stroja a akumulátora kinetickej energie s rotorom. Všetky sú pripevnené k hlavnému hriadeľu.
Elektrický stroj môže pracovať v režime elektromotora a generátora. Keď je DIBP napájaný pravidelne z mesta, elektrický stroj je elektromotor, ktorý otáča rotor a ukladá kinetickú energiu do batérie.
Sivý blok v popredí je synchrónny stroj DIBP
Dieselový motor DIBP
Ak vypadne mestský prúd, elektrický stroj sa prepne do režimu generátora. Rotor vďaka akumulovanej kinetickej energii spôsobí otáčanie hlavného hriadeľa DIBP, elektrický stroj pokračuje v prevádzke bez mestskej energie a výstupné napätie nezmizne. To zaisťuje neprerušované napájanie v dátovom centre. Riadiaci systém DIBP zároveň vyšle signál na spustenie naftového motora. Rovnaká kinetická energia rotora štartuje dieselový motor a pomáha mu dosiahnuť prevádzkovú frekvenciu. Rotor drží otáčky až jednu minútu a to stačí na to, aby sa k slovu dostala nafta. Po naštartovaní dieselový motor otáča hlavný hriadeľ a cez neho elektrický stroj (tu prepínanie DIBP z jedného režimu do druhého).
Vďaka tomu sa energia v stojanoch nestratí ani na sekundu.
Nádrž každého dieselagregátu je navrhnutá na 3 hodiny. Dátové centrum má aj vlastný sklad paliva na 80 ton, ktorý udrží celú záťaž dátového centra na 24 hodín. V prípade veľmi hypotetických výpadkov (blízka jadrová elektráreň to neumožní) existujú dohody s viacerými dodávateľmi, ktorí na výzvu promptne dodajú naftu na miesto. Vo všeobecnosti je všetko tak, ako má byť.
Každý týždeň sa samočinne testuje DIBP a štartuje dieselový motor. Raz mesačne sa vykonávajú skúšky s krátkodobou odstávkou mestskej siete.
Ovládací panel DIBP
Priestory ShchGP a ShchBP
„Kmeňové vedenia“ a „spojky“ napájacích káblov
Strojovne
Každý modul je umiestnený v hermetickej zóne, v špeciálnej krabici. Tieto dodatočné steny a strecha chránia miestnosť s turbínou pred prachom, vodou a ohňom. Pri preberaní dátového centra sa zadržiavací priestor tradične vyleje vodou, aby sa skontrolovalo, či nedochádza k úniku.
Strecha objektu a vlastná strecha strojovne s drenážnym potrubím
Voda padajúca na strechu ochranného pásma ide cez žľaby do drenážneho potrubia
Každá hala je pripravená prijať 205 stojanov s priemerným výkonom 5 kW.
Usporiadanie zariadení v hale je organizované podľa schémy studených a horúcich chodieb.
Systémy včasnej detekcie požiaru a plynového hasenia Bolid sú vedené pozdĺž stropu.
Pod vyvýšenou podlahou sú umiestnené aj dymové senzory. Stačí spustiť ľubovoľné dva senzory a siréna požiarneho poplachu zaznie, ale o tom si povieme o niečo neskôr.
Priamo tam, pozdĺž radov klimatizácií, sú páskové senzory úniku.
Každá chodba medzi pultmi je „sledovaná“ CCTV kamerami.
Na želanie je možné regály umiestniť za špeciálny plot (klietku) a namontovať naň prídavné kamery, systémy kontroly vstupu a pohybové senzory, senzory hlasitosti atď.
Chladenie
Dátové centrum Udomlya používa etylénglykolový chladiaci okruh. V strojovniach sú klimatizácie, na streche chladiče a na druhom poschodí je chladiace stredisko s potrubím, automatizačným a riadiacim systémom, čerpadlami, zásobníkmi atď.
Každá izba má 12 klimatizácií, polovica z nich s parnými zvlhčovačmi. Schéma redundancie N+1.
V studenej uličke sa udržiava teplota 21–25 °C a vlhkosť 40–60 %.
Presné klimatizácie Stulz Cyber Cool
Okolo každej strojovne sú dva prstence: „studené“ potrubie, ktoré dodáva chladený etylénglykol do klimatizácie, a „horúce“ potrubie, ktoré odvádza zohriaty glykol z klimatizačných jednotiek do chladičov. Ak otvoríme zvýšenú podlahu na chodbe, uvidíme kvapky do strojovní z chladiaceho systému.
Cesta etylénglykolu je nasledovná: zohriaty etylénglykol sa z klimatizácie dostáva najskôr do spätného vedenia okolo strojovne a potom do spoločného okruhu. Potom ide etylénglykol do čerpadla a potom do chladiča, kde sa ochladí na 10 °C. Po chladiči sa etylénglykol vracia do klimatizácie cez spoločné kruhové prívodné potrubie, skladovacie nádrže a kruh okolo modulu.
Schéma napájania chladenia dátového centra
Takto vyzerá chladiace stredisko, ktorým prechádza 100 m3 etylénglykolu
Šedé nádoby sú expanzné nádoby. Zahriaty etylénglykol nimi prechádza na ceste do chladiča. V lete etylénglykol expanduje a vyžaduje ďalší priestor.
Tieto pôsobivé kontajnery sú skladovacie nádrže, každá s objemom 5 m3. Poskytujú neprerušované chladenie dátového centra v prípade zlyhania chladiča.
Do systému sa dodáva ochladený etylénglykol z nádrží, čo umožňuje udržiavať výstupnú teplotu klimatizácie na 19 °C počas 5 minút. Aj keď je vonku +40°C.
Chladiace čerpadlá
Sieťové vreckové filtre a separačné nádrže na čistenie etylénglykolu od mechanických častíc a vzduchu
Tenká červená čiara na podlahe pod potrubím je páska snímača úniku. Idú po celom obvode chladiaceho strediska.
Ak niektorá z rúrok uniká, etylénglykol prejde drenážnym systémom a skončí v špeciálnej nádrži v miestnosti na úpravu vody. K dispozícii sú tiež dve nádrže s „náhradným“ etylénglykolom na doplnenie chladiaceho systému v prípade veľkých únikov.
A o chladičoch. Na streche je 5 chladičov s využitím schémy redundancie N+1. Automatizácia každý deň určuje v závislosti od prevádzkových hodín, ktorý chladič dať do rezervy.
Chladiče značky Stulz CyberCool 2 s výkonom 1096 kW
Chladiče podporujú tri režimy:
- kompresor – od 12 °C;
- zmiešané – pri 0–12 °C;
- voľné chladenie – od 0 a nižšie. Tento režim zahŕňa chladenie etylénglykolu pomocou ventilátorov a nie kompresora.
Požiarna bezpečnosť
Dátové centrum má dve plynové hasiace stanice. Každá obsahuje dve batérie po 11 valcov: prvá je hlavná, druhá je rezervná.
Protipožiarny systém dátového centra je prepojený so serverom JE Kalinin a v prípade potreby dorazí na miesto do niekoľkých minút vlastný hasičský zbor stanice.
Na fotografii je požiarny poplachový systém a tlačidlo núdzového východu v miestnosti s turbínou. Ten je potrebný, ak sa dvere z nejakého dôvodu počas požiarneho poplachu neodomkli: preruší napájanie elektrického zámku.
Telecom
Dve diaľnice Rostelecomu prichádzajú do dátového centra nezávislými cestami. Každý systém DWDM má kapacitu 8 terabitov.
Dátové centrum má dva telekomunikačné vstupy, ktoré sú od seba vzdialené viac ako 25 metrov.
Na stránke sú prítomní aj operátori Rascom, Telia Carrier Russia, Consyst a v blízkej budúcnosti sa objaví aj DataLine.
Z Udomlya môžete postaviť kanál do Moskvy, Petrohradu alebo kdekoľvek v Rusku a vo svete.
monitorovanie
Inžinieri v službe sú v službe v monitorovacom centre XNUMX hodín denne.
Tu sú prijímané všetky informácie o inžinierskych systémoch: klimatické podmienky v hale, stav vstupov, DIBP atď.
Každé dve hodiny služobný personál vykoná prehliadku všetkých priestorov infraštruktúry, aby skontroloval stav techniky a IT zariadení.
Podporná infraštruktúra
Na dodávku zariadení do dátového centra je k dispozícii vykladacia plocha.
Oblasť vykládky zvnútra.
Ak je vaša hala na druhom poschodí, tento hydraulický výťah tam dopraví akékoľvek vybavenie.
Skrinky na uloženie klientskych nástrojov a ďalšie.
Trochu o každodennom živote
Pre stálych zamestnancov si môžete prenajať vybavené pracoviská v kancelárskej časti. Ak z času na čas navštívite, môžete sa ubytovať v dočasnom hoteli so všetkým komfortom priamo na území dátového centra.
Súčasťou kancelárskej časti je aj jedáleň a kuchyňa.
A všade naokolo je úžasná príroda s lesmi, jazerami, riekami, rybolovom a inými outdoorovými aktivitami. Príďte na návštevu.
Ako som sľúbil, pekný bonus pre tých, ktorí to dotiahli až do konca. Prvých šesť mesiacov bude prenájom rackového priestoru v Udomlyi s dodávaným výkonom 5 kW bezplatný. Plaťte len za skutočne spotrebovanú elektrinu. Pošlite svoju žiadosť na .
Zdroj: hab.com