Někde uprostřed mezi Moskvou a Petrohradem se nachází městečko Udomlya. Dříve byla známá jadernou elektrárnou Kalinin. V roce 2019 se poblíž objevila další atrakce - megadatové centrum Udomlya se 4 tisíci stojany.
Specialisté DataLine se po nástupu do týmu Rostelecom-DPC budou podílet i na provozu tohoto datového centra. O „Udomlya“ jste již jistě něco slyšeli. Dnes jsme se rozhodli vám podrobně říct, jak tam všechno funguje.
Průmyslová krajina: datové centrum o rozloze 32 000 m² a jaderná elektrárna v pozadí. Udomlya vzorek jaro 2019.
Pod řezem jsme shromáždili více než 40 fotografií inženýrských systémů datového centra s podrobným popisem. Na ty, kteří se dostanou až na konec, čeká příjemné překvapení.
O logistice
Datové centrum se nachází v oblasti Tver. Cesta z Moskvy do Udomlya bude trvat asi tři hodiny: 1 hodina 45 minut na Sapsanu do stanice Vyšnyj Volochek a odtud vás po předchozí žádosti přivítá kyvadlová doprava a doveze vás do datového centra. Z Petrohradu do Vyshny Volochek to trvá trochu déle - 2 hodiny 20 minut.
Autem se tam dostanete z Moskvy za 4,5 hodiny, z Petrohradu za 5.
Ano, pravděpodobně sem nebudete chtít jít na pár jednotek. Pokud ale potřebujete nový domov pro desítky regálů, pak stojí za to se na to podívat blíže. Místa i elektřiny je dost, i když toto množství chcete kdykoliv zdvojnásobit. V Moskvě, kde jsou podle našich zkušeností datová centra rezervována ve fázi výstavby, tento trik nebude vždy fungovat.
Pro georezervaci lze navíc využít umístění datového centra mezi Moskvou a Petrohradem. Pokud jsou hlavní zařízení v Moskvě nebo Petrohradu, pak by se tam dobře vešlo záložní místo.
Tým chytrých rukou bude pomáhat se všemi standardními operacemi na místě. Přijmou, rozbalí a nainstalují zařízení do stojanů, připojí je k napájení a síti a poskytnou vzdálený přístup k zařízení. V případě poruch pomohou s diagnostikou a vymění vadné komponenty.
První etapa datového centra se skládá ze 4 počítačových místností neboli modulů, každá s 205 racky. V přízemí jsou 2 strojovny a energetické centrum, ve druhém patře další dvě místnosti a chladící středisko. Pojďme se podívat, jak to tady všechno funguje.
Fyzická bezpečnost
Datové centrum zabírá vyhrazený prostor, do kterého nelze vstoupit bez průkazu a identifikačního dokladu. Ti, kteří přijedou autem, obdrží také přepravní pas a teprve poté mohou vstoupit do datového centra. Pro ty, kteří mají s pasem vše v pořádku, je datové centrum otevřené 24x7.
Prvním XNUMXhodinovým bezpečnostním stanovištěm je vstup na území.
Jdeme dále a dostáváme se na checkpoint přímo u vchodu do datacentra.
Bezpečnostní pracovníci nejen vítají klienty a vydávají propustky, ale také nepřetržitě sledují videostěnu, která zobrazuje snímky všech vnitřních prostor datového centra a okolních prostor.
Napájení
Elektřina začíná svou cestu do datového centra z jaderné elektrárny. Datové centrum přijímá 10 kV pro 6 snižovacích transformátorů. Dále 0,4 kV prochází dvěma nezávislými cestami do rozváděče nízkého napětí (LVSD). Poté je prostřednictvím DIBP dodávána energie do IT a inženýrských zařízení. Do racku jsou vhodné dva nezávislé vstupy, tedy redundance 2N. Jak vše funguje z hlediska napájení vám povíme více v samostatném článku.
Cesta elektřiny v datovém centru Udomlya
Napájecí sběrnice, kterými proudí elektřina z RUNN do napájecích panelů DIBP
Řady RUNN
Navzdory skutečnosti, že poblíž je jaderná elektrárna, v každém spolehlivém datovém centru je hlavní napájení považováno za zaručené. V našich datových centrech, jak víte, jsou za to zodpovědné dieselagregáty, ale zde se používají dynamické UPS (DIUPS). Poskytují také nepřetržité napájení. DIUP jsou rezervovány podle schématu N+1.
DIPS značky Euro-Diesel (Kinolt) o výkonu 2 MW. Řvou tak hlasitě, že je lepší tam bez špuntů do uší nechodit.
A takhle to funguje. DIBP je kombinací tří hlavních komponent: dieselového motoru, synchronního elektrického stroje a akumulátoru kinetické energie s rotorem. Všechny jsou upevněny na hlavní hřídeli.
Elektrický stroj může pracovat v režimu elektromotoru a generátoru. Když je DIBP napájen pravidelně z města, elektrický stroj je elektromotor, který otáčí rotor a ukládá kinetickou energii do baterie.
Šedý blok v popředí je synchronní stroj DIBP
Dieselový motor DIBP
Pokud vypadne městský proud, elektrický stroj se přepne do režimu generátoru. Rotor díky akumulované kinetické energii způsobí rotaci hlavního hřídele DIBP, elektrický stroj pokračuje v provozu bez městského napájení a výstupní napětí nezmizí. Tím je zajištěno nepřetržité napájení datového centra. Řídicí systém DIBP zároveň vyšle signál k nastartování naftového motoru. Stejná kinetická energie rotoru nastartuje dieselový motor a pomůže mu dosáhnout provozní frekvence. Rotor drží otáčky až jednu minutu a to stačí na to, aby se ke slovu dostala nafta. Po nastartování vznětový motor otáčí hlavním hřídelem a přes něj elektrický stroj (zde přepínání DIBP z jednoho režimu do druhého).
Výsledkem je, že výkon ve stojanech se neztratí ani na vteřinu.
Nádrž každého dieselagregátu je dimenzována na 3 hodiny. Datové centrum má také vlastní sklad paliva na 80 tun, který udrží celou zátěž datového centra po dobu 24 hodin. V případě velmi hypotetických blackoutů (nedaleká jaderná elektrárna to neumožní) existují dohody s několika dodavateli, kteří na výzvu obratem dodají naftu na místo. Obecně je vše tak, jak má být.
Každý týden se DIBP samočinně otestují a nastartují dieselový motor. Jednou měsíčně probíhají zkoušky s krátkodobou odstávkou městské sítě.
Ovládací panel DIBP
Prostory ShchGP a ShchBP
„Kmenové vedení“ a „křižovatky“ silových kabelů
Strojovny
Každý modul je umístěn v hermetické zóně, ve speciální krabici. Tyto dodatečné stěny a střecha chrání místnost s turbínou před prachem, vodou a ohněm. Při přebírání datového centra je kontejnment tradičně politý vodou, aby se zkontrolovala těsnost.
Střecha objektu a vlastní střecha strojovny s drenážním potrubím
Voda padající na střechu kontejnmentu prochází okapy do drenážního potrubí
Každá hala je připravena přijmout 205 racků o průměrném výkonu 5 kW.
Uspořádání zařízení v hale je organizováno podle schématu studených a teplých chodeb.
Systémy včasné detekce požáru Bolid a plynové hasicí zařízení jsou vedeny podél stropu.
Kouřová čidla jsou také umístěna pod zvýšenou podlahou. Stačí spustit libovolné dva senzory a siréna požárního poplachu se rozezní, ale o tom si povíme trochu později.
Přímo tam, podél řad klimatizací, jsou senzory úniku pásky.
Každá chodba mezi přepážkami je „sledována“ CCTV kamerami.
Na přání lze regály umístit za speciální plot (klec) a instalovat na něj další kamery, systémy kontroly přístupu a pohybové senzory, senzory hlasitosti atd.
Chlazení
Datové centrum Udomlya používá etylenglykolový chladicí okruh. Ve strojovnách jsou klimatizace, na střeše chladiče, ve druhém patře je chladicí centrum s potrubím, automatizačním a řídicím systémem, čerpadly, zásobníky atd.
Každý pokoj má 12 klimatizací, polovina z nich s parními zvlhčovači. Schéma redundance N+1.
Ve studené uličce se teplota udržuje mezi 21–25 °C a vlhkost 40–60 %.
Precizní klimatizace Stulz Cyber Cool
Kolem každé strojovny jsou dva prstence: „studené“ potrubí, které dodává chlazený etylenglykol do klimatizace, a „horké“ potrubí, které odvádí zahřátý glykol z klimatizačních jednotek do chladičů. Pokud otevřeme zdvojenou podlahu na chodbě, uvidíme kapky do strojoven z chladicího systému.
Cesta etylenglykolu je následující: z klimatizace vstupuje ohřátý etylenglykol nejprve zpětným potrubím kolem strojovny a poté do společného okruhu. Poté jde etylenglykol do čerpadla a poté do chladiče, kde se ochladí na 10 °C. Po chladiči se etylenglykol vrací do klimatizace přes společné kruhové přívodní potrubí, skladovací nádrže a kruh kolem modulu.
Schéma napájení chlazení datového centra
Takto vypadá chladicí centrum, kterým prochází 100 m3 etylenglykolu
Šedé nádoby jsou expanzní nádoby. Zahřátý etylenglykol jimi prochází na cestě do chladiče. V létě ethylenglykol expanduje a vyžaduje další prostor.
Tyto působivé kontejnery jsou skladovací nádrže, každá o objemu 5 m3. Poskytují nepřetržité chlazení datového centra v případě poruchy chladiče.
Do systému je dodáván chlazený etylenglykol z nádrží, což umožňuje udržovat výstupní teplotu klimatizace na 19 °C po dobu 5 minut. I když je venku +40°C.
Chladicí čerpadla
Síťové kapsové filtry a separační nádrže pro čištění etylenglykolu od mechanických částic a vzduchu
Tenká červená čára na podlaze pod potrubím je páska snímače úniku. Jdou po celém obvodu chladícího centra.
Pokud některá z trubek unikne, etylenglykol projde drenážním systémem a skončí ve speciální nádrži v úpravně vody. K dispozici jsou také dvě nádrže s „náhradním“ etylenglykolem pro doplnění chladicího systému v případě větších úniků.
A o chladičích. Na střeše je 5 chladičů využívajících schéma redundance N+1. Automatizace každý den určuje v závislosti na provozních hodinách, který chladič dát do rezervy.
Chladiče značky Stulz CyberCool 2 o výkonu 1096 kW
Chladiče podporují tři režimy:
- kompresor – od 12 °C;
- smíšené – při 0–12 °C;
- volné chlazení – od 0 a níže. Tento režim zahrnuje chlazení etylenglykolu pomocí ventilátorů spíše než kompresoru.
Požární bezpečnost
Datové centrum má dvě plynové hasicí stanice. Každá obsahuje dvě baterie o 11 válcích: první je hlavní, druhá je rezervní.
Požární systém datového centra je propojen se serverem JE Kalinin a v případě potřeby dorazí na místo během několika minut vlastní hasičská služba stanice.
Na fotografii je požární signalizace a tlačítko nouzového východu v místnosti s turbínou. Posledně jmenovaný je potřebný, pokud nebyly dveře z nějakého důvodu během požárního poplachu odemčeny: přeruší napájení elektrického zámku.
Telecom
Dvě dálnice Rostelecomu přijíždějí do datového centra po nezávislých trasách. Každý systém DWDM má kapacitu 8 terabitů.
Datové centrum má dva telekomunikační vstupy, které jsou umístěny ve vzdálenosti více než 25 metrů od sebe.
Na stránce jsou také operátoři Rascom, Telia Carrier Russia, Consyst a v blízké budoucnosti se objeví DataLine.
Z Udomlya můžete postavit kanál do Moskvy, Petrohradu nebo kdekoli v Rusku a ve světě.
Sledování
Inženýři ve službě jsou ve službě v monitorovacím centru nepřetržitě.
Zde jsou přijímány veškeré informace o inženýrských systémech: klimatické podmínky v hale, stav vstupů, DIBP atd.
Každé dvě hodiny provádějí zaměstnanci ve službě prohlídku všech prostor infrastruktury, aby zkontrolovali stav techniky a IT zařízení.
Podpůrná infrastruktura
Pro dodání zařízení do datového centra je zajištěna vykládací plocha.
Oblast vykládky zevnitř.
Pokud je vaše hala ve druhém patře, tento hydraulický výtah tam dopraví veškeré vybavení.
Skříňky pro uložení klientských nástrojů a další.
Něco málo o běžném životě
Pro stálé zaměstnance lze pronajmout vybavená pracoviště v kancelářské části. Pokud čas od času navštívíte, můžete se ubytovat v dočasném hotelu s veškerým vybavením přímo na území datového centra.
Součástí kancelářské části je také jídelna a kuchyň.
A všude kolem je úžasná příroda s lesy, jezery, řekami, rybařením a dalšími outdoorovými aktivitami. Přijďte na návštěvu.
Jak jsem slíbil, příjemný bonus pro ty, kteří to dotáhli až do konce. Prvních šest měsíců bude pronájem rackového prostoru v Udomlya s dodávaným výkonem 5 kW zdarma. Plaťte pouze za skutečně spotřebovanou elektřinu. Přihlášku zašlete na .
Zdroj: www.habr.com