Sa isang lugar sa gitna sa pagitan ng Moscow at St. Petersburg mayroong isang maliit na bayan na tinatawag na Udomlya. Dati, kilala ito sa Kalinin Nuclear Power Plant. Noong 2019, lumitaw ang isa pang atraksyon sa malapit - ang Udomlya megadata center na may 4 na libong rack.
Pagkatapos sumali sa pangkat ng Rostelecom-DPC, ang mga dalubhasa sa DataLine ay kasangkot din sa pagpapatakbo ng data center na ito. Tiyak na narinig mo na ang tungkol sa "Udomlya". Ngayon nagpasya kaming sabihin sa iyo nang detalyado kung paano gumagana ang lahat doon.
Mga Industrial landscape: isang 32 mΒ² data center at isang nuclear power plant sa background. Udomlya sample spring 000.
Sa ibaba ng cut, nakolekta namin ang higit sa 40 mga larawan ng mga sistema ng engineering ng data center na may detalyadong paglalarawan. Isang masayang sorpresa ang naghihintay sa mga makakarating sa dulo.
Tungkol sa logistik
Ang data center ay matatagpuan sa rehiyon ng Tver. Ang paglalakbay mula sa Moscow hanggang Udomlya ay aabutin ng halos tatlong oras: 1 oras 45 minuto sa Sapsan hanggang Vyshny Volochek station, at mula doon, sa paunang kahilingan, isang shuttle ang sasalubong sa iyo at dadalhin ka sa data center. Mula sa St. Petersburg hanggang Vyshny Volochek ay tumatagal ng kaunti - 2 oras 20 minuto.
Sa pamamagitan ng kotse maaari kang makarating doon mula sa Moscow sa loob ng 4,5 na oras, mula sa St. Petersburg sa loob ng 5.
Oo, malamang na ayaw mong pumunta dito para sa ilang unit. Ngunit kung kailangan mo ng isang bagong tahanan para sa dose-dosenang mga rack, pagkatapos ito ay nagkakahalaga ng mas malapitan na pagtingin. May sapat na espasyo at kuryente, kahit na gusto mong doblehin ang halagang ito anumang oras. Sa Moscow, kung saan, sa aming karanasan, ang mga sentro ng data ay naka-book sa yugto ng konstruksiyon, ang lansihin na ito ay hindi palaging gagana.
Bilang karagdagan, ang lokasyon ng data center sa pagitan ng Moscow at St. Petersburg ay maaaring gamitin para sa geo-reservation. Kung ang mga pangunahing pasilidad ay nasa Moscow o St. Petersburg, kung gayon ang isang backup na site ay magkasya nang maayos.
Ang koponan ng matalinong kamay ay tutulong sa lahat ng karaniwang operasyon sa site. Makakatanggap sila, mag-unpack at mag-i-install ng kagamitan sa mga rack, ikokonekta ito sa power at network, at magbibigay ng malayuang access sa kagamitan. Sa kaso ng mga malfunctions, makakatulong sila sa mga diagnostic at palitan ang mga nabigong bahagi.
Ang unang yugto ng data center ay binubuo ng 4 na silid ng kompyuter, o mga module, na may 205 rack bawat isa. Mayroong 2 machine room at isang energy center sa ground floor, at dalawa pang kuwarto at isang refrigeration center sa ikalawang palapag. Tingnan natin kung paano gumagana ang lahat dito.
Pisikal na Seguridad
Ang data center ay sumasakop sa isang itinalagang lugar, na hindi maaaring ipasok nang walang pass at dokumento ng pagkakakilanlan. Makakatanggap din ng transport pass ang mga darating sakay ng sasakyan at pagkatapos lamang nito ay makapasok sa data center. Para sa mga nakaayos na ang lahat sa kanilang pass, bukas ang data center 24x7.
Ang unang 24 na oras na security post ay ang pasukan sa teritoryo.
Pumunta kami sa karagdagang at makarating sa checkpoint nang direkta sa pasukan sa data center.
Hindi lamang binabati ng mga security officer ang mga kliyente at mga issue pass, ngunit sinusubaybayan din ang video wall sa buong orasan, na nagpapakita ng mga larawan ng lahat ng panloob na lugar ng data center at mga nakapaligid na lugar.
Suplay ng kuryente
Sinisimulan ng kuryente ang paglalakbay nito sa data center mula sa nuclear power plant. 10 kV ang dumarating sa data center para sa 6 na step-down na mga transformer. Susunod, ang 0,4 kV ay dumadaan sa dalawang independiyenteng ruta patungo sa low voltage switchgear (LVSD). Pagkatapos, sa pamamagitan ng DIBP, ibinibigay ang kuryente sa IT at kagamitan sa engineering. Dalawang independiyenteng input ang angkop para sa rack, iyon ay, 2N redundancy. Sasabihin namin sa iyo ang higit pa tungkol sa kung paano gumagana ang lahat sa mga tuntunin ng supply ng kuryente sa isang hiwalay na artikulo.
Ang landas ng kuryente sa Udomlya data center
Mga power bus kung saan nagmumula ang kuryente sa RUNN patungo sa mga power panel ng DIBP
Mga hilera ng RUNN
Sa kabila ng katotohanan na mayroong isang nuclear power plant sa malapit, sa anumang maaasahang data center ang pangunahing supply ng kuryente ay itinuturing na garantisadong. Sa aming mga data center, tulad ng alam mo, ang mga diesel generator set ay may pananagutan para dito, ngunit dito ginagamit ang mga dynamic na UPS (DIUPS). Nagbibigay din sila ng walang patid na supply ng kuryente. Ang mga DIUP ay nakalaan ayon sa N+1 scheme.
DIPS brand Euro-Diesel (Kinolt) na may kapasidad na 2 MW. Sila ay umuungal nang napakalakas kaya mas mabuting huwag pumasok doon nang walang earplug.
At ito ay kung paano ito gumagana. Ang DIBP ay isang kumbinasyon ng tatlong pangunahing bahagi: isang diesel engine, isang kasabay na electric machine at isang kinetic energy accumulator na may rotor. Ang lahat ng mga ito ay naayos sa pangunahing baras.
Ang electric machine ay maaaring gumana sa electric motor at generator mode. Kapag ang DIBP ay regular na pinapagana mula sa lungsod, ang electric machine ay isang de-koryenteng motor na nagpapaikot sa rotor at nag-iimbak ng kinetic energy sa baterya.
Ang kulay abong bloke sa foreground ay isang kasabay na makina na DIBP
Diesel engine DIBP
Kung mawawala ang kuryente ng lungsod, lilipat sa generator mode ang electric machine. Salamat sa naipon na kinetic energy, ang rotor ay nagiging sanhi ng pag-ikot ng pangunahing baras ng DIBP, ang electric machine ay patuloy na gumagana nang walang kapangyarihan ng lungsod at ang output boltahe ay hindi nawawala. Tinitiyak nito ang walang patid na supply ng kuryente sa data center. Kasabay nito, ang sistema ng kontrol ng DIBP ay nagpapadala ng isang senyas upang simulan ang diesel engine. Ang parehong kinetic energy ng rotor ay nagsisimula sa diesel engine at tinutulungan itong maabot ang operating frequency. Ang rotor ay humahawak ng bilis ng hanggang isang minuto, at ito ay sapat na para sa diesel na maglaro. Pagkatapos magsimula, ang diesel engine ay umiikot sa pangunahing baras, at sa pamamagitan nito ang electric machine (dito paglipat ng DIBP mula sa isang mode patungo sa isa pa).
Bilang resulta, ang kapangyarihan sa mga rack ay hindi nawawala kahit isang segundo.
Ang tangke ng bawat diesel generator ay idinisenyo para sa 3 oras. Ang data center ay mayroon ding sariling fuel storage facility para sa 80 tonelada, na magpapanatili sa buong load ng data center sa loob ng 24 na oras. Sa kaso ng napaka hypothetical blackouts (ang nuclear power plant sa malapit ay hindi papayagan ito), may mga kasunduan sa ilang mga kontratista na agad na maghahatid ng diesel fuel sa site kapag tumawag. Sa pangkalahatan, ang lahat ay ayon sa nararapat.
Linggu-linggo ang DIBP ay nagsasariling pagsubok at sinisimulan ang makinang diesel. Minsan sa isang buwan, ang mga pagsubok ay isinasagawa sa isang panandaliang pagsasara ng network ng lungsod.
DIBP control panel
Mga lugar ng ShchGP at ShchBP
"Mga linya ng puno ng kahoy" at "mga junction" ng mga kable ng kuryente
Mga silid ng makina
Ang bawat module ay matatagpuan sa isang hermetic zone, sa isang espesyal na kahon. Pinoprotektahan ng mga karagdagang dingding at bubong na ito ang silid ng turbine mula sa alikabok, tubig at apoy. Kapag tumatanggap ng data center, tradisyonal na binubuhos ng tubig ang containment area upang suriin kung may mga tagas.
Ang bubong ng gusali at ang sarili nitong bubong ng turbine room na may mga drainage pipe
Ang tubig na bumabagsak sa bubong ng containment zone ay dumadaan sa mga gutter papunta sa drainage pipeline
Ang bawat bulwagan ay handang tumanggap ng 205 rack na may average na kapangyarihan na 5 kW.
Ang pag-aayos ng mga kagamitan sa bulwagan ay nakaayos ayon sa pamamaraan ng malamig at mainit na mga koridor.
Ang bolid na maagang pag-detect ng sunog at mga gas fire extinguishing system ay idinadaan sa kisame.
Ang mga sensor ng usok ay matatagpuan din sa ilalim ng nakataas na sahig. Ito ay sapat na upang ma-trigger ang anumang dalawang sensor at ang sirena ng alarma ng sunog ay tutunog, ngunit pag-uusapan natin iyon sa ibang pagkakataon.
Doon mismo, sa kahabaan ng mga hilera ng mga air conditioner, may mga tape leak sensor.
Ang bawat koridor sa pagitan ng mga counter ay "sinusubaybayan" ng mga CCTV camera.
Kung ninanais, ang mga rack ay maaaring ilagay sa likod ng isang espesyal na bakod (hawla) at mga karagdagang camera, access control system at motion sensor, volume sensor, atbp. ay maaaring mai-install dito.
Pagpapalamig
Ang Udomlya data center ay gumagamit ng ethylene glycol chiller circuit. Mayroong mga air conditioner sa mga silid ng makina, mga chiller sa bubong, at sa ikalawang palapag ay mayroong isang sentro ng pagpapalamig na may mga pipeline, isang automation at control system, mga bomba, mga tangke ng imbakan, atbp.
Ang bawat bulwagan ay may 12 air conditioner, kalahati ng mga ito ay may mga steam humidifier. N+1 redundancy scheme.
Sa malamig na pasilyo, ang temperatura ay pinananatili sa pagitan ng 21β25 Β°C at halumigmig na 40β60%.
Precision air conditioner na Stulz Cyber ββββCool
Mayroong dalawang singsing sa paligid ng bawat silid ng makina: isang "malamig" na linya na nagbibigay ng pinalamig na ethylene glycol sa air conditioner, at isang "mainit" na linya na nag-aalis ng pinainit na glycol mula sa mga air conditioner patungo sa mga chiller. Kung bubuksan natin ang nakataas na palapag sa koridor, makakakita tayo ng mga patak sa mga silid ng makina mula sa sistema ng pagpapalamig.
Ang ruta ng ethylene glycol ay ang mga sumusunod: mula sa air conditioner, ang pinainit na ethylene glycol ay unang pumapasok sa linya ng pagbabalik sa paligid ng silid ng makina, at pagkatapos ay sa karaniwang singsing. Pagkatapos ang ethylene glycol ay pupunta sa pump at pagkatapos ay sa chiller, kung saan ito ay pinalamig sa 10 Β°C. Pagkatapos ng chiller, babalik ang ethylene glycol sa air conditioner sa pamamagitan ng common ring supply line, storage tank at singsing sa paligid ng module.
Data center cooling supply diagram
Ito ang hitsura ng isang refrigeration center kung saan dumadaan ang 100 m3 ng ethylene glycol
Ang mga kulay abong lalagyan ay mga tangke ng pagpapalawak. Ang pinainit na ethylene glycol ay dumadaan sa kanila patungo sa chiller. Sa tag-araw, ang ethylene glycol ay lumalawak at nangangailangan ng karagdagang espasyo.
Ang mga kahanga-hangang lalagyan na ito ay mga tangke ng imbakan, 5 m3 bawat isa. Nagbibigay sila ng walang patid na paglamig ng data center kung sakaling mabigo ang chiller.
Ang pinalamig na ethylene glycol mula sa mga tangke ay ibinibigay sa system, at nagbibigay-daan ito sa temperatura ng outlet ng air conditioner na mapanatili sa 19 Β°C sa loob ng 5 minuto. Kahit na +40Β°C sa labas.
Mga bomba sa pagpapalamig
Mga mesh pocket filter at separator tank para sa paglilinis ng ethylene glycol mula sa mga mekanikal na particle at hangin
Ang manipis na pulang linya sa sahig sa ilalim ng mga tubo ay ang leak sensor tape. Pumunta sila sa buong perimeter ng refrigeration center.
Kung ang alinman sa mga tubo ay tumagas, ang ethylene glycol ay dadaan sa drainage system at mapupunta sa isang espesyal na tangke sa water treatment room. Mayroon ding dalawang tangke na may "reserbang" ethylene glycol upang lagyang muli ang sistema ng pagpapalamig kung sakaling magkaroon ng malalaking pagtagas.
At tungkol sa mga chiller. Mayroong 5 chiller sa bubong gamit ang isang N+1 redundancy scheme. Araw-araw, tinutukoy ng automation, depende sa mga oras ng pagpapatakbo, kung aling chiller ang ilalagay sa reserba.
Mga Chiller ng tatak ng Stulz CyberCool 2 na may kapasidad na 1096 kW
Sinusuportahan ng mga chiller ang tatlong mode:
- tagapiga - mula sa 12 Β°C;
- halo-halong β sa 0β12 Β°C;
- libreng paglamig β mula 0 at mas mababa. Ang mode na ito ay nagsasangkot ng paglamig ng ethylene glycol sa pamamagitan ng pagpapatakbo ng mga fan sa halip na isang compressor.
Kaligtasan ng sunog
Ang data center ay may dalawang gas fire extinguishing station. Ang bawat isa ay naglalaman ng dalawang baterya ng 11 cylinders: ang una ay ang pangunahing isa, ang pangalawa ay isang reserba.
Ang sistema ng paglaban sa sunog ng data center ay naka-link sa server ng Kalinin NPP, at, kung kinakailangan, ang sariling serbisyo ng bumbero ng istasyon ay darating sa site sa loob ng ilang minuto.
Ang larawan ay nagpapakita ng fire alarm system at emergency exit button sa turbine room. Ang huli ay kinakailangan kung ang mga pinto ay hindi na-unlock para sa ilang kadahilanan sa panahon ng alarma sa sunog: pinuputol nito ang supply ng kuryente sa electric lock.
Telecom
Dalawang Rostelecom highway ang dumarating sa data center sa pamamagitan ng mga independiyenteng ruta. Ang bawat DWDM system ay may kapasidad na 8 Terabits.
Ang data center ay may dalawang telecom input, na matatagpuan sa layo na higit sa 25 metro mula sa isa't isa.
Naroroon din sa site ang mga operator na Rascom, Telia Carrier Russia, Consyst, at DataLine ay lalabas sa malapit na hinaharap.
Mula sa Udomlya maaari kang bumuo ng isang kanal sa Moscow, St. Petersburg o saanman sa Russia at sa mundo.
Pagsubaybay
Ang mga engineer na naka-duty ay naka-duty sa monitoring center sa buong orasan.
Ang lahat ng impormasyon sa mga sistema ng engineering ay natanggap dito: klimatiko na mga kondisyon sa bulwagan, kondisyon ng mga input, DIBP, atbp.
Tuwing dalawang oras, naglilibot ang mga tauhan ng tungkulin sa lahat ng lugar ng imprastraktura upang siyasatin ang kalagayan ng engineering at kagamitan sa IT.
Pagsuporta sa imprastraktura
Ang isang lugar ng pagbabawas ay ibinigay para sa paghahatid ng mga kagamitan sa data center.
Pagbabawas ng lugar mula sa loob.
Kung ang iyong bulwagan ay nasa ikalawang palapag, ang hydraulic lift na ito ay maghahatid ng anumang kagamitan doon.
Mga locker para sa pag-iimbak ng mga tool ng kliyente, at higit pa.
Kaunti tungkol sa pang-araw-araw na buhay
Para sa mga permanenteng kawani, maaari kang magrenta ng mga lugar ng trabaho na may kagamitan sa bahagi ng opisina. Kung bibisita ka paminsan-minsan, maaari kang manatili sa isang pansamantalang hotel na may lahat ng amenities sa mismong teritoryo ng data center.
Ang bahagi ng opisina ay mayroon ding silid-kainan at kusina.
At mayroong kamangha-manghang kalikasan sa paligid na may mga kagubatan, lawa, ilog, pangingisda at iba pang mga aktibidad sa labas. Halika para bisitahin.
Tulad ng ipinangako, isang magandang bonus para sa mga nakarating sa dulo. Para sa unang anim na buwan, ang pag-upa ng rack space sa Udomlya na may supply na kapangyarihan na 5 kW ay magiging libre. Magbayad lamang para sa kuryenteng aktwal na natupok. Ipadala ang iyong aplikasyon sa .
Pinagmulan: www.habr.com