Di suatu tempat di tengah-tengah antara Moscow dan St. Petersburg terdapat sebuah bandar kecil bernama Udomlya. Sebelum ini, ia terkenal dengan Loji Kuasa Nuklear Kalinin. Pada tahun 2019, tarikan lain muncul berdekatan - pusat megadata Udomlya dengan 4 ribu rak.
Selepas menyertai pasukan Rostelecom-DPC, pakar DataLine juga akan terlibat dalam pengendalian pusat data ini. Pasti anda telah mendengar sesuatu tentang "Udomlya". Hari ini kami memutuskan untuk memberitahu anda secara terperinci bagaimana semuanya berfungsi di sana.
Landskap industri: pusat data seluas 32 mΒ² dan loji kuasa nuklear di latar belakang. Contoh Udomlya musim bunga 000.
Di bawah potongan kami telah mengumpul lebih daripada 40 foto sistem kejuruteraan pusat data dengan penerangan terperinci. Kejutan yang menyenangkan menanti mereka yang sampai ke penghujungnya.
Mengenai logistik
Pusat data terletak di rantau Tver. Perjalanan dari Moscow ke Udomlya akan mengambil masa kira-kira tiga jam: 1 jam 45 minit di Sapsan ke stesen Vyshny Volochek, dan dari sana, atas permintaan awal, perkhidmatan ulang-alik akan menemui anda dan membawa anda ke pusat data. Dari St. Petersburg ke Vyshny Volochek ia mengambil masa lebih lama - 2 jam 20 minit.
Dengan kereta, anda boleh sampai ke sana dari Moscow dalam 4,5 jam, dari St. Petersburg dalam 5 jam.
Ya, anda mungkin tidak mahu pergi ke sini untuk beberapa unit. Tetapi jika anda memerlukan rumah baru untuk berpuluh-puluh rak, maka ia patut dilihat dengan lebih dekat. Terdapat ruang dan elektrik yang mencukupi, walaupun anda ingin menggandakan jumlah ini pada bila-bila masa. Di Moscow, di mana, dalam pengalaman kami, pusat data ditempah pada peringkat pembinaan, helah ini tidak akan selalu berfungsi.
Di samping itu, lokasi pusat data antara Moscow dan St. Petersburg boleh digunakan untuk tempahan geo. Jika kemudahan utama berada di Moscow atau St. Petersburg, maka tapak sandaran akan sesuai dengan baik.
Pasukan tangan pintar akan membantu dengan semua operasi standard di tapak. Mereka akan menerima, membongkar dan memasang peralatan dalam rak, menyambungkannya ke kuasa dan rangkaian, dan menyediakan akses jauh kepada peralatan. Sekiranya berlaku kerosakan, mereka akan membantu dengan diagnostik dan menggantikan komponen yang gagal.
Peringkat pertama pusat data terdiri daripada 4 bilik komputer, atau modul, dengan 205 rak setiap satu. Terdapat 2 bilik mesin dan pusat tenaga di tingkat bawah, dan dua lagi bilik serta pusat penyejukan di tingkat dua. Mari kita lihat bagaimana semuanya berfungsi di sini.
Sekuriti fizikal
Pusat data menduduki kawasan yang ditetapkan, yang tidak boleh dimasukkan tanpa pas dan dokumen pengenalan. Mereka yang tiba dengan kereta juga menerima pas pengangkutan dan hanya selepas itu boleh memasuki pusat data. Bagi mereka yang mempunyai segala-galanya dengan pas mereka, pusat data dibuka 24x7.
Pos keselamatan XNUMX jam pertama adalah pintu masuk ke wilayah itu.
Kami pergi lebih jauh dan sampai ke pusat pemeriksaan terus di pintu masuk ke pusat data.
Pegawai keselamatan bukan sahaja menyambut pelanggan dan mengeluarkan pas, tetapi juga memantau dinding video sepanjang masa, yang memaparkan imej semua premis dalaman pusat data dan kawasan sekitarnya.
Bekalan kuasa
Elektrik memulakan perjalanannya ke pusat data dari loji kuasa nuklear. Pusat data menerima 10 kV untuk 6 transformer injak turun. Seterusnya, 0,4 kV melalui dua laluan bebas ke suis voltan rendah (LVSD). Kemudian, melalui DIBP, kuasa dibekalkan kepada peralatan IT dan kejuruteraan. Dua input bebas sesuai untuk rak, iaitu, redundansi 2N. Kami akan memberitahu anda lebih lanjut tentang cara semuanya berfungsi dari segi bekalan kuasa dalam artikel berasingan.
Laluan elektrik di pusat data Udomlya
Bas kuasa yang melaluinya elektrik datang dari RUNN ke panel kuasa DIBP
Barisan RUNN
Walaupun terdapat loji tenaga nuklear berdekatan, di mana-mana pusat data yang boleh dipercayai bekalan kuasa utama dianggap terjamin. Di pusat data kami, seperti yang anda ketahui, set penjana diesel bertanggungjawab untuknya, tetapi di sini UPS dinamik (DIUPS) digunakan. Mereka juga menyediakan bekalan kuasa tanpa gangguan. DIUP dikhaskan mengikut skim N+1.
DIPS jenama Euro-Diesel (Kinolt) dengan kapasiti 2 MW. Mereka mengaum dengan kuat sehingga lebih baik jangan masuk ke sana tanpa penyumbat telinga.
Dan ini adalah cara ia berfungsi. DIBP ialah gabungan tiga komponen utama: enjin diesel, mesin elektrik segerak dan penumpuk tenaga kinetik dengan rotor. Kesemuanya dipasang pada aci utama.
Mesin elektrik boleh beroperasi dalam mod motor elektrik dan penjana. Apabila DIBP dikuasakan secara tetap dari bandar, mesin elektrik ialah motor elektrik yang memutarkan rotor dan menyimpan tenaga kinetik dalam bateri.
Blok kelabu di latar depan ialah DIBP mesin segerak
Enjin diesel DIBP
Jika kuasa bandar padam, mesin elektrik bertukar kepada mod penjana. Terima kasih kepada tenaga kinetik terkumpul, pemutar menyebabkan aci utama DIBP berputar, mesin elektrik terus beroperasi tanpa kuasa bandar dan voltan keluaran tidak hilang. Ini memastikan bekalan kuasa tidak terganggu di pusat data. Pada masa yang sama, sistem kawalan DIBP menghantar isyarat untuk menghidupkan enjin diesel. Tenaga kinetik pemutar yang sama memulakan enjin diesel dan membantu ia mencapai kekerapan operasi. Pemutar memegang kelajuan sehingga satu minit, dan ini cukup untuk diesel mula bermain. Selepas dimulakan, enjin diesel memutarkan aci utama, dan melaluinya mesin elektrik (di sini menukar DIBP daripada satu mod ke mod yang lain).
Akibatnya, kuasa dalam rak tidak hilang walaupun sesaat.
Tangki setiap penjana diesel direka selama 3 jam. Pusat data itu juga mempunyai kemudahan penyimpanan bahan api sendiri untuk 80 tan, yang akan menyimpan keseluruhan beban pusat data selama 24 jam. Sekiranya berlaku pemadaman yang sangat hipotesis (loji janakuasa nuklear berdekatan tidak akan membenarkan ini), terdapat perjanjian dengan beberapa kontraktor yang akan menghantar bahan api diesel dengan segera ke tapak apabila dipanggil. Secara umum, semuanya adalah seperti yang sepatutnya.
Setiap minggu DIBP ujian kendiri dan menghidupkan enjin diesel. Sekali sebulan, ujian dijalankan dengan penutupan jangka pendek rangkaian bandar.
Panel kawalan DIBP
Premis ShchGP dan ShchBP
"Talian batang" dan "simpang" kabel kuasa
Bilik mesin
Setiap modul terletak di zon hermetik, dalam kotak khas. Dinding dan bumbung tambahan ini melindungi bilik turbin daripada habuk, air dan api. Apabila menerima pusat data, kawasan pembendungan secara tradisinya ditumpahkan dengan air untuk memeriksa kebocoran.
Bumbung bangunan dan bumbung sendiri bilik turbin dengan paip saliran
Air yang jatuh di atas bumbung zon pembendungan melalui longkang ke saluran paip saliran
Setiap dewan bersedia menerima 205 rak dengan purata kuasa 5 kW.
Susunan peralatan di dalam dewan diatur mengikut skema koridor sejuk dan panas.
Pengesanan kebakaran awal yang berani dan sistem pemadam kebakaran gas disalurkan di sepanjang siling.
Penderia asap juga terletak di bawah lantai yang dinaikkan. Ia cukup untuk mencetuskan mana-mana dua penderia dan siren penggera kebakaran akan berbunyi, tetapi kita akan membincangkannya sedikit kemudian.
Di sana, di sepanjang deretan penghawa dingin, terdapat pengesan kebocoran pita.
Setiap koridor di antara kaunter "dipantau" dengan kamera CCTV.
Jika dikehendaki, rak boleh diletakkan di belakang pagar khas (sangkar) dan kamera tambahan, sistem kawalan akses dan penderia gerakan, penderia volum, dsb. boleh dipasang di atasnya.
Penyejukan
Pusat data Udomlya menggunakan litar penyejuk etilena glikol. Terdapat penghawa dingin di dalam bilik mesin, penyejuk di atas bumbung, dan di tingkat dua terdapat pusat penyejukan dengan saluran paip, sistem automasi dan kawalan, pam, tangki simpanan, dll.
Setiap bilik mempunyai 12 penghawa dingin, separuh daripadanya dengan pelembap wap. Skim redundansi N+1.
Di lorong sejuk, suhu dikekalkan antara 21β25 Β°C dan kelembapan 40β60%.
Penghawa dingin ketepatan Stulz Cyber ββββCool
Terdapat dua gelang di sekeliling setiap bilik mesin: garisan "sejuk" yang membekalkan etilena glikol yang disejukkan ke penghawa dingin, dan garisan "panas" yang mengeluarkan glikol yang dipanaskan dari penghawa dingin ke penyejuk. Jika kita membuka lantai yang ditinggikan di koridor, kita akan melihat titisan ke dalam bilik mesin dari sistem penyejukan.
Laluan etilena glikol adalah seperti berikut: dari penghawa dingin, etilena glikol yang dipanaskan mula-mula memasuki garisan pemulangan di sekeliling bilik mesin, dan kemudian ke dalam gelang biasa. Kemudian etilena glikol pergi ke pam dan kemudian ke penyejuk, di mana ia disejukkan hingga 10 Β°C. Selepas penyejuk, etilena glikol kembali ke penghawa dingin melalui talian bekalan gelang biasa, tangki simpanan dan gelang di sekeliling modul.
Gambar rajah bekalan penyejukan pusat data
Beginilah rupa pusat penyejukan yang melaluinya 100 m3 etilena glikol melaluinya
Bekas kelabu ialah tangki pengembangan. Etilena glikol yang dipanaskan melaluinya dalam perjalanan ke penyejuk. Pada musim panas, etilena glikol mengembang dan memerlukan ruang tambahan.
Bekas yang mengagumkan ini ialah tangki simpanan, 5 m3 setiap satu. Mereka menyediakan penyejukan tanpa gangguan pusat data sekiranya berlaku kegagalan penyejuk.
Etilena glikol yang disejukkan daripada tangki dibekalkan kepada sistem, dan ini membolehkan suhu alur keluar penghawa dingin dikekalkan pada 19 Β°C selama 5 minit. Walaupun suhu di luar +40Β°C.
Pam penyejukan
Penapis poket jaringan dan tangki pemisah untuk membersihkan etilena glikol daripada zarah mekanikal dan udara
Garis merah nipis di lantai di bawah paip ialah pita sensor kebocoran. Mereka pergi sepanjang perimeter pusat penyejukan.
Jika mana-mana paip bocor, etilena glikol akan melalui sistem saliran dan berakhir di dalam tangki khas di dalam bilik rawatan air. Terdapat juga dua tangki dengan etilena glikol "ganti" untuk mengisi semula sistem penyejukan sekiranya berlaku kebocoran besar.
Dan mengenai penyejuk. Terdapat 5 penyejuk di atas bumbung menggunakan skim redundansi N+1. Setiap hari, automasi menentukan, bergantung pada waktu operasi, penyejuk mana yang akan dimasukkan ke dalam simpanan.
Penyejuk jenama Stulz CyberCool 2 dengan kapasiti 1096 kW
Penyejuk menyokong tiga mod:
- pemampat - dari 12 Β°C;
- bercampur β pada 0β12 Β°C;
- penyejukan percuma β dari 0 dan ke bawah. Mod ini melibatkan penyejukan etilena glikol melalui operasi kipas dan bukannya pemampat.
Keselamatan kebakaran
Pusat data mempunyai dua stesen pemadam api gas. Setiap satu mengandungi dua bateri 11 silinder: yang pertama adalah yang utama, yang kedua adalah rizab.
Sistem pemadam kebakaran pusat data dikaitkan dengan pelayan RFN Kalinin, dan, jika perlu, perkhidmatan bomba balai itu sendiri akan tiba di tapak dalam beberapa minit.
Foto menunjukkan sistem penggera kebakaran dan butang keluar kecemasan di dalam bilik turbin. Yang terakhir diperlukan jika pintu tidak dibuka atas sebab tertentu semasa penggera kebakaran: ia memotong bekalan kuasa ke kunci elektrik.
Telekomunikasi
Dua lebuh raya Rostelecom tiba di pusat data melalui laluan bebas. Setiap sistem DWDM mempunyai kapasiti 8 Terabit.
Pusat data mempunyai dua input telekom, yang terletak pada jarak lebih daripada 25 meter antara satu sama lain.
Turut hadir di tapak ialah pengendali Rascom, Telia Carrier Russia, Consyst, dan DataLine akan muncul dalam masa terdekat.
Dari Udomlya anda boleh membina terusan ke Moscow, St. Petersburg atau mana-mana sahaja di Rusia dan dunia.
Pemantauan
Jurutera yang bertugas bertugas di pusat pemantauan sepanjang masa.
Semua maklumat mengenai sistem kejuruteraan diterima di sini: keadaan iklim di dalam dewan, keadaan input, DIBP, dsb.
Setiap dua jam, kakitangan bertugas membuat lawatan ke semua premis infrastruktur untuk memeriksa keadaan peralatan kejuruteraan dan IT.
Infrastruktur sokongan
Kawasan pemunggahan disediakan untuk penghantaran peralatan ke pusat data.
Kawasan memunggah dari dalam.
Jika dewan anda berada di tingkat dua, maka lif hidraulik ini akan menghantar sebarang peralatan ke sana.
Loker untuk menyimpan alatan pelanggan dan banyak lagi.
Sedikit tentang kehidupan seharian
Untuk kakitangan tetap, anda boleh menyewa tempat kerja yang lengkap di bahagian pejabat. Jika anda melawat dari semasa ke semasa, anda boleh menginap di hotel sementara dengan semua kemudahan betul-betul di wilayah pusat data.
Bahagian pejabat juga mempunyai ruang makan dan dapur.
Dan terdapat alam semula jadi yang menakjubkan di sekeliling dengan hutan, tasik, sungai, memancing dan aktiviti luar yang lain. Datang untuk melawat.
Seperti yang dijanjikan, bonus yang bagus untuk mereka yang berjaya sehingga akhir. Untuk enam bulan pertama, menyewa ruang rak di Udomlya dengan kuasa yang dibekalkan sebanyak 5 kW adalah percuma. Bayar hanya untuk elektrik yang digunakan sebenarnya. Hantar permohonan anda ke .
Sumber: www.habr.com