Di suatu tempat di tengah-tengah antara Moskow dan St. Petersburg ada sebuah kota kecil bernama Udomlya. Sebelumnya dikenal dengan Pembangkit Listrik Tenaga Nuklir Kalinin. Pada tahun 2019, atraksi lain muncul di dekatnya - pusat megadata Udomlya dengan 4 ribu rak.
Setelah bergabung dengan tim Rostelecom-DPC, spesialis DataLine juga akan dilibatkan dalam pengoperasian pusat data ini. Pasti Anda pernah mendengar sesuatu tentang “Udomlya”. Hari ini kami memutuskan untuk memberi tahu Anda secara detail cara kerja semuanya di sana.
Lanskap industri: pusat data seluas 32 m² dan pembangkit listrik tenaga nuklir di latar belakang. Sampel Udomlya musim semi 000.
Di bawah potongan kami telah mengumpulkan lebih dari 40 foto sistem rekayasa pusat data dengan penjelasan rinci. Kejutan menyenangkan menanti mereka yang mencapai akhir.
Tentang logistik
Pusat data terletak di wilayah Tver. Perjalanan dari Moskow ke Udomlya akan memakan waktu sekitar tiga jam: 1 jam 45 menit di stasiun Sapsan ke Vyshny Volochek, dan dari sana, berdasarkan permintaan sebelumnya, antar-jemput akan menemui Anda dan membawa Anda ke pusat data. Petersburg ke Vyshny Volochek dibutuhkan waktu lebih lama - 2 jam 20 menit.
Dengan mobil Anda bisa sampai ke sana dari Moskow dalam 4,5 jam, dari St. Petersburg dalam 5 jam.
Ya, Anda mungkin tidak ingin pergi ke sini untuk beberapa unit. Namun jika Anda membutuhkan rumah baru untuk puluhan rak, ada baiknya Anda melihat lebih dekat. Terdapat cukup ruang dan listrik, bahkan jika Anda ingin menggandakan jumlahnya kapan saja. Di Moskow, di mana, berdasarkan pengalaman kami, pusat data dipesan pada tahap konstruksi, trik ini tidak selalu berhasil.
Selain itu, lokasi pusat data antara Moskow dan Sankt Peterburg dapat digunakan untuk reservasi geografis. Jika fasilitas utama berada di Moskow atau St. Petersburg, maka situs cadangan akan cocok.
Tim tangan pintar akan membantu semua operasi standar di lokasi. Mereka akan menerima, membongkar dan memasang peralatan di rak, menghubungkannya ke listrik dan jaringan, dan menyediakan akses jarak jauh ke peralatan tersebut. Jika terjadi malfungsi, mereka akan membantu diagnostik dan mengganti komponen yang rusak.
Pusat data tahap pertama terdiri dari 4 ruang komputer, atau modul, dengan masing-masing 205 rak. Terdapat 2 ruang mesin dan pusat energi di lantai dasar, serta dua ruang lagi dan pusat pendingin di lantai dua. Mari kita lihat bagaimana semuanya bekerja di sini.
Keamanan fisik
Pusat data menempati area yang ditentukan, yang tidak dapat dimasuki tanpa izin dan dokumen identitas. Mereka yang datang dengan mobil juga mendapat tiket transportasi dan baru setelah itu bisa masuk ke pusat data. Bagi mereka yang semuanya beres dengan passnya, pusat data buka 24x7.
Pos keamanan XNUMX jam pertama merupakan pintu masuk wilayah tersebut.
Kami melangkah lebih jauh dan sampai ke pos pemeriksaan tepat di pintu masuk pusat data.
Petugas keamanan tidak hanya menyapa klien dan mengeluarkan izin, tetapi juga memantau dinding video sepanjang waktu, yang menampilkan gambar seluruh lokasi internal pusat data dan area sekitarnya.
Catu daya
Listrik memulai perjalanannya ke pusat data dari pembangkit listrik tenaga nuklir. Pusat data menerima 10 kV untuk 6 trafo step-down. Selanjutnya, 0,4 kV melewati dua rute independen ke switchgear tegangan rendah (LVSD). Kemudian, melalui DIBP, listrik disuplai ke peralatan IT dan teknik. Dua input independen cocok untuk rak, yaitu redundansi 2N. Kami akan memberi tahu Anda lebih banyak tentang cara kerja semuanya dalam hal catu daya di artikel terpisah.
Jalur listrik di pusat data Udomlya
Bus listrik yang melaluinya listrik disalurkan dari RUNN ke panel listrik DIBP
Barisan JALANKAN
Terlepas dari kenyataan bahwa terdapat pembangkit listrik tenaga nuklir di dekatnya, di pusat data mana pun yang andal, pasokan listrik utama dianggap terjamin. Di pusat data kami, seperti yang Anda tahu, genset diesel bertanggung jawab atas hal ini, tetapi di sini UPS dinamis (DIUPS) digunakan. Mereka juga menyediakan pasokan listrik tanpa gangguan. DIUP dicadangkan sesuai skema N+1.
Merek DIPS Euro-Diesel (Kinolt) berkapasitas 2 MW. Mereka mengaum sangat keras sehingga lebih baik tidak masuk ke sana tanpa penutup telinga.
Dan beginilah cara kerjanya. DIBP merupakan gabungan dari tiga komponen utama: mesin diesel, mesin listrik sinkron dan akumulator energi kinetik dengan rotor. Semuanya dipasang pada poros utama.
Mesin listrik dapat beroperasi dalam mode motor listrik dan generator. Ketika DIBP ditenagai secara teratur dari kota, mesin listriknya adalah motor listrik yang memutar rotor dan menyimpan energi kinetik di baterai.
Blok abu-abu di latar depan adalah DIBP mesin sinkron
DIBP mesin diesel
Jika listrik kota padam, mesin listrik beralih ke mode generator. Berkat akumulasi energi kinetik, rotor menyebabkan poros utama DIBP berputar, mesin listrik terus beroperasi tanpa listrik kota dan tegangan keluaran tidak hilang. Hal ini memastikan pasokan listrik tidak terputus di pusat data. Pada saat yang sama, sistem kendali DIBP mengirimkan sinyal untuk menghidupkan mesin diesel. Energi kinetik yang sama dari rotor menghidupkan mesin diesel dan membantunya mencapai frekuensi operasi. Rotor menahan kecepatan hingga satu menit, dan ini cukup untuk menggerakkan diesel. Setelah dihidupkan, mesin diesel memutar poros utama, dan melaluinya mesin listrik (di sini mengalihkan DIBP dari satu mode ke mode lainnya).
Hasilnya, tenaga di rak tidak hilang sedetik pun.
Tangki masing-masing generator diesel dirancang selama 3 jam. Pusat data ini juga memiliki fasilitas penyimpanan bahan bakar sendiri sebesar 80 ton, yang akan menjaga seluruh beban pusat data selama 24 jam. Jika terjadi pemadaman listrik yang bersifat hipotetis (pembangkit listrik tenaga nuklir di dekatnya tidak mengizinkan hal ini), terdapat perjanjian dengan beberapa kontraktor yang akan segera mengirimkan bahan bakar diesel ke lokasi jika ada panggilan. Secara umum, semuanya sebagaimana mestinya.
Setiap minggu DIBP melakukan self test dan menghidupkan mesin diesel. Sebulan sekali, pengujian dilakukan dengan penutupan jaringan kota dalam jangka pendek.
Panel kendali DIBP
Tempat ShchGP dan ShchBP
“Garis utama” dan “persimpangan” kabel listrik
Ruang mesin
Setiap modul terletak di zona kedap udara, di dalam kotak khusus. Dinding dan atap tambahan ini melindungi ruang turbin dari debu, air, dan api. Saat menerima pusat data, area penahanan biasanya ditumpahkan air untuk memeriksa kebocoran.
Atap bangunan dan atap ruang turbin sendiri dengan pipa drainase
Air yang jatuh di atap zona penahanan mengalir melalui selokan ke dalam pipa drainase
Setiap aula siap menampung 205 rak dengan daya rata-rata 5 kW.
Penataan peralatan di aula diatur sesuai dengan skema koridor dingin dan panas.
Deteksi dini kebakaran dan sistem pemadam kebakaran gas disalurkan di sepanjang langit-langit.
Sensor asap juga terletak di bawah lantai yang ditinggikan. Ini cukup untuk memicu dua sensor dan sirene alarm kebakaran akan berbunyi, tapi kita akan membicarakannya nanti.
Di sana, di sepanjang deretan AC, terdapat sensor kebocoran pita.
Setiap koridor di antara konter “diawasi” dengan kamera CCTV.
Jika diinginkan, rak dapat ditempatkan di belakang pagar khusus (kandang) dan kamera tambahan, sistem kontrol akses dan sensor gerak, sensor volume, dll dapat dipasang di atasnya.
Pendinginan
Pusat data Udomlya menggunakan sirkuit pendingin etilen glikol. Terdapat AC di ruang mesin, pendingin di atap, dan di lantai dua terdapat pusat pendingin dengan saluran pipa, sistem otomasi dan kontrol, pompa, tangki penyimpanan, dll.
Setiap kamar memiliki 12 AC, setengahnya dilengkapi pelembab uap. Skema redundansi N+1.
Di lorong yang dingin, suhu dipertahankan antara 21–25 °C dan kelembapan 40–60%.
AC presisi Stulz Cyber Cool
Ada dua cincin di sekeliling setiap ruang mesin: saluran “dingin” yang memasok etilen glikol yang didinginkan ke AC, dan saluran “panas” yang memindahkan glikol panas dari AC ke pendingin. Jika kita membuka lantai yang ditinggikan di koridor, kita akan melihat tetesan air ke ruang mesin dari sistem pendingin.
Rute etilen glikol adalah sebagai berikut: dari AC, etilen glikol yang dipanaskan pertama-tama memasuki jalur balik di sekitar ruang mesin, dan kemudian ke dalam common ring. Kemudian etilen glikol dialirkan ke pompa dan kemudian ke chiller, di mana ia didinginkan hingga 10 °C. Setelah chiller, etilen glikol kembali ke AC melalui jalur suplai common ring, tangki penyimpanan, dan ring di sekitar modul.
Diagram pasokan pendingin pusat data
Seperti inilah bentuk pusat pendingin yang dilalui 100 m3 etilen glikol
Kontainer abu-abu adalah tangki ekspansi. Etilen glikol yang dipanaskan melewatinya dalam perjalanan menuju pendingin. Di musim panas, etilen glikol mengembang dan membutuhkan ruang tambahan.
Kontainer yang mengesankan ini adalah tangki penyimpanan, masing-masing berukuran 5 m3. Mereka menyediakan pendinginan pusat data tanpa gangguan jika terjadi kegagalan chiller.
Etilena glikol yang didinginkan dari tangki disuplai ke sistem, dan ini memungkinkan suhu keluar AC dipertahankan pada 19 °C selama 5 menit. Meskipun suhu di luar +40°C.
Pompa pendingin
Filter saku jaring dan tangki pemisah untuk memurnikan etilen glikol dari partikel mekanis dan udara
Garis merah tipis di lantai bawah pipa adalah pita sensor kebocoran. Mereka mengelilingi seluruh perimeter pusat pendingin.
Jika ada pipa yang bocor, maka etilen glikol akan melewati sistem drainase dan berakhir di tangki khusus di ruang pengolahan air. Terdapat juga dua tangki dengan etilen glikol “cadangan” untuk mengisi kembali sistem pendingin jika terjadi kebocoran besar.
Dan tentang pendingin. Terdapat 5 chiller di atap menggunakan skema redundansi N+1. Setiap hari, otomatisasi menentukan, bergantung pada jam pengoperasian, chiller mana yang akan dijadikan cadangan.
Pendingin merk Stulz CyberCool 2 berkapasitas 1096 kW
Pendingin mendukung tiga mode:
- kompresor – dari 12 °C;
- dicampur – pada 0–12 °C;
- pendinginan gratis – dari 0 ke bawah. Mode ini melibatkan pendinginan etilen glikol melalui pengoperasian kipas, bukan kompresor.
Keamanan api
Pusat data memiliki dua stasiun pemadam kebakaran gas. Masing-masing berisi dua baterai 11 silinder: yang pertama adalah baterai utama, yang kedua adalah cadangan.
Sistem pemadam kebakaran di pusat data terhubung ke server PLTN Kalinin, dan, jika perlu, petugas pemadam kebakaran dari stasiun tersebut akan tiba di lokasi dalam beberapa menit.
Foto menunjukkan sistem alarm kebakaran dan tombol pintu keluar darurat di ruang turbin. Yang terakhir diperlukan jika pintu tidak dibuka karena alasan tertentu selama alarm kebakaran: ini memutus pasokan listrik ke kunci listrik.
Telecom
Dua jalan raya Rostelecom tiba di pusat data melalui rute independen. Setiap sistem DWDM memiliki kapasitas 8 Terabit.
Pusat data memiliki dua input telekomunikasi yang terletak pada jarak lebih dari 25 meter satu sama lain.
Hadir pula di situs tersebut operator Rascom, Telia Carrier Russia, Consyst, dan DataLine yang akan muncul dalam waktu dekat.
Dari Udomlya Anda dapat membangun kanal ke Moskow, St. Petersburg, atau ke mana pun di Rusia dan dunia.
Pemantauan
Insinyur yang bertugas bertugas di pusat pemantauan sepanjang waktu.
Semua informasi tentang sistem rekayasa diterima di sini: kondisi iklim di aula, kondisi pintu masuk, DIBP, dll.
Setiap dua jam, petugas jaga melakukan tur ke seluruh lokasi infrastruktur untuk memeriksa kondisi peralatan teknik dan IT.
Infrastruktur pendukung
Area bongkar muat disediakan untuk pengiriman peralatan ke pusat data.
Area bongkar dari dalam.
Jika aula Anda berada di lantai dua, maka lift hidrolik ini akan mengantarkan peralatan apa pun ke sana.
Loker untuk menyimpan alat klien, dan banyak lagi.
Sedikit tentang kehidupan sehari-hari
Untuk staf tetap, Anda dapat menyewa tempat kerja yang dilengkapi peralatan di bagian kantor. Jika Anda berkunjung dari waktu ke waktu, Anda bisa menginap di hotel sementara dengan segala fasilitasnya tepat di wilayah pusat data.
Bagian kantor juga memiliki ruang makan dan dapur.
Dan terdapat alam menakjubkan di sekelilingnya dengan hutan, danau, sungai, memancing, dan aktivitas luar ruangan lainnya. Datang berkunjung.
Seperti yang dijanjikan, bonus bagus bagi mereka yang berhasil mencapai akhir. Selama enam bulan pertama, menyewa ruang rak di Udomlya dengan pasokan daya 5 kW tidak dikenakan biaya. Bayar hanya untuk listrik yang benar-benar dikonsumsi. Kirim lamaran Anda ke .
Sumber: www.habr.com