Masalah transportasi terpenting di St. Petersburg adalah jembatan. Di malam hari, karena mereka, Anda harus lari dari kedai tanpa menghabiskan bir. Ya, atau bayar taksi dua kali lipat dari biasanya. Di pagi hari, hitung waktu dengan cermat agar begitu jembatan ditutup, Anda bisa sampai ke stasiun seperti luwak yang lincah. Kami tidak menganggap opsi “menghabiskan malam di suatu tempat di pusat kota, dekat stasiun” sebagai pilihan yang merugikan secara ideologis.
... "Peregrine Falcon", berangkat pada pukul 5:30, ditemukan oleh orang-orang yang membenci burung hantu. Tidak, tentu saja, sangat nyaman berada di Moskow pada pukul sembilan pagi, dan Sankt Peterburg sangat indah pada malam putih, tetapi pada pukul setengah empat, ketika saya naik taksi, saya ingin menoleh 270 derajat ke burung yang menemukan kereta pagi ini.
“Semua pusat data yang bagus itu sama,” pikir saya ketika mengetahui bahwa orang-orang dari DataLine mengundang kami untuk berkunjung.
Ternyata, masing-masing pusat data itu baik (atau buruk) dengan caranya masing-masing, terutama ketika Anda mencapai kesuksesan, kumpulkan semua hasil di area tersebut dan pelajari pelajaran dari Anda sendiri (dan, sedikit, dari orang lain). ) pengalaman yang kaya. Jadi kami (terdiri dari lima linkmeup terkemuka dan teman serta simpatisan mereka) memutuskan untuk memeriksa seberapa bagus (atau tidak terlalu bagus) pusat data OST dan NORD.
Setelah berhasil melakukan sedikit pekerjaan di jalan (mungkin ada iklan untuk satu operator seluler di sini, tetapi tidak - jangkauannya masih buruk), kami turun di stasiun Leningradsky. Setidaknya tidak di bawah Gazmanov.
Kami memulai tur pusat data "kapur" dengan OST - "yang sama" yang "terbakar" belum lama ini. Mengapa dalam tanda kutip - setelahnya. Sementara itu, kami berdiri, merokok, dan menunggu mereka yang terlambat. Memotret kantor RT sebelah. Ada banyak cerita lucu di lingkungan ini - mulai dari pemasangan aspal baru dan pengecatan tepi jalan sebelum kedatangan pejabat, dan diakhiri dengan diskon di kafe terdekat yang diberikan kepada warga Dataline karena kemiripan lencananya.
Corong propaganda totaliter
Pusat data mode ketat (akses).
Tiket masuk, aturan perilaku, penggiling daging di pintu masuk - hampir sama dengan yang kita lihat . Pernahkah Anda melihat banyak kedai kopi di pusat data? Sekarang kita kenal pasangan. Karyawan dan klien memiliki simpanan “kopi” di lencana mereka, yang diisi ulang secara berkala. Jadi, dalam batas wajar, Anda bisa memanjakan diri dengan kopi secara gratis. Kami sebagai tamu terhormat juga disuguhi jamuan makan.
Saya tidak bisa mengatakan hal buruk tentang kopinya - ini cukup normal untuk kedai kopi “rantai”, tetapi lokasinya sangat menawan, dan interiornya sejalan dengan tradisi modern terbaik.
Interior kedai kopi lokal
Foto menunjukkan pusat data NORD
Tur dimulai dari kantor. Selain tulisan di dinding dan skema warna putih kapur yang dikenal di seluruh Runet, ada juga berbagai hal lucu. Ini adalah alat peraga yang tersisa dari pertunjukan teater perusahaan (dapatkah Anda bayangkan direktur teknis jaringan pusat data bermain dalam sebuah drama? Kami mengenalnya secara pribadi.).
Dan kebenarannya
Foto dari pertunjukan
Pusat data (atau lebih tepatnya, empat pusat data) terletak di kompleks bangunan industri yang dibangun pada abad sebelumnya (saat itu pabrik Citroen, dan di masa Soviet pabrik Gidroprivod), jadi di satu sisi ada yang keras tampilan industrial, balok logam, suasana loteng, dan artefak industrial dari berbagai era yang masih ditemukan dalam berbagai karya. Di sisi lain, zona kedap udara pada pusat data harus disesuaikan dengan struktur yang ada, dan kompromi dengan kenyataan harus dilakukan dari waktu ke waktu. Namun, saya tidak akan mengatakan bahwa kompromi ini mempengaruhi kualitas - tetapi orang-orang mungkin harus bekerja keras selama mendesain. Juga, menurut rumor, Metro-2 lewat di suatu tempat di dekatnya, tapi ini tidak pasti.
Selain teater, ada juga museum. Pameran, tentu saja, adalah temuan arkeologis
Beberapa kata tentang . Ya, gedungnya (atau lebih tepatnya, atapnya) benar-benar terbakar. Unit luar sistem pendingin dan pipa dingin rusak. Di suatu tempat kabelnya terbakar dan AC dibiarkan tanpa listrik. Pipa freon meledak entah dimana. Namun, meskipun demikian, zona kedap udara tersebut mampu menahan berton-ton air yang dituangkan ke dalamnya, dan peralatannya tetap bertahan. Mereka memulihkannya di bawah kendali "markas besar" yang diwakili oleh manajemen puncak seluruh dunia - mereka menyapu semua pipa tembaga di Moskow dan daerah sekitarnya (mereka bahkan membawanya pada malam hari dengan BMW X5) dan semua orang yang sadar pemasang. Peralatan penting dari ruang data yang rusak (rusak karena kurangnya suhu dingin, bukan karena api!) dengan cepat dipindahkan ke ruang lain, sehingga pada pukul lima pagi tidak hanya semua layanan mereka, tetapi juga klien mereka sudah siap dan berfungsi.
Kami secara pribadi memeriksa aula yang “paling menderita” - kecuali bau terbakar dan penggantian ubin di lantai yang ditinggikan, tidak ada yang mengingatkan pada kebakaran (kecuali rak peralatan yang “sementara” dibawa ke aula data lain, dan tetap di sana).
Panel status
Berjalan di sepanjang koridor, kami melihat layar sentuh dengan sesuatu yang sangat mirip dengan diagram ruang turbin pusat data. Ini adalah panel status. Terdapat banyak AC di koridor, dan memungkinkan teknisi di lokasi untuk dengan cepat menemukan, misalnya, AC yang diperlukan, dan cukup melaporkan status terkini.
Pemantauannya dibangun di Nagios (sekarang sudah ada beberapa cluster independen) dan mencakup seluruh data center (baik OST maupun NORD). Selain itu, terdapat aplikasi untuk Android dan iOS (untuk klien dan karyawan), dan halaman status langsung di website.
Pada tampilan saya melihat PUE yang luar biasa tinggi - tidak diterima di semua tempat di Rusia, tetapi masih 1.90 agak tinggi. Jawabannya murni ekonomi - pada tahun 2012-2013, rak di pusat data laris manis, jadi tidak ada waktu untuk sentimentalitas dan efisiensi energi. Kami memasang apa yang ada di pasaran, melakukannya secepat mungkin dan sama sekali tidak peduli dengan PUE Anda, karena kenapa? Bahkan pada tahap desain, 80-90% rak telah dibeli, tetapi undang-undang di Federasi Rusia tidak mau mengetahui apa pun tentang efisiensi energi. Meskipun beberapa komisi di Amsterdam akan puas dengan angka tersebut.
Tidak ada yang pribadi. Hanya bisnis.
Fitur lainnya adalah penandaan ruang data. Di setiap lokasi, ruang data, selain pengkodean alfanumerik “resmi”, memiliki nama samaran “manusia” dari alfabet angkatan laut (Alpha-Bravo-Charlie-Delta...). Untuk beberapa alasan, semua klien menyukai ruang Wiski.
Tidak ada detail kecil dalam hal layanan pelanggan.
“Pagar” semacam itu didirikan untuk beberapa klien. Kami tidak diperbolehkan mengambil gambar di ruang turbin, jadi fotonya adalah DataLine ©
Klien DataLine sebagian besar adalah perusahaan besar dan terhormat; mereka sangat tidak suka peralatan mereka difoto. Apalagi jika nama (atau logo) klien langsung ditulis di counter dengan huruf besar. Mereka tidak menyukainya - itu saja. Oleh karena itu, kami memfilmkan tembok yang sudah terkenal dengan berbagai prasasti, dan insinyurnya. Juga tidak mungkin memotret seluruh insinyur dan tidak di semua tempat, tetapi kami mencobanya. Karena klien kami besar dan dihormati, mereka juga memiliki permintaan khusus - rak khusus (atau semacam sistem penyimpanan uber dari beberapa rak vendor), pagar mereka sendiri, sistem kontrol akses mereka sendiri, pengawasan video mereka sendiri dan tim respons cepat dengan senjata mesin. Secara umum, salah satu aturan DataLine yang tidak terucapkan (dan publik) adalah menjaga klien dan berbuat baik padanya. Mulai dari rompi dan workstation yang dilengkapi akses internet dan charger, hingga berbagai acara untuk klien. Yang terakhir ini juga sangat berguna karena orang yang sama, berpindah dari satu perusahaan ke perusahaan lain, membawa mereka ke DataLine. Hanya karena semuanya di sini nyaman, nyaman, dan dapat diandalkan. Bisnis DataLine bukan hanya menyewakan ruang rak. Ini juga merupakan cloud, yang secara bersamaan disertifikasi menurut 152-FZ dan PCI-DSS (kami akan membuat podcast tentangnya, nantikan pengumumannya), dan menyediakan konektivitas (seratnya sendiri antar situs dan dari masing-masing situs ke M9, cincin optiknya sendiri melintasi kota, dan seterusnya hingga pengaturan jarak terakhir ke kantor klien).
M - motivasi
Berbicara tentang prasasti, ide datang tidak hanya dari karyawan, tetapi juga dari mitra dan klien, setelah itu Anda dapat memilih yang paling sukses di Jalur Data di FB. Nah, Anda bisa mengajukan ide Anda di sana.
Pertemuan di Elbe
Salib (foto milik DataLine)
Kami berhenti di Meet-Me-Room, tempat para operator berada. Dalam MMR (ada tiga pasang di OST, sesuai dengan jumlah input optik utama, untuk aktif dan pasif) koneksi dari semua ruang data digabungkan. Segala sesuatu di sepatu lintas alam membosankan dan rapi. Tapi di mana kamera aktif berada, Anda ingat tahun-tahun terbaik dan cuplikan dari beberapa BM18: mie yang terbuat dari kabel dan berbagai macam peralatan (DLink, Extreme, Juniper, Mikrotik... dan seterusnya hingga ASR9k). Ada lebih dari lima puluh operator di sini, jadi semuanya penuh warna. Dari MMR, optik dan tembaga didistribusikan ke ruang mesin. Setidaknya dua rute untuk masing-masing (varian dimungkinkan), jadi Anda tidak perlu khawatir tentang keandalan koneksi. MMR disebut "Elbe", yang cukup halus.
IBM Power tidak ada?
Temuan lainnya adalah IBM P-series yang tidak pernah dinyalakan dan telah berdiri di salah satu koridor selama beberapa tahun. Mesin tersebut (bersama dengan perpustakaan kaset dan sistem penyimpanan) dipesan oleh salah satu klien, tetapi “tidak berguna”, sehingga disumbangkan ke pusat data. Sejak saat itu, ia telah berdiri.
Mungkin menyenangkan menjadi orang kaya dan memberikan hadiah seperti itu, bukan? (Atau mungkin mereka tidak memberikannya sebagai hadiah, tapi lupa. Atau mereka kalah dalam permainan kartu. Tapi itu sudah ada sejak lama)
Pria tampan ini berdiri di NORD-4
Kami pergi ke pusat energi - tiga (atau bahkan empat) genset diesel untuk setiap pusat data (saya ingatkan Anda, ada empat di antaranya di OST). Mesin diesel mencapai tenaga penuh dalam 30-40 detik dan menghasilkan 1900 kVA. Termasuk redundansi N+1, sinkronisasi, dll. Waktu duduk terlama pada mesin diesel dalam OST adalah 12 jam. di NORD - 2.5 hari (bagaimanapun juga, fasilitas penyimpanan untuk 85 ton bukanlah uang yang banyak).
Tentu saja ada perjanjian dengan berbagai perusahaan bahan bakar untuk penyediaan bahan bakar. Peralihan ke solar dilakukan secara berkala, sehingga bahan bakar dapat diproduksi dan kontrak diverifikasi. Ngomong-ngomong, menurut rekan-rekan di NORD, saat pengujian genset diesel, yang biasanya memakan waktu lebih dari satu jam, di tempat keluarnya udara panas dari mesin diesel, bahkan di musim dingin rumput masih bisa berubah menjadi hijau.
Setelah camilan singkat di kedai kopi yang sudah dikenal, kami menuju ke situs NORD. Ini juga bukan satu pusat data, tapi empat bangunan independen di wilayah yang sama. Masing-masing memiliki masukan listriknya sendiri, mesin dieselnya sendiri, dan pendinginnya sendiri. NORD-1 dan NORD-2 diaudit oleh Uptime Institute M&O. Yang terbaru (dan pusat data DataLine terbaik) adalah NORD-4, jadi itulah tujuan kami.
Meskipun jumlah pusat data di Moskow tampak sangat besar, masih terdapat kekurangan. Tidak, tentu saja, satu atau dua rak akan dikirimkan kepada Anda tanpa masalah. Mereka bahkan akan memberimu dua puluh. Lebih banyak pertanyaan (dan DataLine memiliki lebih dari satu atau dua klien dengan kebutuhan seperti itu). Secara khusus, di NORD-4 ada tempat (untuk saat ini), karena satu klien besar telah pindah ke pusat datanya yang baru dibangun, namun di tempat lain hal ini mungkin tidak seberuntung itu. Namun, desain NORD-5 kini sedang berjalan lancar dan dijanjikan akan diluncurkan pada awal tahun 2020.
Tapi mari kita kembali ke perjalanan kita. Karena kami bepergian dengan mobil, mereka membiarkan kami masuk ke gerbang, di mana penembak senapan mesin membidik kami, memeriksa nomor mobil kami dengan aplikasi, dan meminta semua penumpang keluar untuk mendapatkan izin (tentu saja dengan paspor). Karena B adalah keamanan.
NORD-4 adalah kebanggaan perusahaan dan merupakan kompilasi pengalaman bertahun-tahun dalam pembangunan dan pengoperasian pusat data, ia memiliki sertifikat Uptime Institute Tier III untuk proyek desain dan Fasilitas (yaitu pusat data yang dibangun), serta Keberlanjutan Operasional - orang-orang mendekati masalah ini sedekat mungkin dengan tanggung jawab. Di dalamnya terdapat empat zona kedap udara, independen satu sama lain, dengan dua aula masing-masing di dalam satu gedung. Masing-masing memiliki pusat tenaga sendiri (generator diesel, ruang baterai), sirkuit pendingin, dan sistem pemadam kebakaran. Umum - input optik (ada dua di antaranya per gedung) dan MMR.
Modding Insinyur Sehat
Di pintu masuk pusat data, ada kedai kopi yang sudah tidak asing lagi bagi kita (ya kenapa tidak?). Kami naik ke pusat pemantauan. Sekarang ada dua yang utama - di OST dan NORD-4 (NORD-1,2,3 juga memiliki shift tugasnya sendiri). Dari masing-masing pusat Anda dapat melihat kedua situs, sehingga redundansi n+1 pun terjamin. Di dinding video sudah terdapat dasbor familiar dalam skema warna hijau muda (tentu saja ada lebih banyak parameter di dalamnya daripada di tampilan status). Kami berbicara sedikit tentang pemantauan - tidak ada Prometheus dan Grafan yang mewah, hanya Nagios, hanya visualisasi hardcore dan buatan sendiri. Selama sepuluh tahun (namun, bahkan lebih) penggunaan, banyak pemeriksaan dan skrip khusus telah ditulis, jadi beralih ke sesuatu yang lain sepertinya sebuah pertaruhan. Sekitar sebulan sekali, perusahaan lain muncul yang menawarkan untuk menyelesaikan semua masalah “dengan cepat dan tanpa rasa sakit”, tetapi entah bagaimana hal itu belum berhasil. Omong-omong, dinding video juga berfungsi pada solusi rakitan sendiri, yang ternyata beberapa kali lebih murah daripada analog komersial.
Pusat kendali lokal
Ketika Anda telah merancang, membangun, dan mengoperasikan pusat data selama bertahun-tahun, Anda tidak lagi takut melakukan sesuatu sendiri dibandingkan membeli sesuatu yang sudah jadi. DataLine, misalnya, tidak ragu untuk mengatakan bahwa, hanya karena skala, mereka telah mencapai jumlah kesalahan maksimum, dan setiap pusat data baru adalah hasil dari kesalahan sulit dan pengalaman yang telah berlangsung selama lebih dari sepuluh tahun. . Tentu saja, setiap pusat data baru memiliki keahliannya masing-masing, dan saat berjalan-jalan di NORD, sesekali Anda mendapati diri Anda berpikir bahwa orang-orang baru saja melakukannya dan melakukannya dengan baik. Bukan demi pamer, bukan demi peringkat dan sertifikat - proses rekayasa yang normal, ketika pada setiap iterasi Anda tumbuh melampaui diri Anda sendiri dan menjadi lebih baik dan lebih baik. Pengamat luar akan mengatakan bahwa ini membosankan dan konservatif, tetapi klien, sebaliknya, menjaga stabilitas tersebut dengan uangnya sendiri. Dan untuk melakukannya dengan baik, sama sekali tidak perlu membeli sistem rekayasa atau perangkat lunak dengan harga yang sangat mahal (walaupun terkadang Anda tidak dapat melakukannya tanpanya). Pengalaman, pengetahuan, dan kecerdikan teknik sering kali menentukan.
Misalnya gedung NORD-4 yang memiliki 3,5 lantai. Tiga yang pertama lengkap, dengan langit-langit 4.5 meter, tempat ruang turbin berada. Dan yang terakhir bersifat teknis, tingginya hanya 1.8 meter, dan didedikasikan murni untuk sistem pendingin. Karena lantainya bersifat teknis, persyaratannya jauh lebih rendah, sehingga menyederhanakan proyek dan menghemat uang.
Pemandangan pusat data berbentuk segitiga
Max memiliki kemampuan kung fu khusus agar tidak terbakar di foto
Kami mengakhiri tur di atap - dari sini kami memiliki pemandangan yang sangat indah dari pembangkit listrik tenaga panas terdekat dan kawasan perumahan, serta bangunan NORD lainnya. Dua di antaranya berbentuk segitiga. Mengenai hal ini, rekan-rekannya bahkan tertawa bahwa “DataLine bodoh, entah kenapa mereka sedang membangun pusat data segitiga” untuk memasang rak segitiga dan server segitiga di sana. Tapi tidak ada apa-apa - mereka membangun dan beroperasi dengan sukses, dan pada saat yang sama secara efektif menggunakan wilayah yang ada (yang harus saya katakan, di Moskow, tidak gratis). Fakta mengejutkan lainnya (bagi saya) adalah sebagian besar klien komersial ingin berlokasi di Moskow. Sebuah situs yang jaraknya setengah ratus kilometer di sepanjang Jalan Raya Minsk (meskipun terdapat semua kapasitas dan komunikasi yang diperlukan) tidak lagi menarik bagi siapa pun. Jadi semua orang berkumpul di tempat yang bukan karet.
Menara pendingin bukan lagi pusat data, melainkan pembangkit listrik tenaga panas
Dengan ini perjalanan kita selanjutnya telah berakhir.
Setelah itu ada lagi perbincangan panjang dan produktif tentang rencana bersama dan podcast masa depan (saya harap kita tidak perlu menunggu lama), jadi pantau terus, akan ada hal-hal menarik lainnya segera.
Nah, jika Anda ingin melihat semuanya dengan mata kepala sendiri, DataLine mengajak Anda berkeliling. Sepenuhnya gratis, tetapi dengan perjanjian. Mereka yang menyebut kode kata “linkmeup” akan mendapat karma plus.
Tetap disini!
Sumber: www.habr.com