Kami meluncurkan layanan baru, lalu lintas meningkat, mengganti server, menghubungkan situs baru, dan merombak pusat data - dan sekarang kami akan menceritakan kisah ini, yang awalnya kami perkenalkan kepada Anda lima tahun lalu.
Lima tahun adalah waktu yang umum untuk menyimpulkan hasil sementara. Oleh karena itu, kami memutuskan untuk berbicara tentang pembangunan infrastruktur kami, yang selama lima tahun terakhir telah melalui jalur pembangunan yang sangat menarik, dan kami bangga. Perubahan kuantitatif yang kami terapkan telah berubah menjadi perubahan kualitatif; kini infrastruktur dapat beroperasi dengan cara yang tampak fantastis pada pertengahan dekade terakhir.
Kami memastikan pengoperasian proyek paling kompleks dengan persyaratan keandalan dan beban paling ketat, termasuk PREMIER dan Match TV. Siaran olahraga dan pemutaran perdana serial TV populer memerlukan lalu lintas dalam terabit/dtk, kami dengan mudah menerapkannya, dan sering kali bekerja dengan kecepatan seperti itu sudah lama menjadi hal biasa bagi kami. Dan lima tahun lalu, proyek terberat yang berjalan di sistem kami adalah Rutube, yang sejak itu berkembang, meningkatkan volume dan lalu lintas, yang harus diperhitungkan saat merencanakan muatan.
Kami berbicara tentang bagaimana kami mengembangkan perangkat keras infrastruktur kami () dan mengembangkan sistem yang bertanggung jawab untuk mengunggah video (), tetapi banyak waktu telah berlalu sejak teks ini ditulis, banyak solusi lain telah dibuat dan diterapkan, yang hasilnya memungkinkan kita memenuhi persyaratan modern dan cukup fleksibel untuk beradaptasi dengan tugas-tugas baru.
Inti jaringan Kami terus berkembang. Kami beralih ke peralatan Cisco pada tahun 2015, yang kami sebutkan di artikel sebelumnya. Dulu 10/40G masih sama, tetapi karena alasan yang jelas, setelah beberapa tahun mereka meningkatkan sasis yang ada, dan sekarang kami aktif menggunakan 25/100G.
Tautan 100G sudah lama bukan merupakan suatu kemewahan (sebaliknya, ini adalah kebutuhan mendesak saat ini di segmen kami), dan juga bukan sesuatu yang langka (semakin banyak operator yang menyediakan koneksi dengan kecepatan seperti itu). Namun, 10/40G tetap relevan: melalui tautan ini kami terus menghubungkan operator dengan jumlah lalu lintas yang kecil, sehingga saat ini tidak tepat untuk menggunakan port yang lebih luas.
Inti jaringan yang kami buat patut mendapat pertimbangan terpisah dan akan menjadi topik artikel terpisah nanti. Di sana kami akan mempelajari detail teknis dan mempertimbangkan logika tindakan kami saat membuatnya. Namun sekarang kami akan terus menggambar infrastruktur secara lebih skematis, karena perhatian Anda, para pembaca yang budiman, tidak terbatas.
Server keluaran video berkembang dengan cepat, untuk itu kami menawarkan banyak upaya. Jika sebelumnya kami menggunakan server 2U dengan 4-5 kartu jaringan dengan masing-masing dua port 10G, sekarang sebagian besar lalu lintas dikirim dari server 1U, yang memiliki 2-3 kartu dengan masing-masing dua port 25G. Kartu dengan 10G dan 25G memiliki biaya yang hampir sama, dan solusi yang lebih cepat memungkinkan Anda melakukan transmisi melalui 10G dan 25G. Hasilnya adalah penghematan yang jelas: lebih sedikit komponen server dan kabel untuk koneksi - biaya lebih rendah (dan keandalan lebih tinggi), komponen memakan lebih sedikit ruang di rak - menjadi mungkin untuk menempatkan lebih banyak server per satuan luas dan, oleh karena itu, biaya sewa lebih rendah.
Namun yang lebih penting adalah peningkatan kecepatan! Sekarang kami dapat mengirim lebih dari 1G dengan 100U! Dan hal ini dilatarbelakangi oleh situasi di mana beberapa proyek besar Rusia menyebut keluaran 40G dari 2U sebagai sebuah “prestasi.” Kami ingin masalah mereka!
Perlu dicatat bahwa kami masih menggunakan generasi kartu jaringan yang hanya dapat beroperasi pada 10G. Peralatan ini bekerja dengan stabil dan sangat familiar bagi kami, sehingga kami tidak membuangnya, tetapi menemukan kegunaan baru. Kami memasang komponen ini di server penyimpanan video, yang satu atau dua antarmuka 1G jelas tidak cukup untuk beroperasi secara efektif; di sini kartu 10G ternyata relevan.
Sistem penyimpanan juga sedang berkembang. Selama lima tahun terakhir, mereka telah berubah dari dua belas disk (12x HDD 2U) menjadi tiga puluh enam disk (36x HDD 4U). Beberapa orang takut menggunakan “bangkai” yang begitu luas, karena jika salah satu sasis tersebut rusak, mungkin ada ancaman terhadap produktivitas – atau bahkan pengoperasian! – untuk keseluruhan sistem. Namun hal ini tidak akan terjadi pada kami: kami telah menyediakan cadangan pada tingkat salinan data yang didistribusikan secara geografis. Kami telah mendistribusikan sasis ke pusat data yang berbeda - kami menggunakan total tiga pusat data - dan ini menghilangkan terjadinya masalah baik jika terjadi kegagalan pada sasis maupun ketika situs jatuh.
Tentu saja, pendekatan ini membuat RAID perangkat keras menjadi mubazir, yang kemudian kami tinggalkan. Dengan menghilangkan redundansi, kami secara bersamaan meningkatkan keandalan sistem dengan menyederhanakan solusi dan menghilangkan salah satu titik kegagalan potensial. Izinkan kami mengingatkan Anda bahwa sistem penyimpanan kami adalah “buatan sendiri”. Kami melakukan ini dengan sengaja dan kami sangat puas dengan hasilnya.
Pusat Data Selama lima tahun terakhir kami telah berubah beberapa kali. Sejak penulisan artikel sebelumnya, kami tidak hanya mengubah satu pusat data - DataLine - sisanya memerlukan penggantian seiring dengan berkembangnya infrastruktur kami. Semua transfer antar lokasi telah direncanakan.
Dua tahun lalu, kami bermigrasi ke dalam MMTS-9, pindah ke lokasi dengan perbaikan berkualitas tinggi, sistem pendingin yang baik, catu daya yang stabil, dan tidak ada debu, yang sebelumnya menumpuk di lapisan tebal di semua permukaan dan juga menyumbat bagian dalam peralatan kami. . Pilih layanan berkualitas – dan tanpa debu! – menjadi alasan kepindahan kami.
Hampir selalu “satu perpindahan sama dengan dua kebakaran,” namun permasalahan selama migrasi berbeda-beda setiap saat. Kali ini, kesulitan utama untuk berpindah dalam satu pusat data “disediakan” oleh koneksi silang optik - banyaknya koneksi antar lantai tanpa digabungkan menjadi satu koneksi silang oleh operator telekomunikasi. Proses memperbarui dan merutekan ulang koneksi silang (yang dibantu oleh para insinyur MMTS-9) mungkin merupakan tahap migrasi yang paling sulit.
Migrasi kedua terjadi setahun yang lalu; pada tahun 2019, kami berpindah dari pusat data yang tidak terlalu bagus ke O2xygen. Alasan perpindahan ini serupa dengan yang dibahas di atas, namun ditambah dengan masalah tidak menariknya pusat data asli bagi operator telekomunikasi - banyak penyedia harus “mengejar” titik ini sendirian.
Migrasi 13 rak ke situs berkualitas tinggi di MMTS-9 memungkinkan untuk mengembangkan lokasi ini tidak hanya sebagai lokasi operator (beberapa rak dan operator "depan"), tetapi juga untuk menggunakannya sebagai salah satu dari yang utama. Ini agak menyederhanakan migrasi dari pusat data yang tidak terlalu bagus - kami memindahkan sebagian besar peralatan dari sana ke situs lain, dan O2xygen diberi peran sebagai pusat pengembangan, mengirimkan 5 rak dengan peralatan ke sana.
Saat ini O2xygen sudah menjadi platform yang lengkap, di mana operator yang kita perlukan telah “tiba” dan operator baru terus terhubung. Bagi operator, O2xygen juga ternyata menarik dari sudut pandang pengembangan strategis.
Kami selalu melakukan perpindahan fase utama dalam satu malam, dan saat bermigrasi dalam MMTS-9 dan ke O2xygen, kami mematuhi aturan ini. Kami menekankan bahwa kami secara ketat mengikuti aturan “pindah dalam semalam”, berapa pun jumlah raknya! Bahkan ada preseden ketika kami memindahkan 20 rak dan menyelesaikannya juga dalam satu malam. Migrasi merupakan proses yang cukup sederhana yang membutuhkan ketelitian dan konsistensi, namun ada beberapa trik disini, baik dalam proses persiapan, saat perpindahan, maupun saat penempatan ke lokasi baru. Kami siap membicarakan migrasi secara detail jika Anda tertarik.
Temuan Kami menyukai rencana pembangunan lima tahun. Kami telah menyelesaikan pembangunan infrastruktur toleransi kesalahan baru yang didistribusikan di tiga pusat data. Kami telah meningkatkan kepadatan lalu lintas secara tajam - jika baru-baru ini kami senang dengan 40-80G dengan 2U, sekarang norma bagi kami adalah 100G dengan 1U. Sekarang bahkan kemacetan lalu lintas pun dianggap oleh kami sebagai hal yang lumrah. Kami siap untuk lebih mengembangkan infrastruktur kami, yang ternyata fleksibel dan terukur.
Pertanyaan: Apa yang harus saya ceritakan kepada Anda dalam teks berikut, para pembaca yang budiman? Tentang alasan kami mulai membuat sistem penyimpanan data buatan sendiri? Tentang inti jaringan dan fitur-fiturnya? Tentang trik dan seluk-beluk migrasi antar data center? Tentang mengoptimalkan keputusan pengiriman dengan memilih komponen dan menyempurnakan parameter? Tentang menciptakan solusi berkelanjutan berkat berbagai redundansi dan kemampuan penskalaan horizontal dalam satu pusat data, yang diterapkan dalam struktur tiga pusat data?
Penulis: Petr Vinogradov - Direktur Teknis Uma.Tech
Sumber: www.habr.com