Kami melancarkan perkhidmatan baharu, trafik berkembang, menggantikan pelayan, menyambung tapak baharu dan mengubah suai pusat data - dan kini kami akan menceritakan kisah ini, yang permulaannya kami perkenalkan kepada anda lima tahun lalu.
Lima tahun adalah masa biasa untuk merumuskan keputusan interim. Oleh itu, kami memutuskan untuk bercakap tentang pembangunan infrastruktur kami, yang sejak lima tahun lalu telah melalui laluan pembangunan yang sangat menarik, yang kami banggakan. Perubahan kuantitatif yang telah kami laksanakan telah bertukar kepada kualitatif; kini infrastruktur boleh beroperasi dalam mod yang kelihatan hebat pada pertengahan dekad yang lalu.
Kami memastikan operasi projek yang paling kompleks dengan keperluan yang paling ketat untuk kebolehpercayaan dan beban, termasuk PREMIER dan Match TV. Siaran sukan dan tayangan perdana siri TV popular memerlukan trafik dalam terabit/s, kami melaksanakannya dengan mudah, dan selalunya bekerja dengan kelajuan sedemikian telah lama menjadi perkara biasa bagi kami. Dan lima tahun yang lalu, projek paling berat yang dijalankan pada sistem kami ialah Rutube, yang sejak itu telah dibangunkan, meningkatkan volum dan trafik, yang perlu diambil kira semasa merancang beban.
Kami bercakap tentang cara kami membangunkan perkakasan infrastruktur kami () dan membangunkan sistem yang bertanggungjawab untuk memuat naik video (), tetapi banyak masa telah berlalu sejak teks ini ditulis, banyak penyelesaian lain telah dicipta dan dilaksanakan, yang hasilnya membolehkan kami memenuhi keperluan moden dan cukup fleksibel untuk menyesuaikan diri dengan tugasan baharu.
Teras rangkaian Kami sentiasa membangun. Kami beralih kepada peralatan Cisco pada tahun 2015, yang kami nyatakan dalam artikel sebelumnya. Pada masa itu ia masih 10/40G yang sama, tetapi atas sebab yang jelas, selepas beberapa tahun mereka menaik taraf casis sedia ada, dan kini kami menggunakan 25/100G secara aktif.
Pautan 100G telah lama tidak menjadi kemewahan (sebaliknya, ini adalah keperluan mendesak masa dalam segmen kami), atau jarang berlaku (semakin ramai pengendali menyediakan sambungan pada kelajuan sedemikian). Walau bagaimanapun, 10/40G kekal relevan: melalui pautan ini kami terus menghubungkan operator dengan jumlah trafik yang kecil, yang pada masa ini tidak sesuai untuk menggunakan port yang lebih luas.
Teras rangkaian yang kami cipta patut dipertimbangkan secara berasingan dan akan menjadi topik artikel berasingan sedikit kemudian. Di sana kami akan menyelidiki butiran teknikal dan mempertimbangkan logik tindakan kami semasa menciptanya. Tetapi sekarang kami akan terus menarik infrastruktur dengan lebih skema, kerana perhatian anda, pembaca yang dikasihi, tidak terhad.
Pelayan output video berkembang dengan cepat, yang mana kami menawarkan banyak usaha. Jika sebelum ini kami menggunakan terutamanya pelayan 2U dengan 4-5 kad rangkaian dengan dua port 10G setiap satu, kini kebanyakan trafik dihantar dari pelayan 1U, yang mempunyai 2-3 kad dengan dua port 25G setiap satu. Kad dengan 10G dan 25G hampir sama dari segi kos, dan penyelesaian yang lebih pantas membolehkan anda menghantar melalui 10G dan 25G. Hasilnya adalah penjimatan yang jelas: lebih sedikit komponen pelayan dan kabel untuk sambungan - kos yang lebih rendah (dan kebolehpercayaan yang lebih tinggi), komponen mengambil lebih sedikit ruang dalam rak - ia menjadi mungkin untuk meletakkan lebih banyak pelayan setiap unit kawasan dan, oleh itu, kos sewa yang lebih rendah.
Tetapi yang lebih penting ialah keuntungan dalam kelajuan! Kini kami boleh menghantar lebih daripada 1G dengan 100U! Dan ini berlatarbelakangkan situasi di mana beberapa projek besar Rusia memanggil output 40G daripada 2U sebagai "pencapaian." Kami ingin masalah mereka!
Ambil perhatian bahawa kami masih menggunakan penjanaan kad rangkaian yang hanya boleh beroperasi pada 10G. Peralatan ini berfungsi dengan stabil dan sangat biasa kepada kami, jadi kami tidak membuangnya, tetapi menemui kegunaan baharu untuknya. Kami memasang komponen ini dalam pelayan storan video, yang mana satu atau dua antara muka 1G jelas tidak mencukupi untuk beroperasi dengan berkesan; di sini kad 10G ternyata relevan.
Sistem storan juga semakin berkembang. Sepanjang lima tahun yang lalu, mereka telah berubah daripada dua belas cakera (12x HDD 2U) kepada tiga puluh enam cakera (36x HDD 4U). Ada yang takut untuk menggunakan "bangkai" yang luas seperti itu kerana jika satu casis itu gagal, mungkin terdapat ancaman kepada produktiviti - atau bahkan kebolehkendalian! β untuk keseluruhan sistem. Tetapi ini tidak akan berlaku dengan kami: kami telah menyediakan sandaran pada tahap salinan data yang diedarkan secara geo. Kami telah mengedarkan casis ke pusat data yang berbeza - kami menggunakan tiga secara keseluruhan - dan ini menghapuskan berlakunya masalah sekiranya berlaku kegagalan dalam casis dan apabila tapak jatuh.
Sudah tentu, pendekatan ini menjadikan RAID perkakasan berlebihan, yang kami tinggalkan. Dengan menghapuskan lebihan, kami secara serentak meningkatkan kebolehpercayaan sistem dengan memudahkan penyelesaian dan mengalih keluar salah satu titik kegagalan yang berpotensi. Biar kami mengingatkan anda bahawa sistem storan kami adalah "buatan sendiri". Kami melakukan ini dengan sengaja dan kami berpuas hati dengan hasilnya.
Pusat data Dalam tempoh lima tahun yang lalu kita telah berubah beberapa kali. Sejak penulisan artikel sebelumnya, kami tidak mengubah hanya satu pusat data - DataLine - selebihnya memerlukan penggantian semasa infrastruktur kami dibangunkan. Semua pemindahan antara tapak telah dirancang.
Dua tahun lalu, kami berhijrah ke dalam MMTS-9, berpindah ke tapak dengan pembaikan berkualiti tinggi, sistem penyejukan yang baik, bekalan kuasa yang stabil dan tiada habuk, yang sebelum ini terletak dalam lapisan tebal pada semua permukaan dan juga menyumbat bahagian dalam peralatan kami . Pilih perkhidmatan yang berkualiti β dan tiada habuk! β menjadi sebab kami berpindah.
Hampir selalu "satu langkah sama dengan dua kebakaran," tetapi masalah semasa penghijrahan adalah berbeza setiap kali. Kali ini, kesukaran utama untuk bergerak dalam satu pusat data "disediakan" oleh sambungan silang optik - kelimpahannya antara lantai tanpa digabungkan menjadi satu sambungan silang oleh pengendali telekom. Proses mengemas kini dan menghala semula sambungan silang (yang mana jurutera MMTS-9 membantu kami) mungkin merupakan peringkat penghijrahan yang paling sukar.
Penghijrahan kedua berlaku setahun yang lalu; pada 2019, kami beralih daripada pusat data yang tidak begitu baik kepada O2xygen. Sebab-sebab untuk langkah itu adalah serupa dengan yang dibincangkan di atas, tetapi ia ditambah dengan masalah ketidakselesaan pusat data asal untuk pengendali telekomunikasi - banyak pembekal terpaksa "mengejar" ke tahap ini sendiri.
Penghijrahan 13 rak ke tapak berkualiti tinggi dalam MMTS-9 memungkinkan untuk membangunkan lokasi ini bukan sahaja sebagai lokasi pengendali (beberapa rak dan "ke hadapan" pengendali), tetapi juga untuk menggunakannya sebagai salah satu yang utama. Ini agak memudahkan perpindahan daripada pusat data yang tidak begitu baik - kami mengangkut kebanyakan peralatan daripadanya ke tapak lain, dan O2xygen telah diberi peranan sebagai pembangunan, menghantar 5 rak dengan peralatan ke sana.
Hari ini O2xygen sudah pun menjadi platform yang lengkap, di mana pengendali yang kami perlukan telah "tiba" dan yang baharu terus menyambung. Bagi pengendali, O2xygen juga ternyata menarik dari sudut pembangunan strategik.
Kami sentiasa menjalankan fasa utama pergerakan dalam satu malam, dan apabila berhijrah dalam MMTS-9 dan ke O2xygen, kami mematuhi peraturan ini. Kami menekankan bahawa kami mematuhi peraturan "bergerak semalaman" dengan tegas, tanpa mengira bilangan rak! Malah terdapat satu preseden apabila kami memindahkan 20 rak dan menyelesaikannya juga dalam satu malam. Penghijrahan ialah proses yang agak mudah yang memerlukan ketepatan dan ketekalan, tetapi terdapat beberapa helah di sini, kedua-duanya dalam proses penyediaan, dan semasa bergerak, dan apabila digunakan ke lokasi baharu. Kami sedia bercakap tentang migrasi secara terperinci jika anda berminat.
Penemuan Kami suka rancangan pembangunan lima tahun. Kami telah menyelesaikan pembinaan infrastruktur tahan kerosakan baharu yang diedarkan di tiga pusat data. Kami telah meningkatkan kepadatan lalu lintas dengan mendadak - jika baru-baru ini kami gembira dengan 40-80G dengan 2U, kini norma bagi kami ialah 100G dengan 1U. Kini walaupun satu terabit lalu lintas dianggap oleh kami sebagai perkara biasa. Kami bersedia untuk membangunkan lagi infrastruktur kami, yang ternyata fleksibel dan berskala.
Soalan: Apa yang perlu saya beritahu anda dalam teks berikut, pembaca yang dikasihi? Mengenai mengapa kami mula mencipta sistem storan data buatan sendiri? Mengenai teras rangkaian dan ciri-cirinya? Mengenai helah dan kehalusan penghijrahan antara pusat data? Mengenai mengoptimumkan keputusan penghantaran dengan memilih komponen dan parameter penalaan halus? Mengenai mencipta penyelesaian yang mampan berkat berbilang redundansi dan keupayaan penskalaan mendatar dalam pusat data, yang dilaksanakan dalam struktur tiga pusat data?
Pengarang: Petr Vinogradov - Pengarah Teknikal Uma.Tech
Sumber: www.habr.com