Kami ngaluncurkeun jasa énggal, lalu lintas ningkat, ngagentos server, nyambungkeun situs énggal sareng pusat data anu dirobih deui - sareng ayeuna kami bakal nyarioskeun carita ieu, anu awalna kami ngenalkeun anjeun ka lima taun ka pengker.
Lima taun mangrupikeun waktos anu biasa pikeun nyimpulkeun hasil interim. Ku alatan éta, urang mutuskeun pikeun ngobrol ngeunaan ngembangkeun infrastruktur urang, nu salila lima taun kaliwat geus ngaliwatan jalur ngembangkeun heran metot, nu urang bangga. Parobihan kuantitatif anu kami laksanakeun parantos janten kualitatif; ayeuna prasarana tiasa beroperasi dina modeu anu sigana hebat dina pertengahan dasawarsa ka tukang.
Kami ngajamin operasi proyék anu paling kompleks kalayan syarat anu paling ketat pikeun réliabilitas sareng beban, kalebet PREMIER sareng Match TV. Siaran olahraga sarta premiere tina serial TV populér merlukeun lalulintas di terabits / s, urang gampang nerapkeun ieu, sarta jadi mindeng yén gawé bareng speeds misalna geus lila jadi lumrah pikeun urang. Jeung lima taun ka tukang, proyék heaviest ngajalankeun on sistem urang éta Rutube, nu saprak geus dimekarkeun, ngaronjat volume na lalulintas, nu kudu dibawa kana akun nalika perencanaan beban.
Urang ngobrol ngeunaan kumaha urang ngembangkeun hardware infrastruktur urang () sareng ngembangkeun sistem anu tanggung jawab pikeun unggah pidéo (), tapi loba waktu geus kaliwat saprak téks ieu ditulis, loba solusi sejenna geus dijieun tur dilaksanakeun, hasilna ngamungkinkeun urang pikeun minuhan sarat modern jeung cukup fleksibel pikeun adaptasi jeung tugas anyar.
Inti jaringan Urang terus ngembang. Urang switched pikeun alat Cisco 2015, nu urang disebutkeun dina artikel saméméhna. Jaman harita éta masih sami 10 / 40G, tapi alesan atra, sanggeus sababaraha taun aranjeunna ditingkatkeun chassis aya, tur ayeuna urang aktip ngagunakeun 25 / 100G.
Tautan 100G parantos lami sanés méwah (sabalikna, ieu mangrupikeun sarat anu penting pikeun waktos di bagean kami), atanapi jarang (beuki seueur operator nyayogikeun sambungan dina kecepatan sapertos kitu). Sanajan kitu, 10 / 40G tetep relevan: ngaliwatan tumbu ieu kami terus nyambungkeun operator kalawan jumlah leutik lalulintas, nu ayeuna teu pantes ngagunakeun port leuwih capacious.
Inti jaringan anu kami ciptakeun pantes tinimbangan anu misah sareng bakal janten topik tulisan anu misah sakedik engké. Di dinya urang bakal ngalenyepan detil téknis sareng mertimbangkeun logika tindakan urang nalika nyiptakeunana. Tapi ayeuna urang bakal neruskeun ngagambar infrastruktur leuwih schematically, saprak perhatian anjeun, pamiarsa dear, teu taya.
Pangladén kaluaran video mekar gancang, nu kami nawiskeun loba usaha . Lamun saméméhna kami dipaké utamana server 2U kalawan kartu jaringan 4-5 kalawan dua palabuhan 10G unggal, ayeuna lolobana lalulintas dikirimkeun ti server 1U, nu boga 2-3 kartu kalawan dua palabuhan 25G unggal. Kartu sareng 10G sareng 25G ampir sami dina biaya, sareng solusi anu langkung gancang ngamungkinkeun anjeun ngirimkeun 10G sareng 25G. Hasilna éta tabungan atra: komponén server pangsaeutikna tur kabel pikeun sambungan - ongkos handap (jeung reliabiliti luhur), komponén nyandak up kirang spasi dina rak nu - janten mungkin pikeun nempatkeun leuwih server per aréa Unit na, ku kituna, waragad rental handap.
Tapi anu leuwih penting nyaéta gain dina speed! Ayeuna urang tiasa ngirim langkung ti 1G sareng 100U! Sareng ieu ngalawan latar kaayaan dimana sababaraha proyék Rusia ageung nyauran kaluaran 40G tina 2U salaku "prestasi". Urang hoyong masalah maranéhanana!
Catet yén kami masih nganggo generasi kartu jaringan anu ngan ukur tiasa beroperasi dina 10G. Alat-alat ieu tiasa dianggo sacara stabil sareng akrab pisan ka urang, ku kituna kami henteu ngalungkeunana, tapi mendakan pamakean énggal pikeun éta. Kami masang komponén-komponén ieu dina server panyimpen pidéo, dimana hiji atanapi dua antarmuka 1G jelas henteu cekap pikeun beroperasi sacara efektif; di dieu kartu 10G tétéla relevan.
Sistem gudang ogé tumuwuh. Salila lima taun katukang, aranjeunna parantos robih tina dua belas disk (12x HDD 2U) janten tilu puluh genep disk (36x HDD 4U). Sababaraha sieun ngagunakeun "carcasses" capacious misalna, sabab lamun salah sahiji chassis misalna gagal, meureun aya ancaman pikeun produktivitas - atawa malah operability! – pikeun sakabéh sistem. Tapi ieu moal kajantenan sareng kami: kami parantos nyayogikeun cadangan dina tingkat salinan data anu disebarkeun geo. Kami geus disebarkeun chassis ka puseur data béda - kami nganggo tilu dina total - sarta ieu eliminates lumangsungna masalah boh bisi gagal dina chassis jeung nalika situs ragrag.
Tangtosna, pendekatan ieu ngajantenkeun hardware RAID kaleuleuwihan, anu kami tinggalkeun. Ku ngaleungitkeun redundansi, urang sakaligus ningkatkeun reliabilitas sistem ku nyederhanakeun solusi sareng ngaleungitkeun salah sahiji titik poténsial gagal. Hayu urang ngingetan yén sistem panyimpenan urang "homemade". Urang ngalakukeun ieu rada ngahaja sarta kami sagemblengna wareg jeung hasilna.
Puseur data Salila lima taun kaliwat urang geus robah sababaraha kali. Saprak tulisan artikel saméméhna, kami geus teu robah ngan hiji puseur data - DataLine - sésana diperlukeun ngagantian sakumaha infrastruktur urang dimekarkeun. Sadaya transfer antara situs direncanakeun.
Dua taun ka tukang, urang hijrah ka jero MMTS-9, pindah ka situs kalayan perbaikan kualitas luhur, sistem cooling alus, catu daya stabil sarta euweuh lebu, nu saméméhna iklas dina lapisan kandel dina sakabéh surfaces sarta ogé clogged jero alat urang. . Pilih jasa anu berkualitas - sareng henteu lebu! – jadi alesan pikeun move urang.
Ampir sok "hiji move sarua dua seuneu," tapi masalah salila migrasi béda unggal waktu. Waktos ieu, kasusah utama pikeun mindahkeun dina hiji pusat data "disadiakeun" ku sambungan silang optik - kaayaanana antara lantai tanpa digabungkeun kana sambungan silang tunggal ku operator telekomunikasi. Prosés ngamutahirkeun jeung ulang routing cross-konéksi (jeung nu MMTS-9 insinyur mantuan kami) éta meureun tahap paling hese migrasi.
Migrasi kadua lumangsung sataun katukang; dina taun 2019, urang ngalih ti pusat data anu henteu saé pisan ka O2xygen. Alesan pikeun pamindahan éta sami sareng anu dibahas di luhur, tapi ditambah ku masalah anu henteu pikaresepeun tina pusat data asli pikeun operator telekomunikasi - seueur panyadia kedah "nyekel" ka titik ieu nyalira.
Migrasi 13 rak ka situs kualitas luhur di MMTS-9 ngamungkinkeun pikeun ngembangkeun lokasi ieu henteu ngan ukur salaku lokasi operator (sababaraha rak sareng "maju" operator), tapi ogé tiasa dianggo salaku salah sahiji anu utama. Ieu rada disederhanakeun migrasi ti puseur data teu pohara alus - urang diangkut lolobana parabot ti dinya ka loka sejen, sarta O2xygen dibéré peran hiji ngamekarkeun, ngirim 5 rak jeung alat-alat aya.
Dinten ieu O2xygen parantos janten platform anu lengkep, dimana operator anu urang peryogikeun parantos "sumping" sareng anu anyar terus nyambung. Pikeun operator, O2xygen ogé tétéla pikaresepeun tina sudut pandang pangwangunan strategis.
Kami salawasna ngalaksanakeun fase utama gerakan dina sapeuting, sareng nalika hijrah dina MMTS-9 sareng ka O2xygen, kami taat kana aturan ieu. Urang ngantebkeun yen urang mastikeun nuturkeun aturan "mindahkeun sapeuting", paduli jumlah rak! Malah aya precedent nalika urang dipindahkeun 20 rak jeung réngsé ieu ogé dina hiji wengi. Migrasi mangrupikeun prosés anu cukup saderhana anu peryogi akurasi sareng konsistensi, tapi aya sababaraha trik di dieu, boh dina prosés persiapan, sareng nalika ngalih, sareng nalika nyebarkeun ka lokasi énggal. Kami siap ngobrol ngeunaan migrasi sacara rinci upami anjeun resep.
Hasil Kami resep rencana pangwangunan lima taun. Kami parantos ngarengsekeun pangwangunan infrastruktur toleran lepat anyar anu disebarkeun ka tilu pusat data. Kami parantos ningkatkeun dénsitas lalu lintas - upami nembe kami senang sareng 40-80G sareng 2U, ayeuna norma pikeun urang nyaéta 100G sareng 1U. Ayeuna malah hiji terabit lalulintas anu katarima ku urang salaku lumrah. Kami siap pikeun ngembangkeun infrastruktur urang, nu geus tétéla fléksibel tur scalable.
Patarosan: Naon anu kuring kedah nyarioskeun ka anjeun dina téks di handap ieu, pamiarsa anu dipikacinta? Naha urang mimiti nyiptakeun sistem panyimpen data homemade? Ngeunaan inti jaringan sareng fitur na? Ngeunaan trik sareng subtleties migrasi antara pusat data? Ngeunaan ngaoptimalkeun kaputusan pangiriman ku milih komponén sareng parameter anu cocog? Ngeunaan nyiptakeun solusi sustainable berkat sababaraha redundancies sareng kamampuan skala horizontal dina pusat data, anu dilaksanakeun dina struktur tilu pusat data?
Panulis: Petr Vinogradov - Diréktur Téknis Uma.Tech
sumber: www.habr.com