Бид шинэ үйлчилгээг эхлүүлж, урсгал нэмэгдэж, серверүүдийг сольж, шинэ сайтуудыг холбож, дата төвүүдийг шинэчилсэн - одоо бид танд таван жилийн өмнө танилцуулж байсан энэ түүхийг ярих болно..
Таван жил бол завсрын үр дүнг дүгнэх ердийн хугацаа юм. Тиймээс бид өнгөрсөн таван жилийн хугацаанд бидний бахархаж, гайхмаар сонирхолтой хөгжлийн замыг туулсан дэд бүтцийнхээ хөгжлийн талаар ярихаар шийдлээ. Бидний хийсэн тоон өөрчлөлтүүд чанарын өөрчлөлт болж, одоо дэд бүтэц сүүлийн XNUMX жилийн дунд үед гайхалтай байсан горимд ажиллах боломжтой болсон.
Бид PREMIER, Match TV зэрэг найдвартай байдал, ачааллын хамгийн хатуу шаардлага бүхий хамгийн нарийн төвөгтэй төслүүдийн ажиллагааг хангадаг. Спортын нэвтрүүлэг, алдартай телевизийн цувралуудын нээлт нь терабит/сек-ийн урсгалыг шаарддаг тул бид үүнийг хялбархан хэрэгжүүлдэг бөгөөд ийм хурдтай ажиллах нь бидний хувьд ердийн зүйл болжээ. Таван жилийн өмнө манай системүүд дээр хэрэгжиж байгаа хамгийн хүнд төсөл бол Rutube байсан бөгөөд үүнээс хойш хөгжүүлж, ачааллыг төлөвлөхдөө анхаарах ёстой хэмжээ, урсгалыг нэмэгдүүлсэн.
Бид дэд бүтцийнхээ техник хангамжийг хэрхэн хөгжүүлсэн талаар ярилцлаа () болон видео байршуулах үүрэгтэй системийг боловсруулсан (), гэхдээ эдгээр бичвэрүүдийг бичсэнээс хойш маш их цаг хугацаа өнгөрч, бусад олон шийдлүүдийг бий болгож, хэрэгжүүлсэн бөгөөд үр дүн нь орчин үеийн шаардлагыг хангаж, шинэ даалгаварт дасан зохицоход хангалттай уян хатан байх боломжийг олгодог.
Сүлжээний цөм Бид байнга хөгжиж байна. Бид 2015 онд өмнөх нийтлэлдээ дурдсан Cisco төхөөрөмжид шилжсэн. Тэр үед энэ нь 10/40G хэвээр байсан боловч тодорхой шалтгааны улмаас хэдэн жилийн дараа тэд одоо байгаа явах эд ангиудыг сайжруулсан бөгөөд одоо бид 25/100G-г идэвхтэй ашиглаж байна.
100G холбоосууд нь тансаг хэрэглээ биш (энэ бол манай сегмент дэх цаг үеийн яаралтай шаардлага), ховор зүйл биш (илүү олон операторууд ийм хурдтай холболт хийдэг). Гэсэн хэдий ч 10/40G нь хамааралтай хэвээр байна: эдгээр холбоосоор дамжуулан бид бага хэмжээний траффик бүхий операторуудыг үргэлжлүүлэн холбож байгаа бөгөөд одоогоор илүү багтаамжтай порт ашиглах нь зохисгүй юм.
Бидний үүсгэсэн сүлжээний цөмийг тусад нь авч үзэх шаардлагатай бөгөөд хэсэг хугацааны дараа тусдаа өгүүллийн сэдэв болно. Тэнд бид техникийн нарийн ширийнийг судалж, үүнийг бүтээхдээ үйлдлийнхээ логикийг авч үзэх болно. Гэхдээ одоо бид дэд бүтцийг илүү бүдүүвчээр үргэлжлүүлэн зурах болно, учир нь эрхэм уншигчид та бүхний анхаарал хязгааргүй биш юм.
Видео гаралтын серверүүд хурдан хөгжиж, үүний төлөө бид маш их хүчин чармайлт гаргаж байна. Хэрэв бид өмнө нь тус бүр нь хоёр 2G порт бүхий 4-5 сүлжээний карт бүхий 10U серверүүдийг ихэвчлэн ашигладаг байсан бол одоо траффикийн ихэнх хэсгийг тус бүр хоёр 1G порттой 2-3 карттай 25U серверээс илгээдэг. 10G болон 25G-тэй картуудын өртөг бараг тэнцүү бөгөөд илүү хурдан шийдлүүд нь 10G болон 25G-ээр дамжуулах боломжийг танд олгоно. Үр дүн нь тодорхой хэмнэлт байсан: холболтод зориулсан серверийн бүрэлдэхүүн хэсэг, кабелиуд цөөхөн - өртөг багатай (мөн өндөр найдвартай байдал), бүрэлдэхүүн хэсгүүд нь тавиур дээр бага зай эзэлдэг - нэгж талбайд илүү олон сервер байрлуулах боломжтой болж, түрээсийн зардал багассан.
Гэхдээ илүү чухал нь хурдыг нэмэгдүүлэх явдал юм! Одоо бид 1U-ээр 100G-ээс илүү илгээх боломжтой! Энэ нь Оросын зарим томоохон төслүүд 40U-ээс 2G гаралтыг "ололт" гэж нэрлэсэн нөхцөл байдлын эсрэг байна. Бид тэдний асуудлыг хүсч байна!
Бид зөвхөн 10G дээр ажиллах боломжтой сүлжээний картуудыг ашигладаг хэвээр байгааг анхаарна уу. Энэхүү төхөөрөмж нь тогтвортой ажилладаг бөгөөд бидэнд маш сайн танил тул бид үүнийг хаяагүй, харин шинэ хэрэглээг олсон. Бид эдгээр бүрэлдэхүүн хэсгүүдийг видео хадгалах серверт суулгасан бөгөөд үүнд нэг эсвэл хоёр 1G интерфейс нь үр дүнтэй ажиллахад хангалтгүй; энд 10G картууд хамааралтай болсон.
Хадгалах систем бас өсч байна. Сүүлийн таван жилийн хугацаанд тэд арван хоёр дисктэй (12x HDD 2U) байснаа гучин зургаан дисктэй (36x HDD 4U) болж өөрчлөгдсөн. Зарим нь ийм багтаамжтай "гулууз" ашиглахаас айдаг, учир нь хэрэв ийм явах эд анги нь бүтэлгүйтвэл бүтээмж, тэр ч байтугай ажиллахад аюул заналхийлж магадгүй юм! - бүхэл бүтэн системийн хувьд. Гэхдээ энэ нь бидэнд тохиолдохгүй: бид мэдээллийн гео-тархсан хуулбарын түвшинд нөөцлөлт хийсэн. Бид явах эд ангиудыг өөр өөр мэдээллийн төвүүдэд тараасан - бид нийтдээ гурвыг ашигладаг бөгөөд энэ нь явах эд анги нь эвдэрсэн болон сайт унах үед асуудал гарахыг арилгадаг.
Мэдээжийн хэрэг, энэ арга нь техник хангамжийн RAID-ийг шаардлагагүй болгосон бөгөөд бид үүнийг орхисон. Илүүдэл байдлыг арилгаснаар бид шийдлийг хялбарчилж, эвдэрч болзошгүй цэгүүдийн аль нэгийг арилгах замаар системийн найдвартай байдлыг нэгэн зэрэг нэмэгдүүлсэн. Манай хадгалах систем нь "гар хийцийн" гэдгийг сануулъя. Бид үүнийг санаатайгаар хийсэн бөгөөд үр дүндээ бүрэн сэтгэл хангалуун байсан.
Дата төвүүд Өнгөрсөн таван жилийн хугацаанд бид хэд хэдэн удаа өөрчлөгдсөн. Өмнөх нийтлэлийг бичсэнээс хойш бид зөвхөн нэг дата төвийг өөрчлөөгүй - DataLine - бусад нь манай дэд бүтэц хөгжихийн хэрээр солих шаардлагатай болсон. Сайт хоорондын бүх шилжүүлгийг төлөвлөсөн.
Хоёр жилийн өмнө бид MMTS-9 дотор шилжин суурьшиж, өндөр чанартай засвартай, хөргөлтийн систем сайтай, тогтворжсон цахилгаан хангамжтай, тоос шороогүй, бүх гадаргуу дээр зузаан давхаргад хэвтэхээс гадна тоног төхөөрөмжийн дотор талыг бөглөрүүлсэн газар руу нүүж ирсэн. . Чанартай үйлчилгээг сонгоорой, тоос шороогүй! - Бидний нүүх шалтгаан болсон.
Бараг үргэлж “нэг нүүдэл нь хоёр галтай тэнцдэг” боловч шилжилт хөдөлгөөний үед тулгардаг бэрхшээлүүд өөр өөр байдаг. Энэ удаад нэг өгөгдлийн төв дотор шилжихэд тулгарч буй гол бэрхшээлийг оптик хөндлөн холболтууд буюу харилцаа холбооны операторууд нэг хөндлөн холболтод нэгтгэхгүйгээр давхар хоорондын элбэг дэлбэг байдлыг "хангав". Хөндлөн холболтыг шинэчлэх, өөрчлөх үйл явц (MMTS-9-ийн инженерүүд бидэнд тусалсан) шилжилт хөдөлгөөний хамгийн хэцүү үе шат байж магадгүй юм.
Хоёр дахь шилжилт нь жилийн өмнө болсон; 2019 онд бид тийм ч сайн биш дата төвөөс O2xygen рүү шилжсэн. Шилжилтийн шалтгаан нь дээр дурдсантай ижил байсан боловч харилцаа холбооны операторуудад зориулсан анхны дата төвийн таагүй байдлын асуудлаас болж олон үйлчилгээ үзүүлэгчид өөрсдөө "хөхөх" шаардлагатай болсон.
MMTS-13-д 9 тавиурыг өндөр чанартай газар руу шилжүүлсэн нь энэ байршлыг зөвхөн операторын байршил (хоёр тавиур ба операторуудын "урагш") хэлбэрээр хөгжүүлэх боломжтой болсон, гэхдээ бас үүнийг ашиглах боломжтой болсон. гол нь. Энэ нь тийм ч сайн биш өгөгдлийн төвөөс шилжих ажлыг зарим талаар хялбаршуулсан - бид ихэнх тоног төхөөрөмжийг тэндээс өөр сайт руу зөөвөрлөж, O2xygen-д хөгжиж буй нэг үүргийг гүйцэтгэж, тэнд тоног төхөөрөмж бүхий 5 тавиур илгээсэн.
Өнөөдөр O2xygen аль хэдийн бүрэн хэмжээний платформ болсон бөгөөд бидэнд хэрэгтэй операторууд "ирсэн" бөгөөд шинэ операторууд холбогдож байна. Операторуудын хувьд O2xygen нь стратегийн хөгжлийн үүднээс бас сонирхол татахуйц болсон.
Бид нүүдлийн үндсэн үе шатыг үргэлж нэг шөнийн дотор гүйцэтгэдэг бөгөөд MMTS-9 дотор болон O2xygen рүү шилжихдээ энэ дүрмийг баримталдаг. Бид тавиурын тооноос үл хамааран "нүүх" дүрмийг чанд мөрдөж байгааг онцлон тэмдэглэж байна! Бид 20 тавиурыг зөөж, нэг шөнийн дотор хийж дуусгасан жишээ ч байсан. Шилжин суурьших нь үнэн зөв, тууштай байхыг шаарддаг нэлээд энгийн үйл явц боловч бэлтгэл, нүүх, шинэ байршилд байрлуулах зэрэгт зарим нэг заль мэх байдаг. Хэрэв та сонирхож байгаа бол бид шилжилт хөдөлгөөний талаар дэлгэрэнгүй ярихад бэлэн байна.
Результаты Бид таван жилийн хөгжлийн төлөвлөгөөнд дуртай. Бид гурван дата төвд хуваарилагдсан гэмтэлд тэсвэртэй шинэ дэд бүтцийг барьж дуусгалаа. Бид замын хөдөлгөөний нягтралыг эрс нэмэгдүүлсэн - хэрэв бид саяхан 40U-тай 80-2G-д сэтгэл хангалуун байсан бол одоо бидний хувьд 100U-тай 1G-ийн норм байна. Одоо бид нэг терабит ч гэсэн замын хөдөлгөөнийг энгийн үзэгдэл мэт хүлээж авах болсон. Уян хатан, өргөтгөх боломжтой болсон дэд бүтцээ бид цаашид хөгжүүлэхэд бэлэн байна.
Асуулт: Эрхэм уншигчид аа, би дараах бичвэрүүдэд юу хэлэх ёстой вэ? Бид яагаад гар хийцийн өгөгдөл хадгалах системийг бий болгож эхэлсэн талаар? Сүлжээний үндсэн болон түүний онцлогуудын талаар? Дата төвүүдийн хооронд шилжих заль мэх, нарийн ширийн зүйлийн талаар? Бүрэлдэхүүн хэсгүүдийг сонгох, параметрүүдийг нарийн тохируулах замаар хүргэх шийдвэрийг оновчтой болгох талаар? Гурван дата төвийн бүтцэд хэрэгждэг дата төвийн олон тооны цомхотгол, хэвтээ масштабын боломжуудын ачаар тогтвортой шийдлүүдийг бий болгох талаар?
Зохиогч: Петр Виноградов - Uma.Tech компанийн техникийн захирал
Эх сурвалж: www.habr.com