Biz yangi xizmatlarni ishga tushirdik, trafik ko'paydi, serverlarni almashtirdik, yangi saytlarni uladik va ma'lumotlar markazlarini qayta qurdik - endi biz sizni besh yil oldin tanishtirgan bu voqeani aytib beramiz..
Besh yil - oraliq natijalarni umumlashtirish uchun odatiy vaqt. Shu bois, biz infratuzilmamizning rivojlanishi haqida gapirishga qaror qildik, u o'tgan besh yil davomida biz g'ururlanayotgan hayratlanarli darajada qiziqarli rivojlanish yo'lini bosib o'tdi. Biz amalga oshirgan miqdoriy o'zgarishlar sifat o'zgarishlariga aylandi, endi infratuzilma so'nggi o'n yillikning o'rtalarida ajoyib bo'lib tuyulgan rejimlarda ishlay oladi.
Biz ishonchlilik va yuklamalar uchun eng qat'iy talablarga ega bo'lgan eng murakkab loyihalar, jumladan PREMIER va Match TV ishlashini ta'minlaymiz. Sport translyatsiyalari va mashhur teleseriallar premyerasi terabit/s larda trafikni talab qiladi, biz buni osonlik bilan amalga oshiramiz va tez-tez bunday tezlik bilan ishlash biz uchun uzoq vaqtdan beri odatiy holga aylangan. Va besh yil oldin, bizning tizimlarimizda ishlaydigan eng og'ir loyiha Rutube edi, u keyinchalik ishlab chiqilgan, yuklarni rejalashtirishda hisobga olinishi kerak bo'lgan hajmlar va trafikni oshirgan.
Biz infratuzilmamizning texnik vositalarini qanday ishlab chiqqanimiz haqida gaplashdik () va videolarni yuklash uchun mas'ul bo'lgan tizimni ishlab chiqdi (), lekin bu matnlar yozilganidan beri ko'p vaqt o'tdi, ko'plab boshqa echimlar yaratildi va amalga oshirildi, ularning natijalari bizga zamonaviy talablarga javob berish va yangi vazifalarga moslashish uchun etarlicha moslashuvchan bo'lish imkonini beradi.
Tarmoq yadrosi Biz doimo rivojlanib boramiz. Biz 2015 yilda Cisco uskunasiga o'tdik, bu haqda oldingi maqolada aytib o'tgan edik. O'sha paytda u hali ham bir xil 10/40G edi, lekin aniq sabablarga ko'ra, bir necha yildan so'ng ular mavjud shassini yangilashdi va hozir biz 25/100G dan faol foydalanamiz.
100G havolalari uzoq vaqtdan beri na hashamat (to'g'rirog'i, bu bizning segmentimizda davrning shoshilinch talabi) va kamdan-kam uchraydigan narsa (ko'proq operatorlar bunday tezlikda ulanishni ta'minlaydi). Biroq, 10/40G dolzarbligicha qolmoqda: ushbu havolalar orqali biz operatorlarni kam miqdordagi trafik bilan ulashda davom etamiz, buning uchun hozirda sig'imli portdan foydalanish noo'rin.
Biz yaratgan tarmoq yadrosi alohida ko'rib chiqishga loyiq va birozdan keyin alohida maqola mavzusiga aylanadi. U erda biz texnik tafsilotlarni ko'rib chiqamiz va uni yaratishda harakatlarimiz mantiqini ko'rib chiqamiz. Ammo endi biz infratuzilmani sxematik tarzda chizishda davom etamiz, chunki sizning e'tiboringiz, aziz o'quvchilar, cheksiz emas.
Video chiqish serverlari tez rivojlanadi, buning uchun biz juda ko'p harakat qilamiz. Agar ilgari biz asosan ikkita 2G portli 4-5 tarmoq kartasi bo'lgan 10U serverlaridan foydalangan bo'lsak, endi trafikning katta qismi har birida ikkita 1G portli 2-3 ta kartaga ega 25U serverlaridan yuboriladi. 10G va 25G kartalari narxi deyarli tengdir va tezroq echimlar 10G va 25G orqali uzatish imkonini beradi. Natijada aniq tejash bo'ldi: kamroq server komponentlari va ulanish uchun kabellar - arzonroq narx (va yuqori ishonchlilik), komponentlar rafda kamroq joy egallaydi - maydon birligiga ko'proq serverlarni joylashtirish va shuning uchun ijara xarajatlarini kamaytirish mumkin bo'ldi.
Ammo eng muhimi, tezlikni oshirish! Endi biz 1U bilan 100G dan ortiq yuborishimiz mumkin! Va bu ba'zi yirik rus loyihalari 40U dan 2G chiqishini "yutuq" deb ataydigan vaziyat fonida. Biz ularning muammolarini xohlaymiz!
E'tibor bering, biz hali ham faqat 10G tarmog'ida ishlay oladigan tarmoq kartalarini ishlab chiqaramiz. Ushbu uskuna barqaror ishlaydi va bizga juda tanish, shuning uchun biz uni tashlab yubormadik, balki uning uchun yangi foydalanishni topdik. Biz ushbu komponentlarni video saqlash serverlariga o'rnatdik, ular uchun bir yoki ikkita 1G interfeysi samarali ishlashi uchun etarli emas; bu erda 10G kartalari tegishli bo'lib chiqdi.
Saqlash tizimlari ham o'sib bormoqda. So'nggi besh yil ichida ular o'n ikki diskli (12x HDD 2U) dan o'ttiz olti diskli (36x HDD 4U) ga o'zgardi. Ba'zilar bunday sig'imli "tana go'shti" dan foydalanishdan qo'rqishadi, chunki bunday shassilardan biri ishlamay qolsa, unumdorlikka yoki hatto ishlashga tahdid bo'lishi mumkin! - butun tizim uchun. Ammo bu biz bilan sodir bo'lmaydi: biz ma'lumotlarning geo-tarqatilgan nusxalari darajasida zaxiralashni ta'minladik. Biz shassini turli ma'lumotlar markazlariga tarqatdik - biz jami uchtadan foydalanamiz - va bu shassidagi nosozliklar va sayt qulaganda ham muammolar paydo bo'lishini yo'q qiladi.
Albatta, bu yondashuv apparat RAIDni ortiqcha qildi, biz undan voz kechdik. Ortiqchalikni yo'q qilish orqali biz bir vaqtning o'zida yechimni soddalashtirish va nosozlikning mumkin bo'lgan nuqtalaridan birini olib tashlash orqali tizim ishonchliligini oshirdik. Eslatib o'tamiz, bizning saqlash tizimlarimiz "uy qurilishi" hisoblanadi. Biz buni juda ataylab qildik va natijadan to'liq qoniqdik.
Data markazlari So'nggi besh yil ichida biz bir necha bor o'zgarganmiz. Oldingi maqola yozilgandan beri biz faqat bitta ma'lumot markazini - DataLine-ni o'zgartirmadik - qolganlarini infratuzilmamiz rivojlanishi bilan almashtirish kerak edi. Saytlar orasidagi barcha transferlar rejalashtirilgan edi.
Ikki yil oldin biz MMTS-9 ichida ko'chib o'tdik, yuqori sifatli ta'mirlangan, yaxshi sovutish tizimi, barqaror elektr ta'minoti va changsiz saytga ko'chib o'tdik, ular ilgari barcha yuzalarda qalin qatlamlarda yotqizilgan va jihozlarimizning ichki qismlarini tiqilib qolgan. . Sifatli xizmatlarni tanlang - chang yo'q! - bizning ko'chib o'tishimizga sabab bo'ldi.
Deyarli har doim "bir harakat ikki olovga teng", lekin migratsiya paytida muammolar har safar boshqacha. Bu safar bitta ma'lumot markazi ichida harakatlanishning asosiy qiyinligi optik o'zaro bog'lanishlar bilan "ta'minlandi" - ularning qavatlar orasidagi ko'pligi aloqa operatorlari tomonidan yagona o'zaro bog'liqlikka birlashtirilmagan. O'zaro bog'lanishlarni yangilash va qayta yo'naltirish jarayoni (bu bilan MMTS-9 muhandislari bizga yordam berdi) migratsiyaning eng qiyin bosqichi edi.
Ikkinchi migratsiya bir yil oldin bo'lib o'tdi; 2019 yilda biz unchalik yaxshi bo'lmagan ma'lumotlar markazidan O2xygenga o'tdik. Ko'chirish sabablari yuqorida muhokama qilinganlarga o'xshash edi, ammo ular telekommunikatsiya operatorlari uchun dastlabki ma'lumotlar markazining yoqimsizligi muammosi bilan to'ldirildi - ko'plab provayderlar bu nuqtaga o'zlari "qo'lga olishlari" kerak edi.
MMTS-13 da 9 ta stendning yuqori sifatli saytga ko'chirilishi ushbu joylashuvni nafaqat operatorning joylashuvi (bir nechta raftlar va operatorlarning "oldinga") sifatida rivojlantirishga, balki undan biri sifatida foydalanishga imkon berdi. asosiylari. Bu unchalik yaxshi bo'lmagan ma'lumotlar markazidan migratsiyani biroz soddalashtirdi - biz uskunaning ko'p qismini undan boshqa saytga olib o'tdik va O2xygenga ishlab chiquvchi roli berildi va u erda uskunalar bilan 5 ta raf yuborildi.
Bugungi kunda O2xygen allaqachon to'laqonli platforma bo'lib, u erda bizga kerak bo'lgan operatorlar "keldi" va yangilari ulanishda davom etmoqda. Operatorlar uchun O2xygen ham strategik rivojlanish nuqtai nazaridan jozibador bo'lib chiqdi.
Biz har doim harakatning asosiy bosqichini bir kechada bajaramiz va MMTS-9 va O2xygenga ko'chib o'tishda biz ushbu qoidaga amal qildik. Biz raftlar sonidan qat'i nazar, "bir kechada harakat qilish" qoidasiga qat'iy rioya qilishimizni ta'kidlaymiz! Biz 20 ta rafni ko'chirib, buni ham bir kechada tugatganimizda ham bir misol bor edi. Migratsiya - bu aniqlik va izchillikni talab qiladigan juda oddiy jarayon, ammo bu erda tayyorgarlik jarayonida ham, ko'chirishda ham, yangi joyga joylashtirishda ham ba'zi hiylalar mavjud. Agar qiziqsangiz, migratsiya haqida batafsil gaplashishga tayyormiz.
Natijalar Bizga besh yillik rivojlanish rejalari yoqadi. Biz uchta ma'lumot markaziga taqsimlangan yangi nosozliklarga chidamli infratuzilmani qurishni yakunladik. Biz trafik zichligini keskin oshirdik - agar yaqinda biz 40U bilan 80-2G bilan xursand bo'lgan bo'lsak, endi biz uchun norma 100U bilan 1G. Hozirda hatto bir terabit tirbandlik ham biz uchun odatiy hol sifatida qabul qilinadi. Biz moslashuvchan va kengaytiriladigan infratuzilmamizni yanada rivojlantirishga tayyormiz.
Savol: Quyidagi matnlarda sizga nima haqida aytib berishim kerak, aziz o'quvchilar? Nima uchun biz uy qurilishi ma'lumotlarni saqlash tizimlarini yaratishni boshladik? Tarmoq yadrosi va uning xususiyatlari haqida? Ma'lumotlar markazlari o'rtasida migratsiyaning hiyla-nayranglari va nozikliklari haqida? Komponentlar va nozik sozlash parametrlarini tanlash orqali etkazib berish qarorlarini optimallashtirish haqida? Ma'lumotlar markazida uchta ma'lumot markazlari tuzilmasida amalga oshiriladigan bir nechta ortiqcha va gorizontal masshtablash imkoniyatlari tufayli barqaror echimlarni yaratish haqida?
Muallif: Petr Vinogradov - Uma.Tech texnik direktori
Manba: www.habr.com