Bugun men sizga kompaniyamiz uchun yangi ichki tarmoqni yaratish g'oyasi qanday paydo bo'lganligi va amalga oshirilganligi haqida gapirib beraman. Rahbariyatning pozitsiyasi shundaki, siz o'zingiz uchun mijoz uchun bo'lgani kabi bir xil to'liq loyihani amalga oshirishingiz kerak. Agar biz buni o'zimiz uchun yaxshi qilsak, mijozni taklif qilishimiz va unga taklif qilayotgan narsamiz qanchalik yaxshi ishlashini va ishlashini ko'rsatishimiz mumkin. Shuning uchun biz to'liq ishlab chiqarish tsiklidan foydalangan holda Moskva ofisining yangi tarmog'i kontseptsiyasini ishlab chiqishga juda chuqur yondashdik: idoraviy ehtiyojlarni tahlil qilish → texnik yechimni tanlash → dizayn → amalga oshirish → sinov. Shunday ekan, boshlaylik.
Texnik yechimni tanlash: Mutant Sanctuary
Murakkab avtomatlashtirilgan tizimda ishlash tartibi hozirda eng yaxshi GOST 34.601-90 “Avtomatlashtirilgan tizimlar. Yaratilish bosqichlari ”, shuning uchun biz unga muvofiq ishladik. Va allaqachon talablarni shakllantirish va kontseptsiyani ishlab chiqish bosqichlarida biz birinchi qiyinchiliklarga duch keldik. Turli profilli tashkilotlar - banklar, sug'urta kompaniyalari, dasturiy ta'minot ishlab chiqaruvchilari va boshqalar - o'z vazifalari va standartlari uchun ular o'ziga xos xususiyatlari aniq va standartlashtirilgan ma'lum turdagi tarmoqlarga muhtoj. Biroq, bu biz bilan ishlamaydi.
Почему?
Jet Infosystems yirik diversifikatsiyalangan IT kompaniyasidir. Shu bilan birga, bizning ichki qo'llab-quvvatlash bo'limi kichik (lekin mag'rur), u asosiy xizmatlar va tizimlarning funksionalligini ta'minlaydi. Kompaniya turli funktsiyalarni bajaradigan ko'plab bo'linmalarni o'z ichiga oladi: bular bir nechta kuchli autsorsing guruhlari va biznes tizimlarini ishlab chiquvchilari, axborot xavfsizligi va hisoblash tizimlari arxitektorlari - umuman olganda, kim bo'lishidan qat'i nazar. Shunga ko'ra, ularning vazifalari, tizimlari va xavfsizlik siyosati ham har xil. Bu, kutilganidek, ehtiyojlarni tahlil qilish va standartlashtirish jarayonida qiyinchiliklar tug'dirdi.
Bu erda, masalan, rivojlanish bo'limi: uning xodimlari ko'p sonli mijozlar uchun kod yozadilar va sinovdan o'tkazadilar. Ko'pincha test muhitini tezda tashkil qilish zarurati tug'iladi va ochig'ini aytganda, har bir loyiha uchun talablarni shakllantirish, resurslarni so'rash va barcha ichki qoidalarga muvofiq alohida test muhitini yaratish har doim ham mumkin emas. Bu qiziq vaziyatlarni keltirib chiqaradi: bir kuni sizning kamtar xizmatkoringiz ishlab chiquvchilar xonasiga qaradi va stol ostida umumiy tarmoqqa tushunarsiz ravishda ulangan 20 ta ish stolidan iborat to'g'ri ishlaydigan Hadoop klasterini topdi. Menimcha, kompaniyaning IT bo'limi uning mavjudligi haqida bilmaganiga aniqlik kiritish kerak emas. Bu holat, boshqalar singari, loyihani ishlab chiqish jarayonida uzoq vaqtdan beri azob chekayotgan ofis infratuzilmasining holatini tavsiflovchi "mutant zaxirasi" atamasi paydo bo'lishi uchun javobgar edi.
Yoki yana bir misol. Vaqti-vaqti bilan kafedrada test stendlari tashkil etiladi. Bu Jira va Confluence bilan bog'liq bo'lib, ular dasturiy ta'minotni ishlab chiqish markazi tomonidan ba'zi loyihalarda cheklangan darajada ishlatilgan. Bir muncha vaqt o'tgach, boshqa bo'limlar ushbu foydali resurslar haqida bilib, ularni baholadilar va 2018 yil oxirida Jira va Confluence "mahalliy dasturchilar o'yinchog'i" maqomidan "kompaniya resurslari" maqomiga o'tishdi. Endi ushbu tizimlarga egasi tayinlanishi kerak, SLA'lar, kirish/axborot xavfsizligi siyosati, zaxira siyosati, monitoring, muammolarni hal qilish uchun so'rovlarni yo'naltirish qoidalari aniqlanishi kerak - umuman olganda, to'liq axborot tizimining barcha atributlari mavjud bo'lishi kerak. .
Har bir bo‘limimiz ham o‘z mahsulotini yetishtiruvchi inkubator hisoblanadi. Ulardan ba'zilari rivojlanish bosqichida vafot etadi, ba'zilari biz loyihalar ustida ishlayotganda foydalanamiz, boshqalari ildiz otib, biz o'zimiz ishlata boshlagan va mijozlarga sotadigan takrorlangan echimlarga aylanadi. Har bir bunday tizim uchun o'zining tarmoq muhitiga ega bo'lishi maqsadga muvofiqdir, u erda u boshqa tizimlarga aralashmasdan rivojlanadi va bir nuqtada kompaniya infratuzilmasi bilan birlashtirilishi mumkin.
Rivojlanishdan tashqari, bizda juda katta 500 dan ortiq xodimlarga ega, har bir mijoz uchun jamoalarga tuzilgan. Ular tarmoqlar va boshqa tizimlarni saqlash, masofadan monitoring qilish, da'volarni hal qilish va hokazolarda ishtirok etadilar. Ya'ni, SC infratuzilmasi, aslida, ular hozirda ishlayotgan mijozning infratuzilmasi. Tarmoqning ushbu bo'limi bilan ishlashning o'ziga xos xususiyati shundaki, bizning kompaniyamiz uchun ularning ish stantsiyalari qisman tashqi va qisman ichkidir. Shuning uchun, SC uchun biz quyidagi yondashuvni amalga oshirdik - kompaniya tegishli bo'limni tarmoq va boshqa resurslar bilan ta'minlaydi, bu bo'limlarning ish stantsiyalarini tashqi ulanishlar sifatida ko'rib chiqadi (filiallar va masofaviy foydalanuvchilar bilan o'xshash).
Magistral dizayni: biz operatormiz (syurpriz)
Barcha tuzoqlarni baholaganimizdan so'ng, biz bir ofis ichida telekommunikatsiya operatori tarmog'ini olayotganimizni angladik va shunga mos ravishda harakat qila boshladik.
Biz asosiy tarmoq yaratdik, uning yordamida har qanday ichki va kelajakda ham tashqi iste'molchi kerakli xizmat bilan ta'minlanadi: L2 VPN, L3 VPN yoki oddiy L3 marshrutlash. Ba'zi bo'limlar xavfsiz Internetga kirishga muhtoj, boshqalari esa xavfsizlik devorisiz toza kirishga muhtoj, lekin ayni paytda korporativ resurslarimiz va asosiy tarmoqni ularning trafigidan himoya qiladi.
Biz har bir bo'linma bilan norasmiy ravishda "SLA" tuzdik. Unga ko'ra, yuzaga keladigan barcha noxush hodisalar oldindan kelishilgan ma'lum vaqt ichida bartaraf etilishi kerak. Kompaniyaning o'z tarmog'iga qo'yadigan talablari qat'iy bo'lib chiqdi. Telefon va elektron pochta xabarlari ishlamay qolganda hodisaga javob berishning maksimal vaqti 5 daqiqa edi. Odatdagi nosozliklar paytida tarmoq funksiyasini tiklash vaqti bir daqiqadan oshmaydi.
Bizda operator darajasidagi tarmoq mavjud bo'lgani uchun, siz unga faqat qoidalarga qat'iy rioya qilgan holda ulanishingiz mumkin. Xizmat ko'rsatish bo'linmalari siyosatni belgilaydi va xizmatlarni taqdim etadi. Ularga ma'lum serverlar, virtual mashinalar va ish stantsiyalarining ulanishlari haqida ma'lumot ham kerak emas. Ammo shu bilan birga, himoya mexanizmlari kerak, chunki bitta ulanish tarmoqni o'chirib qo'ymasligi kerak. Agar tsikl tasodifan yaratilgan bo'lsa, boshqa foydalanuvchilar buni sezmasliklari kerak, ya'ni tarmoqdan adekvat javob kerak. Har qanday aloqa operatori doimiy ravishda o'zining asosiy tarmog'ida shunga o'xshash murakkab ko'rinadigan muammolarni hal qiladi. U turli ehtiyojlar va trafikka ega bo'lgan ko'plab mijozlarga xizmat ko'rsatadi. Shu bilan birga, turli abonentlar boshqalarning trafigidan noqulayliklarga duch kelmasligi kerak.
Uyda biz ushbu muammoni quyidagi tarzda hal qildik: biz IS-IS protokolidan foydalangan holda to'liq zaxiraga ega L3 magistral tarmog'ini qurdik. Yadroning tepasida texnologiyaga asoslangan overlay tarmog'i qurilgan /, marshrutlash protokoli yordamida . Marshrutlash protokollarining konvergentsiyasini tezlashtirish uchun BFD texnologiyasi qo'llanildi.
Tarmoq tuzilishi
Sinovlarda ushbu sxema o'zini juda yaxshi ko'rsatdi - har qanday kanal yoki kalit o'chirilganda, konvergentsiya vaqti 0.1-0.2 s dan oshmaydi, minimal paketlar yo'qoladi (ko'pincha yo'q), TCP seanslari yirtilmaydi, telefon suhbatlari. to'xtatilmaydi.
Pastki qatlam - marshrutlash
Overlay Layer - Marshrutlash
Tarqatish kalitlari sifatida VXLAN litsenziyasiga ega Huawei CE6870 kalitlari ishlatilgan. Ushbu qurilma optimal narx/sifat nisbatiga ega bo‘lib, u abonentlarni 10 Gbit/s tezlikda ulash imkonini beradi va foydalaniladigan qabul qiluvchi qurilmalarga qarab 40–100 Gbit/s tezlikda magistralga ulanish imkonini beradi.
Huawei CE6870 kalitlari
Huawei CE8850 kalitlari asosiy kalitlar sifatida ishlatilgan. Maqsad trafikni tez va ishonchli tarzda uzatishdir. Ularga tarqatish kalitlaridan tashqari hech qanday qurilma ulanmagan, ular VXLAN haqida hech narsa bilishmaydi, shuning uchun L32 marshrutlash va IS-IS va MP-BGP-ni qo'llab-quvvatlaydigan asosiy litsenziyaga ega 40 100/3 Gbps portli model tanlandi. protokollar.
Pastki qismi Huawei CE8850 asosiy kalitidir
Dizayn bosqichida jamoada asosiy tarmoq tugunlariga nosozliklarga chidamli ulanishni amalga oshirish uchun ishlatilishi mumkin bo'lgan texnologiyalar haqida munozara boshlandi. Bizning Moskvadagi ofisimiz uchta binoda joylashgan, bizda 7 ta tarqatish xonalari mavjud, ularning har birida ikkita Huawei CE6870 tarqatish kalitlari o'rnatilgan (faqat bir nechta tarqatish xonalarida kirish kalitlari o'rnatilgan). Tarmoq kontseptsiyasini ishlab chiqishda ikkita zaxira varianti ko'rib chiqildi:
- Tarqatish kalitlarini har bir o'zaro bog'liqlik xonasida nosozliklarga chidamli stekga birlashtirish. Taroziga soling: soddaligi va o'rnatish qulayligi. Kamchiliklari: tarmoq qurilmalarining dasturiy ta'minotida xatoliklar yuzaga kelganda ("xotira oqishlari" va boshqalar) butun stekning ishdan chiqishi ehtimoli yuqori.
- Qurilmalarni tarqatish kalitlariga ulash uchun M-LAG va Anycast shlyuzi texnologiyalarini qo'llang.
Oxir-oqibat, biz ikkinchi variantga qaror qildik. Uni sozlash biroz qiyinroq, lekin amalda uning ishlashi va yuqori ishonchliligini ko'rsatdi.
Avval oxirgi qurilmalarni tarqatish kalitlariga ulashni ko'rib chiqaylik:
Kesib o'tish
Kirish kaliti, server yoki nosozlikka chidamli ulanishni talab qiladigan boshqa qurilma ikkita tarqatish kalitiga kiritilgan. M-LAG texnologiyasi ma'lumotlar uzatish darajasida ortiqchalikni ta'minlaydi. Ulangan uskunada ikkita tarqatish kaliti bitta qurilma sifatida paydo bo'ladi deb taxmin qilinadi. Ortiqchalik va yukni muvozanatlash LACP protokoli yordamida amalga oshiriladi.
Anycast shlyuz texnologiyasi tarmoq darajasida ortiqcha ishlashni ta'minlaydi. Tarqatish kalitlarining har birida juda ko'p sonli VRF konfiguratsiya qilingan (har bir VRF o'z maqsadlari uchun mo'ljallangan - "oddiy" foydalanuvchilar uchun alohida, telefoniya uchun alohida, turli sinov va ishlab chiqish muhitlari uchun alohida va hokazo) va har birida VRFda bir nechta VLAN sozlangan. Bizning tarmog'imizda tarqatish kalitlari ularga ulangan barcha qurilmalar uchun standart shlyuzlardir. VLAN interfeyslariga mos keladigan IP manzillar ikkala tarqatish kalitlari uchun bir xil. Trafik eng yaqin kalit orqali yo'naltiriladi.
Endi tarqatish kalitlarini yadroga ulashni ko'rib chiqamiz:
Xatolarga chidamlilik IS-IS protokoli yordamida tarmoq darajasida ta'minlanadi. E'tibor bering, kalitlar o'rtasida 3G tezlikda alohida L100 aloqa liniyasi mavjud. Jismoniy jihatdan bu aloqa liniyasi to'g'ridan-to'g'ri kirish kabeli bo'lib, uni Huawei CE6870 kalitlari fotosuratida o'ngda ko'rish mumkin.
Shu bilan bir qatorda "halol" to'liq bog'langan ikki yulduzli topologiyani tashkil qilish bo'ladi, lekin yuqorida aytib o'tilganidek, bizda uchta binoda 7 ta o'zaro bog'liq xona mavjud. Shunga ko'ra, agar biz "ikkita yulduz" topologiyasini tanlaganimizda, bizga ikki baravar ko'p "uzoq masofali" 40G uzatgichlari kerak bo'lar edi. Bu erda tejash juda muhim.
VXLAN va Anycast shlyuzi texnologiyalari birgalikda qanday ishlashi haqida bir necha so'z aytish kerak. VXLAN, tafsilotlarga berilmasdan, Ethernet ramkalarini UDP paketlari ichida tashish uchun tunneldir. VXLAN tunnelining IP manzili sifatida tarqatish kalitlarining orqaga qaytish interfeyslari ishlatiladi. Har bir krossoverda bir xil orqaga qaytish interfeysi manzillari bo'lgan ikkita kalit mavjud, shuning uchun paket ularning istalganiga kelishi mumkin va undan Ethernet freymini olish mumkin.
Agar kommutator olingan kadrning MAC manzili haqida bilsa, freym belgilangan joyga to'g'ri yetkaziladi. Xuddi shu o'zaro bog'liqlikda o'rnatilgan ikkala tarqatish kalitlari kirish kalitlaridan "keladigan" barcha MAC manzillari haqida dolzarb ma'lumotlarga ega bo'lishini ta'minlash uchun M-LAG mexanizmi MAC manzillar jadvallarini (shuningdek, ARP) sinxronlashtirish uchun javobgardir. jadvallar) ikkala kalitda M-LAG juftlari.
Trafik balansiga taqsimlash kalitlarining orqaga qaytish interfeyslariga bir nechta marshrutlarning pastki tarmog'ida mavjudligi tufayli erishiladi.
Xulosa o'rniga
Yuqorida ta'kidlab o'tilganidek, sinovdan o'tkazish va ishlatish jarayonida tarmoq yuqori ishonchlilikni ko'rsatdi (odatdagi nosozliklar uchun tiklanish vaqti yuzlab millisekundlardan oshmaydi) va yaxshi ishlash ko'rsatdi - har bir o'zaro bog'liqlik yadroga ikkita 40 Gbit/s kanal orqali ulangan. Tarmog'imizdagi kirish kalitlari stacked va ikkita 10 Gbit/s kanalli LACP/M-LAG orqali tarqatish kalitlariga ulangan. Odatda stek har birida 5 ta portga ega 48 ta kalitni o'z ichiga oladi va har bir o'zaro ulanishda tarqatish uchun 10 tagacha kirish steklari ulanadi. Shunday qilib, magistral har bir foydalanuvchi uchun maksimal nazariy yukda ham taxminan 30 Mbit / s ni ta'minlaydi, bu yozish paytida bizning barcha amaliy ilovalarimiz uchun etarli.
Tarmoq sizga L2 va L3 orqali har qanday o'zboshimchalik bilan ulangan qurilmalarning ulanishini muammosiz tashkil qilish imkonini beradi, bu esa trafikni (axborot xavfsizligi xizmatiga yoqadi) va nosozlik domenlarini (operatsion guruhga yoqadi) to'liq izolyatsiya qilishni ta'minlaydi.
Keyingi qismda biz yangi tarmoqqa qanday o'tganimizni aytib beramiz. Yangiliklarni kuzatib boring, xabardor bo'lib boring; Biz bilan qoling!
Maksim Klochkov
Tarmoq auditi va kompleks loyihalar guruhining katta maslahatchisi
Tarmoq yechimlari markazi
"Jet Infotizimlari"
Manba: www.habr.com