Bu gün sizə şirkətimiz üçün yeni daxili şəbəkə yaratmaq ideyasının necə yarandığını və həyata keçirildiyini söyləyəcəyəm. Rəhbərliyin mövqeyi budur ki, müştəri üçün olduğu kimi özünüz üçün də eyni tam hüquqlu layihəni etməlisiniz. Bunu özümüz üçün yaxşı etsək, müştərini dəvət edə və ona təklif etdiyimiz şeylərin nə qədər yaxşı işlədiyini və işlədiyini göstərə bilərik. Buna görə də, biz tam istehsal dövründən istifadə edərək, Moskva ofisi üçün yeni şəbəkə konsepsiyasının hazırlanmasına çox diqqətlə yanaşdıq: şöbə ehtiyaclarının təhlili → texniki həllin seçilməsi → dizayn → həyata keçirmə → sınaq. Beləliklə, başlayaq.
Texniki Həllin Seçilməsi: Mutant Sanctuary
Mürəkkəb avtomatlaşdırılmış sistem üzərində işləmə proseduru hazırda ən yaxşı şəkildə GOST 34.601-90 “Avtomatlaşdırılmış sistemlər. Yaradılış Mərhələləri” kitabına görə biz ona uyğun işlədik. Artıq tələblərin formalaşması və konsepsiyanın inkişafı mərhələlərində biz ilk çətinliklərlə qarşılaşdıq. Müxtəlif profilli təşkilatlar - banklar, sığorta şirkətləri, proqram təminatçıları və s. - öz vəzifələri və standartları üçün onlara spesifikliyi aydın və standartlaşdırılmış müəyyən növ şəbəkələr lazımdır. Ancaq bu, bizimlə işləməyəcək.
Niyə?
Jet Infosystems iri şaxələnmiş İT şirkətidir. Eyni zamanda, daxili dəstək departamentimiz kiçikdir (lakin qürurludur), əsas xidmətlərin və sistemlərin funksionallığını təmin edir. Şirkət müxtəlif funksiyaları yerinə yetirən bir çox bölmədən ibarətdir: bunlar bir neçə güclü autsorsing komandaları və biznes sistemlərinin daxili tərtibatçıları, informasiya təhlükəsizliyi və hesablama sistemlərinin memarlarıdır - ümumiyyətlə, kim olursa olsun. Müvafiq olaraq, onların vəzifələri, sistemləri və təhlükəsizlik siyasətləri də fərqlidir. Hansı ki, gözlənildiyi kimi, ehtiyacların təhlili və standartlaşdırma prosesində çətinliklər yaradıb.
Burada, məsələn, inkişaf şöbəsi var: onun işçiləri çoxlu sayda müştərilər üçün kod yazır və sınaqdan keçirir. Tez-tez test mühitlərini tez bir zamanda təşkil etməyə ehtiyac var və səmimi desək, hər bir layihə üçün tələbləri formalaşdırmaq, resursları tələb etmək və bütün daxili qaydalara uyğun olaraq ayrıca test mühiti qurmaq həmişə mümkün olmur. Bu, maraqlı vəziyyətlərə səbəb olur: bir gün təvazökar qulluqçunuz tərtibatçıların otağına baxdı və masanın altında 20 masa üstü kompüterdən ibarət düzgün işləyən Hadoop klasterini tapdı və bu, ümumi şəbəkəyə izah edilə bilməyəcək şəkildə bağlıdır. Düşünürəm ki, şirkətin İT departamentinin onun varlığından xəbəri olmadığını aydınlaşdırmağa dəyməz. Bu vəziyyət, bir çox başqaları kimi, layihənin inkişafı zamanı uzun müddət davam edən ofis infrastrukturunun vəziyyətini təsvir edən "mutant ehtiyat" termininin yaranmasına səbəb oldu.
Və ya başqa bir misal. Dövri olaraq bir şöbə daxilində test stendləri qurulur. Bu, bəzi layihələrdə Proqram İnkişafı Mərkəzi tərəfindən məhdud dərəcədə istifadə edilən Jira və Confluence ilə vəziyyət idi. Bir müddət sonra digər şöbələr bu faydalı resurslar haqqında öyrəndilər, onları qiymətləndirdilər və 2018-ci ilin sonunda Jira və Confluence “yerli proqramçıların oyuncağı” statusundan “şirkət resursları” statusuna keçdilər. İndi bu sistemlərə sahib təyin edilməli, SLA-lar, giriş/informasiya təhlükəsizliyi siyasəti, ehtiyat nüsxə siyasəti, monitorinq, problemləri həll etmək üçün sorğuların yönləndirilməsi qaydaları müəyyən edilməlidir - ümumiyyətlə, tam hüquqlu informasiya sisteminin bütün atributları mövcud olmalıdır. .
Bizim bölmələrimizin hər biri həm də öz məhsullarını yetişdirən bir inkubatordur. Onların bəziləri inkişaf mərhələsində ölür, bəziləri layihələr üzərində işləyərkən istifadə edirik, digərləri isə kök ataraq özümüz istifadə etməyə və müştərilərə satmağa başladığımız təkrar həllərə çevrilir. Hər bir belə sistem üçün, digər sistemlərə müdaxilə etmədən inkişaf edəcəyi və müəyyən bir nöqtədə şirkətin infrastrukturuna inteqrasiya oluna biləcəyi öz şəbəkə mühitinin olması arzu edilir.
İnkişafla yanaşı, bizdə çox böyük var 500-dən çox işçisi olan, hər bir müştəri üçün komanda şəklində formalaşdırılır. Onlar şəbəkələrin və digər sistemlərin saxlanmasında, uzaqdan monitorinqdə, iddiaların həllində və s. Yəni, SC-nin infrastrukturu, əslində, hazırda işlədikləri müştərinin infrastrukturudur. Şəbəkənin bu bölməsi ilə işləməyin özəlliyi ondan ibarətdir ki, şirkətimiz üçün onların iş stansiyaları qismən xarici, qismən də daxilidir. Buna görə də, SC üçün biz aşağıdakı yanaşmanı həyata keçirdik - şirkət bu şöbələrin iş stansiyalarını xarici əlaqələr kimi (filiallar və uzaq istifadəçilərlə analogiya) nəzərə alaraq, müvafiq şöbəni şəbəkə və digər resurslarla təmin edir.
Magistral yolun dizaynı: operator bizik (sürpriz)
Bütün tələləri qiymətləndirdikdən sonra bir ofis daxilində telekommunikasiya operatorunun şəbəkəsini əldə etdiyimizi başa düşdük və buna uyğun hərəkət etməyə başladıq.
Biz əsas şəbəkə yaratdıq ki, onun köməyi ilə istənilən daxili və gələcəkdə həm də xarici istehlakçı tələb olunan xidmətlə təmin olunur: L2 VPN, L3 VPN və ya adi L3 marşrutlaşdırma. Bəzi şöbələr təhlükəsiz İnternetə çıxışa ehtiyac duyur, digərləri isə firewall olmadan təmiz girişə ehtiyac duyur, eyni zamanda korporativ resurslarımızı və əsas şəbəkəmizi onların trafikindən qoruyur.
Biz hər bölmə ilə qeyri-rəsmi olaraq “SLA” bağladıq. Ona uyğun olaraq, yaranan bütün hadisələr müəyyən, əvvəlcədən razılaşdırılmış müddət ərzində aradan qaldırılmalıdır. Şirkətin öz şəbəkəsinə olan tələbləri sərt oldu. Telefon və e-poçt xətaları zamanı hadisəyə maksimum cavab müddəti 5 dəqiqə idi. Tipik uğursuzluqlar zamanı şəbəkə funksionallığını bərpa etmək vaxtı bir dəqiqədən çox deyil.
Operator səviyyəli şəbəkəmiz olduğundan, ona yalnız ciddi qaydalara uyğun olaraq qoşula bilərsiniz. Xidmət bölmələri siyasətlər təyin edir və xidmətlər göstərir. Onlara hətta xüsusi serverlərin, virtual maşınların və iş stansiyalarının əlaqələri haqqında məlumat lazım deyil. Ancaq eyni zamanda qorunma mexanizmlərinə ehtiyac var, çünki heç bir əlaqə şəbəkəni söndürməməlidir. Bir döngə təsadüfən yaradılarsa, digər istifadəçilər bunu görməməlidir, yəni şəbəkədən adekvat cavab lazımdır. İstənilən telekommunikasiya operatoru öz əsas şəbəkəsi daxilində mürəkkəb görünən oxşar problemləri daim həll edir. Fərqli ehtiyacları və trafiki olan bir çox müştəriyə xidmət göstərir. Eyni zamanda, müxtəlif abunəçilər başqalarının trafikindən narahatçılıq yaşamamalıdırlar.
Evdə biz bu problemi bu şəkildə həll etdik: IS-IS protokolundan istifadə edərək tam ehtiyatla magistral L3 şəbəkəsi qurduq. Texnologiyaya əsaslanan nüvənin üstündə üst-üstə düşən şəbəkə quruldu /, marşrutlaşdırma protokolundan istifadə etməklə . Marşrutlaşdırma protokollarının yaxınlaşmasını sürətləndirmək üçün BFD texnologiyasından istifadə edilmişdir.
Şəbəkə quruluşu
Testlərdə bu sxem özünü əla göstərdi - hər hansı bir kanal və ya keçid kəsildikdə, yaxınlaşma müddəti 0.1-0.2 s-dən çox deyil, minimum paketlər itirilir (çox vaxt heç biri olmur), TCP seansları cırılmır, telefon danışıqları kəsilmir.
Alt qat - marşrutlaşdırma
Overlay Layer - Marşrutlaşdırma
Dağıtım açarları kimi VXLAN lisenziyalı Huawei CE6870 açarları istifadə edilmişdir. Bu cihaz optimal qiymət/keyfiyyət nisbətinə malikdir və istifadə olunan ötürücülərdən asılı olaraq abunəçiləri 10 Gbit/s sürətlə birləşdirməyə və magistral şəbəkəyə 40–100 Gbit/s sürətlə qoşulmağa imkan verir.
Huawei CE6870 açarları
Huawei CE8850 açarları əsas açarlar kimi istifadə edilmişdir. Məqsəd trafiki tez və etibarlı şəkildə ötürməkdir. Dağıtım açarlarından başqa onlara heç bir cihaz qoşulmayıb, onlar VXLAN haqqında heç nə bilmirlər, buna görə də L32 marşrutlaşdırma və IS-IS və MP-BGP dəstəyini təmin edən əsas lisenziyaya malik 40 100/3 Gbps portlu model seçilib. protokollar.
Aşağıdakı Huawei CE8850 əsas açarıdır
Dizayn mərhələsində, əsas şəbəkə qovşaqlarına xətaya dözümlü əlaqəni həyata keçirmək üçün istifadə edilə bilən texnologiyalar haqqında komanda daxilində müzakirə başladı. Moskva ofisimiz üç binada yerləşir, 7 paylama otağımız var, onların hər birində iki Huawei CE6870 paylayıcı açarı quraşdırılıb (yalnız bir neçə paylama otağında giriş açarları quraşdırılıb). Şəbəkə konsepsiyasını hazırlayarkən iki ehtiyat variantı nəzərdən keçirildi:
- Paylayıcı açarların hər bir çarpaz əlaqə otağında nasazlığa dözümlü yığına birləşdirilməsi. Müsbət cəhətləri: sadəlik və quraşdırma asanlığı. Dezavantajlar: şəbəkə cihazlarının proqram təminatında səhvlər ("yaddaş sızması" və s.) baş verdikdə bütün yığının uğursuzluq ehtimalı daha yüksəkdir.
- Cihazları paylayıcı açarlara qoşmaq üçün M-LAG və Anycast şlüz texnologiyalarını tətbiq edin.
Sonda ikinci variant üzərində qərarlaşdıq. Onu konfiqurasiya etmək bir qədər çətindir, lakin praktikada performansını və yüksək etibarlılığını göstərdi.
Əvvəlcə son cihazları paylayıcı açarlara birləşdirməyi nəzərdən keçirək:
xaç
Giriş açarı, server və ya nasazlığa davamlı əlaqə tələb edən hər hansı digər cihaz iki paylayıcı açara daxildir. M-LAG texnologiyası məlumat bağlantısı səviyyəsində artıqlığı təmin edir. Güman edilir ki, iki paylayıcı açar birləşdirilmiş avadanlıqda bir cihaz kimi görünür. Artıqlıq və yük balansı LACP protokolundan istifadə etməklə həyata keçirilir.
Anycast gateway texnologiyası şəbəkə səviyyəsində artıqlığı təmin edir. Paylayıcı açarların hər birində kifayət qədər çox sayda VRF konfiqurasiya edilmişdir (hər bir VRF öz məqsədləri üçün nəzərdə tutulmuşdur - “adi” istifadəçilər üçün ayrıca, telefoniya üçün ayrıca, müxtəlif sınaq və inkişaf mühitləri üçün ayrıca və s.) və hər birində VRF konfiqurasiya edilmiş bir neçə VLAN-a malikdir. Şəbəkəmizdə paylayıcı açarlar onlara qoşulmuş bütün qurğular üçün standart şlüzlərdir. VLAN interfeyslərinə uyğun gələn IP ünvanları hər iki paylayıcı açar üçün eynidir. Trafik ən yaxın keçid vasitəsilə istiqamətləndirilir.
İndi paylama açarlarının nüvəyə qoşulmasına baxaq:
IS-IS protokolundan istifadə edərək, şəbəkə səviyyəsində nasazlığa dözümlülük təmin edilir. Nəzərə alın ki, açarlar arasında 3G sürətində ayrıca L100 rabitə xətti təmin edilir. Fiziki olaraq, bu rabitə xətti birbaşa giriş kabelidir, onu Huawei CE6870 açarlarının fotosunda görmək olar.
Alternativ olaraq, "dürüst" tam əlaqəli ikiqat ulduz topologiyası təşkil etmək olardı, lakin yuxarıda qeyd edildiyi kimi, üç binada 7 çarpaz əlaqə otağımız var. Müvafiq olaraq, əgər “iki ulduz” topologiyasını seçsəydik, iki dəfə çox “uzun mənzilli” 40G ötürücülərə ehtiyacımız olacaqdı. Burada qənaət çox əhəmiyyətlidir.
VXLAN və Anycast gateway texnologiyalarının birlikdə necə işlədiyi barədə bir neçə söz demək lazımdır. VXLAN, təfərrüatlara varmadan, UDP paketləri içərisində Ethernet çərçivələrini daşımaq üçün bir tuneldir. Paylayıcı açarların geri dönmə interfeysləri VXLAN tunelinin təyinat IP ünvanı kimi istifadə olunur. Hər bir krossoverdə eyni geri dönmə interfeysi ünvanları olan iki açar var, buna görə də paket onlardan hər hansı birinə gələ bilər və ondan Ethernet çərçivəsi çıxarıla bilər.
Əgər keçid alınan çərçivənin təyinat MAC ünvanını bilirsə, çərçivə düzgün şəkildə təyinat yerinə çatdırılacaq. Eyni çarpaz bağlantıda quraşdırılmış hər iki paylayıcı açarın giriş keçidlərindən “gələn” bütün MAC ünvanları haqqında ən müasir məlumata malik olmasını təmin etmək üçün M-LAG mexanizmi MAC ünvan cədvəllərinin (həmçinin ARP-nin) sinxronizasiyasına cavabdehdir. cədvəllər) hər iki açarda M-LAG cütləri.
Trafik balanslaşdırılması paylayıcı açarların geri dönmə interfeyslərinə bir neçə marşrutun alt şəbəkəsində olması səbəbindən əldə edilir.
Bunun əvəzinə bir nəticəyə
Yuxarıda qeyd edildiyi kimi, sınaq və istismar zamanı şəbəkə yüksək etibarlılıq (tipik nasazlıqların bərpa müddəti yüzlərlə millisaniyədən çox deyil) və yaxşı performans nümayiş etdirdi - hər bir çarpaz əlaqə nüvəyə iki 40 Gbit/s kanalla qoşulub. Şəbəkəmizdəki giriş açarları yığılmışdır və iki 10 Gbit/s kanalı olan LACP/M-LAG vasitəsilə paylayıcı açarlara qoşulmuşdur. Bir yığın adətən hər biri 5 portlu 48 açarı ehtiva edir və hər bir çarpaz əlaqədə paylamaya 10-a qədər giriş yığını qoşulur. Beləliklə, magistral sistem hətta maksimum nəzəri yükdə də istifadəçiyə təxminən 30 Mbit/s təmin edir ki, bu da yazı zamanı bütün praktik tətbiqlərimiz üçün kifayətdir.
Şəbəkə trafikin (informasiya təhlükəsizliyi xidmətinin bəyəndiyi) və nasazlıq domenlərinin (əməliyyat qrupunun bəyəndiyi) tam təcrid olunmasını təmin edərək, həm L2, həm də L3 vasitəsilə istənilən ixtiyari qoşulmuş cihazların qoşalaşmasını problemsiz təşkil etməyə imkan verir.
Növbəti hissədə sizə yeni şəbəkəyə necə köç etdiyimizi izah edəcəyik. Bizimlə qalın!
Maksim Kloçkov
Şəbəkə auditi və kompleks layihələr qrupunun baş məsləhətçisi
Şəbəkə Həlləri Mərkəzi
"Jet Infosystems"
Mənbə: www.habr.com