Како дизајниравме и имплементиравме нова мрежа на Huawei во канцеларијата во Москва, дел 1

Денес ќе ви кажам како се појави и како се имплементира идејата за создавање нова внатрешна мрежа за нашата компанија. Позицијата на менаџментот е дека треба да го направите истиот целосен проект за себе како и за клиентот. Ако го направиме тоа добро за себе, можеме да го поканиме клиентот и да покажеме колку добро функционира и функционира она што му го нудиме. Затоа, многу темелно пристапивме кон развојот на концептот на нова мрежа за канцеларијата во Москва, користејќи го целосниот производствен циклус: анализа на потребите на одделенијата → избор на техничко решение → дизајн → имплементација → тестирање. Па да почнеме.

Избор на техничко решение: светилиште за мутанти

Постапката за работа на комплексен автоматизиран систем во моментов е најдобро опишана во ГОСТ 34.601-90 „Автоматски системи. Фази на создавање“, па работевме според него. И веќе во фазите на формирање на барања и развој на концепт, наидовме на првите тешкотии. Организации од различни профили - банки, осигурителни компании, развивачи на софтвер и сл. - за нивните задачи и стандарди им се потребни одредени типови на мрежи, чии специфики се јасни и стандардизирани. Сепак, ова нема да функционира кај нас.

Зошто?

Jet Infosystems е голема диверзифицирана ИТ компанија. Во исто време, нашиот оддел за внатрешна поддршка е мал (но горд), обезбедува функционалност на основните услуги и системи. Компанијата содржи многу поделби кои вршат различни функции: тоа се неколку моќни тимови за аутсорсинг, и домашни развивачи на деловни системи и безбедност на информации и архитекти на компјутерски системи - воопшто, кој и да е. Според тоа, нивните задачи, системи и безбедносни политики се исто така различни. Што, очекувано, создаде потешкотии во процесот на анализа на потребите и стандардизација.

Еве, на пример, одделот за развој: неговите вработени пишуваат и тестираат код за голем број клиенти. Честопати има потреба брзо да се организираат тест околини, и искрено кажано, не е секогаш можно да се формулираат барања за секој проект, да се бараат ресурси и да се изгради посебна средина за тестирање во согласност со сите внатрешни прописи. Ова предизвикува љубопитни ситуации: еден ден вашиот скромен слуга погледнал во собата на програмерите и под масата нашол правилно работен Hadoop кластер од 20 десктоп компјутери, кој бил необјасниво поврзан со заедничка мрежа. Мислам дека не вреди да се разјасни дека одделот за ИТ на компанијата не знаел за неговото постоење. Оваа околност, како и многу други, беше одговорна за фактот дека за време на развојот на проектот се роди терминот „резерва на мутант“, опишувајќи ја состојбата на долготрпеливата канцелариска инфраструктура.

Или еве уште еден пример. Периодично, се поставува тест клупа во рамките на одделот. Ова беше случај со Jira и Confluence, кои беа користени во ограничен обем од Центарот за развој на софтвер во некои проекти. По некое време, другите оддели дознаа за овие корисни ресурси, ги оценуваа и на крајот на 2018 година, Jira и Confluence преминаа од статусот на „играчка на локални програмери“ во статус на „ресурси на компанијата“. Сега мора да се додели сопственик на овие системи, SLA, политики за безбедност на пристап/информации, политики за резервна копија, мониторинг, правила за рутирање барања за да се поправат проблемите мора да се дефинираат - генерално, мора да бидат присутни сите атрибути на полноправно информациски систем .
Секој од нашите поделби е исто така инкубатор кој одгледува свои производи. Некои од нив умираат во фазата на развој, некои ги користиме додека работиме на проекти, додека други се вкорени и стануваат реплицирани решенија кои самите почнуваме да ги користиме и да им ги продаваме на клиентите. За секој таков систем, пожелно е да има сопствена мрежна средина, каде што ќе се развива без да се меша со други системи, а во одреден момент ќе може да се интегрира во инфраструктурата на компанијата.

Во прилог на развој, имаме многу голем Сервисен центар со повеќе од 500 вработени, формирани во тимови за секој клиент. Тие се вклучени во одржување на мрежи и други системи, далечинско следење, решавање на побарувања и така натаму. Односно, инфраструктурата на SC е, всушност, инфраструктура на клиентот со кој тие во моментов работат. Особеноста на работата со овој дел од мрежата е што нивните работни станици за нашата компанија се делумно надворешни, а делумно внатрешни. Затоа, за SC го имплементиравме следниот пристап - компанијата му обезбедува на соодветниот оддел мрежни и други ресурси, сметајќи ги работните станици на овие одделенија како надворешни врски (по аналогија со филијали и далечински корисници).

Дизајн на автопат: ние сме оператор (изненадување)

Откако ги проценивме сите стапици, сфативме дека добиваме мрежа на телекомуникациски оператор во една канцеларија и почнавме да дејствуваме соодветно.

Создадовме основна мрежа со чија помош на секој внатрешен, а во иднина и надворешен потрошувач му се обезбедува потребната услуга: L2 VPN, L3 VPN или редовно L3 рутирање. Некои одделенија имаат потреба од безбеден пристап до Интернет, додека други имаат потреба од чист пристап без заштитен ѕид, но во исто време и заштита на нашите корпоративни ресурси и основна мрежа од нивниот сообраќај.

Ние неформално „заклучивме SLA“ со секоја поделба. Во согласност со него, сите инциденти кои ќе настанат мора да се отстранат во одреден, однапред договорен временски период. Барањата на компанијата за нејзината мрежа се покажаа строги. Максималното време на одговор на инцидент во случај на неуспех на телефонот и е-поштата беше 5 минути. Времето за враќање на функционалноста на мрежата при типични неуспеси не е повеќе од една минута.

Бидејќи имаме мрежа од тип на оператор, можете да се поврзете со неа само во строга согласност со правилата. Услужните единици поставуваат политики и обезбедуваат услуги. Ним не им требаат информации за врските на одредени сервери, виртуелни машини и работни станици. Но, во исто време, потребни се механизми за заштита, бидејќи ниту една врска не треба да ја оневозможи мрежата. Ако случајно се создаде јамка, другите корисници не треба да го забележат тоа, односно неопходен е соодветен одговор од мрежата. Секој телекомуникациски оператор постојано решава слични навидум сложени проблеми во рамките на својата основна мрежа. Обезбедува услуга на многу клиенти со различни потреби и сообраќај. Во исто време, различни претплатници не треба да доживуваат непријатности од сообраќајот на другите.
Дома, овој проблем го решивме на следниов начин: изградивме 'рбетна мрежа L3 со целосен вишок, користејќи го протоколот IS-IS. На врвот на јадрото беше изградена мрежа за преклопување врз основа на технологија ЕВПН/VXLAN, користејќи протокол за рутирање МП-БГП. За да се забрза конвергенцијата на протоколите за рутирање, користена е технологија BFD.

Мрежна структура

На тестовите, оваа шема се покажа како одлична - кога било кој канал или прекинувач е исклучен, времето на конвергенција не е повеќе од 0.1-0.2 секунди, се губат минимум пакети (често ниту еден), TCP сесиите не се искинати, телефонските разговори не се прекинуваат.

Слој на подлога - рутирање

Преклопен слој - рутирање

Прекинувачите Huawei CE6870 со VXLAN лиценци беа користени како прекинувачи за дистрибуција. Овој уред има оптимален сооднос цена/квалитет, што ви овозможува да ги поврзувате претплатниците со брзина од 10 Gbit/s и да се поврзете со backbone со брзини од 40–100 Gbit/s, во зависност од користените примопредаватели.

Прекинувачи Huawei CE6870

Прекинувачите Huawei CE8850 беа користени како основни прекинувачи. Целта е да се пренесе сообраќајот брзо и сигурно. Ниту еден уред не е поврзан со нив освен прекинувачи за дистрибуција, тие не знаат ништо за VXLAN, па затоа е избран модел со 32 порти 40/100 Gbps, со основна лиценца која обезбедува рутирање на L3 и поддршка за IS-IS и MP-BGP протоколи .

На дното е прекинувачот Huawei CE8850

Во фазата на дизајнирање, во тимот избувна дискусија за технологии кои би можеле да се користат за имплементација на поврзување со толеранција на грешки со јазлите на основната мрежа. Нашата канцеларија во Москва се наоѓа во три згради, имаме 7 простории за дистрибуција, во секоја од кои беа инсталирани по два дистрибутивни прекинувачи Huawei CE6870 (во неколку простории за дистрибуција беа инсталирани само прекинувачи за пристап). При развивањето на концептот на мрежата, беа земени предвид две опции за вишок:

• Консолидација на дистрибутивните прекинувачи во оџак толерантен на грешки во секоја просторија за вкрстено поврзување. Позитивни: едноставност и леснотија на поставување. Недостатоци: постои поголема веројатност за неуспех на целиот оџак кога се појавуваат грешки во фирмверот на мрежните уреди („протекување на меморија“ и слично).
• Применете ги технологиите M-LAG и Anycast gateway за поврзување на уреди со прекинувачи за дистрибуција.

На крајот се решивме на втората опција. Нешто потешко е да се конфигурира, но во пракса ги покажа своите перформанси и висока доверливост.
Ајде прво да размислиме за поврзување на крајните уреди со прекинувачите за дистрибуција:

Крст

Прекинувач за пристап, сервер или кој било друг уред за кој е потребна конекција толерантна за грешки се вклучени во два дистрибутивни прекинувачи. Технологијата M-LAG обезбедува вишок на ниво на податочна врска. Се претпоставува дека два прекинувачи за дистрибуција се појавуваат на поврзаната опрема како еден уред. Редундантност и балансирање на оптоварување се вршат со помош на протоколот LACP.

Технологијата на порталот Anycast обезбедува вишок на мрежно ниво. Прилично голем број VRF се конфигурирани на секој од прекинувачите за дистрибуција (секој VRF е наменет за свои цели - посебно за „редовни“ корисници, посебно за телефонија, одделно за различни околини за тестирање и развој итн.) и во секоја VRF има конфигурирани неколку VLAN. Во нашата мрежа, дистрибутивните прекинувачи се стандардните порти за сите уреди поврзани со нив. IP-адресите што одговараат на VLAN интерфејсите се исти за двата дистрибутивни прекинувачи. Сообраќајот се одвива преку најблискиот прекинувач.

Сега да го погледнеме поврзувањето на прекинувачите за дистрибуција со кернелот:
Толеранцијата на грешки е обезбедена на ниво на мрежа со помош на протоколот IS-IS. Ве молиме имајте предвид дека е обезбедена посебна линија за комуникација L3 помеѓу прекинувачите, со брзина од 100G. Физички, оваа комуникациска линија е кабел за директен пристап, може да се види на десната страна на фотографијата на прекинувачите Huawei CE6870.

Алтернатива би била да се организира „чесна“ целосно поврзана топологија со двојни ѕвезди, но, како што е споменато погоре, имаме 7 соби со вкрстено поврзување во три згради. Соодветно, ако ја избравме топологијата „двојна ѕвезда“, ќе ни требаа точно двојно повеќе примопредаватели со „долг дострел“ 40G. Заштедите овде се многу значајни.

Треба да се кажат неколку зборови за тоа како VXLAN и Anycast gateway технологиите работат заедно. VXLAN, без да навлегуваме во детали, е тунел за транспортирање на Ethernet рамки во UDP пакети. Loopback интерфејсите на дистрибутивните прекинувачи се користат како одредишна IP адреса на тунелот VXLAN. Секој кросовер има два прекинувачи со исти адреси на интерфејс за повратна врска, така што пакетот може да пристигне до кој било од нив, а од него може да се извлече рамка за етернет.

Ако прекинувачот знае за одредишната MAC адреса на преземената рамка, рамката правилно ќе биде испорачана до нејзината дестинација. За да се осигура дека двата прекинувачи за дистрибуција инсталирани во истото вкрстено поврзување имаат ажурирани информации за сите MAC адреси кои „пристигнуваат“ од прекинувачите за пристап, механизмот M-LAG е одговорен за синхронизирање на табелите за MAC адреси (како и ARP табели) на двата прекинувачи M-LAG парови.

Сообраќајното балансирање се постигнува поради присуството во мрежата на подлогата на неколку правци до интерфејсите за повратна врска на дистрибутивните прекинувачи.

Наместо заклучок

Како што споменавме погоре, за време на тестирањето и работењето, мрежата покажа висока доверливост (времето на обновување за типични дефекти не е повеќе од стотици милисекунди) и добри перформанси - секое вкрстено поврзување е поврзано со јадрото со два канали од 40 Gbit/s. Прекинувачите за пристап во нашата мрежа се наредени и поврзани со дистрибутивни прекинувачи преку LACP/M-LAG со два канали од 10 Gbit/s. Стак обично содржи 5 прекинувачи со по 48 порти, а до 10 стекови за пристап се поврзани со дистрибуцијата во секое вкрстено поврзување. Така, 'рбетот обезбедува околу 30 Mbit/s по корисник дури и при максимално теоретско оптоварување, што во моментот на пишување е доволно за сите наши практични апликации.

Мрежата ви овозможува беспрекорно да го организирате спарувањето на кои било произволни поврзани уреди и преку L2 и L3, обезбедувајќи целосна изолација на сообраќајот (што му се допаѓа на службата за безбедност на информации) и домени на грешки (што му се допаѓа на оперативниот тим).

Во следниот дел ќе ви кажеме како мигриравме на новата мрежа. Останете со нас!

Максим Клочков
Виш консултант на групата за мрежна ревизија и комплексни проекти
Центар за мрежни решенија
„Jet Infosystems“

Извор: www.habr.com