Как проектирахме и внедрихме нова мрежа на Huawei в московския офис, част 1

Днес ще ви разкажа как възникна и се осъществи идеята за създаване на нова вътрешна мрежа за нашата компания. Позицията на ръководството е, че трябва да направите същия пълноценен проект за себе си и за клиента. Ако го направим добре за себе си, можем да поканим клиента и да покажем колко добре работи и работи това, което му предлагаме. Затова подходихме към разработването на концепцията за нова мрежа за московския офис много внимателно, използвайки пълния производствен цикъл: анализ на нуждите на отдела → избор на техническо решение → дизайн → внедряване → тестване. Така че нека започнем.

Избор на техническо решение: Mutant Sanctuary

Процедурата за работа в сложна автоматизирана система в момента е най-добре описана в GOST 34.601-90 „Автоматизирани системи. Етапи на сътворението”, така че работихме според него. И още на етапите на формиране на изискванията и разработване на концепция се сблъскахме с първите трудности. Организации от различен профил - банки, застрахователни компании, разработчици на софтуер и др. - за своите задачи и стандарти се нуждаят от определени типове мрежи, чиято специфика е ясна и стандартизирана. Това обаче няма да работи при нас.

Защо?

Jet Infosystems е голяма диверсифицирана ИТ компания. В същото време нашият вътрешен отдел за поддръжка е малък (но горд), той осигурява функционалността на основните услуги и системи. Компанията включва много подразделения, които изпълняват различни функции: това са няколко мощни аутсорсинг екипа, и вътрешни разработчици на бизнес системи, и информационна сигурност, и архитекти на изчислителни системи - като цяло, който и да е. Съответно техните задачи, системи и политики за сигурност също са различни. Което очаквано затрудни процеса на анализ на потребностите и стандартизация.

Ето, например, отделът за разработка: неговите служители пишат и тестват код за голям брой клиенти. Често има нужда от бързо организиране на тестови среди и честно казано, не винаги е възможно да се формулират изисквания за всеки проект, да се изискват ресурси и да се изгради отделна тестова среда в съответствие с всички вътрешни разпоредби. Това поражда любопитни ситуации: един ден вашият смирен слуга надникна в стаята на разработчиците и намери под масата правилно работещ Hadoop клъстер от 20 десктопа, който беше необяснимо свързан към обща мрежа. Не мисля, че си струва да пояснявам, че ИТ отделът на компанията не е знаел за съществуването му. Това обстоятелство, както и много други, е причината по време на разработването на проекта да се роди терминът „мутантски резерват“, описващ състоянието на многострадалната офис инфраструктура.

Или ето още един пример. Периодично в отдела се създава стенд за изпитване. Такъв беше случаят с Jira и Confluence, които бяха използвани в ограничена степен от Центъра за разработка на софтуер в някои проекти. След известно време други отдели научиха за тези полезни ресурси, оцениха ги и в края на 2018 г. Jira и Confluence преминаха от статуса на „играчка за местни програмисти“ към статуса на „ресурси на компанията“. Сега трябва да се присвои собственик на тези системи, трябва да се дефинират SLA, политики за достъп/информационна сигурност, политики за архивиране, мониторинг, правила за маршрутизиране на заявки за отстраняване на проблеми - като цяло трябва да присъстват всички атрибути на пълноценна информационна система .
Всяко от нашите подразделения също е инкубатор, който отглежда свои собствени продукти. Някои от тях умират на етапа на разработка, някои използваме, докато работим по проекти, докато други се вкореняват и се превръщат в репликирани решения, които започваме да използваме сами и да продаваме на клиенти. За всяка такава система е желателно да има своя собствена мрежова среда, където да се развива без да пречи на други системи, а в даден момент може да бъде интегрирана в инфраструктурата на компанията.

В допълнение към развитието, ние имаме много голям Център за услуги с повече от 500 служители, формирани в екипи за всеки клиент. Те участват в поддръжката на мрежи и други системи, дистанционно наблюдение, разрешаване на искове и т.н. Тоест инфраструктурата на SC всъщност е инфраструктурата на клиента, с когото работят в момента. Особеността на работата с този участък от мрежата е, че техните работни станции за нашата компания са отчасти външни и отчасти вътрешни. Ето защо, за SC внедрихме следния подход - компанията предоставя на съответния отдел мрежови и други ресурси, като разглежда работните станции на тези отдели като външни връзки (по аналогия с клонове и отдалечени потребители).

Проектиране на магистрала: ние сме оператор (изненада)

След като преценихме всички клопки, разбрахме, че получаваме мрежа на телекомуникационен оператор в рамките на един офис и започнахме да действаме съответно.

Създадохме основна мрежа, с помощта на която всеки вътрешен, а в бъдеще и външен потребител получава необходимата услуга: L2 VPN, L3 VPN или обикновен L3 рутинг. Някои отдели се нуждаят от сигурен достъп до Интернет, докато други се нуждаят от чист достъп без защитни стени, но в същото време защитават нашите корпоративни ресурси и основната мрежа от техния трафик.

Ние неофициално „сключихме SLA“ с всяко подразделение. В съответствие с него всички възникнали инциденти трябва да бъдат отстранени в рамките на определен, предварително договорен период от време. Изискванията на компанията към мрежата й се оказват строги. Максималното време за реакция при инцидент в случай на повреда на телефона и имейла беше 5 минути. Времето за възстановяване на функционалността на мрежата при типични повреди е не повече от минута.

Тъй като имаме мрежа от операторски клас, можете да се свържете с нея само в строго съответствие с правилата. Обслужващите звена определят политики и предоставят услуги. Те дори не се нуждаят от информация за връзките на конкретни сървъри, виртуални машини и работни станции. Но в същото време са необходими защитни механизми, тъй като нито една връзка не трябва да деактивира мрежата. Ако случайно се създаде цикъл, другите потребители не трябва да забелязват това, тоест необходим е адекватен отговор от мрежата. Всеки телеком оператор постоянно решава подобни на пръв поглед сложни проблеми в основната си мрежа. Обслужва много клиенти с различни нужди и трафик. В същото време различните абонати не трябва да изпитват неудобства от трафика на другите.
У дома решихме този проблем по следния начин: изградихме опорна мрежа L3 с пълно резервиране, използвайки протокола IS-IS. Върху ядрото беше изградена наслагваща се мрежа въз основа на технологията EVPN/VXLAN, използвайки протокол за маршрутизиране MP-BGP. За да се ускори конвергенцията на протоколите за маршрутизиране, беше използвана технологията BFD.

Мрежова структура

При тестове тази схема се оказа отлична - когато някой канал или превключвател е изключен, времето за конвергенция е не повече от 0.1-0.2 s, минимум пакети се губят (често никакви), TCP сесиите не се разкъсват, телефонните разговори не се прекъсват.

Основен слой - маршрутизиране

Слой с наслагване - маршрутизиране

Като разпределителни комутатори са използвани комутатори Huawei CE6870 с VXLAN лицензи. Това устройство има оптимално съотношение цена/качество, което ви позволява да свързвате абонати със скорост от 10 Gbit/s и да се свързвате към опорната мрежа със скорости от 40–100 Gbit/s, в зависимост от използваните приемо-предаватели.

Суичове Huawei CE6870

Превключвателите Huawei CE8850 бяха използвани като основни превключватели. Целта е трафикът да се предава бързо и надеждно. Към тях не са свързани никакви устройства, освен разпределителни комутатори, те не знаят нищо за VXLAN, така че беше избран модел с 32 40/100 Gbps порта, с основен лиценз, който осигурява L3 маршрутизиране и поддръжка за IS-IS и MP-BGP протоколи.

Долният е основният превключвател Huawei CE8850

На етапа на проектиране в екипа избухна дискусия относно технологиите, които могат да се използват за реализиране на устойчива на грешки връзка към основните мрежови възли. Нашият московски офис се намира в три сгради, имаме 7 разпределителни помещения, във всяка от които са инсталирани два разпределителни превключвателя Huawei CE6870 (само превключватели за достъп са инсталирани в няколко разпределителни помещения). При разработването на мрежовата концепция бяха разгледани две опции за резервиране:

• Консолидиране на разпределителните превключватели в стек, устойчив на грешки във всяка стая за кръстосани връзки. Плюсове: простота и лекота на настройка. Недостатъци: има по-голяма вероятност от повреда на целия стек, когато възникнат грешки във фърмуера на мрежовите устройства („изтичане на памет“ и други подобни).
• Приложете технологиите M-LAG и Anycast gateway за свързване на устройства към комутатори за разпределение.

В крайна сметка се спряхме на втория вариант. Той е малко по-труден за конфигуриране, но на практика показа своята производителност и висока надеждност.
Нека първо разгледаме свързването на крайни устройства към разпределителни превключватели:

кръст

Превключвател за достъп, сървър или друго устройство, което изисква устойчива на грешки връзка, е включен в два разпределителни ключа. Технологията M-LAG осигурява резервиране на ниво връзка за данни. Предполага се, че два разпределителни превключвателя изглеждат за свързаното оборудване като едно устройство. Резервирането и балансирането на натоварването се извършват с помощта на протокола LACP.

Технологията Anycast Gateway осигурява резервиране на ниво мрежа. Доста голям брой VRFs са конфигурирани на всеки от комутаторите за разпределение (всеки VRF е предназначен за свои собствени цели - отделно за „обикновени“ потребители, отделно за телефония, отделно за различни среди за тестване и разработка и т.н.), и във всяка VRF има няколко конфигурирани VLAN. В нашата мрежа комутаторите за разпределение са шлюзовете по подразбиране за всички устройства, свързани към тях. IP адресите, съответстващи на VLAN интерфейсите, са еднакви и за двата разпределителни комутатора. Движението се насочва през най-близката стрелка.

Сега нека разгледаме свързването на превключватели за разпространение към ядрото:
Толерантността към грешки се осигурява на ниво мрежа с помощта на протокола IS-IS. Моля, обърнете внимание, че между комутаторите е осигурена отделна L3 комуникационна линия със скорост 100G. Физически тази комуникационна линия е кабел за директен достъп, може да се види вдясно на снимката на превключвателите Huawei CE6870.

Алтернатива би била да се организира „честна“ напълно свързана топология с двойна звезда, но, както бе споменато по-горе, имаме 7 кръстосани стаи в три сгради. Съответно, ако бяхме избрали топологията „двойна звезда“, щяхме да имаме нужда от точно два пъти повече „далечни“ 40G трансивъри. Спестяванията тук са много значителни.

Трябва да се кажат няколко думи за това как технологиите VXLAN и Anycast gateway работят заедно. VXLAN, без да навлизаме в подробности, е тунел за транспортиране на Ethernet рамки вътре в UDP пакети. Интерфейсите за обратна връзка на комутаторите за разпределение се използват като IP адрес на местоназначение на VXLAN тунела. Всеки кросоувър има два комутатора с еднакви адреси на loopback интерфейс, така че пакет може да пристигне до всеки от тях и Ethernet рамка може да бъде извлечена от него.

Ако превключвателят знае за целевия MAC адрес на изтегления кадър, кадърът ще бъде правилно доставен до местоназначението си. За да се гарантира, че и двата комутатора за разпределение, инсталирани в една и съща кръстосана връзка, имат актуална информация за всички MAC адреси, „пристигащи“ от комутаторите за достъп, механизмът M-LAG отговаря за синхронизирането на таблиците с MAC адреси (както и ARP таблици) на двата превключвателя двойки M-LAG.

Балансирането на трафика се постига благодарение на наличието в основната мрежа на няколко маршрута към обратните интерфейси на разпределителните комутатори.

Вместо заключение

Както бе споменато по-горе, по време на тестване и работа мрежата показа висока надеждност (времето за възстановяване при типични повреди е не повече от стотици милисекунди) и добра производителност - всяко кръстосано свързване е свързано към ядрото чрез два 40 Gbit/s канала. Превключвателите за достъп в нашата мрежа са подредени и свързани към разпределителни комутатори чрез LACP/M-LAG с два 10 Gbit/s канала. Един стек обикновено съдържа 5 комутатора с 48 порта всеки и до 10 стека за достъп са свързани към разпределението във всяка кръстосана връзка. Така гръбнакът осигурява около 30 Mbit/s на потребител дори при максималното теоретично натоварване, което към момента на писане е достатъчно за всички наши практически приложения.

Мрежата ви позволява безпроблемно да организирате сдвояването на всякакви произволно свързани устройства чрез L2 и L3, осигурявайки пълна изолация на трафика (което харесва службата за информационна сигурност) и домейни за грешки (което харесва оперативният екип).

В следващата част ще ви разкажем как мигрирахме към новата мрежа. Останете на линия!

Максим Клочков
Старши консултант, Мрежов одит и група за комплексни проекти
Център за мрежови решения
"Джет Инфосистеми"

Източник: www.habr.com