Приказната за еден прекинувач

Во нашата локална мрежна агрегација имавме шест пара Arista DCS-7050CX3-32S прекинувачи и еден пар Brocade VDX 6940-36Q прекинувачи. Не дека бевме премногу напрегнати од прекинувачите на Брокат во оваа мрежа, тие работат и ги извршуваат своите функции, но подготвувавме целосна автоматизација на некои дејства, а ги немавме овие можности на овие прекинувачи. Исто така сакав да се префрлам од 40GE интерфејси на можност за користење 100GE за да направам резерва за следните 2-3 години. Затоа решивме да го смениме Брокат во Ариста.

Овие прекинувачи се прекинувачи за агрегација на LAN за секој центар за податоци. Дистрибутивните прекинувачи (второто ниво на агрегација) се директно поврзани со нив, кои веќе ги склопуваат прекинувачите на локалната мрежа Top-of-Rack во решетките со сервери.

Секој сервер е поврзан со еден или два прекинувачи за пристап. Прекинувачите за пристап се поврзани со пар прекинувачи за дистрибуција (два дистрибутивни прекинувачи и две физички врски од прекинувачот за пристап до различни дистрибутивни прекинувачи се користат за вишок).

Секој сервер може да се користи од сопствен клиент, така што на клиентот му се доделува посебен VLAN. Истиот VLAN потоа се регистрира на друг сервер на овој клиент во која било решетка. Центарот за податоци се состои од неколку такви редови (PODs), секој ред на лавици има свои дистрибутивни прекинувачи. Потоа овие дистрибутивни прекинувачи се поврзани со прекинувачи за агрегација.

Клиентите можат да нарачаат сервер во кој било ред; невозможно е однапред да се предвиди дека серверот ќе биде распределен или инсталиран во одреден ред во одредена решетка, поради што има околу 2500 VLAN на агрегационите прекинувачи во секој центар за податоци.

Опремата за DCI (Data-Center Interconnect) е поврзана со прекинувачите за агрегација. Може да биде наменет за поврзување L2 (пар прекинувачи кои формираат тунел VXLAN до друг центар за податоци) или за поврзување L3 (два MPLS рутери).

Како што веќе напишав, за да се обединат процесите на автоматизирање на конфигурацијата на услугите на опремата во еден центар за податоци, неопходно беше да се заменат централните прекинувачи за агрегација. Инсталиравме нови прекинувачи до постоечките, ги комбиниравме во пар MLAG и почнавме да се подготвуваме за работа. Тие беа веднаш поврзани со постоечките агрегациски прекинувачи, така што тие имаа заеднички L2 домен во сите VLAN-и на клиенти.

Детали за кола

За специфики, да ги именуваме старите прекинувачи за агрегација A1 и A2, ново - N1 и N2. Да го замислиме тоа во ПОД 1 и ПОД 4 сервери на еден клиент се хостирани С1,Клиентот VLAN е означен со сино. Овој клиент користи услуга за поврзување L2 со друг центар за податоци, така што неговиот VLAN се напојува со пар VXLAN прекинувачи.

Клиент С2 хостира сервери во ПОД 2 и ПОД 3,Клиентот VLAN е означен со темно зелена боја. Овој клиент користи и услуга за поврзување со друг центар за податоци, но L3, така што неговиот VLAN се напојува со пар L3VPN рутери.

Потребни ни се клиентски VLAN за да разбереме во кои фази од замената работа што се случува, каде се јавува прекинот на комуникацијата и кое може да биде неговото времетраење. Протоколот STP не се користи во оваа шема, бидејќи ширината на дрвото за него во овој случај е голема, а конвергенцијата на протоколот расте експоненцијално со бројот на уреди и врски меѓу нив.

Сите уреди поврзани со двојни врски формираат стек, пар MLAG или VCS Ethernet ткаенина. За пар L3VPN рутери, такви технологии не се користат, бидејќи нема потреба од вишок L2, доволно е тие да имаат L2 поврзување едни со други преку прекинувачи за агрегација.

Опции за имплементација

Кога ги анализиравме опциите за понатамошни настани, сфативме дека постојат неколку начини за извршување на оваа работа. Од глобален прекин на целата локална мрежа, до мали прекини буквално од 1-2 секунди во делови од мрежата.

Мрежа, застани! Прекинувачи, заменете ги!

Најлесниот начин е, се разбира, да се прогласи глобален прекин на комуникацијата на сите POD и сите DCI услуги и да се префрлат сите врски од прекинувачите А на прекинувачи N.

Освен прекинот, чие време не можеме со сигурност да го предвидиме (да, го знаеме бројот на врски, но не знаеме колку пати нешто ќе тргне наопаку - од скршен лепенка или оштетен конектор до неисправна порта или примопредавател ), сè уште не можеме однапред да предвидиме дали должината на печ-каблите, DAC, AOC, поврзани со старите прекинувачи А, ќе биде доволна за да ги достигне до новите прекинувачи N, иако стојат до нив, но сепак малку до страната, и дали истите примопредаватели ќе работат /DAC/AOC од Brocade прекинувачи до Arista прекинувачи.

И сето тоа под услови на силен притисок од клиентите и техничка поддршка („Наташа, стани! Наташа, таму сè не функционира! Наташа, веќе пишавме на техничка поддршка, искрено! Наташа, уште колку немаме, нема ли да работи? Наташа, кога ќе работи?!"). И покрај однапред најавената пауза и известувањето до клиентите, приливот на барања во таков момент е загарантиран.

Стоп, 1-2-3-4!

Што ако не објавиме глобална пауза, туку серија мали прекини во комуникацијата за POD и DCI услугите. За време на првата пауза, префрлете се на прекинувачи N само ПОД 1, во вториот - за неколку дена - ПОД 2, потоа уште неколку дена ПОД 3Понатаму POD 4…[N], потоа VXLAN прекинувачи и потоа L3VPN рутери.

Со оваа организација на префрлување, ја намалуваме сложеноста на еднократната работа и го зголемуваме времето за решавање на проблемите ако нешто одеднаш тргне наопаку. POD 1 останува поврзан со други POD и DCI по префрлувањето. Но, самата работа се одолговлекува долго време; за време на оваа работа во центарот за податоци, се бара инженер физички да го изврши префрлувањето, а за време на работата (и таквата работа се врши, како по правило, ноќе, од 2 до 5 часот наутро), потребно е присуство на онлајн мрежен инженер со квалификации на прилично високо ниво. Но, тогаш добиваме кратки прекини во комуникацијата; по правило, работата може да се изврши во интервал од половина час со пауза до 2 минути (во пракса, често 20-30 секунди со очекуваното однесување на опремата).

Во примерот клиент С1 или клиент С2 ќе мора да предупредите за работа со прекин на комуникација најмалку три пати - првиот пат да извршите работа на еден ПОД, во кој се наоѓа еден од неговите сервери, вториот пат - на вториот и третиот пат - кога преклопна опрема за DCI услуги.

Префрлување на собрани канали за комуникација

Зошто зборуваме за очекуваното однесување на опремата и како може да се префрлат збирните канали при минимизирање на прекинот на комуникацијата? Да ја замислиме следната слика:

На едната страна од врската има POD дистрибутивни прекинувачи - D1 и D2, тие формираат MLAG пар еден со друг (оџак, фабрика VCS, пар vPC), од друга страна има две врски - Линк 1 и Линк 2 - вклучени во MLAG парот на стари агрегациски прекинувачи А. На страната на прекинувачот D збирен интерфејс со името Порт-канал А, на страната на прекинувачите за агрегација А - збирен интерфејс со името Порт-канал Д.

Агрегираните интерфејси користат LACP во нивното работење, односно прекинувачите од двете страни редовно разменуваат LACPDU пакети на двете врски за да се уверат дека врските:

• работници;
• вклучени во еден пар уреди на далечинската страна.

Кога се разменуваат пакети, пакетот ја носи вредноста систем-ид, означувајќи го уредот каде што се вклучени овие врски. За пар MLAG (оџак, фабрички, итн.), вредноста на системскиот id за уредите што го формираат збирниот интерфејс е иста. Прекинувач D1 испраќа до Линк 1 вредност систем-ид Д, и префрли се D2 испраќа до Линк 2 вредност систем-ид Д.

Прекинувачи A1 и A2 анализирајте ги LACPDU пакетите примени преку еден интерфејс Po D и проверете дали системот-ид во нив се совпаѓа. Ако системот-ид добиен преку некоја врска одеднаш се разликува од сегашната работна вредност, тогаш оваа врска се отстранува од збирниот интерфејс додека не се поправи ситуацијата. Сега на нашата страна на прекинувачот D моментална вредност на системскиот ID од партнерот LACP - A, и на страната на прекинувачот А — моментална вредност на системски ID од партнерот LACP — D.

Ако треба да го смениме збирниот интерфејс, можеме да го направиме тоа на два различни начини:

Метод 1 - Едноставен
Оневозможете ги двете врски од прекинувачите А. Во овој случај, собраниот канал не работи.

Поврзете ги двете врски еден по еден со прекинувачите N, потоа повторно ќе се преговара за оперативните параметри на LACP и ќе се формира интерфејсот По Д на прекинувачите N и пренос на вредности на врски систем-ид Н.

Метод 2 - Минимизирајте го прекинот
Исклучете ја врската 2 од прекинувачот А2. Во исто време, сообраќајот помеѓу А и D ќе продолжи да се пренесува едноставно преку една од врските, која ќе остане дел од збирниот интерфејс.

Поврзете ја врската 2 на прекинувачот N2. На прекинувачот N збирниот интерфејс е веќе конфигуриран Po DN, и префрли се N2 ќе започне да се пренесува до LACPDU систем-ид Н. Во оваа фаза веќе можеме да провериме дека прекинувачот N2 работи правилно со трансиверот што се користи за Линк 2, дека пристаништето за поврзување е влезено во состојбата Up, и дека не се појавуваат грешки на приклучокот за поврзување при пренос на LACPDU.

Но, фактот дека прекинувачот D2 за збирен интерфејс По А од страна Врската 2 добива систем-id N вредност различна од тековната вредност на оперативниот систем-id A, не дозволува прекинувачи D воведе Линк 2 дел од збирниот интерфејс По А. Прекинувач N не може да влезе Линк 2 во функција, бидејќи не добива потврда за оперативност од LACP партнерот на прекинувачот D2. Резултирачкиот сообраќај е Линк 2 не поминувајќи.

И сега ја исклучуваме врската 1 од прекинувачот А1, со што се лишуваат прекинувачите А и D работен агрегат интерфејс. Значи на страната на прекинувачот D тековната работен систем-ид вредност за интерфејсот исчезнува По А.

Ова овозможува прекинувачи D и N договорете се за размена на систем-ид АН на интерфејси По А и Po DN, така што сообраќајот почнува да се пренесува долж врската Линк 2. Паузата во овој случај е, во пракса, до 2 секунди.

И сега можеме лесно да ја префрлиме врската 1 на прекинувачот N1, враќање на капацитетот и нивото на вишок интерфејс По А и Po DN. Бидејќи кога оваа врска е поврзана, тековната вредност на ID на системот не се менува на ниту една страна, нема прекин.

Дополнителни врски

Но, прекинувачот може да се изврши без присуство на инженер во моментот на префрлување. За да го направите ова, ќе треба однапред да поставиме дополнителни врски помеѓу прекинувачите за дистрибуција D и нови прекинувачи за агрегација N.

Поставуваме нови врски помеѓу прекинувачите за агрегација N и дистрибутивни прекинувачи за сите POD-и. Ова бара нарачување и поставување дополнителни лепенки и инсталирање дополнителни примопредаватели како кај нас N, и внатре D. Можеме да го направиме тоа затоа што во нашите прекинувачи D Секој POD има бесплатни порти (или ние ги ослободуваме однапред). Како резултат на тоа, секој POD е ​​физички поврзан со две врски со старите прекинувачи A и до новите прекинувачи N.

На прекинувачот D формирани се два агрегирани интерфејси - По А со врски Линк 1 и Линк 2И По Н - со врски Врска N1 и Врска N2. Во оваа фаза, ја проверуваме правилното поврзување на интерфејсите и врските, нивоата на оптички сигнали на двата краја на врските (преку DDM информациите од прекинувачите), можеме дури и да ги провериме перформансите на врската под оптоварување или да ги следиме состојбите на оптички сигнали и температури на примопредавателите за неколку дена.

Сообраќајот сè уште се испраќа преку интерфејсот По А, и интерфејсот По Н не чини сообраќај. Поставките на интерфејсите се нешто вакво:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Прекинувачите D, по правило, поддржуваат реконфигурација на сесијата; се користат модели на прекинувачи кои ја имаат оваа функционалност. Така, можеме да ги промениме поставките на интерфејсите Po A и Po N во еден чекор:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Тогаш промената на конфигурацијата ќе се случи доволно брзо, а паузата, во пракса, ќе биде не повеќе од 5 секунди.

Овој метод ни овозможува однапред да ги завршиме сите подготвителни работи, да ги извршиме сите потребни проверки, да ја координираме работата со учесниците во процесот, детално да ги предвидиме активностите за производство на работа, без летови на креативност кога „сè тргна наопаку ,“ и имајте при рака план за враќање на претходната конфигурација. Работата според овој план ја врши мрежен инженер без присуство на инженер на центарот за податоци на локацијата кој физички го врши префрлувањето.

Она што е исто така важно со овој метод на префрлување е дека сите нови врски се веќе однапред следени. Грешки, вклучување на врски во единицата, вчитување на врски - сите потребни информации се веќе во системот за следење, а тоа е веќе нацртано на мапите.

Денот Д

POD

Избравме најмалку болна патека за префрлување за клиентите и најмалку склона кон сценарија „нешто тргна наопаку“ со дополнителни врски. Така, ги префрливме сите POD-и на нови прекинувачи за собирање за неколку ноќи.

Но, останува само да се префрли опремата што обезбедува DCI услуги.

L2

Во случај на опрема што обезбедува поврзување L2, не можевме да извршиме слична работа со дополнителни врски. Постојат најмалку две причини за ова:

• Недостаток на слободни порти со потребната брзина на VXLAN прекинувачите.
• Недостаток на функционалност за промена на конфигурацијата на сесијата на VXLAN прекинувачите.

Не ги менувавме врските „еден по еден“ со пауза само додека се договоривме за нов пар систем-ид, бидејќи немавме 100% доверба дека постапката ќе оди правилно, а тестот во лабораторијата покажа дека во ако „нешто тргне наопаку“, сепак добиваме прекин на врската, а најлошото не е само за клиентите кои имаат поврзување L2 со други центри за податоци, туку генерално за сите клиенти на овој центар за податоци.

Спроведовме пропагандна работа предвреме на преминот од каналите L2, така што бројот на клиенти погодени од работата на VXLAN прекинувачите беше веќе неколку пати помал од пред една година. Како резултат на тоа, решивме да ја прекинеме комуникацијата преку услугата за поврзување L2, под услов да го одржуваме нормалното функционирање на услугите на локалната мрежа во еден центар за податоци. Покрај тоа, SLA за оваа услуга предвидува можност за извршување на закажана работа со прекини.

L3

Зошто препорачавме сите да се префрлат на L3VPN при организирање на DCI услуги? Една од причините е можноста да се изврши работа на еден од рутерите што ја обезбедуваат оваа услуга, едноставно намалувајќи го нивото на вишок на N+0, без да се прекине комуникацијата.

Ајде внимателно да ја разгледаме шемата за испорака на услуги. Во оваа услуга, сегментот L2 оди само од клиентски сервери до рутерите L3VPN Selectel. Клиентската мрежа е прекината на рутерите.

Секој клиентски сервер, на пр. S2 и S3 во горниот дијаграм, имаат свои приватни IP адреси - 10.0.0.2/24 на серверот S2 и 10.0.0.3/24 на серверот S3. Адреси 10.0.0.252/24 и 10.0.0.253/24 доделени од Selectel на рутери L3VPN-1 и L3VPN-2, соодветно. IP адреса 10.0.0.254/24 е VRRP VIP адреса на рутерите Selectel.

Можете да дознаете повеќе за услугата L3VPN читај во нашиот блог.

Пред прекинувачот, сè изгледаше приближно како во дијаграмот:

Два рутери L3VPN-1 и L3VPN-2 беа поврзани со стариот прекинувач за агрегација А. Мајсторот за VRRP VIP адреса 10.0.0.254 е рутерот L3VPN-1. Има повисок приоритет за оваа адреса од рутерот L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Серверот S2 користи портата 10.0.0.254 за да комуницира со серверите на други локации. Така, исклучувањето на рутерот L3VPN-2 од мрежата (се разбира, ако прво се исклучи од доменот MPLS) не влијае на поврзувањето на серверите на клиентот. Во овој момент, нивото на вишок на колото е едноставно намалено.

По ова можеме безбедно да го поврземе рутерот L3VPN-2 на пар прекинувачи N. Поставете врски, менувајте примопредаватели. Логичките интерфејси на рутерот, од кои зависи работата на услугите на клиентите, се оневозможени додека не се потврди дека сè функционира како што треба.

По проверка на врските, примопредавателите, нивоата на сигналот и нивоата на грешки на интерфејсите, рутерот се става во функција, но веќе е поврзан со нов пар прекинувачи.

Следно, го намалуваме приоритетот VRRP на рутерот L3VPN-1, а ВИП адресата 10.0.0.254 се преместува во рутерот L3VPN-2. Овие работи исто така се изведуваат без прекин на комуникацијата.

Пренесување на ВИП адреса 10.0.0.254 на рутерот L3VPN-2 ви овозможува да го оневозможите рутерот L3VPN-1 без прекин на комуникацијата за клиентот и поврзете го со нов пар на агрегациски прекинувачи N.

Дали да се врати или не VRRP VIP на рутерот L3VPN-1 е друго прашање, па дури и да се врати, тоа се прави без да се прекине врската.

Во вкупен

По сите овие чекори, ние всушност ги заменивме прекинувачите за агрегација во еден од нашите центри за податоци, притоа минимизирајќи го прекинот за нашите клиенти.

Останува само демонтирање. Демонтирање на стари прекинувачи, демонтирање на стари врски помеѓу прекинувачи А и Д, демонтирање на примопредаватели од овие врски, корекција на мониторинг, корекција на мрежните дијаграми во документацијата и мониторингот.

Можеме да користиме прекинувачи, примопредаватели, печ-жици, AOC, DAC оставени по префрлување во други проекти или за други слични префрлувања.

„Наташа, сменивме сè!

Извор: www.habr.com