Бір қосқыштың тарихы

Жергілікті желі біріктіруінде бізде алты жұп Arista DCS-7050CX3-32S қосқыштары және бір жұп Brocade VDX 6940-36Q қосқыштары болды. Бұл желідегі Brocade қосқыштары бізді шамадан тыс жүктемегендіктен емес, олар жұмыс істейді және өз функцияларын орындайды, бірақ біз кейбір әрекеттерді толық автоматтандыруды дайындадық және бізде бұл қосқыштарда мұндай мүмкіндіктер болмады. Мен сондай-ақ 40GE интерфейстерінен келесі 100-2 жылға резерв жасау үшін 3GE пайдалану мүмкіндігіне ауысқым келді. Сондықтан біз Brocade-ды Аристаға ауыстыруды шештік.

Бұл қосқыштар әрбір деректер орталығы үшін LAN біріктіру қосқыштары болып табылады. Тарату коммутаторлары (агрегацияның екінші деңгейі) оларға тікелей қосылған, олар қазірдің өзінде серверлері бар тіректерге Top-of-Rack жергілікті желі қосқыштарын жинайды.

Әрбір сервер бір немесе екі кіру қосқышына қосылған. Қол жеткізу коммутаторлары тарату қосқыштарының жұбына қосылады (артық болу үшін екі тарату қосқышы және қол жеткізу қосқышынан әртүрлі тарату қосқыштарына екі физикалық сілтеме пайдаланылады).

Әрбір серверді өз клиенті пайдалана алады, сондықтан клиентке бөлек VLAN бөлінген. Содан кейін сол VLAN кез келген сөреде осы клиенттің басқа серверінде тіркеледі. Деректер орталығы бірнеше осындай жолдардан (POD) тұрады, сөрелердің әрбір қатарында өзінің тарату қосқыштары бар. Содан кейін бұл тарату қосқыштары агрегаттық ажыратқыштарға қосылады.

Клиенттер серверге кез келген қатарға тапсырыс бере алады; сервердің белгілі бір сөреде белгілі бір қатарға бөлінетінін немесе орнатылатынын алдын ала болжау мүмкін емес, сондықтан әрбір деректер орталығында біріктіру қосқыштарында шамамен 2500 VLAN бар.

DCI (Data-Center Interconnect) жабдығы біріктіру қосқыштарына қосылған. Ол L2 қосылымына (басқа деректер орталығына VXLAN туннелін құрайтын қосқыштар жұбы) немесе L3 қосылымына (екі MPLS маршрутизаторы) арналған болуы мүмкін.

Мен бұрын жазғанымдай, бір деректер орталығында жабдықтағы қызметтерді конфигурациялауды автоматтандыру процестерін біріктіру үшін орталық біріктіру қосқыштарын ауыстыру қажет болды. Біз барлардың жанына жаңа қосқыштарды орнаттық, оларды MLAG жұбына біріктіріп, жұмысқа дайындала бастадық. Олар барлық клиенттік VLAN желілерінде ортақ L2 доменіне ие болу үшін, олар дереу қолданыстағы біріктіру қосқыштарына қосылды.

Схеманың мәліметтері

Ерекшеліктер үшін ескі біріктіру қосқыштарын атайық A1 и A2, жаңа - N1 и N2. Мұны елестетіп көрейік POD 1 и POD 4 бір клиенттің серверлері орналастырылған СХNUMX,Клиенттік VLAN көк түспен көрсетілген. Бұл клиент L2 қосылым қызметін басқа деректер орталығымен пайдаланады, сондықтан оның VLAN желісі VXLAN қосқыштарының жұбына беріледі.

Клиент СХNUMX серверлерді орналастырады POD 2 и POD 3,Клиент VLAN желісі қою жасыл түспен белгіленген. Бұл клиент басқа деректер орталығымен қосылу қызметін де пайдаланады, бірақ L3, сондықтан оның VLAN желісі L3VPN маршрутизаторларының жұбына беріледі.

Ауыстыру жұмысының қай кезеңдерінде не болатынын, байланыс үзілісі қай жерде және оның ұзақтығы қандай болуы мүмкін екенін түсіну үшін бізге клиенттік VLAN қажет. STP хаттамасы бұл схемада пайдаланылмайды, өйткені бұл жағдайда ағаштың ені үлкен, ал хаттаманың конвергенциясы құрылғылар мен олардың арасындағы байланыстардың санына байланысты экспоненциалды түрде өседі.

Қос сілтемелер арқылы қосылған барлық құрылғылар стек, MLAG жұбы немесе VCS Ethernet матасын құрайды. L3VPN маршрутизаторларының жұбы үшін мұндай технологиялар қолданылмайды, өйткені L2 артықшылығының қажеті жоқ; олардың біріктіру қосқыштары арқылы бір-бірімен L2 қосылымы болуы жеткілікті.

Іске асыру нұсқалары

Әрі қарайғы іс-шаралардың нұсқаларын талдау кезінде біз бұл жұмысты жүзеге асырудың бірнеше жолы бар екенін түсіндік. Бүкіл жергілікті желідегі жаһандық үзілістен бастап желінің бөліктеріндегі 1-2 секундтық шағын үзілістерге дейін.

Желі, тоқта! Коммутаторлар, оларды ауыстырыңыз!

Ең оңай жолы, әрине, барлық POD және барлық DCI қызметтерінде ғаламдық байланыс үзілісін жариялау және қосқыштардағы барлық сілтемелерді ауыстыру. А қосқыштарға N.

Уақытты сенімді түрде болжай алмайтын үзілістен басқа (иә, біз сілтемелердің санын білеміз, бірақ біз қанша рет бірдеңе дұрыс болмайтынын білмейміз - сынған патч сымынан немесе зақымдалған коннектордан бастап ақаулы портқа немесе трансиверге дейін. ), біз бұрынғы A қосқыштарына қосылған патч сымдарының ұзындығы, DAC, AOC, олардың жанында тұрғанымен, N жаңа қосқыштарға жету үшін жеткілікті болатынын алдын ала болжай алмаймыз, бірақ бәрібір жағын және бірдей қабылдағыштардың /DAC/AOC Brocade коммутаторларынан Arista қосқыштарына жұмыс істейтінін анықтау.

Мұның бәрі тұтынушылардың қатты қысымы мен техникалық қолдау жағдайында («Наташа, тұр! Наташа, онда бәрі жұмыс істемейді! Наташа, біз техникалық қолдау қызметіне жазғанбыз, шынымды айтсам! Наташа, олар бәрін тастап кетті. ! Наташа, бізде әлі қанша жұмыс істемейді? Наташа, ол қашан жұмыс істейді?!"). Тіпті алдын ала жарияланған үзіліс пен клиенттерді хабардар етуіне қарамастан, мұндай уақытта сұраныстар ағыны кепілдендіріледі.

Тоқта, 1-2-3-4!

Егер біз жаһандық үзіліс туралы емес, POD және DCI қызметтері үшін бірнеше шағын байланыс үзілістерін жарияламасақ ше? Бірінші үзіліс кезінде қосқыштарға ауысыңыз N тек POD 1, екіншісінде - бірнеше күнде - POD 2, содан кейін тағы бірнеше күн POD 3, содан кейін POD 4…[N], содан кейін VXLAN қосқыштары, содан кейін L3VPN маршрутизаторлары.

Ауыстыру жұмысын осылайша ұйымдастыру арқылы біз бір реттік жұмыстың күрделілігін азайтамыз және кенеттен бірдеңе дұрыс болмаса, мәселелерді шешуге уақытымызды көбейтеміз. POD 1 ауыстырылғаннан кейін басқа POD және DCI-ге қосылған күйінде қалады. Бірақ жұмыстың өзі ұзақ уақытқа созылады, деректер орталығында бұл жұмыс кезінде инженерге ауысуды физикалық түрде орындау қажет, ал жұмыс кезінде (және мұндай жұмыс, әдетте, түнде, сағат 2-ден бастап жүргізіледі) таңғы сағат 5-ке дейін), жеткілікті жоғары деңгейдегі біліктілікте желілік инженердің болуы талап етіледі. Бірақ содан кейін біз қысқа байланыс үзілістерін аламыз, әдетте, жұмысты жарты сағаттық аралықта 2 минутқа дейінгі үзіліспен жүргізуге болады (тәжірибеде, көбінесе жабдықтың күтілетін тәртібімен 20-30 секунд).

Клиент мысалында СХNUMX немесе клиент СХNUMX кем дегенде үш рет байланыс үзілісі бар жұмыс туралы ескертуге тура келеді - бірінші рет оның серверлерінің бірі орналасқан бір POD-да жұмысты орындау үшін, екінші рет - екінші және үшінші рет - қашан DCI қызметтеріне арналған коммутациялық жабдық.

Агрегацияланған байланыс арналарын ауыстыру

Неліктен біз жабдықтың күтілетін әрекеті туралы айтып отырмыз және байланыс үзілуін азайту кезінде біріктірілген арналарды қалай ауыстыруға болады? Келесі суретті елестетейік:

Сілтеменің бір жағында POD тарату қосқыштары бар - D1 и D2, олар бір-бірімен MLAG жұбын құрайды (стек, VCS зауыты, vPC жұбы), екінші жағынан екі сілтеме бар - 1 сілтемесі и 2 сілтемесі - ескі біріктіру қосқыштарының MLAG жұбына енгізілген А. Коммутатор жағында D атауы бар жинақталған интерфейс Порт-канал А, агрегаттық қосқыштар жағында А - атаумен біріктірілген интерфейс Порт-канал D.

Агрегацияланған интерфейстер өз жұмысында LACP пайдаланады, яғни екі жақтағы қосқыштар сілтемелердің:

• жұмысшылар;
• қашықтағы құрылғылардың бір жұбына кіреді.

Пакеттерді алмастыру кезінде пакет мәнді алып жүреді жүйе идентификаторы, осы сілтемелер қосылған құрылғыны көрсетеді. MLAG жұбы үшін (стек, зауыт, т.б.) біріктірілген интерфейсті құрайтын құрылғылар үшін жүйелік идентификатор мәні бірдей. Ауыстыру D1 жібереді 1 сілтемесі мағынасы жүйе идентификаторы D, және ауыстырыңыз D2 жібереді 2 сілтемесі мағынасы жүйе идентификаторы D.

Коммутаторлар A1 и A2 бір Po D интерфейсі арқылы алынған LACPDU пакеттерін талдаңыз және олардағы жүйе идентификаторының сәйкес келетінін тексеріңіз. Қандай да бір сілтеме арқылы алынған жүйе идентификаторы кенеттен өзгерсе ағымдағы жұмыс мәнінен, содан кейін бұл сілтеме жағдай түзетілгенге дейін жинақталған интерфейстен жойылады. Енді біздің коммутатор жағында D LACP серіктесінен ағымдағы жүйе идентификаторы мәні - A, және қосқыш жағында А — LACP серіктесінен ағымдағы жүйе идентификаторы — D.

Егер біріктірілген интерфейсті ауыстыру қажет болса, біз оны екі түрлі жолмен жасай аламыз:

1-әдіс - Қарапайым
А қосқыштарындағы екі сілтемені де өшіріңіз. Бұл жағдайда біріктірілген арна жұмыс істемейді.

Екі сілтемені бір-бірден қосқыштарға қосыңыз N, содан кейін LACP жұмыс параметрлері қайтадан келісіліп, интерфейс қалыптасады По Д қосқыштарда N және сілтемелер бойынша мәндерді беру жүйе идентификаторы N.

2-әдіс - үзілістерді азайту
2-ші сілтемені A2 қосқышынан ажыратыңыз. Бұл ретте, арасындағы қозғалыс А и D біріктірілген интерфейстің бөлігі болып қалатын сілтемелердің біреуі арқылы жай ғана берілуін жалғастырады.

N2 қосқышы үшін 2 сілтемесін қосыңыз. Коммутаторда N біріктірілген интерфейс әлдеқашан конфигурацияланған По DN, және ауыстырыңыз N2 LACPDU-ға жіберуді бастайды жүйе идентификаторы N. Бұл кезеңде біз қосқышты тексере аламыз N2 үшін пайдаланылатын трансивермен дұрыс жұмыс істейді 2 сілтемесі, қосылым портының күйге енгені Up, және LACPDU жіберу кезінде қосылым портында қателер болмайтынын.

Бірақ қосқыш фактісі D2 біріктірілген интерфейс үшін По А жағынан 2-сілтеме ағымдағы операциялық жүйе идентификаторы A мәнінен басқа жүйе идентификаторы N мәнін алады, қосқыштарға рұқсат бермейді D таныстыру 2 сілтемесі біріктірілген интерфейстің бөлігі По А. Ауыстыру N кіре алмайды 2 сілтемесі іске қосылды, өйткені ол коммутатордың LACP серіктесінен жұмысқа қабілеттілік растамасын алмайды D2. Нәтижесінде трафик болып табылады 2 сілтемесі өтпейді.

Ал енді A1 қосқышынан 1-ші сілтемені өшіреміз, осылайша ажыратқыштардан айырады А и D жұмыс істейтін жиынтық интерфейс. Сонымен, қосқыш жағында D интерфейс үшін ағымдағы жұмыс жүйесінің идентификаторы мәні жоғалады По А.

Бұл қосқыштарға мүмкіндік береді D и N Жүйе идентификаторын алмасуға келісесіз А.Н интерфейстерде По А и По DN, осылайша трафик сілтеме бойынша тасымалдана бастайды 2 сілтемесі. Бұл жағдайда үзіліс іс жүзінде 2 секундқа дейін.

Енді біз 1-ші сілтемені N1-ге оңай ауыстыра аламыз, интерфейстің артық болуының сыйымдылығы мен деңгейін қалпына келтіру По А и По DN. Бұл сілтеме қосылған кезде ағымдағы жүйе идентификаторының мәні екі жағынан да өзгермейді, үзіліс болмайды.

Қосымша сілтемелер

Бірақ коммутаторды ауыстыру кезінде инженердің қатысуынсыз орындауға болады. Ол үшін тарату қосқыштары арасында қосымша байланыстарды алдын ала салу керек болады D және жаңа біріктіру қосқыштары N.

Біз біріктіру қосқыштары арасында жаңа байланыстарды саламыз N және барлық POD үшін тарату қосқыштары. Бұл қосымша патч сымдарына тапсырыс беруді және төсеуді және қосымша трансиверлерді орнатуды талап етеді N, және D. Біз мұны істей аламыз, себебі коммутаторларымызда D Әрбір POD бос порттары бар (немесе біз оларды алдын ала босатамыз). Нәтижесінде әрбір POD ескі қосқыштарға A және жаңа N қосқыштарына екі сілтеме арқылы физикалық түрде қосылады.

Коммутаторда D екі біріктірілген интерфейс құрылды - По А сілтемелермен 1 сілтемесі и 2 сілтемесімен По Н - сілтемелермен N1 сілтеме и N2 сілтеме. Бұл кезеңде біз интерфейстер мен сілтемелердің дұрыс қосылуын, сілтемелердің екі жағындағы оптикалық сигналдардың деңгейлерін (коммутаторлардан DDM ақпараты арқылы) тексереміз, біз тіпті жүктегі сілтеменің жұмысын тексере аламыз немесе күйлерін бақылай аламыз. оптикалық сигналдар мен қабылдағыш температуралары бірнеше күн бойы.

Трафик әлі де интерфейс арқылы жіберіледі По А, және интерфейс По Н трафикті қажет етпейді. Интерфейстердің параметрлері келесідей:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

D коммутаторлары, әдетте, сеанс негізіндегі конфигурация өзгерістерін қолдайды; осы функционалдығы бар коммутатор үлгілері пайдаланылады. Сонымен, біз Po A және Po N интерфейстерінің параметрлерін бір қадаммен өзгерте аламыз:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Содан кейін конфигурацияның өзгеруі жеткілікті жылдам болады, ал үзіліс іс жүзінде 5 секундтан аспайды.

Бұл әдіс барлық дайындық жұмыстарын алдын ала аяқтауға, барлық қажетті тексерулерді жүргізуге, процеске қатысушылармен жұмысты үйлестіруге, «бәрі дұрыс емес болған кезде шығармашылық ұшуларсыз жұмысты өндіру бойынша әрекеттерді егжей-тегжейлі болжауға мүмкіндік береді. ,» және алдыңғы конфигурацияға оралу жоспары бар. Осы жоспарға сәйкес жұмысты желі инженері ауысуды физикалық түрде жүзеге асыратын учаскеде деректер орталығының инженерінің қатысуынсыз жүзеге асырады.

Бұл ауысу әдісімен маңызды нәрсе - барлық жаңа сілтемелер алдын ала бақыланады. Қателер, блокқа сілтемелерді қосу, сілтемелерді жүктеу - барлық қажетті ақпарат қазірдің өзінде мониторинг жүйесінде және бұл карталарда сызылған.

D-күні

POD

Біз клиенттер үшін ең аз ауыртпалықсыз ауысу жолын және қосымша сілтемелері бар «бірдеңе дұрыс болмады» сценарийлеріне бейімділігін таңдадық. Осылайша, біз бірнеше түнде барлық POD-тарды жаңа біріктіру қосқыштарына ауыстырдық.

Бірақ DCI қызметтерін ұсынатын жабдықты ауыстыру ғана қалады.

L2

L2 қосылымын қамтамасыз ететін жабдық жағдайында біз қосымша сілтемелермен ұқсас жұмыстарды орындай алмадық. Мұның кем дегенде екі себебі бар:

• VXLAN қосқыштарында қажетті жылдамдықтағы бос порттардың болмауы.
• VXLAN қосқыштарындағы сеанс конфигурациясын өзгерту функциясының болмауы.

Біз жаңа жүйе идентификаторы жұбын келісу кезінде ғана үзіліспен сілтемелерді «бірден» ауыстырмадық, өйткені біз процедураның дұрыс жүретініне 100% сенімді емеспіз және зертханадағы сынақ «бірдеңе дұрыс емес» жағдайда, біз әлі де қосылым үзілуін аламыз және ең сорақысы басқа деректер орталықтарымен L2 байланысы бар клиенттер үшін ғана емес, жалпы осы деректер орталығының барлық клиенттері үшін.

Біз L2 арналарынан көшу бойынша үгіт-насихат жұмыстарын уақытынан бұрын жүргіздік, сондықтан VXLAN коммутаторларындағы жұмыстан зардап шеккен клиенттердің саны бір жыл бұрынғыдан бірнеше есе аз болды. Нәтижесінде бір деректер орталығында жергілікті желі қызметтерінің қалыпты жұмысын сақтау шартымен L2 қосылым қызметі арқылы байланысты үзу туралы шешім қабылдадық. Сонымен қатар, осы қызметке арналған SLA үзілістермен жоспарлы жұмыстарды орындау мүмкіндігін қарастырады.

L3

Неліктен біз DCI қызметтерін ұйымдастыру кезінде барлығына L3VPN жүйесіне ауысуды ұсындық? Себептердің бірі - бұл қызметті ұсынатын маршрутизаторлардың бірінде байланыс үзілмей, артықшылық деңгейін N+0-ге дейін төмендететін жұмысты орындау мүмкіндігі.

Қызмет көрсету схемасын толығырақ қарастырайық. Бұл қызметте L2 сегменті тек клиент серверлерінен L3VPN Selectel маршрутизаторларына өтеді. Клиент желісі маршрутизаторларда тоқтатылады.

Әрбір клиент сервері, мысалы. S2 и S3 жоғарыдағы диаграммада өздерінің жеке IP мекенжайлары бар - S10.0.0.2 серверінде 24/2 и S10.0.0.3 серверінде 24/3. Мекенжайлар 10.0.0.252/24 и 10.0.0.253/24 Selectel арқылы маршрутизаторларға тағайындалған L3VPN-1 и L3VPN-2, тиісінше. IP мекенжайы 10.0.0.254/24 - VRRP VIP мекенжайы Selectel маршрутизаторларында.

L3VPN қызметі туралы көбірек біле аласыз оқыңыз біздің блогымызда.

Коммутаторға дейін барлығы диаграммадағыдай болды:

Екі маршрутизатор L3VPN-1 и L3VPN-2 ескі біріктіру қосқышына қосылды А. VRRP VIP мекенжайы 10.0.0.254 үшін негізгі маршрутизатор болып табылады L3VPN-1. Бұл мекенжай үшін маршрутизаторға қарағанда басымдылығы жоғары L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

S2 сервері басқа орындардағы серверлермен байланысу үшін 10.0.0.254 шлюзін пайдаланады. Осылайша, L3VPN-2 маршрутизаторын желіден ажырату (әрине, ол алдымен MPLS доменінен ажыратылған болса) клиент серверлерінің қосылуына әсер етпейді. Бұл кезде тізбектің артық деңгейі жай ғана төмендейді.

Осыдан кейін біз маршрутизаторды қауіпсіз қайта қоса аламыз L3VPN-2 қосқыштар жұбына N. Сілтемелерді салыңыз, трансиверлерді ауыстырыңыз. Маршрутизатордың клиенттік қызметтердің жұмысы тәуелді логикалық интерфейстері бәрі дұрыс жұмыс істеп тұрғаны расталмайынша өшіріледі.

Сілтемелерді, қабылдағыштарды, сигнал деңгейлерін және интерфейстердегі қате деңгейлерін тексергеннен кейін маршрутизатор іске қосылады, бірақ қазірдің өзінде жаңа қосқыштар жұбына қосылған.

Әрі қарай, L3VPN-1 маршрутизаторының VRRP басымдығын төмендетеміз және 10.0.0.254 VIP мекенжайы L3VPN-2 маршрутизаторына жылжытылады. Бұл жұмыстар да байланыс үзілмей жүргізіледі.

10.0.0.254 VIP мекенжайын маршрутизаторға тасымалдау L3VPN-2 маршрутизаторды өшіруге мүмкіндік береді L3VPN-1 клиент үшін байланысты үзусіз және оны біріктіру қосқыштарының жаңа жұбына қосыңыз N.

VRRP VIP-ті L3VPN-1 маршрутизаторына қайтару немесе қайтармау - бұл басқа мәселе және ол қайтарылған болса да, ол қосылымды үзбей орындалады.

Барлығы

Осы қадамдардың барлығынан кейін біз тұтынушылар үшін кедергілерді азайта отырып, деректер орталықтарымыздың біріндегі жинақтау қосқыштарын ауыстырдық.

Тек бөлшектеу ғана қалды. Ескі коммутаторларды бөлшектеу, А және Д ажыратқыштар арасындағы ескі звеноларды бөлшектеу, осы звенолардан қабылдағыштарды бөлшектеу, бақылауды түзету, құжаттамада және бақылауда желілік диаграммаларды түзету.

Біз басқа жобаларда ауыстырылғаннан кейін қалған коммутаторларды, трансиверлерді, патч-кордтарды, AOC, DAC немесе басқа ұқсас коммутация үшін пайдалана аламыз.

«Наташа, біз бәрін ауыстырдық!»

Ақпарат көзі: www.habr.com