Биздин локалдык тармак агрегатында бизде алты жуп Arista DCS-7050CX3-32S жана бир жуп Brocade VDX 6940-36Q өчүргүчтөрү бар болчу. Бул тармактагы Brocade которгучтары бизди ашыкча чыңалгандыктан эмес, алар иштешет жана өз функцияларын аткарышат, бирок биз кээ бир аракеттерди толук автоматташтырууну даярдап жатканбыз жана бизде бул өчүргүчтөрдүн бул мүмкүнчүлүктөрү болгон эмес. Мен дагы 40GE интерфейстеринен кийинки 100-2 жылга резерв түзүү үчүн 3GE колдонуу мүмкүнчүлүгүнө өткүм келди. Ошентип, биз Brocade'ди Аристага өзгөртүүнү чечтик.
Бул өчүргүчтөр ар бир маалымат борбору үчүн LAN топтоо которгучтары болуп саналат. Бөлүштүрүү которгучтары (агрегациянын экинчи деңгээли) аларга түздөн-түз туташкан, алар буга чейин эле Top-of-Rack локалдык тармак коммутаторлорун серверлери бар стеллаждарга чогултушат.
Ар бир сервер бир же эки кирүү которгучтарына туташтырылган. Кирүү өчүргүчтөрү бөлүштүргүчтөрдүн жуптарына туташтырылган (эки бөлүштүргүч жана кирүү которгучтан түрдүү бөлүштүргүчкө чейинки эки физикалык шилтеме ашыкча үчүн колдонулат).
Ар бир серверди өзүнүн кардары колдоно алат, андыктан кардарга өзүнчө VLAN бөлүнгөн. Ошол эле VLAN андан кийин бул кардардын башка серверинде каалаган стеллажда катталат. Маалымат борбору бир нече ушундай катарлардан (POD) турат, ар бир катардагы стеллаждардын өзүнүн бөлүштүргүчтөрү бар. Андан кийин бул бөлүштүргүчтөр агрегаттык өчүргүчтөр менен туташтырылат.
Кардарлар серверди каалаган катарга заказ кыла алышат; сервердин белгилүү бир стойкадагы белгилүү бир катарга бөлүнөрүн же орнотулушун алдын ала айтуу мүмкүн эмес, ошондуктан ар бир маалымат борборунда топтоо которгучтарында 2500гө жакын VLAN бар.
DCI (Data-Center Interconnect) үчүн жабдуулар агрегаттык өчүргүчтөр менен туташтырылган. Ал L2 туташуусу үчүн (башка маалымат борборуна VXLAN туннелин түзгөн жуп которгучтар) же L3 байланышы үчүн (эки MPLS роутер) арналган болушу мүмкүн.
Мен буга чейин жазгандай, бир маалымат борборунда жабдуулар боюнча кызматтардын конфигурациясын автоматташтыруу процесстерин унификациялоо үчүн борбордук агрегаттык өчүргүчтөрдү алмаштыруу зарыл болгон. Биз иштеп жаткандардын жанына жаңы өчүргүчтөрдү орнотуп, аларды MLAG жупуна бириктирип, ишке даярдана баштадык. Алар дароо эле учурдагы агрегация которгучтарына туташтырылып, бардык кардар VLANларында жалпы L2 доменине ээ болушкан.
райондук маалымат
Конкреттүүлүк үчүн эски агрегаттык которгучтарды атайлы А1 и А2, жаңы - N1 и N2. Келгиле, ошону элестетип көрөлү POD 1 и POD 4 бир кардардын серверлери жайгаштырылган С1,Кардар VLAN көк түс менен көрсөтүлгөн. Бул кардар башка маалымат борбору менен L2 туташуу кызматын колдонуп жатат, ошондуктан анын VLAN бир жуп VXLAN өчүргүчтөрүнө берилет.
кардар С2 серверлерди жайгаштырат POD 2 и POD 3,Кардар VLAN кочкул жашыл түс менен белгиленген. Бул кардар дагы башка маалымат борбору менен байланыш кызматын колдонот, бирок L3, ошондуктан анын VLAN бир жуп L3VPN роутерлерине берилет.
Алмаштыруунун кайсы этаптарында эмне болорун, байланыш үзгүлтүккө учурашы жана анын узактыгы кандай болушу мүмкүн экенин түшүнүү үчүн бизге кардар VLAN керек. STP протоколу бул схемада колдонулбайт, анткени ал үчүн дарактын туурасы бул учурда чоң жана протоколдун конвергенциясы түзүлүштөрдүн жана алардын ортосундагы байланыштардын санына жараша экспоненциалдуу түрдө өсөт.
Кош шилтемелер менен байланышкан бардык түзмөктөр стек, MLAG жуп же VCS Ethernet кездемесин түзөт. L3VPN роутерлеринин жуптары үчүн мындай технологиялар колдонулбайт, анткени L2 ашыкчасынын кереги жок; алардын бири-бири менен L2 туташуулары агрегаттык өчүргүчтөр аркылуу болгону жетиштүү.
Ишке ашыруу варианттары
Мындан аркы иш-чаралардын варианттарын талдоодо, биз бул ишти жүргүзүүнүн бир нече жолдору бар экенин түшүндүк. Бүткүл локалдык тармактагы глобалдык тыныгуудан тармактын айрым бөлүктөрүндө 1-2 секунддук тыныгууларга чейин.
Тармак, токто! Которгучтар, аларды алмаштырыңыз!
Эң оңой жолу, албетте, бардык PODларда жана бардык DCI кызматтарында глобалдык байланыш үзүлүшүн жарыялоо жана коммутаторлордон бардык шилтемелерди которуу А которгучтарга N.
Үзгүлтүктөрдү эске албаганда, убакытты биз ишенимдүү айта албайбыз (ооба, биз шилтемелердин санын билебиз, бирок канча жолу бир нерсе туура эмес болуп кетерин билбейбиз - сынган патч шнурун же бузулган туташтыргычтан туура эмес порт же трансиверге чейин. ), эски A өчүргүчтөрүнө туташтырылган патч шнурларынын узундугу, DAC, AOC аларды N жаңы өчүргүчтөрүнө жетүү үчүн жетиштүүбү, алар жанында турса дагы, алдын ала айта албайбыз, бирок дагы эле бир аз тарапка жана ошол эле кабыл алгычтар /DAC/AOC Brocade которгучтарынан Arista которгучтарына иштейби.
Мунун баары кардарлардын катуу кысымынын жана техникалык колдоонун шарттарында («Наташа, тур! Наташа, ал жерде баары иштебейт! Наташа, биз техникалык колдоо кызматына жазганбыз, чынын айтсам! Наташа, алар баарын таштап салышты. ! Наташа, дагы канчасы иштебей калды? Наташа, качан иштейт?!"). Алдын ала жарыяланган тыныгууга жана кардарларга билдирүүгө карабастан, мындай учурда суроо-талаптардын агымы кепилденет.
Токто, 1-2-3-4!
Эгерде биз глобалдык тыныгууну жарыялабай, тескерисинче, POD жана DCI кызматтары үчүн бир катар чакан байланыш үзгүлтүктөрүн жарыялабасакчы. Биринчи тыныгууда которгучтарга өтүңүз N гана POD 1, экинчисинде - бир нече күндүн ичинде - POD 2, андан кийин дагы бир нече күн POD 3Ж.б. POD 4…[N], андан кийин VXLAN которгучтары жана андан кийин L3VPN роутерлери.
Которуу ишин ушундай уюштуруу менен биз бир жолку иштин татаалдыгын азайтабыз жана күтүлбөгөн жерден бир нерсе туура эмес болуп кетсе, көйгөйлөрдү чечүү үчүн убакытты көбөйтөбүз. POD 1 которулгандан кийин башка POD жана DCI менен туташып калат. Бирок иштин өзү узак убакытка созулуп кетет, маалымат борборундагы бул иштин жүрүшүндө инженер физикалык түрдө которуштурууну талап кылат, ал эми жумуш учурунда (жана мындай иш, эреже катары, түнкү саат 2ден 5-ге чейин жүргүзүлөт) саат 2ке чейин), онлайн тармак инженеринин болушу жетишээрлик жогорку деңгээлде талап кылынат. Бирок, анда биз кыска байланыш үзгүлтүккө учурайбыз, эреже катары, жумуш жарым сааттын ичинде 20 мүнөткө чейин тыныгуу менен жүргүзүлүшү мүмкүн (иш жүзүндө, көбүнчө жабдуулардын күтүлгөн жүрүм-туруму менен 30-XNUMX секунд).
Мисалда кардар С1 же кардар С2 байланыш үзгүлтүккө учураган иш жөнүндө кеминде үч жолу эскертүүгө туура келет - биринчи жолу анын серверлеринин бири жайгашкан бир POD боюнча, экинчи жолу - экинчисинде жана үчүнчү жолу - качан DCI кызматтары үчүн коммутациялык жабдуулар.
Агрегацияланган байланыш каналдарын которуу
Эмне үчүн биз жабдуулардын күтүлгөн жүрүм-туруму жана байланыш үзгүлтүктөрүн азайтып, топтолгон каналдарды кантип алмаштырууга болот? Төмөнкү сүрөттү элестетип көрөлү:
Шилтеменин бир тарабында POD бөлүштүргүчтөрү бар - D1 и D2, алар бири-бири менен MLAG жуп түзүшөт (стек, VCS фабрикасы, vPC жуп), экинчи жагынан эки шилтеме бар - Link 1 и Link 2 - эски агрегаттык өчүргүчтөрдүн MLAG жупуна киргизилген А. Которуу тарабында D аталышы менен бириктирилген интерфейс Порт-канал А, агрегациялык өчүргүчтөрдүн тарабында А - аталышы менен бириктирилген интерфейс Порт-канал D.
Агрегацияланган интерфейстер өз ишинде LACPти колдонушат, башкача айтканда, эки тараптын өчүргүчтөрү шилтемелердин болушуна ынануу үчүн эки шилтемедеги LACPDU пакеттерин үзгүлтүксүз алмашып турушат:
- жумушчулар;
- алыскы тарапта түзмөктөрдүн бир жуп киргизилген.
Пакеттерди алмаштырууда пакет баалуулукка ээ система идентификатору, бул шилтемелер камтылган аппаратты көрсөтүү. MLAG жуптары үчүн (стек, завод, ж.б.) топтолгон интерфейсти түзгөн түзмөктөр үчүн система идентификаторунун мааниси бирдей. Которуу D1 жөнөтөт Link 1 маани система идентификатор D, жана которуу D2 жөнөтөт Link 2 маани система идентификатор D.
Коммутаторлор А1 и А2 бир Po D интерфейси аркылуу алынган LACPDU пакеттерин талдап, алардагы система идентификатору дал келгенин текшериңиз. Эгер кандайдыр бир шилтеме аркылуу алынган тутум идентификатору күтүлбөгөн жерден айырмаланып калса учурдагы операциялык мааниден, анда бул шилтеме кырдаал оңдолгонго чейин бириктирилген интерфейстен алынып салынат. Азыр биздин алмаштыргыч тарапта D LACP өнөктөшүнөн учурдагы система идентификатору - A, жана которуштуруу жагында А — LACP өнөктөшүнөн учурдагы система идентификатору — D.
Эгер биз бириктирилген интерфейсти алмаштыруу керек болсо, биз аны эки башка жол менен кыла алабыз:
Метод 1 - Жөнөкөй
А которгучтарынан эки шилтемени тең өчүрүү. Бул учурда топтолгон канал иштебейт.
Эки шилтемени бирден которгучтарга туташтырыңыз N, андан кийин LACP операциялык параметрлери кайрадан сүйлөшүлөт жана интерфейс түзүлөт По Д өчүргүчтөр боюнча N жана шилтемелер боюнча баалуулуктарды берүү система-идентификатор Н.
Метод 2 - Үзгүлтүктөрдү азайтуу
Шилтеме 2ди A2 алмаштыргычынан ажыратыңыз. Ошол эле учурда, ортосундагы жол кыймылы А и D бириктирилген интерфейстин бир бөлүгү болуп кала турган шилтемелердин бири аркылуу берилишин улантат.
N2 которуштуруу үчүн 2 шилтемесин туташтырыңыз. Которгучта N топтолгон интерфейс мурунтан эле конфигурацияланган Po DN, жана которуу N2 LACPDUга өткөрүп баштайт система-идентификатор Н. Бул этапта биз буга чейин которуштуруу экенин текшере алат N2 үчүн колдонулган трансивер менен туура иштейт Link 2, туташуу портунун абалына кирди Up, жана LACPDU өткөрүп жатканда туташуу портунда эч кандай каталар болбошу керек.
Бирок которуштуруу фактысы D2 бириктирилген интерфейс үчүн По А тараптан Шилтеме 2 учурдагы операциялык системанын id A маанисинен айырмаланган система-id N маанисин алат, которгучтарга жол бербейт D тааныштыруу Link 2 бириктирилген интерфейстин бир бөлүгү По А. Которуу N кире албайт Link 2 ишке киргизүү, анткени ал өчүргүчтүн LACP өнөктөшүнөн иштөөгө жарамдуулугун тастыктоосун албайт D2. Натыйжада трафик болуп саналат Link 2 өтпөйт.
Ал эми азыр биз A1 которуштуруудан 1 шилтемесин өчүрөбүз, ошону менен өчүргүчтөрдү ажыратат А и D жумушчу агрегат интерфейси. Ошентип, которуу жагында D интерфейс үчүн учурдагы иштөө тутумунун id мааниси жоголот По А.
Бул өчүргүчтөрдү берет D и N система-id алмашууга макул AN интерфейстерде По А и Po DN, ошентип трафик шилтеме боюнча бериле баштайт Link 2. Бул учурда тыныгуу иш жүзүндө 2 секундга чейин болот.
Эми биз оңой эле 1 шилтемесин N1ге которсок болот, интерфейстин ашыкча мүмкүнчүлүктөрүн жана деңгээлин калыбына келтирүү По А и Po DN. Бул шилтеме туташкандыктан, учурдагы системанын id мааниси эки тараптан тең өзгөрбөйт, эч кандай үзгүлтүккө учурабайт.
Кошумча шилтемелер
Бирок которуштуруу которуштуруу учурунда инженердин катышуусуз жүргүзүлүшү мүмкүн. Бул үчүн, алдын ала бөлүштүргүчтөр ортосунда кошумча байланыштарды орнотуу керек болот D жана жаңы агрегаттык өчүргүчтөр N.
Биз агрегаттык которгучтардын ортосунда жаңы байланыштарды орнотуп жатабыз N жана бардык POD үчүн бөлүштүргүчтөр. Бул кошумча патч шнурларды заказ кылууну жана төшөөнү жана мурункудай кошумча трансиверлерди орнотууну талап кылат Nжана D. Биз муну жасай алабыз, анткени биздин өчүргүчтөрүбүздө D Ар бир POD бош портторуна ээ (же биз аларды алдын ала бошоттук). Натыйжада, ар бир POD физикалык жактан эки шилтеме аркылуу эски А өчүргүчтөр менен жана жаңы N өчүргүчтөр менен байланышкан.
Которгучта D эки бириктирилген интерфейс түзүлдү - По А шилтемелер менен Link 1 и Link 2жана По Н - шилтемелер менен Шилтеме N1 и Шилтеме N2. Бул этапта биз интерфейстердин жана шилтемелердин туура туташтырылганын, шилтемелердин эки учундагы оптикалык сигналдардын деңгээлин текшеребиз (которгучтардагы DDM маалыматы аркылуу), биз ал тургай жүктө турган шилтеменин иштешин текшере алабыз же абалдарын көзөмөлдөй алабыз. оптикалык сигналдар жана трансиверлердин температурасы бир нече күн.
Трафик дагы эле интерфейс аркылуу жөнөтүлөт По А, жана интерфейс По Н трафиктин акысы жок. Интерфейстердин орнотуулары төмөнкүдөй:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneD которгучтары, эреже катары, сессиянын реконфигурациясын колдойт; бул функцияга ээ болгон коммутатор моделдери колдонулат. Ошентип, биз Po A жана Po N интерфейстеринин жөндөөлөрүн бир кадам менен өзгөртө алабыз:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitОшондо конфигурацияны өзгөртүү жетиштүү тез ишке ашат жана тыныгуу иш жүзүндө 5 секунддан ашпайт.
Бул ыкма алдын ала бардык даярдык иштерин бүтүрүүгө, бардык зарыл болгон текшерүүлөрдү жүргүзүүгө, процесстин катышуучулары менен ишти координациялоого, «баары туура эмес болуп кеткенде» чыгармачылыктын учуулары жок, ишти өндүрүү боюнча иш-аракеттерди деталдуу түрдө болжолдоого мүмкүндүк берет. ," жана мурунку конфигурацияга кайтуу планы бар. Бул планга ылайык иштөөнү физикалык түрдө которууну ишке ашырган сайтта маалымат борборунун инженери катышпастан тармак инженери жүргүзөт.
Бул которуу ыкмасы менен дагы маанилүү нерсе, бардык жаңы шилтемелер алдын ала көзөмөлдөнөт. Каталар, бирдикке шилтемелерди киргизүү, шилтемелерди жүктөө - бардык керектүү маалыматтар мониторинг системасында бар жана бул карталарда мурунтан эле тартылган.
D-Day
Гадылбек
Биз кардарлар үчүн эң аз оор өтүүчү жолду жана кошумча шилтемелер менен "бир нерсе туура эмес болуп кетти" сценарийлерине эң аз жакын жолду тандадык. Ошентип, биз бир-эки түндүн ичинде бардык PODдарды жаңы агрегаттык которгучтарга котордук.
Бирок DCI кызматтарын көрсөткөн жабдууларды алмаштыруу гана калды.
L2
L2 туташуусун камсыз кылуучу жабдууларда, биз кошумча шилтемелер менен окшош иштерди жүргүзө алган жокпуз. Мунун жок дегенде эки себеби бар:
- VXLAN которгучтарында талап кылынган ылдамдыктагы бош порттордун жоктугу.
- VXLAN которгучтарында сеанс конфигурациясын өзгөртүү функциясынын жоктугу.
Биз жаңы система-id жуптарын макулдашып жатканда гана тыныгуу менен шилтемелерди "бирден" алмаштырган жокпуз, анткени биз процедуранын туура өтөөрүнө 100% ишене элекпиз жана лабораториядагы сыноо көрсөткөндөй, Эгер "бир нерсе туура эмес болуп кетсе" дагы эле байланыш үзгүлтүккө учурайт жана эң жаманы L2 башка маалымат борборлору менен байланышы бар кардарлар үчүн гана эмес, жалпысынан бул маалымат борборунун бардык кардарлары үчүн.
Биз L2 каналдарынан өтүү боюнча үгүт иштерин мөөнөтүнөн мурда жүргүздүк, ошондуктан VXLAN которгучтарындагы иштен жабыр тарткан кардарлардын саны бир жыл мурункуга караганда бир нече эсе аз болгон. Натыйжада, биз бир маалымат борборунда локалдык тармак кызматтарынын нормалдуу иштешин камсыз кылуу шартында L2 байланыш кызматы аркылуу байланышты үзүүнү чечтик. Мындан тышкары, бул кызмат үчүн SLA үзгүлтүккө учураган пландуу иштерди жүргүзүү мүмкүнчүлүгүн карайт.
L3
Эмне үчүн DCI кызматтарын уюштурууда баарына L3VPN өтүүнү сунуш кылдык? Себептердин бири бул кызматты көрсөткөн роутерлердин биринде байланышты үзгүлтүккө учуратпастан ашыкча деңгээлди N+0 чейин кыскартуу менен ишти жүргүзүү мүмкүнчүлүгү.
Кызмат көрсөтүү схемасын кененирээк карап көрөлү. Бул кызматта L2 сегменти кардар серверлеринен L3VPN Selectel роутерлерине гана өтөт. Роутерлерде кардар тармагы токтотулат.
Ар бир кардар сервери, мис. S2 и S3 жогорудагы диаграммада, өздөрүнүн жеке IP даректери бар - S10.0.0.2 серверинде 24/2 и S10.0.0.3 серверинде 24/3. Даректер 10.0.0.252/24 и 10.0.0.253/24 роутерлерге Selectel тарабынан дайындалган L3VPN-1 и L3VPN-2, тиешелүүлүгүнө жараша. IP дареги 10.0.0.254/24 VRRP VIP дареги болуп саналат Selectel роутерлерде.
L3VPN кызматы жөнүндө көбүрөөк биле аласыз биздин блогдо.
Которууга чейин бардыгы диаграммадагыдай көрүнгөн:
Эки роутер L3VPN-1 и L3VPN-2 эски агрегаттык өчүргүчкө туташтырылган А. VRRP VIP дареги 10.0.0.254 үчүн мастер роутер болуп саналат L3VPN-1. Бул дарек үчүн роутерге караганда жогорураак артыкчылыкка ээ L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}S2 сервери башка жерлердеги серверлер менен байланышуу үчүн 10.0.0.254 шлюзун колдонот. Ошентип, L3VPN-2 роутерин тармактан ажыратып салуу (албетте, эгер ал биринчи жолу MPLS доменинен ажыратылса) кардардын серверлеринин туташуулугуна таасирин тийгизбейт. Бул учурда, схеманын ашыкча деңгээли жөн эле төмөндөйт.
Андан кийин биз роутерди коопсуз кайра туташтыра алабыз L3VPN-2 бир жуп өчүргүчкө N. Шилтемелерди салыңыз, трансиверлерди алмаштырыңыз. Клиенттик кызматтардын иштеши көз каранды болгон роутердин логикалык интерфейстери баары талаптагыдай иштеп жаткандыгы тастыкталганга чейин өчүрүлөт.
Шилтемелерди, трансиверлерди, сигналдын деңгээлин жана интерфейстердеги каталардын деңгээлин текшергенден кийин, роутер ишке киргизилет, бирок жаңы жуп коммутаторлорго туташтырылган.
Андан кийин, биз L3VPN-1 роутердин VRRP приоритеттерин төмөндөтөбүз жана 10.0.0.254 VIP дареги L3VPN-2 роутерге көчүрүлөт. Бул иштер да байланыш үзгүлтүксүз жүргүзүлүүдө.
10.0.0.254 VIP дарегин роутерге өткөрүү L3VPN-2 роутерди өчүрүүгө мүмкүндүк берет L3VPN-1 кардар үчүн байланыш үзгүлтүксүз жана бириктирүү өчүргүчтөрдүн жаңы жуп менен туташтыруу N.
L3VPN-1 роутерге VRRP VIP кайтарып берүү же кайтарбоо - бул башка маселе жана ал кайтарылган күндө да, ал байланышты үзгүлтүксүз жүзөгө ашырылат.
жалпы
Бул кадамдардын бардыгынан кийин биз кардарларыбыздын үзгүлтүккө учурашын азайтып, маалымат борборлорубуздун бириндеги агрегаттык которгучтарды алмаштырдык.
Болгону демонтаждоо гана калды. Эски коммутаторлорду демонтаждоо, А жана Г коммутаторлорунун ортосундагы эски звенолорду демонтаждоо, бул звенолордон трансиверлерди демонтаждоо, мониторингди оңдоо, документацияда жана мониторингде тармактык схемаларды оңдоо.
Биз башка долбоорлорго которулгандан кийин калган которгучтарды, трансиверлерди, патч-корддорду, AOC, DAC колдоно алабыз.
"Наташа, биз баарын алмаштырдык!"
Source: www.habr.com