🥇Hadithi ya swichi moja

Katika mkusanyiko wetu wa mtandao wa ndani tulikuwa na jozi sita za swichi za Arista DCS-7050CX3-32S na jozi moja ya swichi za Brocade VDX 6940-36Q. Sio kwamba tulilemewa sana na swichi za Brocade kwenye mtandao huu, zinafanya kazi na kutekeleza majukumu yao, lakini tulikuwa tukitayarisha otomatiki kamili ya vitendo vingine, na hatukuwa na uwezo huu kwenye swichi hizi. Pia nilitaka kubadili kutoka kwa miingiliano ya 40GE hadi uwezekano wa kutumia 100GE ili kutengeneza akiba kwa miaka 2-3 ijayo. Kwa hivyo tuliamua kubadilisha Brocade hadi Arista.

Swichi hizi ni swichi za kujumlisha LAN kwa kila kituo cha data. Swichi za usambazaji (kiwango cha pili cha mkusanyiko) zimeunganishwa moja kwa moja nao, ambazo tayari hukusanya swichi za mtandao wa ndani wa Juu-ya-Rack kwenye racks na seva.

Kila seva imeunganishwa kwa swichi moja au mbili za ufikiaji. Swichi za ufikiaji zimeunganishwa kwenye jozi ya swichi za usambazaji ( swichi mbili za usambazaji na viungo viwili vya kimwili kutoka kwa kubadili upatikanaji hadi kwenye swichi tofauti za usambazaji hutumiwa kwa upunguzaji).

Kila seva inaweza kutumika na mteja wake mwenyewe, kwa hivyo mteja amepewa VLAN tofauti. VLAN sawa basi inasajiliwa kwenye seva nyingine ya mteja huyu katika rack yoyote. Kituo cha data kina safu kadhaa kama hizo (POD), kila safu ya rafu ina swichi zake za usambazaji. Kisha swichi hizi za usambazaji zimeunganishwa na swichi za kujumlisha.

Wateja wanaweza kuagiza seva katika safu yoyote; haiwezekani kutabiri mapema kwamba seva itatengwa au kusakinishwa kwa safu maalum kwenye rack maalum, ndiyo sababu kuna takriban 2500 VLAN kwenye swichi za mkusanyiko katika kila kituo cha data.

Kifaa cha DCI (Muunganisho wa Kituo cha Data) kimeunganishwa kwenye swichi za kujumlisha. Inaweza kulenga muunganisho wa L2 (jozi ya swichi zinazounda handaki ya VXLAN hadi kituo kingine cha data) au kwa muunganisho wa L3 (vipanga njia viwili vya MPLS).

Kama nilivyoandika tayari, ili kuunganisha michakato ya otomatiki ya usanidi wa huduma kwenye vifaa kwenye kituo kimoja cha data, ilikuwa ni lazima kuchukua nafasi ya swichi za mkusanyiko wa kati. Tuliweka swichi mpya karibu na zilizopo, tukaunganisha kwenye jozi ya MLAG na kuanza kujiandaa kwa kazi. Mara moja ziliunganishwa kwa swichi za kujumlisha zilizopo, ili ziwe na kikoa cha kawaida cha L2 kwenye VLAN zote za mteja.

Maelezo ya mzunguko

Kwa maelezo mahususi, hebu tutaje swichi za zamani za mkusanyiko A1 и A2, mpya - N1 и N2. Hebu fikiria hilo ndani POD 1 и POD 4 seva za mteja mmoja zimepangishwa С1, VLAN ya mteja imeonyeshwa kwa bluu. Mteja huyu anatumia huduma ya muunganisho ya L2 na kituo kingine cha data, kwa hivyo VLAN yake inalishwa kwa jozi ya swichi za VXLAN.

Mteja С2 seva za mwenyeji ndani POD 2 и POD 3, VLAN ya mteja imeonyeshwa kwa kijani kibichi. Mteja huyu pia hutumia huduma ya muunganisho na kituo kingine cha data, lakini L3, kwa hivyo VLAN yake inalishwa kwa jozi ya vipanga njia vya L3VPN.

Tunahitaji VLAN za mteja ili kuelewa ni katika hatua zipi za kazi ya uingizwaji nini kinatokea, ambapo usumbufu wa mawasiliano hutokea, na muda wake unaweza kuwa. Itifaki ya STP haitumiwi katika mpango huu, kwa kuwa upana wa mti kwa ajili yake katika kesi hii ni kubwa, na muunganisho wa itifaki unakua kwa kasi na idadi ya vifaa na viungo kati yao.

Vifaa vyote vilivyounganishwa kwa viungo viwili huunda rafu, jozi ya MLAG au kitambaa cha Ethaneti cha VCS. Kwa jozi ya ruta za L3VPN, teknolojia kama hizo hazitumiwi, kwani hakuna haja ya upunguzaji wa L2; inatosha kuwa na muunganisho wa L2 kwa kila mmoja kupitia swichi za kujumlisha.

Chaguzi za utekelezaji

Wakati wa kuchambua chaguzi za hafla zaidi, tuligundua kuwa kuna njia kadhaa za kufanya kazi hii. Kutoka kwa mapumziko ya kimataifa kwenye mtandao mzima wa ndani, hadi mapumziko madogo ya sekunde 1-2 katika sehemu za mtandao.

Mtandao, acha! Swichi, zibadilishe!

Njia rahisi ni, bila shaka, kutangaza mapumziko ya mawasiliano ya kimataifa kwenye POD zote na huduma zote za DCI na kubadili viungo vyote kutoka kwa swichi. А kwa swichi N.

Mbali na usumbufu, wakati ambao hatuwezi kutabiri kwa uhakika (ndio, tunajua idadi ya viungo, lakini hatujui ni mara ngapi kitu kitaenda vibaya - kutoka kwa kamba iliyovunjika au kiunganishi kilichoharibika hadi bandari mbovu au kipitishio. ), bado hatuwezi kutabiri mapema ikiwa urefu wa kamba za kiraka, DAC, AOC, zilizounganishwa na swichi za zamani A, zitatosha kuzifikia swichi mpya N, ingawa zimesimama karibu nao, lakini bado kidogo. upande, na kama transceivers sawa zitafanya kazi /DAC/AOC kutoka swichi za Brocade hadi swichi za Arista.

Na haya yote chini ya hali ya shinikizo kali kutoka kwa wateja na msaada wa kiufundi ("Natasha, inuka! Natasha, kila kitu haifanyi kazi hapo! Natasha, tayari tumeandika kwa msaada wa kiufundi, kwa uaminifu! Natasha, tayari wameacha kila kitu! ! Natasha, ni wangapi zaidi ambao hatutafanya kazi? Natasha, itafanya kazi lini?!"). Hata licha ya mapumziko yaliyotangazwa mapema na arifa kwa wateja, maombi mengi kwa wakati kama haya yamehakikishwa.

Acha, 1-2-3-4!

Itakuwaje ikiwa hatutangazi mapumziko ya kimataifa, lakini mfululizo wa kukatizwa kwa mawasiliano madogo kwa huduma za POD na DCI. Wakati wa mapumziko ya kwanza, badilisha kwa swichi N tu POD 1, katika pili - katika siku chache - POD 2, kisha siku kadhaa zaidi POD 3, Zaidi POD 4…[N], kisha swichi za VXLAN na kisha vipanga njia vya L3VPN.

Kwa shirika hili la kubadili kazi, tunapunguza ugumu wa kazi ya wakati mmoja na kuongeza muda wetu wa kutatua matatizo ikiwa kitu kitaenda vibaya. POD 1 inasalia kuunganishwa kwa POD na DCI zingine baada ya kubadili. Lakini kazi yenyewe inaendelea kwa muda mrefu; wakati wa kazi hii katika kituo cha data, mhandisi anahitajika kutekeleza byte, na wakati wa kazi (na kazi kama hiyo hufanywa, kama sheria, usiku, kutoka 2). hadi 5 asubuhi), uwepo wa mhandisi wa mtandao wa mtandao unahitajika katika sifa za kiwango cha juu. Lakini basi tunapata usumbufu mfupi wa mawasiliano; kama sheria, kazi inaweza kufanywa kwa muda wa nusu saa na mapumziko ya hadi dakika 2 (katika mazoezi, mara nyingi sekunde 20-30 na tabia inayotarajiwa ya vifaa).

Katika mfano mteja С1 au mteja С2 utalazimika kuonya juu ya kazi na usumbufu wa mawasiliano angalau mara tatu - mara ya kwanza kufanya kazi kwenye POD moja, ambayo moja ya seva zake iko, mara ya pili - kwa pili, na mara ya tatu - wakati. kubadili vifaa kwa ajili ya huduma za DCI.

Kubadilisha mikondo ya mawasiliano iliyojumlishwa

Kwa nini tunazungumza kuhusu tabia inayotarajiwa ya vifaa, na jinsi chaneli zilizojumlishwa zinaweza kubadilishwa huku tukipunguza kukatizwa kwa mawasiliano? Hebu fikiria picha ifuatayo:

Upande mmoja wa kiunga kuna swichi za usambazaji wa POD - D1 и D2, huunda jozi ya MLAG na kila mmoja (stack, kiwanda cha VCS, jozi ya vPC), kwa upande mwingine kuna viungo viwili - Unganisha 1 и Unganisha 2 - imejumuishwa katika jozi ya MLAG ya swichi za zamani za mkusanyiko А. Kwa upande wa kubadili D kiolesura cha jumla kilicho na jina Kituo cha bandari A, kwa upande wa swichi za kujumlisha А - interface iliyojumuishwa na jina Kituo cha bandari D.

Miingiliano iliyojumlishwa hutumia LACP katika utendakazi wao, yaani, swichi za pande zote mbili mara kwa mara hubadilishana pakiti za LACPDU kwenye viungo vyote viwili ili kuhakikisha kuwa viungo:

wafanyakazi;
imejumuishwa katika jozi moja ya vifaa kwenye upande wa mbali.

Wakati wa kubadilishana pakiti, pakiti hubeba thamani kitambulisho cha mfumo, ikionyesha kifaa ambacho viungo hivi vimejumuishwa. Kwa jozi ya MLAG (rafu, kiwanda, n.k.), thamani ya kitambulisho cha mfumo kwa vifaa vinavyounda kiolesura kilichojumlishwa ni sawa. Badili D1 hutuma kwa Unganisha 1 thamani kitambulisho cha mfumo D, na kubadili D2 hutuma kwa Unganisha 2 thamani kitambulisho cha mfumo D.

Swichi A1 и A2 chambua pakiti za LACPDU zilizopokelewa juu ya kiolesura kimoja cha Po D na uangalie ikiwa kitambulisho cha mfumo kilichomo kinalingana. Ikiwa kitambulisho cha mfumo kilichopokelewa kupitia kiunga fulani kitatofautiana ghafla kutoka kwa thamani ya sasa ya uendeshaji, basi kiungo hiki kinaondolewa kwenye kiolesura kilichojumlishwa hadi hali hiyo irekebishwe. Sasa kwa upande wetu wa kubadili D thamani ya sasa ya kitambulisho cha mfumo kutoka kwa mshirika wa LACP - A, na kwa upande wa kubadili А - thamani ya sasa ya kitambulisho cha mfumo kutoka kwa mshirika wa LACP - D.

Ikiwa tunahitaji kubadilisha kiolesura kilichojumlishwa, tunaweza kuifanya kwa njia mbili tofauti:

Njia ya 1 - Rahisi
Zima viungo vyote viwili kutoka kwa swichi A. Katika kesi hii, chaneli iliyojumuishwa haifanyi kazi.

Unganisha viungo vyote kwa moja kwa swichi N, basi vigezo vya uendeshaji vya LACP vitajadiliwa tena na interface itaundwa PoD kwenye swichi N na usambazaji wa maadili kwenye viungo kitambulisho cha mfumo N.

Njia ya 2 - Punguza usumbufu
Tenganisha Kiungo 2 kutoka kwa kubadili A2. Wakati huo huo, trafiki kati А и D itaendelea kusambazwa kwa urahisi juu ya mojawapo ya viungo, ambavyo vitabaki kuwa sehemu ya kiolesura kilichojumlishwa.

Unganisha Kiungo 2 ili kubadilisha N2. Kwenye swichi N kiolesura kilichojumlishwa tayari kimesanidiwa Kwa DN, na kubadili N2 itaanza kutumwa kwa LACPDU kitambulisho cha mfumo N. Katika hatua hii tunaweza tayari kuangalia kuwa swichi N2 inafanya kazi kwa usahihi na kipitishio cha kupitisha data kinachotumika Unganisha 2, kwamba mlango wa kuunganisha umeingia katika hali Up, na kwamba hakuna hitilafu zinazotokea kwenye mlango wa kuunganisha wakati wa kusambaza LACPDU.

Lakini ukweli kwamba kubadili D2 kwa kiolesura cha jumla Po A kutoka upande Kiungo cha 2 hupokea thamani ya kitambulisho cha N tofauti na thamani ya sasa ya kitambulisho cha mfumo wa uendeshaji, hairuhusu swichi D kuanzisha Unganisha 2 sehemu ya kiolesura kilichojumlishwa Po A. Badili N haiwezi kuingia Unganisha 2 inatumika, kwani haipati uthibitisho wa utendakazi kutoka kwa mshirika wa LACP wa swichi D2. trafiki kusababisha ni Unganisha 2 kutokupitia.

Na sasa tunazima Kiungo 1 kutoka kwa kubadili A1, na hivyo kunyima swichi А и D kiolesura cha jumla cha kufanya kazi. Kwa hivyo kwa upande wa kubadili D thamani ya sasa ya kitambulisho cha mfumo wa kufanya kazi kwa kiolesura hutoweka Po A.

Hii inaruhusu swichi D и N kukubali kubadilishana kitambulisho cha mfumo AN kwenye violesura Po A и Kwa DN, ili trafiki ianze kupitishwa kando ya kiunga Unganisha 2. Mapumziko katika kesi hii ni, kwa mazoezi, hadi sekunde 2.

Na sasa tunaweza kubadili Kiungo 1 kwa urahisi ili kubadili N1, kurejesha uwezo na kiwango cha upunguzaji wa kiolesura Po A и Kwa DN. Kwa kuwa wakati kiungo hiki kimeunganishwa, thamani ya sasa ya kitambulisho cha mfumo haibadiliki kwa upande wowote, hakuna usumbufu.

Viungo vya ziada

Lakini kubadili kunaweza kufanywa bila kuwepo kwa mhandisi wakati wa kubadili. Ili kufanya hivyo, tutahitaji kuweka viungo vya ziada kati ya swichi za usambazaji mapema D na swichi mpya za kujumlisha N.

Tunaweka viungo vipya kati ya swichi za kujumlisha N na swichi za usambazaji kwa POD zote. Hii inahitaji kuagiza na kuwekewa viunga vya ziada, na kusakinisha vipenyo vya ziada kama ilivyo N, na D. Tunaweza kufanya hivyo kwa sababu katika swichi zetu D Kila POD ina bandari za bure (au tunazifungua kabla). Kama matokeo, kila POD imeunganishwa kimwili na viungo viwili kwa swichi za zamani A na kwa swichi mpya N.

Kwenye swichi D miingiliano miwili iliyojumlishwa imeundwa - Po A na viungo Unganisha 1 и Unganisha 2Na Po N - na viungo Kiungo N1 и Kiungo N2. Katika hatua hii, tunaangalia muunganisho sahihi wa miingiliano na viungo, viwango vya ishara za macho kwenye ncha zote mbili za viungo (kupitia habari ya DDM kutoka kwa swichi), tunaweza hata kuangalia utendaji wa kiunga chini ya mzigo au kufuatilia majimbo ya ishara za macho na joto la transceiver kwa siku kadhaa.

Trafiki bado inatumwa kupitia kiolesura Po A, na kiolesura Po N gharama hakuna trafiki. Mipangilio kwenye miingiliano ni kitu kama hiki:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Swichi za D, kama sheria, zinaauni mabadiliko ya usanidi kulingana na kipindi; badilisha miundo ambayo ina utendaji huu hutumiwa. Kwa hivyo tunaweza kubadilisha mipangilio ya miingiliano ya Po A na Po N kwa hatua moja:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Kisha mabadiliko ya usanidi yatatokea haraka vya kutosha, na mapumziko hayatakuwa zaidi ya sekunde 5 kwa mazoezi.

Njia hii inaturuhusu kukamilisha kazi yote ya maandalizi mapema, kufanya ukaguzi wote muhimu, kuratibu kazi na washiriki katika mchakato huo, kutabiri kwa undani hatua za utengenezaji wa kazi, bila ndege za ubunifu wakati "kila kitu kilienda vibaya. ,” na uwe na mpango ulio karibu wa kurejea usanidi uliopita. Kazi kulingana na mpango huu inafanywa na mhandisi wa mtandao bila uwepo wa mhandisi wa kituo cha data kwenye tovuti ambaye hubeba kimwili.

Nini pia ni muhimu kwa njia hii ya kubadili ni kwamba viungo vyote vipya tayari vinafuatiliwa mapema. Makosa, kuingizwa kwa viungo kwenye kitengo, upakiaji wa viungo - taarifa zote muhimu tayari ziko kwenye mfumo wa ufuatiliaji, na hii tayari imetolewa kwenye ramani.

Siku ya D

POD

Tulichagua njia isiyo na uchungu zaidi ya kubadili kwa wateja na ile inayokabiliwa kidogo na matukio ya "hitilafu fulani" kwa kutumia viungo vya ziada. Kwa hivyo tulibadilisha POD zote hadi swichi mpya za kujumlisha katika usiku kadhaa.

Lakini kilichobaki ni kubadili vifaa vinavyotoa huduma za DCI.

L2

Katika kesi ya vifaa vinavyotoa muunganisho wa L2, hatukuweza kufanya kazi sawa na viungo vya ziada. Kuna angalau sababu mbili za hii:

Ukosefu wa bandari za bure za kasi inayohitajika kwenye swichi za VXLAN.
Ukosefu wa utendaji wa mabadiliko ya usanidi wa kikao kwenye swichi za VXLAN.

Hatukubadilisha viungo "moja kwa wakati" na mapumziko tu wakati tunakubaliana juu ya jozi mpya ya kitambulisho cha mfumo, kwani hatukuwa na imani ya 100% kwamba utaratibu ungeenda kwa usahihi, na mtihani katika maabara ulionyesha kuwa katika ikiwa "hitilafu fulani imetokea," bado tunapata usumbufu wa muunganisho, na mbaya zaidi sio tu kwa wateja ambao wana muunganisho wa L2 na vituo vingine vya data, lakini kwa ujumla kwa wateja wote wa kituo hiki cha data.

Tulifanya kazi ya uenezi kabla ya wakati juu ya mpito kutoka kwa chaneli za L2, kwa hivyo idadi ya wateja walioathiriwa na kazi kwenye swichi za VXLAN ilikuwa tayari mara kadhaa chini ya mwaka mmoja uliopita. Kwa hivyo, tuliamua kukatiza mawasiliano kupitia huduma ya uunganisho wa L2, mradi tudumishe utendakazi wa kawaida wa huduma za mtandao wa ndani katika kituo kimoja cha data. Kwa kuongezea, SLA ya huduma hii hutoa uwezekano wa kufanya kazi iliyopangwa na usumbufu.

L3

Kwa nini tulipendekeza kwamba kila mtu abadili hadi L3VPN wakati wa kupanga huduma za DCI? Moja ya sababu ni uwezo wa kufanya kazi kwenye mojawapo ya routers zinazotoa huduma hii, kupunguza tu kiwango cha redundancy hadi N + 0, bila kukatiza mawasiliano.

Hebu tuangalie kwa karibu mpango wa utoaji huduma. Katika huduma hii, sehemu ya L2 inatoka kwa seva za mteja hadi kwa vipanga njia vya L3VPN Selectel. Mtandao wa mteja umekatishwa kwenye ruta.

Kila seva ya mteja, k.m. S2 и S3 kwenye mchoro hapo juu, wana anwani zao za kibinafsi za IP - 10.0.0.2/24 kwenye seva S2 и 10.0.0.3/24 kwenye seva S3. Anwani 10.0.0.252/24 и 10.0.0.253/24 iliyotolewa na Selectel kwa ruta L3VPN-1 и L3VPN-2, kwa mtiririko huo. Anwani ya IP 10.0.0.254/24 ni anwani ya VRRP VIP kwenye ruta za Selectel.

Unaweza kujifunza zaidi kuhusu huduma ya L3VPN soma katika blogu yetu.

Kabla ya kubadili, kila kitu kilionekana takriban kama kwenye mchoro:

Routa mbili L3VPN-1 и L3VPN-2 ziliunganishwa kwenye swichi ya zamani ya kujumlisha А. Bwana kwa anwani ya VIP ya VRRP 10.0.0.254 ni kipanga njia L3VPN-1. Ina kipaumbele cha juu kwa anwani hii kuliko kipanga njia L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Seva ya S2 hutumia lango 10.0.0.254 kuwasiliana na seva katika maeneo mengine. Kwa hivyo, kukatwa kwa router ya L3VPN-2 kutoka kwa mtandao (bila shaka, ikiwa imekatwa kwanza kutoka kwa kikoa cha MPLS) haiathiri uunganisho wa seva za mteja. Katika hatua hii, kiwango cha upungufu wa mzunguko hupunguzwa tu.

Baada ya hayo, tunaweza kuunganisha tena router kwa usalama L3VPN-2 kwa jozi ya swichi N. Kuweka viungo, kubadilisha transceivers. Miingiliano ya kimantiki ya router, ambayo uendeshaji wa huduma za mteja inategemea, imezimwa hadi itakapothibitishwa kuwa kila kitu kinafanya kazi inavyopaswa.

Baada ya kuangalia viungo, transceivers, viwango vya ishara, na viwango vya makosa kwenye miingiliano, router inawekwa katika operesheni, lakini tayari imeunganishwa na jozi mpya ya swichi.

Ifuatayo, tunapunguza kipaumbele cha VRRP cha kipanga njia cha L3VPN-1, na anwani ya VIP 10.0.0.254 inahamishiwa kwenye kipanga njia cha L3VPN-2. Kazi hizi pia hufanywa bila usumbufu wa mawasiliano.

Inahamisha anwani ya VIP 10.0.0.254 kwa kipanga njia L3VPN-2 hukuruhusu kuzima router L3VPN-1 bila usumbufu wa mawasiliano kwa mteja na kuiunganisha kwa jozi mpya ya swichi za kujumlisha N.

Iwapo itarejesha au kutorudisha VRRP VIP kwenye kipanga njia cha L3VPN-1 ni swali lingine, na hata ikirejeshwa, inafanywa bila kukatiza muunganisho.

Katika jumla ya

Baada ya hatua hizi zote, tulibadilisha swichi za kujumlisha katika mojawapo ya vituo vyetu vya data, huku tukipunguza usumbufu kwa wateja wetu.

Kilichobaki ni kubomoa tu. Kuvunjwa kwa swichi za zamani, kukatwa kwa viungo vya zamani kati ya swichi A na D, kutenganisha transceivers kutoka kwa viungo hivi, marekebisho ya ufuatiliaji, marekebisho ya michoro ya mtandao katika nyaraka na ufuatiliaji.

Tunaweza kutumia swichi, transceivers, kiraka kamba, AOC, DAC kushoto baada ya kubadili katika miradi mingine au kwa byte nyingine sawa.

"Natasha, tulibadilisha kila kitu!"

Chanzo: mapenzi.com

Hadithi ya swichi moja