Ang istorya sa usa ka switch

Sa among lokal nga network aggregation aduna kami unom ka parisan sa Arista DCS-7050CX3-32S switch ug usa ka pares sa Brocade VDX 6940-36Q switch. Dili kini tungod kay nabug-atan kami sa mga switch sa Brocade sa kini nga network, sila nagtrabaho ug nagpahigayon sa ilang mga gimbuhaton, apan kami nag-andam sa hingpit nga automation sa pipila nga mga aksyon, ug wala kami niini nga mga kapabilidad sa kini nga mga switch. Gusto usab nako nga mobalhin gikan sa 40GE nga mga interface ngadto sa posibilidad sa paggamit sa 100GE aron makahimo og reserba alang sa sunod nga 2-3 ka tuig. Busa nakahukom kami nga ilisan ang Brocade ngadto sa Arista.

Kini nga mga switch mao ang LAN aggregation switch alang sa matag data center. Ang mga switch sa pag-apod-apod (ang ikaduha nga lebel sa aggregation) direkta nga konektado sa kanila, nga nag-assemble na sa Top-of-Rack nga mga switch sa lokal nga network sa mga rack nga adunay mga server.

Ang matag server konektado sa usa o duha ka access switch. Ang mga switch sa pag-access konektado sa usa ka pares sa mga switch sa pag-apod-apod (duha ka switch sa pag-apod-apod ug duha ka pisikal nga mga link gikan sa switch sa pag-access sa lainlaing mga switch sa pag-apod-apod gigamit alang sa redundancy).

Ang matag server mahimong magamit sa kaugalingon nga kliyente, mao nga ang kliyente gigahin sa usa ka lahi nga VLAN. Ang parehas nga VLAN dayon narehistro sa lain nga server sa kini nga kliyente sa bisan unsang rack. Ang sentro sa datos naglangkob sa daghang ingon nga mga laray (POD), ang matag laray sa mga rack adunay kaugalingon nga mga switch sa pag-apod-apod. Dayon kini nga mga switch sa pag-apod-apod konektado sa mga switch sa aggregation.

Ang mga kliyente mahimong mag-order sa usa ka server sa bisan unsang laray; imposible nga matagna daan nga ang server igahin o i-install sa usa ka piho nga laray sa usa ka piho nga rack, mao nga adunay mga 2500 nga VLAN sa aggregation switch sa matag data center.

Ang mga kagamitan para sa DCI (Data-Center Interconnect) konektado sa aggregation switch. Mahimo kini alang sa koneksyon sa L2 (usa ka pares sa mga switch nga nagporma usa ka tunel sa VXLAN sa lain nga sentro sa datos) o alang sa koneksyon sa L3 (duha ka mga router sa MPLS).

Sama sa gisulat ko na, aron mahiusa ang mga proseso sa pag-automate sa pag-configure sa mga serbisyo sa mga kagamitan sa usa ka sentro sa datos, kinahanglan nga ilisan ang mga switch sa sentral nga aggregation. Nag-instalar kami og mga bag-ong switch sunod sa naa na, gihiusa kini sa usa ka pares sa MLAG ug nagsugod sa pag-andam alang sa trabaho. Diha-diha dayon sila konektado sa kasamtangan nga aggregation switch, aron sila adunay usa ka komon nga L2 nga domain sa tanang kliyente nga VLAN.

Mga detalye sa circuit

Para sa mga detalye, hinganlan nato ang daan nga aggregation switch A1 и A2, bag-o nga - N1 и N2. Atong hunahunaon nga sa POD 1 и POD 4 Ang mga server sa usa ka kliyente gi-host S1, Ang kliyente nga VLAN gipakita sa asul. Kini nga kliyente naggamit sa L2 connectivity service sa laing data center, mao nga ang VLAN niini gipakaon sa usa ka pares sa VXLAN switch.

Kustomer S2 nag-host sa mga server sa POD 2 и POD 3, Ang kliyente nga VLAN gipaila sa itom nga berde. Ang kini nga kliyente naggamit usab usa ka serbisyo sa pagkonekta sa lain nga sentro sa datos, apan ang L3, mao nga ang VLAN niini gipakaon sa usa ka pares nga mga router sa L3VPN.

Kinahanglan namon ang mga kliyente nga VLAN aron masabtan kung unsa nga mga yugto sa trabaho nga puli kung unsa ang mahitabo, kung diin mahitabo ang pagkabalda sa komunikasyon, ug kung unsa ang gidugayon niini. Ang STP protocol wala gigamit sa kini nga laraw, tungod kay ang gilapdon sa kahoy alang niini sa kini nga kaso dako, ug ang panagsama sa protocol mitubo nga kusog sa gidaghanon sa mga aparato ug mga link sa taliwala nila.

Ang tanan nga mga aparato nga konektado sa doble nga mga link nagporma usa ka stack, MLAG pares o VCS Ethernet nga panapton. Alang sa usa ka pares sa L3VPN router, ang ingon nga mga teknolohiya wala gigamit, tungod kay wala’y kinahanglan alang sa L2 redundancy; igo na nga sila adunay koneksyon sa L2 sa usag usa pinaagi sa mga switch sa aggregation.

Mga kapilian sa pagpatuman

Kung nag-analisar sa mga kapilian alang sa dugang nga mga panghitabo, nahibal-an namon nga adunay daghang mga paagi aron mahimo kini nga buluhaton. Gikan sa global break sa tibuok lokal nga network, ngadto sa gamay nga literal nga 1-2 segundos nga break sa mga bahin sa network.

Network, hunong! Mga switch, ilisan kini!

Ang pinakasayon ​​nga paagi mao, siyempre, ang pagdeklarar og global communication break sa tanang POD ug tanang serbisyo sa DCI ug ibalhin ang tanang link gikan sa mga switch. А sa mga switch N.

Gawas sa pagkabalda, ang oras nga dili nato masaligan nga matagna (oo, nahibal-an namon ang gidaghanon sa mga link, apan wala kami mahibal-an kung pila ka beses nga adunay mahitabo nga sayup - gikan sa usa ka guba nga patch cord o nadaot nga konektor hangtod sa usa ka sayup nga pantalan o transceiver. ), dili gihapon nato matag-an daan kung ang gitas-on sa mga patch cord, DAC, AOC, konektado sa daan nga switch A, igo na ba aron maabot sila sa bag-ong switch N, bisan tuod nagbarog tupad nila, apan gamay pa sa sa kilid, ug kung ang parehas nga mga transceiver molihok /DAC/AOC gikan sa Brocade switch sa Arista switch.

Ug kining tanan ubos sa mga kondisyon sa grabe nga pagpit-os gikan sa mga kustomer ug teknikal nga suporta ("Natasha, bangon! Natasha, ang tanan wala magtrabaho didto! Natasha, nagsulat na kami sa teknikal nga suporta, sa tinuod lang! Natasha, gihulog na nila ang tanan. ! Natasha, pila pa ang wala nato mahimo? Natasha, kanus-a kini molihok?!"). Bisan pa sa gipahibalo nang daan nga pahulay ug pahibalo sa mga kliyente, ang pagdagsang sa mga hangyo sa ingon nga panahon gigarantiyahan.

Hunong, 1-2-3-4!

Unsa kaha kung dili kami magpahibalo sa usa ka global nga pahulay, apan usa ka serye sa gagmay nga mga pagkabalda sa komunikasyon alang sa mga serbisyo sa POD ug DCI. Atol sa unang break, switch sa switch N lamang POD 1, sa ikaduha - sa usa ka magtiayon nga mga adlaw - POD 2, unya pipila pa ka adlaw POD 3, Dugang pa POD 4…[N], dayon ang VXLAN switch ug dayon ang L3VPN routers.

Uban niini nga organisasyon sa pagbalhin sa trabaho, among gipakunhod ang pagkakomplikado sa usa ka higayon nga trabaho ug gidugangan ang among oras aron masulbad ang mga problema kung adunay kalit nga sayup. Ang POD 1 nagpabilin nga konektado sa ubang mga POD ug DCI pagkahuman sa pagbalhin. Apan ang trabaho mismo nagpadayon sa dugay nga panahon; sa panahon sa kini nga trabaho sa data center, gikinahanglan ang usa ka inhenyero nga pisikal nga himuon ang pagbalhin, ug sa panahon sa trabaho (ug ang ingon nga trabaho gihimo, ingon usa ka lagda, sa gabii, gikan sa 2 hangtod 5 am), ang presensya sa usa ka online network engineer gikinahanglan sa medyo taas nga lebel nga kwalipikasyon. Apan pagkahuman nakakuha kami mga mubu nga pagkabalda sa komunikasyon; ingon usa ka lagda, ang trabaho mahimo’g himuon sa usa ka gilay-on nga tunga sa oras nga adunay pahulay hangtod sa 2 minuto (sa praktis, kasagaran 20-30 segundos nga adunay gipaabut nga pamatasan sa kagamitan).

Sa pananglitan nga kliyente S1 o kliyente S2 kinahanglan ka nga magpasidaan bahin sa trabaho nga adunay pagkabalda sa komunikasyon labing menos tulo ka beses - ang una nga higayon nga himuon ang trabaho sa usa ka POD, diin nahimutang ang usa sa mga server niini, ang ikaduha nga higayon - sa ikaduha, ug ang ikatulo nga higayon - kung kanus-a. switching equipment para sa mga serbisyo sa DCI.

Pagbalhin sa aggregated nga mga channel sa komunikasyon

Ngano nga naghisgot kami bahin sa gipaabut nga pamatasan sa mga ekipo, ug kung giunsa ang mga aggregated channel mahimong mabalhin samtang gipamubu ang pagkabalda sa komunikasyon? Hunahunaa ang mosunod nga hulagway:

Sa usa ka kilid sa link adunay mga switch sa pag-apod-apod sa POD - D1 и D2, nagporma sila usa ka pares nga MLAG sa usag usa (stack, pabrika sa VCS, pares sa vPC), sa laing bahin adunay duha ka mga link - Link 1 и Link 2 - gilakip sa MLAG nga pares sa daan nga aggregation switch А. Sa kilid sa switch D usa ka aggregated interface nga adunay ngalan Port-channel A, sa kilid sa aggregation switch А - aggregated interface uban sa ngalan Port-channel D.

Ang mga aggregated interface naggamit sa LACP sa ilang operasyon, nga mao, ang mga switch sa duha ka kilid kanunay nga nagbinayloay sa mga pakete sa LACPDU sa duha nga mga link aron masiguro nga ang mga link:

• mga trabahante;
• gilakip sa usa ka parisan sa mga aparato sa hilit nga bahin.

Kung magbinayloay sa mga pakete, ang pakete nagdala sa kantidad sistema-id, nga nagpakita sa device diin kini nga mga link gilakip. Alang sa usa ka pares sa MLAG (stack, pabrika, ug uban pa), ang kantidad sa system-id alang sa mga aparato nga nagporma sa giipon nga interface parehas. Pagbalhin D1 nagpadala sa Link 1 kahulugan sistema-id D, ug switch D2 nagpadala sa Link 2 kahulugan sistema-id D.

Mga switch A1 и A2 analisa ang mga pakete sa LACPDU nga nadawat sa usa ka interface sa Po D ug susiha kung ang system-id niini nagtugma. Kung ang system-id nga nadawat pinaagi sa pipila ka link kalit nga lahi gikan sa kasamtangan nga kantidad sa operasyon, unya kini nga link gikuha gikan sa aggregated interface hangtud nga ang sitwasyon matul-id. Karon sa among switch nga bahin D kasamtangan nga bili sa system-id gikan sa LACP partner - A, ug sa switch side А — karon nga kantidad sa system-id gikan sa kauban sa LACP — D.

Kung kinahanglan namon nga ibalhin ang giipon nga interface, mahimo namon kini sa duha nga lainlaing mga paagi:

Pamaagi 1 - Yano
I-disable ang duha ka link gikan sa switch A. Sa kini nga kaso, ang aggregated channel dili molihok.

Ikonektar ang duha ka link sa usag usa ngadto sa mga switch N, unya ang LACP operating parameters makigsabot pag-usab ug ang interface maporma PoD sa mga switch N ug pagpasa sa mga kantidad sa mga link sistema-id N.

Pamaagi 2 - Pagmenos sa pagkabalda
Idiskonekta ang Link 2 gikan sa switch A2. Sa samang higayon, ang trapiko tali sa А и D magpadayon nga ipasa lamang sa usa sa mga link, nga magpabilin nga bahin sa aggregated interface.

Ikonektar ang Link 2 aron ibalhin ang N2. Sa switch N ang aggregated interface na-configure na Po DN, ug switch N2 magsugod sa pagpadala sa LACPDU sistema-id N. Niini nga yugto masusi na nato nga ang switch N2 nagtrabaho sa husto sa transceiver nga gigamit alang sa Link 2, nga ang koneksyon nga pantalan nakasulod sa estado Up, ug nga walay mga kasaypanan nga mahitabo sa koneksyon nga pantalan sa pagpadala sa mga LACPDU.

Apan ang kamatuoran nga ang switch D2 alang sa aggregated interface Po A gikan sa kilid Ang Link 2 nakadawat ug system-id N nga kantidad nga lahi sa karon nga operating system-id A nga kantidad, dili motugot sa mga switch D pagpaila Link 2 bahin sa aggregated interface Po A. Pagbalhin N dili makasulod Link 2 ngadto sa operasyon, tungod kay wala kini makadawat og kumpirmasyon sa operability gikan sa LACP partner sa switch D2. Ang resulta sa trapiko mao ang Link 2 dili makalusot.

Ug karon atong gipalong ang Link 1 gikan sa switch A1, sa ingon naghikaw sa mga switch А и D nagtrabaho aggregate interface. Busa sa switch nga bahin D ang kasamtangan nga nagtrabaho nga sistema-id nga bili alang sa interface mawala Po A.

Kini nagtugot sa mga switch D и N mouyon sa pagbaylo sa system-id USA KA sa mga interface Po A и Po DN, aron ang trapiko magsugod sa pagpasa sa link Link 2. Ang pahulay sa kini nga kaso, sa praktis, hangtod sa 2 segundos.

Ug karon dali namong mabalhin ang Link 1 aron mabalhin ang N1, pagpasig-uli sa kapasidad ug ang-ang sa interface redundancy Po A и Po DN. Tungod kay kung kini nga link konektado, ang karon nga sistema-id nga kantidad dili mausab sa bisan asa nga kilid, walay pagkabalda.

Dugang nga mga link

Apan ang switch mahimong ipahigayon nga walay presensya sa usa ka engineer sa panahon sa switching. Aron mahimo kini, kinahanglan namon nga magbutang og dugang nga mga link tali sa mga switch sa pag-apod-apod nga daan D ug bag-ong aggregation switch N.

Nagbutang kami og bag-ong mga sumpay tali sa mga switch sa aggregation N ug mga switch sa pag-apod-apod alang sa tanan nga mga POD. Nagkinahanglan kini og pag-order ug pagbutang og dugang nga mga patch cord, ug pag-instalar og dugang nga mga transceiver sama sa N, ug sa D. Mahimo nato kini tungod kay sa atong mga switch D Ang matag POD adunay libre nga mga pantalan (o pre-libre namo sila). Ingon nga resulta, ang matag POD pisikal nga konektado sa duha ka mga link sa daan nga switch A ug sa bag-ong switch N.

Sa switch D duha ka aggregated interface ang naporma - Po A uban sa mga link Link 1 и Link 2ug Po N - nga adunay mga link Link N1 и Link N2. Niini nga yugto, atong susihon ang husto nga koneksyon sa mga interface ug mga link, ang lebel sa optical signal sa duha ka tumoy sa mga link (pinaagi sa DDM nga impormasyon gikan sa mga switch), mahimo pa gani nato nga susihon ang performance sa link ubos sa load o monitor sa mga estado sa optical signal ug temperatura sa transceiver sulod sa pipila ka adlaw.

Ang trapiko gipadala gihapon pinaagi sa interface Po A, ug ang interface Po N walay gasto sa trapiko. Ang mga setting sa mga interface sama niini:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Ang mga switch sa D, ingon nga usa ka lagda, nagsuporta sa mga pagbag-o sa configuration nga nakabase sa sesyon; gigamit ang mga modelo sa switch nga adunay kini nga gamit. Busa mahimo natong usbon ang mga setting sa Po A ug Po N interface sa usa ka lakang:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Unya ang pagbag-o sa pag-configure mahitabo dayon, ug ang pahulay, sa praktis, dili molapas sa 5 segundos.

Kini nga pamaagi nagtugot kanato sa pagkompleto sa tanan nga pagpangandam nga buhat sa abante, sa pagtuman sa tanan nga mga gikinahanglan nga mga tseke, coordinate sa trabaho uban sa mga partisipante sa proseso, pagtagna sa detalye sa mga aksyon alang sa produksyon sa trabaho, nga walay mga flight sa pagkamamugnaon sa diha nga "ang tanan nahimong sayop. ,” ug adunay plano sa pagbalik sa miaging configuration. Ang pagtrabaho sumala niini nga plano gihimo sa usa ka network engineer nga wala ang presensya sa usa ka data center engineer sa site nga pisikal nga nagpahigayon sa pagbalhin.

Ang hinungdanon usab sa kini nga pamaagi sa pagbalhin mao nga ang tanan nga mga bag-ong link na-monitor na daan. Mga kasaypanan, paglakip sa mga link sa yunit, pagkarga sa mga link - ang tanan nga kinahanglan nga kasayuran naa na sa sistema sa pag-monitor, ug kini nadani na sa mga mapa.

D-Day

POD

Gipili namo ang pinakagamay nga sakit nga switching path para sa mga kliyente ug ang pinakagamay nga prone sa "may nahitabo nga sayup" nga mga senaryo nga adunay dugang nga mga link. Mao nga gibalhin namo ang tanang POD sa bag-ong mga switch sa aggregation sulod sa pipila ka gabii.

Apan ang nahabilin mao ang pagbalhin sa kagamitan nga naghatag serbisyo sa DCI.

L2

Sa kaso sa mga ekipo nga naghatag L2 koneksyon, wala kami makahimo sa parehas nga trabaho nga adunay dugang nga mga link. Adunay labing menos duha ka hinungdan niini:

• Kakulang sa libre nga mga pantalan sa gikinahanglan nga katulin sa mga switch sa VXLAN.
• Kakulang sa pag-andar sa pagbag-o sa configuration sa sesyon sa mga switch sa VXLAN.

Wala kami magbalhin sa mga link "sa usa ka higayon" nga adunay usa ka pahulay lamang samtang nag-uyon sa usa ka bag-ong pares sa system-id, tungod kay wala kami 100% nga pagsalig nga ang pamaagi moadto sa husto, ug usa ka pagsulay sa laboratoryo nagpakita nga sa kaso kung "may nahitabo nga sayup," nakakuha gihapon kami usa ka pagkabalda sa koneksyon, ug ang labing daotan dili lamang alang sa mga kliyente nga adunay koneksyon sa L2 sa ubang mga sentro sa datos, apan sa kinatibuk-an alang sa tanan nga mga kliyente sa kini nga sentro sa datos.

Naghimo kami og propaganda nga buhat sa una sa panahon sa transisyon gikan sa L2 channels, mao nga ang gidaghanon sa mga kliyente nga apektado sa pagtrabaho sa VXLAN switch na sa pipila ka mga higayon nga ubos pa kay sa usa ka tuig na ang milabay. Ingon usa ka sangputanan, nakahukom kami nga hunongon ang komunikasyon pinaagi sa serbisyo sa koneksyon sa L2, kung gipadayon namon ang normal nga operasyon sa mga serbisyo sa lokal nga network sa usa ka sentro sa datos. Dugang pa, ang SLA alang sa kini nga serbisyo naghatag alang sa posibilidad sa pagpatuman sa naka-iskedyul nga trabaho nga adunay mga pagkabalda.

L3

Ngano nga girekomenda namon nga ang tanan mobalhin sa L3VPN kung mag-organisar sa mga serbisyo sa DCI? Usa sa mga hinungdan mao ang abilidad sa pagbuhat sa trabaho sa usa sa mga routers nga naghatag niini nga serbisyo, sa yano nga pagkunhod sa redundancy nga lebel sa N + 0, nga walay paghunong sa komunikasyon.

Atong tan-awon pag-ayo ang laraw sa paghatag serbisyo. Sa kini nga serbisyo, ang bahin sa L2 gikan sa mga server sa kliyente hangtod sa mga router sa L3VPN Selectel. Ang network sa kliyente gitapos sa mga router.

Ang matag server sa kliyente, e.g. S2 и S3 sa dayagram sa ibabaw, adunay ilang kaugalingon nga pribado nga mga adres sa IP - 10.0.0.2/24 sa server nga S2 и 10.0.0.3/24 sa server nga S3. Mga adres 10.0.0.252/24 и 10.0.0.253/24 Gi-assign ni Selectel sa mga routers L3VPN-1 и L3VPN-2, matag usa. IP adres Ang 10.0.0.254/24 usa ka VRRP VIP nga adres sa Selectel routers.

Mahibal-an nimo ang dugang bahin sa serbisyo sa L3VPN pagbasa sa among blog.

Sa wala pa ang switch, ang tanan tan-awon sama sa diagram:

Duha ka router L3VPN-1 и L3VPN-2 konektado sa daan nga aggregation switch А. Ang agalon alang sa VRRP VIP address 10.0.0.254 mao ang router L3VPN-1. Kini adunay mas taas nga prayoridad alang niini nga adres kay sa router L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Ang S2 server naggamit sa gateway 10.0.0.254 aron makigkomunikar sa mga server sa ubang mga lokasyon. Busa, ang pagdiskonekta sa L3VPN-2 router gikan sa network (siyempre, kung kini una nga nadiskonekta gikan sa MPLS domain) dili makaapekto sa koneksyon sa mga server sa kliyente. Niini nga punto, ang lebel sa redundancy sa sirkito gipakunhod lamang.

Human niini luwas na natong makonektar ang router L3VPN-2 sa usa ka pares nga switch N. Ibutang ang mga link, usba ang mga transceiver. Ang lohikal nga mga interface sa router, diin ang operasyon sa mga serbisyo sa kliyente nagdepende, gibabagan hangtod nga makumpirma nga ang tanan naglihok ingon kinahanglan.

Human masusi ang mga link, mga transceiver, lebel sa signal, ug lebel sa sayup sa mga interface, ang router gibutang sa operasyon, apan konektado na sa usa ka bag-ong parisan sa mga switch.

Sunod, among gipaubos ang VRRP nga prayoridad sa L3VPN-1 router, ug ang VIP address 10.0.0.254 gibalhin sa L3VPN-2 router. Kini nga mga buhat gihimo usab nga wala’y paghunong sa komunikasyon.

Pagbalhin sa VIP address 10.0.0.254 sa router L3VPN-2 nagtugot kanimo sa pag-disable sa router L3VPN-1 nga walay paghunong sa komunikasyon alang sa kliyente ug ikonektar kini sa usa ka bag-ong parisan sa aggregation switch N.

Kung ibalik o dili ang VRRP VIP sa L3VPN-1 nga router usa pa ka pangutana, ug bisan kung kini gibalik, nahimo kini nga wala makabalda sa koneksyon.

Total

Pagkahuman niining tanan nga mga lakang, gipulihan gyud namo ang mga switch sa aggregation sa usa sa among mga data center, samtang gipamenos ang pagkabalda sa among mga kustomer.

Ang nahabilin mao ang pagbungkag. Pagbungkag sa mga daan nga switch, pagbungkag sa daan nga mga link tali sa switch A ug D, pagbungkag sa mga transceiver gikan niini nga mga link, pagtul-id sa pagmonitor, pagtul-id sa mga diagram sa network sa dokumentasyon ug pagmonitor.

Mahimo natong gamiton ang mga switch, transceiver, patch cord, AOC, DAC nga nahabilin human sa pagbalhin sa ubang mga proyekto o alang sa uban pang susama nga switching.

"Natasha, gibalhin namo ang tanan!"

Source: www.habr.com