Hjoed sil ik jo fertelle hoe't it idee fan it meitsjen fan in nij ynterne netwurk foar ús bedriuw ûntstie en waard útfierd. De posysje fan management is dat jo itselde folweardige projekt foar josels dwaan moatte as foar de klant. As wy it foar ússels goed dogge, kinne wy de klant útnoegje en sjen litte hoe goed wat wy him biede wurket en wurket. Dêrom hawwe wy de ûntwikkeling fan it konsept fan in nij netwurk foar it Moskou-kantoar tige yngeand benadere, mei de folsleine produksjesyklus: analyze fan ôfdielingsferletten → seleksje fan in technyske oplossing → ûntwerp → ymplemintaasje → testen. Dus litte wy begjinne.
Selektearje in technyske oplossing: Mutant Sanctuary
De proseduere foar it wurkjen oan in kompleks automatisearre systeem is op it stuit it bêste beskreaun yn GOST 34.601-90 "Automatisearre systemen. Stages of Creation”, dus wy wurken der neffens. En al yn 'e stadia fan easkenfoarming en konseptûntwikkeling hawwe wy de earste swierrichheden tsjinkaam. Organisaasjes fan ferskate profilen - banken, fersekeringsbedriuwen, software-ûntwikkelders, ensfh - foar har taken en noarmen hawwe se bepaalde soarten netwurken nedich, wêrfan de specifics dúdlik en standerdisearre binne. Dit sil lykwols net by ús wurkje.
Wêrom?
Jet Infosystems is in grut ferskaat IT-bedriuw. Tagelyk is ús ynterne stipe-ôfdieling lyts (mar grutsk), it soarget foar de funksjonaliteit fan basistsjinsten en systemen. It bedriuw befettet in protte divyzjes dy't ferskate funksjes útfiere: dit binne ferskate krêftige outsourcing-teams, en eigen ûntwikkelders fan saaklike systemen, en ynformaasjefeiligens, en arsjitekten fan kompjûtersystemen - yn 't algemien, wa't it is. Dêrtroch binne har taken, systemen en feiligensbelied ek oars. Wat, lykas ferwachte, swierrichheden makke yn it proses fan needanalyse en standerdisearring.
Hjir is bygelyks de ûntwikkelingsôfdieling: har meiwurkers skriuwe en test koade foar in grut oantal klanten. Faak is d'r needsaak om fluch testomjouwings te organisearjen, en earlik sein, it is net altyd mooglik om easken foar elk projekt te formulearjen, boarnen oan te freegjen en in aparte testomjouwing te bouwen yn oerienstimming mei alle ynterne regeljouwing. Dit jout oanlieding ta nijsgjirrige situaasjes: op in dei seach jo beskieden tsjinstfeint yn 'e keamer fan' e ûntwikkelders en fûn ûnder de tafel in goed wurkjende Hadoop-kluster fan 20 buroblêden, dy't ûnferklaarber ferbûn wie mei in mienskiplik netwurk. Ik tink net dat it wurdich is om te ferdúdlikjen dat de IT-ôfdieling fan it bedriuw net wist oer har bestean. Dizze omstannichheid, lykas in protte oaren, wie ferantwurdlik foar it feit dat yn 'e ûntwikkeling fan it projekt waard berne de term "mutant reserve", dy't beskriuwt de steat fan in lange-lijen kantoar ynfrastruktuer.
Of hjir is in oar foarbyld. Periodyk wurdt binnen in ôfdieling in proefbank delset. Dit wie it gefal mei Jira en Confluence, dy't yn guon projekten yn in beheinde omfang brûkt waarden troch it Software Development Center. Nei in skoft learden oare ôfdielingen oer dizze nuttige boarnen, evaluearren se, en oan 'e ein fan 2018 ferhuze Jira en Confluence fan' e status fan "boartersguod fan pleatslike programmeurs" nei de status fan "bedriuwsboarnen." No moat in eigner wurde tawiisd oan dizze systemen, SLA's, tagongs- / ynformaasjefeiligensbelied, reservekopybelied, tafersjoch, regels foar routing fan fersiken om problemen te reparearjen moatte wurde definieare - yn 't algemien moatte alle attributen fan in folweardich ynformaasjesysteem oanwêzich wêze .
Elk fan ús divyzjes is ek in ynkubator dy't har eigen produkten groeit. Guon fan harren stjerre yn 'e ûntwikkelingsstadium, guon brûke wy by it wurkjen oan projekten, wylst oaren woartelje en wurde replikeare oplossingen dy't wy sels begjinne te brûken en te ferkeapjen oan kliïnten. Foar elk sa'n systeem is it winsklik om in eigen netwurkomjouwing te hawwen, wêr't it sil ûntwikkelje sûnder ynterferinsje mei oare systemen, en op in stuit kin wurde yntegrearre yn 'e ynfrastruktuer fan it bedriuw.
Neist ûntwikkeling, wy hawwe in hiel grut mei mear as 500 meiwurkers, foarme yn teams foar eltse klant. Se binne belutsen by it ûnderhâld fan netwurken en oare systemen, kontrôle op ôfstân, it oplossen fan oanspraken, ensfh. Dat is, de ynfrastruktuer fan 'e SC is yn feite de ynfrastruktuer fan 'e klant mei wa't se op it stuit wurkje. De eigenaardichheid fan it wurkjen mei dizze seksje fan it netwurk is dat har wurkstasjons foar ús bedriuw foar in part ekstern, en foar in part yntern binne. Dêrom hawwe wy foar de SC de folgjende oanpak ymplementearre - it bedriuw leveret de korrespondearjende ôfdieling netwurk en oare boarnen, sjoen de wurkstasjons fan dizze ôfdielingen as eksterne ferbiningen (nei analogy mei tûken en brûkers op ôfstân).
Rykswei-ûntwerp: wy binne de operator (ferrassing)
Nei it beoardieljen fan alle falkûlen, realisearre wy dat wy krigen in telekommunikaasje operator netwurk binnen ien kantoar, en wy begûn te hanneljen neffens.
Wy hawwe in kearnnetwurk makke wêrmei't elke ynterne, en yn 'e takomst ek eksterne, konsumint de fereaske tsjinst wurdt foarsjoen: L2 VPN, L3 VPN of reguliere L3-routing. Guon ôfdielingen hawwe feilige ynternettagong nedich, wylst oaren skjinne tagong nedich hawwe sûnder firewalls, mar tagelyk ús bedriuwsboarnen en kearnnetwurk beskermje fan har ferkear.
Wy hawwe ynformeel "in SLA ôfsletten" mei elke divyzje. Yn oerienstimming dêrmei moatte alle ynsidinten dy't ûntsteane binnen in beskate, fan tefoaren ôfpraat termyn eliminearre wurde. De easken fan it bedriuw oan har netwurk bliken strang te wêzen. De maksimale reaksjetiid op in ynsidint yn gefal fan telefoan- en e-postfalen wie 5 minuten. De tiid om netwurkfunksjonaliteit te herstellen by typyske flaters is net mear as in minút.
Sûnt wy hawwe in carrier-grade netwurk, kinne jo allinne ferbine mei it yn strikt oerienstimming mei de regels. Service-ienheden stelle belied en leverje tsjinsten. Se hawwe net iens ynformaasje nedich oer de ferbiningen fan spesifike servers, firtuele masines en wurkstasjons. Mar tagelyk binne beskermingsmeganismen nedich, om't net ien ferbining it netwurk moat útskeakelje. As in loop per ongeluk oanmakke is, moatte oare brûkers dit net opmerke, dat is in adekwate antwurd fan it netwurk nedich. Elke telekomoperator lost konstant ferlykbere skynber komplekse problemen binnen har kearnnetwurk op. It leveret tsjinst oan in protte kliïnten mei ferskate behoeften en ferkear. Tagelyk moatte ferskate abonnees gjin oerlêst ûnderfine fan it ferkear fan oaren.
Thús hawwe wy dit probleem op 'e folgjende manier oplost: wy bouden in rêchbonke L3-netwurk mei folsleine redundânsje, mei it IS-IS-protokol. In overlay netwurk waard boud boppe op 'e kearn basearre op technology /, mei in routingprotokol . Om de konverginsje fan routingprotokollen te fersnellen, waard BFD-technology brûkt.
Netwurk struktuer
Yn tests toande dit skema himsels poerbêst te wêzen - as in kanaal of switch is loskeppele, is de konverginsjetiid net mear as 0.1-0.2 s, in minimum fan pakketten binne ferlern (faak gjin), TCP-sesjes wurde net skuord, telefoanpetearen wurde net ûnderbrutsen.
Underlay Layer - Routing
Overlay Layer - Routing
Huawei CE6870 switches mei VXLAN lisinsjes waarden brûkt as distribúsje switches. Dit apparaat hat in optimale priis / kwaliteitsferhâlding, wêrtroch jo abonnees kinne ferbine mei in snelheid fan 10 Gbit / s, en ferbine mei de rêchbonke mei snelheden fan 40-100 Gbit / s, ôfhinklik fan de brûkte transceivers.
Huawei CE6870 switches
Huawei CE8850 switches waarden brûkt as kearn switches. It doel is om ferkear fluch en betrouber troch te bringen. Gjin apparaten binne ferbûn mei harren útsein distribúsje switches, se witte neat oer VXLAN, dus in model mei 32 40/100 Gbps havens waard keazen, mei in basis lisinsje dy't jout L3 routing en stipe foar de IS-IS en MP-BGP protokollen.
De ûnderste is de Huawei CE8850 kearn switch
Op it ûntwerpstadium bruts in diskusje út binnen it team oer technologyen dy't koe wurde brûkt om in fouttolerante ferbining te ymplementearjen mei kearnnetwurkknooppunten. Us Moskou kantoar leit yn trije gebouwen, wy hawwe 7 distribúsje keamers, wêrfan elk twa Huawei CE6870 distribúsje Switches waarden ynstallearre (allinne tagong switches waarden ynstallearre yn ferskate distribúsje keamers). By it ûntwikkeljen fan it netwurkkonsept waarden twa redundancy-opsjes beskôge:
- Konsolidaasje fan distribúsje skeakelt yn in fault-tolerante stack yn elke cross-ferbining keamer. Pros: ienfâld en gemak fan opset. Neidielen: d'r is in hegere kâns op mislearring fan 'e heule stapel as flaters foarkomme yn' e firmware fan netwurkapparaten ("ûnthâldlekken" en sa).
- Tapasse M-LAG- en Anycast-gatewaytechnologyen om apparaten te ferbinen mei distribúsjeskeakels.
Uteinlik hawwe wy fêststeld op 'e twadde opsje. It is wat dreger om te konfigurearjen, mar hat yn 'e praktyk syn prestaasjes en hege betrouberens toand.
Litte wy earst beskôgje it ferbinen fan einapparaten oan distribúsjeskeakels:
Krús
In tagong switch, server, of in oar apparaat dat fereasket in fout-tolerante ferbining is opnaam yn twa distribúsje switches. M-LAG technology soarget foar redundânsje op it nivo fan gegevenslinks. Der wurdt fan útgien dat twa distribúsje skakelaars ferskine oan de ferbûne apparatuer as ien apparaat. Redundânsje en loadbalâns wurde útfierd mei it LACP-protokol.
Anycast gateway technology soarget foar redundânsje op netwurknivo. In frij grut oantal VRF's binne konfigureare op elk fan 'e distribúsjeskeakels (elke VRF is bedoeld foar har eigen doelen - apart foar "gewoane" brûkers, apart foar telefony, apart foar ferskate test- en ûntwikkelingsomjouwing, ensfh.), En yn elk VRF hat ferskate VLANs konfigurearre. Yn ús netwurk binne distribúsjeskeakels de standert poarten foar alle apparaten dy't dêrmei ferbûn binne. De IP-adressen dy't oerienkomme mei de VLAN-ynterfaces binne itselde foar beide distribúsjeskeakels. Ferkear wurdt omlaat troch de tichtstbye switch.
Litte wy no sjen nei it ferbinen fan distribúsjeskeakels nei de kernel:
Fault tolerance wurdt levere op it netwurk nivo mei help fan it IS-IS protokol. Tink derom dat in aparte L3-kommunikaasjeline is foarsjoen tusken de skeakels, mei in snelheid fan 100G. Fysiek is dizze kommunikaasjeline in kabel foar direkte tagong; it is rjochts te sjen yn 'e foto fan Huawei CE6870-skeakels.
In alternatyf soe wêze in organisearjen fan in "earlik" folslein ferbûn dûbele star topology, mar, lykas sein hjirboppe, wy hawwe 7 cross-ferbining keamers yn trije gebouwen. As wy de "dûbele stjer" topology hiene keazen, soene wy dus krekt twa kear safolle "lange berik" 40G-transceivers nedich hawwe. De besparrings hjir binne heul wichtich.
In pear wurden moatte wurde sein oer hoe't VXLAN en Anycast gateway technologyen gearwurkje. VXLAN, sûnder yn te gean yn details, is in tunnel foar it ferfieren fan Ethernet-frames binnen UDP-pakketten. De loopback-ynterface fan distribúsjeskeakels wurde brûkt as it bestimmings-IP-adres fan 'e VXLAN-tunnel. Eltse crossover hat twa skakelaars mei deselde loopback ynterface adressen, sadat in pakket kin oankomme op ien fan harren, en in Ethernet frame kin wurde helle út it.
As de switch wit oer it bestimming MAC-adres fan it ophelle frame, sil it frame korrekt wurde levere oan syn bestimming. Om te soargjen dat beide distribúsjeskeakels ynstalleare yn deselde krúsferbining aktuele ynformaasje hawwe oer alle MAC-adressen dy't "oankomme" fan 'e tagongswitches, is it M-LAG-meganisme ferantwurdlik foar it syngronisearjen fan de MAC-adrestabellen (lykas ARP) tabellen) op beide skeakels M-LAG-pearen.
Ferkearsbalâns wurdt berikt troch de oanwêzigens yn it ûnderlizzende netwurk fan ferskate rûtes nei de loopback-ynterfaces fan distribúsjeskeakels.
Yn stee fan in konklúzje
Lykas hjirboppe neamde, toande it netwurk by testen en eksploitaasje hege betrouberens (hersteltiid foar typyske flaters is net mear as hûnderten millisekonden) en goede prestaasjes - elke cross-ferbining is ferbûn mei de kearn troch twa 40 Gbit/s-kanalen. Tagongswitches yn ús netwurk wurde steapele en ferbûn mei distribúsjeskeakels fia LACP / M-LAG mei twa 10 Gbit / s-kanalen. In stack meastentiids befettet 5 skakelaars mei 48 havens elk, en up 10 tagong stacks binne ferbûn mei de ferdieling yn eltse cross-ferbining. Sa leveret de rêchbonke sawat 30 Mbit / s per brûker sels by de maksimale teoretyske lading, dy't op it stuit fan skriuwen genôch is foar al ús praktyske tapassingen.
It netwurk lit jo de keppeling fan willekeurige ferbûne apparaten naadloos organisearje fia sawol L2 as L3, it leverjen fan folsleine isolaasje fan ferkear (wat de tsjinst foar ynformaasjefeiligens liket) en flaterdomeinen (wat it operaasjeteam liket).
Yn it folgjende diel sille wy jo fertelle hoe't wy migrearren nei it nije netwurk. Bliuw op 'e hichte!
Maxim Klochkov
Senior adviseur fan de netwurk audit en komplekse projekten groep
Netwurk Solutions Center
"Jet Infosystems"
Boarne: www.habr.com