Karon isulti ko kanimo kung giunsa ang ideya sa paghimo og usa ka bag-ong internal nga network alang sa among kompanya namugna ug gipatuman. Ang posisyon sa pagdumala mao nga kinahanglan nimo nga buhaton ang parehas nga hingpit nga proyekto alang sa imong kaugalingon sama sa kliyente. Kung buhaton nato kini og maayo alang sa atong kaugalingon, mahimo natong imbitahon ang kustomer ug ipakita kung unsa ka maayo ang atong gitanyag kaniya nga nagtrabaho ug nagtrabaho. Busa, giduol namo ang pag-uswag sa konsepto sa usa ka bag-ong network alang sa opisina sa Moscow sa hingpit nga paagi, gamit ang bug-os nga siklo sa produksyon: pagtuki sa mga panginahanglan sa departamento β pagpili sa usa ka teknikal nga solusyon β disenyo β pagpatuman β pagsulay. So magsugod ta.
Pagpili ug Teknikal nga Solusyon: Mutant Sanctuary
Ang pamaagi alang sa pagtrabaho sa usa ka komplikado nga awtomatiko nga sistema karon labing maayo nga gihulagway sa GOST 34.601-90 "Mga awtomatikong sistema. Mga Yugto sa Paglalang", mao nga kami nagtrabaho sumala niini. Ug naa sa mga yugto sa pagporma sa mga kinahanglanon ug pagpalambo sa konsepto, nasugatan namo ang unang mga kalisdanan. Ang mga organisasyon sa lainlaing mga profile - mga bangko, kompanya sa seguro, mga developer sa software, ug uban pa - alang sa ilang mga buluhaton ug mga sumbanan, kinahanglan nila ang pipila nga mga lahi sa mga network, ang mga detalye nga klaro ug na-standardize. Bisan pa, dili kini molihok uban kanamo.
ΠΠΎΡΠ΅ΠΌΡ?
Ang Jet Infosystems usa ka dako nga lainlain nga kompanya sa IT. Sa parehas nga oras, ang among internal nga departamento sa suporta gamay (apan mapahitas-on), gisiguro niini ang pagpaandar sa mga batakang serbisyo ug sistema. Ang kompaniya naglangkob sa daghang mga dibisyon nga naghimo sa lain-laing mga gimbuhaton: kini mao ang pipila ka gamhanan nga outsourcing teams, ug in-house developers sa mga sistema sa negosyo, ug impormasyon sa seguridad, ug mga arkitekto sa computing system - sa kinatibuk-an, bisan kinsa kini. Tungod niini, lahi usab ang ilang mga buluhaton, sistema ug mga palisiya sa seguridad. Nga, sama sa gipaabut, nagmugna og mga kalisud sa proseso sa pag-analisar sa mga panginahanglanon ug standardisasyon.
Dinhi, pananglitan, ang departamento sa pag-uswag: ang mga empleyado niini nagsulat ug nagsulay sa code alang sa daghang mga kustomer. Kasagaran adunay panginahanglan sa dali nga pag-organisar sa mga palibot sa pagsulay, ug sa prangka nga pagsulti, dili kanunay posible nga maghimo mga kinahanglanon alang sa matag proyekto, mangayo mga kapanguhaan ug magtukod usa ka lahi nga palibot sa pagsulay uyon sa tanan nga mga internal nga regulasyon. Naghatag kini og katingad-an nga mga sitwasyon: usa ka adlaw ang imong mapaubsanon nga sulugoon mitan-aw sa kwarto sa mga developer ug nakit-an sa ilawom sa lamesa ang usa ka maayo nga nagtrabaho nga Hadoop cluster sa 20 nga mga desktop, nga dili mahibal-an nga konektado sa usa ka komon nga network. Sa akong hunahuna dili kini angay nga ipatin-aw nga ang departamento sa IT sa kompanya wala mahibal-an bahin sa paglungtad niini. Kini nga kahimtang, sama sa daghang uban pa, mao ang responsable sa kamatuoran nga sa panahon sa pag-uswag sa proyekto, ang termino nga "mutant reserve" natawo, nga naghulagway sa kahimtang sa dugay nga pag-antos sa imprastraktura sa opisina.
O ania ang laing pananglitan. Matag karon ug unya, usa ka test bench ang gipahimutang sulod sa usa ka departamento. Mao kini ang kaso sa Jira ug Confluence, nga gigamit sa limitado nga gidak-on sa Software Development Center sa pipila ka mga proyekto. Pagkahuman sa pila ka oras, nahibal-an sa ubang mga departamento ang bahin sa kini nga mapuslanon nga mga kapanguhaan, gisusi kini, ug sa katapusan sa 2018, si Jira ug Confluence mibalhin gikan sa kahimtang sa "dulaan sa mga lokal nga programmer" ngadto sa kahimtang sa "mga kapanguhaan sa kompanya." Karon ang usa ka tag-iya kinahanglan nga itudlo sa kini nga mga sistema, mga SLA, mga palisiya sa seguridad sa pag-access / impormasyon, mga palisiya sa pag-backup, pag-monitor, mga lagda alang sa mga hangyo sa pag-ruta aron ayohon ang mga problema kinahanglan nga ipasabut - sa kinatibuk-an, ang tanan nga mga kinaiya sa usa ka hingpit nga sistema sa kasayuran kinahanglan naa. .
Ang matag usa sa among mga dibisyon usa usab ka incubator nga nagpatubo sa kaugalingon nga mga produkto. Ang uban kanila mamatay sa yugto sa pag-uswag, ang uban gigamit namon samtang nagtrabaho sa mga proyekto, samtang ang uban nakagamot ug nahimong mga replicated nga solusyon nga nagsugod kami sa paggamit sa among kaugalingon ug gibaligya sa mga kliyente. Alang sa matag ingon nga sistema, gitinguha nga adunay kaugalingon nga palibot sa network, diin kini molambo nga walaβy pagpanghilabot sa ubang mga sistema, ug sa usa ka punto mahimong i-integrate sa imprastraktura sa kompanya.
Dugang pa sa kalamboan, kita adunay usa ka dako kaayo nga adunay labaw pa sa 500 ka mga empleyado, naporma ngadto sa mga grupo alang sa matag kustomer. Apil sila sa pagmintinar sa mga network ug uban pang mga sistema, hilit nga pag-monitor, pagsulbad sa mga pag-angkon, ug uban pa. Sa ato pa, ang imprastraktura sa SC, sa tinuud, ang imprastraktura sa kustomer nga ilang gitrabahoan karon. Ang pagkatalagsaon sa pagtrabaho sa kini nga seksyon sa network mao nga ang ilang mga workstation alang sa among kompanya usa ka bahin sa gawas, ug usa ka bahin sa sulod. Busa, alang sa SC among gipatuman ang mosunod nga pamaagi - ang kompaniya naghatag sa katugbang nga departamento sa network ug uban pang mga kahinguhaan, nga gikonsiderar ang mga workstation niini nga mga departamento isip mga eksternal nga koneksyon (pinaagi sa analohiya sa mga sanga ug hilit nga mga tiggamit).
Disenyo sa dalan: kami ang operator (katingala)
Human masusi ang tanang lit-ag, among naamgohan nga nagkuha mig network sa operator sa telekomunikasyon sulod sa usa ka opisina, ug misugod mi sa paglihok sumala niana.
Naghimo kami usa ka kinauyokan nga network sa tabang sa bisan unsang internal, ug sa umaabot usab sa gawas, ang mga konsumedor gihatagan sa gikinahanglan nga serbisyo: L2 VPN, L3 VPN o regular nga pag-ruta sa L3. Ang ubang mga departamento nanginahanglan luwas nga pag-access sa Internet, samtang ang uban nanginahanglan limpyo nga pag-access nga walaβy mga firewall, apan sa samang higayon gipanalipdan ang among mga kapanguhaan sa korporasyon ug panguna nga network gikan sa ilang trapiko.
Kami dili pormal nga "nagtapos sa usa ka SLA" sa matag dibisyon. Nahiuyon niini, ang tanan nga mga insidente nga motumaw kinahanglan nga wagtangon sa usa ka piho, gikasabutan nga yugto sa panahon. Ang mga kinahanglanon sa kompanya alang sa iyang network nahimo nga estrikto. Ang labing taas nga oras sa pagtubag sa usa ka insidente kung adunay mga kapakyasan sa telepono ug email mao ang 5 minuto. Ang oras sa pagpasig-uli sa pagpaandar sa network sa panahon sa kasagarang mga kapakyasan dili molapas sa usa ka minuto.
Tungod kay kami adunay network nga carrier-grade, mahimo ka lamang nga makonektar niini sa higpit nga pagsunod sa mga lagda. Ang mga yunit sa serbisyo nagtakda og mga palisiya ug naghatag serbisyo. Wala nila kinahanglana ang kasayuran bahin sa mga koneksyon sa piho nga mga server, virtual machine ug mga workstation. Apan sa samang higayon, gikinahanglan ang mga mekanismo sa pagpanalipod, tungod kay walay bisan usa ka koneksyon ang kinahanglan nga mag-disable sa network. Kung ang usa ka loop wala tuyoa nga nahimo, ang ubang mga tiggamit kinahanglan nga dili makamatikod niini, nga mao, ang usa ka igong tubag gikan sa network gikinahanglan. Bisan unsa nga operator sa telecom kanunay nga nagsulbad sa susama nga daw komplikado nga mga problema sulod sa kinauyokan nga network niini. Naghatag kini serbisyo sa daghang mga kliyente nga adunay lainlaing mga panginahanglanon ug trapiko. Sa parehas nga oras, ang lainlaing mga subscriber kinahanglan dili makasinati og kahasol gikan sa trapiko sa uban.
Sa balay, among gisulbad kini nga problema sa mosunod nga paagi: nagtukod kami og backbone L3 network nga adunay bug-os nga redundancy, gamit ang IS-IS protocol. Ang usa ka overlay network gitukod sa ibabaw sa kinauyokan base sa teknolohiya /, gamit ang routing protocol . Aron mapadali ang panagtapok sa mga routing protocol, gigamit ang teknolohiya sa BFD.
Istruktura sa network
Sa mga pagsulay, kini nga laraw nagpakita sa iyang kaugalingon nga maayo kaayo - kung ang bisan unsang channel o switch nadiskonekta, ang oras sa pag-convergence dili molapas sa 0.1-0.2 s, usa ka minimum nga mga pakete ang nawala (kasagaran wala), ang mga sesyon sa TCP dili gisi, mga pag-istoryahanay sa telepono wala mabalda.
Underlay Layer - Pagruta
Overlay Layer - Pag-ruta
Ang Huawei CE6870 switch nga adunay mga lisensya sa VXLAN gigamit isip distribution switch. Kini nga device adunay labing maayo nga presyo/kalidad nga ratio, nga nagtugot kanimo sa pagkonektar sa mga subscriber sa gikusgon nga 10 Gbit/s, ug pagkonektar sa backbone sa gikusgon nga 40β100 Gbit/s, depende sa gigamit nga mga transceiver.
Huawei CE6870 switch
Ang Huawei CE8850 switch gigamit isip core switch. Ang tumong mao ang pagpadala sa trapiko sa madali ug kasaligan. Walaβy mga aparato nga konektado kanila gawas sa mga switch sa pag-apod-apod, wala sila nahibal-an bahin sa VXLAN, mao nga gipili ang usa ka modelo nga adunay 32 40/100 Gbps nga mga pantalan, nga adunay sukaranan nga lisensya nga naghatag L3 ruta ug suporta alang sa IS-IS ug MP-BGP mga protocol.
Ang ubos mao ang Huawei CE8850 core switch
Sa yugto sa pagdesinyo, usa ka diskusyon ang miulbo sa sulod sa team bahin sa mga teknolohiya nga mahimong magamit sa pagpatuman sa usa ka fault-tolerant nga koneksyon sa mga core network node. Ang among opisina sa Moscow nahimutang sa tulo ka mga bilding, kami adunay 7 nga mga lawak sa pag-apod-apod, sa matag usa niini duha ka Huawei CE6870 nga mga switch sa pag-apod-apod (mga access switch ra ang na-install sa daghang mga lawak sa pag-apod-apod). Sa pagpalambo sa konsepto sa network, duha ka mga kapilian sa redundancy ang gikonsiderar:
- Ang pagkonsolida sa pag-apod-apod mobalhin ngadto sa usa ka fault-tolerant stack sa matag cross-connection room. Pros: kayano ug kasayon ββsa setup. Mga disadvantages: adunay mas taas nga posibilidad nga mapakyas ang tibuuk nga stack kung adunay mga sayup sa firmware sa mga aparato sa network ("memory leaks" ug uban pa).
- Ibutang ang M-LAG ug Anycast nga mga teknolohiya sa ganghaan aron makonektar ang mga aparato sa mga switch sa pag-apod-apod.
Sa katapusan, nahusay namon ang ikaduha nga kapilian. Kini medyo mas lisud i-configure, apan gipakita sa praktis ang pasundayag niini ug taas nga kasaligan.
Atong hisgotan una ang pagkonektar sa mga end device ngadto sa mga switch sa pag-apod-apod:
Krus
Ang access switch, server, o bisan unsang device nga nagkinahanglan og fault-tolerant nga koneksyon gilakip sa duha ka distribution switch. Ang teknolohiya sa M-LAG naghatag ug redundancy sa lebel sa data link. Gituohan nga duha ka switch sa pag-apod-apod ang makita sa konektado nga kagamitan ingon usa ka aparato. Ang redundancy ug load balancing gihimo gamit ang LACP protocol.
Ang Anycast gateway nga teknolohiya naghatag ug redundancy sa lebel sa network. Usa ka medyo dako nga gidaghanon sa mga VRF ang gi-configure sa matag usa sa mga switch sa pag-apod-apod (ang matag VRF gituyo alang sa kaugalingon nga katuyoan - gilain alang sa "regular" nga mga tiggamit, gilain alang sa telepono, gilain alang sa lainlaing mga palibot sa pagsulay ug pag-uswag, ug uban pa), ug sa matag usa Ang VRF adunay daghang mga VLAN nga na-configure. Sa among network, ang mga switch sa pag-apod-apod mao ang default nga mga ganghaan alang sa tanan nga mga aparato nga konektado kanila. Ang mga adres sa IP nga katumbas sa mga interface sa VLAN parehas alang sa parehas nga switch sa pag-apod-apod. Ang trapiko gipaagi sa labing duol nga switch.
Karon atong tan-awon ang pagkonektar sa mga switch sa pag-apod-apod sa kernel:
Ang pagtugot sa sayup gihatag sa lebel sa network gamit ang IS-IS protocol. Palihug timan-i nga ang usa ka bulag nga linya sa komunikasyon sa L3 gihatag tali sa mga switch, sa gikusgon nga 100G. Sa pisikal, kini nga linya sa komunikasyon usa ka Direct Access cable; kini makita sa tuo sa litrato sa Huawei CE6870 switch.
Ang usa ka alternatibo mao ang pag-organisar sa usa ka "matinud-anon" nga hingpit nga konektado nga dobleng bituon nga topology, apan, sama sa gihisgutan sa ibabaw, kami adunay 7 nga mga cross-connect nga mga kwarto sa tulo ka mga bilding. Tungod niini, kung gipili namon ang topology nga "double star", kinahanglan namon nga doble ang gidaghanon sa mga "long-range" nga 40G transceiver. Ang savings dinhi mahinungdanon kaayo.
Pipila ka mga pulong ang kinahanglan isulti kung giunsa ang VXLAN ug Anycast gateway nga mga teknolohiya nagtinabangay. Ang VXLAN, nga wala maghisgot sa mga detalye, usa ka tunel alang sa pagdala sa mga frame sa Ethernet sulod sa mga pakete sa UDP. Ang loopback nga mga interface sa mga switch sa pag-apod-apod gigamit isip destinasyon nga IP address sa VXLAN tunnel. Ang matag crossover adunay duha ka switch nga adunay parehas nga loopback nga mga adres sa interface, aron ang usa ka pakete moabut sa bisan hain niini, ug ang usa ka Ethernet frame mahimong makuha gikan niini.
Kung nahibal-an sa switch ang bahin sa destinasyon nga MAC address sa nakuha nga frame, ang frame ihatud sa husto sa destinasyon niini. Aron masiguro nga ang duha ka mga switch sa pag-apod-apod nga na-install sa parehas nga cross-connect adunay labing bag-o nga kasayuran bahin sa tanan nga mga ad sa MAC nga "nag-abut" gikan sa mga switch sa pag-access, ang mekanismo sa M-LAG mao ang responsable sa pag-synchronize sa mga lamesa sa MAC address (ingon usab sa ARP. mga lamesa) sa duha ka switch nga mga pares nga M-LAG.
Ang pagbalanse sa trapiko nakab-ot tungod sa presensya sa underlay nga network sa daghang mga ruta ngadto sa loopback nga mga interface sa distribution switch.
Kay sa usa ka konklusyon
Sama sa nahisgutan sa ibabaw, sa panahon sa pagsulay ug operasyon ang network nagpakita sa taas nga kasaligan (panahon sa pagbawi alang sa kasagaran nga mga kapakyasan dili molapas sa gatusan ka millisecond) ug maayo nga pasundayag - ang matag cross-connect konektado sa kinauyokan sa duha nga 40 Gbit / s nga mga kanal. Ang mga switch sa pag-access sa among network gi-stack ug konektado sa mga switch sa pag-apod-apod pinaagi sa LACP/M-LAG nga adunay duha ka 10 Gbit/s channel. Ang usa ka stack kasagaran adunay 5 ka switch nga adunay 48 ka port matag usa, ug hangtod sa 10 ka access stack ang konektado sa distribution sa matag cross-connect. Busa, ang backbone naghatag ug mga 30 Mbit/s kada user bisan sa pinakataas nga theoretical load, nga sa panahon sa pagsulat igo na para sa tanan natong praktikal nga mga aplikasyon.
Gitugotan ka sa network nga hapsay nga organisahon ang pagpares sa bisan unsang arbitraryong konektado nga mga aparato pinaagi sa L2 ug L3, nga naghatag kompleto nga pagbulag sa trapiko (nga gusto sa serbisyo sa seguridad sa kasayuran) ug mga sayup nga domain (nga gusto sa grupo sa operasyon).
Sa sunod nga bahin isulti namo kanimo kung giunsa namo paglalin sa bag-ong network. Pagbantay!
Maxim Klochkov
Senior Consultant, Network Audit ug Complex Projects Group
Network Solutions Center
"Mga Sistema sa Impormasyon sa Jet"
Source: www.habr.com