Illum ser ngħidlek dwar kif ħarġet u ġiet implimentata l-idea li jinħoloq netwerk intern ġdid għall-kumpanija tagħna. Il-pożizzjoni tal-maniġment hija li għandek bżonn tagħmel l-istess proġett sħiħ għalik innifsek bħal għall-klijent. Jekk nagħmluha tajjeb għalina nfusna, nistgħu nistiednu lill-klijent u nuru kemm dak li noffruh jaħdem u jaħdem tajjeb. Għalhekk, avviċinana l-iżvilupp tal-kunċett ta 'netwerk ġdid għall-uffiċċju ta' Moska bir-reqqa, billi nużaw iċ-ċiklu sħiħ tal-produzzjoni: analiżi tal-ħtiġijiet dipartimentali → għażla ta 'soluzzjoni teknika → disinn → implimentazzjoni → ittestjar. Mela ejja nibdew.
Għażla ta' Soluzzjoni Teknika: Santwarju Mutant
Il-proċedura biex taħdem fuq sistema awtomatizzata kumplessa bħalissa hija deskritta l-aħjar f'GOST 34.601-90 "Sistemi awtomatizzati. Stadji tal-Ħolqien”, għalhekk ħdimna skontha. U diġà fl-istadji tal-formazzjoni tar-rekwiżiti u l-iżvilupp tal-kunċett, iltqajna mal-ewwel diffikultajiet. Organizzazzjonijiet ta 'diversi profili - banek, kumpaniji tal-assigurazzjoni, żviluppaturi ta' softwer, eċċ - għall-kompiti u l-istandards tagħhom, jeħtieġu ċerti tipi ta 'netwerks, li l-ispeċifiċitajiet tagħhom huma ċari u standardizzati. Madankollu, dan mhux se jaħdem magħna.
Għaliex?
Jet Infosystems hija kumpanija kbira diversifikata tal-IT. Fl-istess ħin, id-dipartiment ta 'appoġġ intern tagħna huwa żgħir (iżda kburi), jiżgura l-funzjonalità tas-servizzi u s-sistemi bażiċi. Il-kumpanija fiha ħafna diviżjonijiet li jwettqu funzjonijiet differenti: dawn huma diversi timijiet ta 'esternalizzazzjoni qawwija, u żviluppaturi interni ta' sistemi tan-negozju, u sigurtà tal-informazzjoni, u periti ta 'sistemi tal-kompjuters - b'mod ġenerali, ikun min ikun. Għaldaqstant, il-kompiti, is-sistemi u l-politiki tas-sigurtà tagħhom huma wkoll differenti. Li, kif mistenni, ħoloq diffikultajiet fil-proċess ta 'analiżi tal-ħtiġijiet u standardizzazzjoni.
Hawnhekk, pereżempju, huwa d-dipartiment tal-iżvilupp: l-impjegati tiegħu jiktbu u jittestjaw il-kodiċi għal numru kbir ta 'klijenti. Ħafna drabi jkun hemm bżonn li jiġu organizzati malajr ambjenti tat-test, u franchement, mhux dejjem ikun possibbli li jiġu fformulati rekwiżiti għal kull proġett, jintalbu riżorsi u jinbena ambjent tat-test separat skont ir-regolamenti interni kollha. Dan jagħti lok għal sitwazzjonijiet kurjużi: ġurnata waħda l-qaddej umli tiegħek ħares lejn il-kamra tal-iżviluppaturi u sab taħt il-mejda raggruppament Hadoop ta '20 desktops li jaħdem sew, li kien konness b'mod inspjegabbli ma' netwerk komuni. Ma naħsibx li ta' min niċċara li d-dipartiment tal-IT tal-kumpanija ma kienx jaf bl-eżistenza tiegħu. Din iċ-ċirkustanza, bħal ħafna oħrajn, kienet responsabbli għall-fatt li matul l-iżvilupp tal-proġett, twieled it-terminu "riżerva mutanti", li jiddeskrivi l-istat tal-infrastruttura tal-uffiċċju li tbati fit-tul.
Jew hawn eżempju ieħor. Perjodikament, bank tat-test jiġi stabbilit fi ħdan dipartiment. Dan kien il-każ ta' Jira u Confluence, li ntużaw sa ċertu punt miċ-Ċentru ta' Żvilupp tas-Software f'xi proġetti. Wara xi żmien, dipartimenti oħra tgħallmu dwar dawn ir-riżorsi utli, evalwawhom, u fl-aħħar tal-2018, Jira u Confluence mxew mill-istatus ta '"ġugarell ta' programmaturi lokali" għall-istatus ta '"riżorsi tal-kumpanija." Issa sid irid jiġi assenjat għal dawn is-sistemi, SLAs, politiki ta’ aċċess/sigurtà ta’ informazzjoni, politiki ta’ backup, monitoraġġ, regoli għar-rotta ta’ talbiet biex jiġu ffissati l-problemi għandhom ikunu definiti - b’mod ġenerali, l-attributi kollha ta’ sistema ta’ informazzjoni sħiħa għandhom ikunu preżenti .
Kull waħda mid-diviżjonijiet tagħna hija wkoll inkubatur li jkabbar il-prodotti tiegħu stess. Xi wħud minnhom imutu fl-istadju tal-iżvilupp, xi wħud nużaw waqt li naħdmu fuq proġetti, filwaqt li oħrajn jieħdu l-għeruq u jsiru soluzzjonijiet replikati li nibdew nużaw lilna nfusna u nbiegħu lill-klijenti. Għal kull sistema bħal din, huwa mixtieq li jkollha l-ambjent tan-netwerk tagħha stess, fejn tiżviluppa mingħajr ma tinterferixxi ma 'sistemi oħra, u f'xi punt tista' tiġi integrata fl-infrastruttura tal-kumpanija.
Minbarra l-iżvilupp, għandna kbir ħafna b'aktar minn 500 impjegat, iffurmati f'timijiet għal kull klijent. Huma involuti fiż-żamma ta 'netwerks u sistemi oħra, monitoraġġ mill-bogħod, soluzzjoni ta' talbiet, eċċ. Jiġifieri, l-infrastruttura tal-SC hija, fil-fatt, l-infrastruttura tal-klijent li bħalissa qed jaħdmu miegħu. Il-partikolarità li taħdem ma 'din it-taqsima tan-netwerk hija li l-istazzjonijiet tax-xogħol tagħhom għall-kumpanija tagħna huma parzjalment esterni, u parzjalment interni. Għalhekk, għall-SC implimentajna l-approċċ li ġej - il-kumpanija tipprovdi lid-dipartiment korrispondenti b'netwerk u riżorsi oħra, billi tikkunsidra l-istazzjonijiet tax-xogħol ta 'dawn id-dipartimenti bħala konnessjonijiet esterni (b'analoġija ma' fergħat u utenti remoti).
Disinn tal-awtostrada: aħna l-operatur (sorpriża)
Wara li vvalutajna l-iżvantaġġi kollha, indunajna li konna qed niksbu netwerk ta 'operatur tat-telekomunikazzjoni f'uffiċċju wieħed, u bdejna naġixxu kif xieraq.
Ħloqna netwerk ewlieni li bl-għajnuna tiegħu kull konsumatur intern, u fil-futur ukoll estern, jingħata s-servizz meħtieġ: L2 VPN, L3 VPN jew routing regolari L3. Xi dipartimenti jeħtieġu aċċess sigur għall-Internet, filwaqt li oħrajn jeħtieġu aċċess nadif mingħajr firewalls, iżda fl-istess ħin jipproteġu r-riżorsi korporattivi tagħna u n-netwerk ewlieni mit-traffiku tagħhom.
Aħna informalment "ikkonkludejna SLA" ma 'kull diviżjoni. Skontha, l-inċidenti kollha li jinqalgħu għandhom jiġu eliminati f’ċertu perjodu ta’ żmien miftiehem minn qabel. Ir-rekwiżiti tal-kumpanija għan-netwerk tagħha rriżultaw li kienu stretti. Il-ħin massimu ta' rispons għal inċident f'każ ta' fallimenti tat-telefon u tal-email kien ta' 5 minuti. Il-ħin biex tiġi restawrata l-funzjonalità tan-netwerk waqt fallimenti tipiċi ma jkunx aktar minn minuta.
Peress li għandna netwerk ta 'grad ta' trasportatur, tista 'tikkonnettja miegħu biss f'konformità stretta mar-regoli. L-unitajiet tas-servizz jistabbilixxu politiki u jipprovdu servizzi. Huma lanqas biss jeħtieġu informazzjoni dwar il-konnessjonijiet ta 'servers speċifiċi, magni virtwali u stazzjonijiet tax-xogħol. Iżda fl-istess ħin, huma meħtieġa mekkaniżmi ta 'protezzjoni, għaliex l-ebda konnessjoni waħda m'għandha tiddiżattiva n-netwerk. Jekk aċċidentalment jinħoloq loop, utenti oħra m'għandhomx jindunaw b'dan, jiġifieri, hija meħtieġa rispons adegwat min-netwerk. Kwalunkwe operatur tat-telekomunikazzjoni jsolvi kontinwament problemi simili li jidhru kumplessi fin-netwerk ewlieni tiegħu. Jipprovdi servizz lil ħafna klijenti bi bżonnijiet u traffiku differenti. Fl-istess ħin, abbonati differenti m'għandhomx jesperjenzaw inkonvenjenza mit-traffiku ta 'oħrajn.
Fid-dar, solvejna din il-problema bil-mod li ġej: bnejna netwerk L3 tas-sinsla b'redundancy sħiħa, bl-użu tal-protokoll IS-IS. Inbena netwerk overlay fuq il-qalba bbażat fuq it-teknoloġija /, bl-użu ta' protokoll tar-rotta . Biex titħaffef il-konverġenza tal-protokolli tar-rotta, intużat it-teknoloġija BFD.
Struttura tan-netwerk
Fit-testijiet, din l-iskema wriet lilha nnifisha li hija eċċellenti - meta kwalunkwe kanal jew swiċċ jiġi skonnettjat, il-ħin ta 'konverġenza ma jkunx aktar minn 0.1-0.2 s, jintilfu minimu ta' pakketti (ħafna drabi xejn), sessjonijiet TCP ma jitqattgħux, konversazzjonijiet bit-telefon ma jiġux interrotti.
Underlay Layer - Rotot
Saff Overlay - Rotot
Swiċċijiet Huawei CE6870 b'liċenzji VXLAN intużaw bħala swiċċijiet tad-distribuzzjoni. Dan l-apparat għandu proporzjon ottimali tal-prezz/kwalità, li jippermettilek tikkonnettja l-abbonati b'veloċità ta '10 Gbit/s, u tikkonnettja mas-sinsla b'veloċitajiet ta' 40–100 Gbit/s, skont it-transceivers użati.
Swiċċijiet Huawei CE6870
Swiċċijiet Huawei CE8850 intużaw bħala swiċċijiet tal-qalba. L-għan huwa li jittrasmetti t-traffiku malajr u b'mod affidabbli. L-ebda apparat mhu konness magħhom ħlief swiċċijiet tad-distribuzzjoni, ma jafu xejn dwar VXLAN, għalhekk intgħażel mudell b'32 port 40/100 Gbps, b'liċenzja bażika li tipprovdi routing L3 u appoġġ għall-IS-IS u MP-BGP protokolli.
Il-qiegħ huwa l-iswiċċ tal-qalba Huawei CE8850
Fl-istadju tad-disinn, faqqgħet diskussjoni fi ħdan it-tim dwar teknoloġiji li jistgħu jintużaw biex tiġi implimentata konnessjoni tolleranti għall-ħsarat man-nodi tan-netwerk ewlieni. L-uffiċċju tagħna ta 'Moska jinsab fi tliet binjiet, għandna 7 kmamar tad-distribuzzjoni, li f'kull waħda minnhom ġew installati żewġ swiċċijiet tad-distribuzzjoni Huawei CE6870 (swiċċijiet ta' aċċess biss ġew installati f'diversi kmamar tad-distribuzzjoni). Meta ġie żviluppat il-kunċett tan-netwerk, ġew ikkunsidrati żewġ għażliet ta' redundancy:
- Konsolidazzjoni ta' swiċċijiet ta' distribuzzjoni f'munzell li jiflaħ għall-ħsara f'kull kamra ta' cross-connection. Vantaġġi: sempliċità u faċilità ta 'setup. Żvantaġġi: hemm probabbiltà ogħla ta 'falliment tal-munzell kollu meta jseħħu żbalji fil-firmware tal-apparat tan-netwerk ("tnixxijiet tal-memorja" u simili).
- Applika t-teknoloġiji tal-gateway M-LAG u Anycast biex tikkonnettja apparati ma 'swiċċijiet tad-distribuzzjoni.
Fl-aħħar, issetilna fuq it-tieni għażla. Huwa kemmxejn aktar diffiċli biex jiġi kkonfigurat, iżda wera fil-prattika l-prestazzjoni u l-affidabbiltà għolja tiegħu.
Ejja l-ewwel nikkunsidraw il-konnessjoni ta 'tagħmir tat-tarf ma' swiċċijiet tad-distribuzzjoni:
Jaqsam
Swiċċ ta 'aċċess, server, jew kwalunkwe apparat ieħor li jeħtieġ konnessjoni tolleranti għall-ħsarat huwa inkluż f'żewġ swiċċijiet ta' distribuzzjoni. It-teknoloġija M-LAG tipprovdi redundancy fil-livell tal-link tad-dejta. Huwa preżunt li żewġ swiċċijiet tad-distribuzzjoni jidhru lit-tagħmir konness bħala mezz wieħed. Redundancy u l-ibbilanċjar tat-tagħbija jitwettqu bl-użu tal-protokoll LACP.
It-teknoloġija tal-gateway Anycast tipprovdi redundancy fil-livell tan-netwerk. Numru pjuttost kbir ta 'VRFs huma kkonfigurati fuq kull wieħed mill-iswiċċijiet tad-distribuzzjoni (kull VRF hija maħsuba għall-iskopijiet tagħha stess - separatament għal utenti "regolari", separatament għat-telefonija, separatament għal diversi ambjenti ta' test u żvilupp, eċċ.), u f'kull wieħed. VRF għandu diversi VLANs konfigurati. Fin-netwerk tagħna, swiċċijiet tad-distribuzzjoni huma l-bibien default għall-apparati kollha konnessi magħhom. L-indirizzi IP li jikkorrispondu għall-interfaces VLAN huma l-istess għaż-żewġ swiċċijiet tad-distribuzzjoni. It-traffiku jiġi mgħoddi mill-eqreb swiċċ.
Issa ejja nħarsu lejn il-konnessjoni ta' swiċċijiet tad-distribuzzjoni mal-qalba:
It-tolleranza tal-ħsarat hija pprovduta fil-livell tan-netwerk bl-użu tal-protokoll IS-IS. Jekk jogħġbok innota li linja ta 'komunikazzjoni L3 separata hija pprovduta bejn is-swiċċijiet, b'veloċità ta' 100G. Fiżikament, din il-linja ta 'komunikazzjoni hija kejbil ta' Aċċess Dirett jista 'jidher fuq il-lemin fir-ritratt ta' swiċċijiet Huawei CE6870;
Alternattiva tkun li tiġi organizzata topoloġija ta 'stilla doppja "onesta" kompletament konnessa, iżda, kif imsemmi hawn fuq, għandna 7 kmamar cross-connect fi tliet binjiet. Għaldaqstant, kieku għażilna t-topoloġija ta '"stilla doppja", konna neħtieġu eżattament id-doppju ta' transceivers 40G ta '"medda twila". L-iffrankar hawnhekk huwa sinifikanti ħafna.
Hemm bżonn li jingħad ftit kliem dwar kif it-teknoloġiji tal-gateway VXLAN u Anycast jaħdmu flimkien. VXLAN, mingħajr ma tidħol fid-dettalji, hija mina għat-trasport ta 'frejms Ethernet ġewwa pakketti UDP. L-interfaces tal-loopback tas-swiċċijiet tad-distribuzzjoni jintużaw bħala l-indirizz IP tad-destinazzjoni tal-mina VXLAN. Kull crossover għandu żewġ swiċċijiet bl-istess indirizzi ta 'interface loopback, għalhekk pakkett jista' jasal fi kwalunkwe wieħed minnhom, u qafas Ethernet jista 'jiġi estratt minnu.
Jekk is-swiċċ ikun jaf dwar l-indirizz MAC tad-destinazzjoni tal-qafas irkuprat, il-qafas se jiġi kkonsenjat b'mod korrett fid-destinazzjoni tiegħu. Biex jiġi żgurat li ż-żewġ swiċċijiet tad-distribuzzjoni installati fl-istess cross-connect ikollhom informazzjoni aġġornata dwar l-indirizzi MAC kollha "li jaslu" mill-iswiċċijiet tal-aċċess, il-mekkaniżmu M-LAG huwa responsabbli għas-sinkronizzazzjoni tat-tabelli tal-indirizz MAC (kif ukoll ARP tabelli) fuq iż-żewġ swiċċijiet M-LAG pari.
L-ibbilanċjar tat-traffiku jinkiseb minħabba l-preżenza fin-netwerk underlay ta 'bosta rotot għall-interfaces loopback ta' swiċċijiet tad-distribuzzjoni.
Minflok ma tikkonkludi
Kif imsemmi hawn fuq, waqt l-ittestjar u t-tħaddim in-netwerk wera affidabilità għolja (il-ħin ta 'rkupru għal fallimenti tipiċi ma jkunx aktar minn mijiet ta' millisekondi) u prestazzjoni tajba - kull cross-connect hija konnessa mal-qalba b'żewġ kanali ta '40 Gbit/s. Swiċċijiet ta 'aċċess fin-netwerk tagħna huma f'munzelli u konnessi ma' swiċċijiet ta 'distribuzzjoni permezz ta' LACP/M-LAG b'żewġ kanali ta '10 Gbit/s. Munzell normalment ikun fih 5 swiċċijiet bi 48 port kull wieħed, u sa 10 munzelli ta 'aċċess huma konnessi mad-distribuzzjoni f'kull cross-connect. Għalhekk, is-sinsla tipprovdi madwar 30 Mbit/s għal kull utent anke fit-tagħbija teoretika massima, li fil-ħin tal-kitba hija biżżejjed għall-applikazzjonijiet prattiċi kollha tagħna.
In-netwerk jippermettilek torganizza bla xkiel t-tqabbil ta 'kwalunkwe apparat konness arbitrarju kemm permezz tal-L2 kif ukoll tal-L3, u jipprovdi iżolament sħiħ tat-traffiku (li jħobb is-servizz tas-sigurtà tal-informazzjoni) u dominji tal-ħsara (li jħobb it-tim tal-operazzjonijiet).
Fil-parti li jmiss se ngħidulek kif emigrajna għan-netwerk il-ġdid. Ibqa' sintonizzat!
Maxim Klochkov
Konsulent anzjan tal-grupp tal-verifika tan-netwerk u proġetti kumplessi
Ċentru tas-Soluzzjonijiet tan-Netwerk
"Jet Infosystems"
Sors: www.habr.com