Sot do t'ju tregoj se si lindi dhe u zbatua ideja e krijimit të një rrjeti të ri të brendshëm për kompaninë tonë. Pozicioni i menaxhmentit është që ju duhet të bëni të njëjtin projekt të plotë për veten tuaj si për klientin. Nëse e bëjmë mirë për veten tonë, mund ta ftojmë klientin dhe të tregojmë se sa mirë funksionon dhe funksionon ajo që i ofrojmë. Prandaj, ne iu afruam zhvillimit të konceptit të një rrjeti të ri për zyrën e Moskës shumë tërësisht, duke përdorur ciklin e plotë të prodhimit: analiza e nevojave të departamentit → përzgjedhja e një zgjidhjeje teknike → dizajni → zbatimi → testimi. Pra, le të fillojmë.
Zgjedhja e një zgjidhjeje teknike: Sanctuary Mutant
Procedura për të punuar në një sistem kompleks të automatizuar aktualisht përshkruhet më së miri në GOST 34.601-90 "Sistemet e automatizuara. Fazat e Krijimit”, ndaj punuam sipas saj. Dhe tashmë në fazat e formimit të kërkesave dhe zhvillimit të konceptit, ne hasëm vështirësitë e para. Organizata të profileve të ndryshme - banka, kompani sigurimesh, zhvillues softuerësh etj. - për detyrat dhe standardet e tyre kanë nevojë për lloje të caktuara rrjetesh, specifikat e të cilave janë të qarta dhe të standardizuara. Megjithatë, kjo nuk do të funksionojë me ne.
Pse?
Jet Infosystems është një kompani e madhe e larmishme IT. Në të njëjtën kohë, departamenti ynë i brendshëm i mbështetjes është i vogël (por krenar), ai siguron funksionalitetin e shërbimeve dhe sistemeve bazë. Kompania përmban shumë divizione që kryejnë funksione të ndryshme: këto janë disa ekipe të fuqishme të jashtme, dhe zhvillues të brendshëm të sistemeve të biznesit, dhe sigurisë së informacionit, dhe arkitektë të sistemeve kompjuterike - në përgjithësi, kushdo qoftë. Prandaj, detyrat, sistemet dhe politikat e tyre të sigurisë janë gjithashtu të ndryshme. E cila, siç pritej, krijoi vështirësi në procesin e analizës së nevojave dhe standardizimit.
Këtu, për shembull, është departamenti i zhvillimit: punonjësit e tij shkruajnë dhe testojnë kodin për një numër të madh klientësh. Shpesh ekziston nevoja për të organizuar shpejt mjediset e testimit, dhe sinqerisht, nuk është gjithmonë e mundur të formulohen kërkesat për secilin projekt, të kërkohen burime dhe të ndërtohet një mjedis i veçantë testimi në përputhje me të gjitha rregulloret e brendshme. Kjo krijon situata kurioze: një ditë shërbëtori juaj i përulur shikoi në dhomën e zhvilluesve dhe gjeti nën tryezë një grup Hadoop me 20 desktop që funksiononte siç duhet, i cili ishte i lidhur në mënyrë të pashpjegueshme me një rrjet të përbashkët. Nuk mendoj se ia vlen të sqarohet se departamenti i IT-së i kompanisë nuk dinte për ekzistencën e saj. Kjo rrethanë, si shumë të tjera, ishte përgjegjëse për faktin se gjatë zhvillimit të projektit lindi termi "rezervë mutante", duke përshkruar gjendjen e infrastrukturës së shumëvuajtur të zyrës.
Ose ja një shembull tjetër. Periodikisht, një bankë testimi ngrihet brenda një departamenti. Ky ishte rasti me Jira dhe Confluence, të cilat u përdorën në një masë të kufizuar nga Qendra e Zhvillimit të Softuerit në disa projekte. Pas ca kohësh, departamente të tjera mësuan për këto burime të dobishme, i vlerësuan ato dhe në fund të vitit 2018, Jira dhe Confluence kaluan nga statusi i "lodrës së programuesve lokalë" në statusin e "burimeve të kompanisë". Tani një pronar duhet t'u caktohet këtyre sistemeve, SLA-të, politikat e aksesit/sigurisë së informacionit, politikat rezervë, monitorimi, rregullat për kërkesat e rrugëtimit për të rregulluar problemet duhet të përcaktohen - në përgjithësi, të gjitha atributet e një sistemi informacioni të plotë duhet të jenë të pranishme. .
Secila nga divizionet tona është gjithashtu një inkubator që rrit produktet e veta. Disa prej tyre vdesin në fazën e zhvillimit, disa i përdorim ndërsa punojmë në projekte, ndërsa të tjera zënë rrënjë dhe bëhen zgjidhje të përsëritura që ne fillojmë t'i përdorim vetë dhe t'ua shesim klientëve. Për secilin sistem të tillë, është e dëshirueshme që të ketë mjedisin e vet të rrjetit, ku do të zhvillohet pa ndërhyrë në sisteme të tjera dhe në një moment mund të integrohet në infrastrukturën e kompanisë.
Përveç zhvillimit, ne kemi një shumë të madhe me më shumë se 500 punonjës, të formuar në ekipe për çdo klient. Ata janë të përfshirë në mirëmbajtjen e rrjeteve dhe sistemeve të tjera, monitorimin në distancë, zgjidhjen e pretendimeve, etj. Domethënë, infrastruktura e SC është, në fakt, infrastruktura e klientit me të cilin ata janë duke punuar aktualisht. E veçanta e punës me këtë seksion të rrjetit është se stacionet e tyre të punës për kompaninë tonë janë pjesërisht të jashtme, dhe pjesërisht të brendshme. Prandaj, për SC ne zbatuam qasjen e mëposhtme - kompania i siguron departamentit përkatës me rrjet dhe burime të tjera, duke i konsideruar stacionet e punës të këtyre departamenteve si lidhje të jashtme (për analogji me degët dhe përdoruesit e largët).
Dizajni i autostradës: ne jemi operatori (surprizë)
Pasi vlerësuam të gjitha grackat, kuptuam se po merrnim rrjetin e një operatori telekomunikacioni brenda një zyre dhe filluam të vepronim në përputhje me rrethanat.
Ne krijuam një rrjet bazë, me ndihmën e të cilit çdo konsumatori të brendshëm, por edhe në të ardhmen, i jashtëm i sigurohet shërbimi i kërkuar: L2 VPN, L3 VPN ose rutimi i rregullt L3. Disa departamente kanë nevojë për akses të sigurt në internet, ndërsa të tjerë kanë nevojë për qasje të pastër pa mure zjarri, por në të njëjtën kohë duke mbrojtur burimet tona të korporatës dhe rrjetin bazë nga trafiku i tyre.
Ne formalisht "përfunduam një SLA" me çdo divizion. Në përputhje me të, të gjitha incidentet që lindin duhet të eliminohen brenda një periudhe kohore të caktuar, të rënë dakord paraprakisht. Kërkesat e kompanisë për rrjetin e saj rezultuan të rrepta. Koha maksimale e përgjigjes ndaj një incidenti në rast të dështimit të telefonit dhe emailit ishte 5 minuta. Koha për të rivendosur funksionalitetin e rrjetit gjatë dështimeve tipike nuk është më shumë se një minutë.
Meqenëse ne kemi një rrjet të nivelit të operatorit, ju mund të lidheni me të vetëm në përputhje të plotë me rregullat. Njësitë e shërbimit vendosin politika dhe ofrojnë shërbime. Ata nuk kanë nevojë as për informacione për lidhjet e serverëve të veçantë, makinave virtuale dhe stacioneve të punës. Por në të njëjtën kohë, nevojiten mekanizma mbrojtës, sepse asnjë lidhje e vetme nuk duhet të çaktivizojë rrjetin. Nëse një lak krijohet aksidentalisht, përdoruesit e tjerë nuk duhet ta vërejnë këtë, domethënë është e nevojshme një përgjigje adekuate nga rrjeti. Çdo operator telekomi zgjidh vazhdimisht probleme të ngjashme në dukje komplekse brenda rrjetit të tij kryesor. Ofron shërbim për shumë klientë me nevoja dhe trafik të ndryshëm. Në të njëjtën kohë, abonentë të ndryshëm nuk duhet të përjetojnë bezdi nga trafiku i të tjerëve.
Në shtëpi, ne e zgjidhëm këtë problem në këtë mënyrë: ndërtuam një rrjet bazë L3 me tepricë të plotë, duke përdorur protokollin IS-IS. Një rrjet mbivendosjeje u ndërtua në krye të bërthamës bazuar në teknologji /, duke përdorur një protokoll rrugëtimi . Për të përshpejtuar konvergjencën e protokolleve të rrugëzimit, u përdor teknologjia BFD.
Struktura e rrjetit
Në teste, kjo skemë u tregua e shkëlqyeshme - kur ndonjë kanal ose ndërprerës shkëputet, koha e konvergjencës nuk është më shumë se 0.1-0.2 s, humbet një minimum paketash (shpesh asnjë), seancat TCP nuk janë grisur, bisedat telefonike nuk ndërpriten.
Shtresa e nënshtresës - Drejtimi
Shtresa e mbivendosjes - Drejtimi
Çelësat Huawei CE6870 me licenca VXLAN u përdorën si ndërprerës të shpërndarjes. Kjo pajisje ka një raport optimal çmim/cilësi, duke ju lejuar të lidhni pajtimtarët me një shpejtësi prej 10 Gbit/s dhe të lidheni me shtyllën kurrizore me shpejtësi 40–100 Gbit/s, në varësi të transmetuesve të përdorur.
Çelësat Huawei CE6870
Çelësat Huawei CE8850 u përdorën si çelësa bazë. Qëllimi është të transmetohet trafiku shpejt dhe me besueshmëri. Asnjë pajisje nuk është e lidhur me to, përveç ndërprerësve të shpërndarjes, ata nuk dinë asgjë për VXLAN, kështu që u zgjodh një model me 32 porte 40/100 Gbps, me një licencë bazë që ofron rrugëzim L3 dhe mbështetje për IS-IS dhe MP-BGP. protokollet .
Fundi është çelësi kryesor Huawei CE8850
Në fazën e projektimit, një diskutim shpërtheu brenda ekipit rreth teknologjive që mund të përdoren për të zbatuar një lidhje tolerante ndaj gabimeve me nyjet e rrjetit bazë. Zyra jonë në Moskë është e vendosur në tre ndërtesa, ne kemi 7 dhoma shpërndarjeje, në secilën prej të cilave janë instaluar dy çelsat e shpërndarjes Huawei CE6870 (vetëm çelsat e hyrjes janë instaluar në disa dhoma shpërndarjeje). Gjatë zhvillimit të konceptit të rrjetit, u morën parasysh dy opsione të tepricës:
- Konsolidimi i çelësave të shpërndarjes në një pirg tolerant ndaj defekteve në çdo dhomë të ndërlidhjes. Pro: thjeshtësia dhe lehtësia e konfigurimit. Disavantazhet: ekziston një probabilitet më i lartë i dështimit të të gjithë pirgut kur ndodhin gabime në firmware-in e pajisjeve të rrjetit ("rrjedhje memorie" dhe të ngjashme).
- Aplikoni teknologjitë M-LAG dhe Anycast gateway për të lidhur pajisjet me çelësat e shpërndarjes.
Në fund, u vendosëm në opsionin e dytë. Është disi më e vështirë për t'u konfiguruar, por ka treguar në praktikë performancën dhe besueshmërinë e lartë.
Le të shqyrtojmë fillimisht lidhjen e pajisjeve fundore me çelësat e shpërndarjes:
kryq
Një çelës aksesi, server ose çdo pajisje tjetër që kërkon një lidhje tolerante ndaj gabimeve përfshihet në dy çelësa shpërndarës. Teknologjia M-LAG ofron tepricë në nivelin e lidhjes së të dhënave. Supozohet se dy ndërprerës të shpërndarjes shfaqen në pajisjen e lidhur si një pajisje. Teprica dhe balancimi i ngarkesës kryhen duke përdorur protokollin LACP.
Teknologjia e portës Anycast ofron tepricë në nivel rrjeti. Një numër mjaft i madh VRF-sh janë konfiguruar në secilin nga çelësat e shpërndarjes (secila VRF është menduar për qëllimet e veta - veçmas për përdoruesit "të rregullt", veçmas për telefoninë, veçmas për mjedise të ndryshme testimi dhe zhvillimi, etj.), dhe në secilin VRF ka disa VLAN të konfiguruara. Në rrjetin tonë, çelësat e shpërndarjes janë portat e paracaktuara për të gjitha pajisjet e lidhura me to. Adresat IP që korrespondojnë me ndërfaqet VLAN janë të njëjta për të dy ndërprerësit e shpërndarjes. Trafiku drejtohet përmes çelësit më të afërt.
Tani le të shohim lidhjen e çelsave të shpërndarjes me kernelin:
Toleranca ndaj gabimeve ofrohet në nivel rrjeti duke përdorur protokollin IS-IS. Ju lutemi vini re se një linjë e veçantë komunikimi L3 ofrohet midis çelsave, me një shpejtësi prej 100G. Fizikisht, kjo linjë komunikimi është një kabllo me qasje të drejtpërdrejtë; ajo mund të shihet në të djathtë në foton e çelsave Huawei CE6870.
Një alternativë do të ishte organizimi i një topologjie "të ndershme" plotësisht të lidhur me dy yje, por, siç u përmend më lart, ne kemi 7 dhoma të ndërlidhura në tre ndërtesa. Prandaj, nëse do të kishim zgjedhur topologjinë "yll i dyfishtë", do të kishim nevojë saktësisht dy herë më shumë transmetues "me rreze të gjatë" 40G. Kursimet këtu janë shumë domethënëse.
Duhet thënë disa fjalë për mënyrën se si teknologjitë VXLAN dhe Anycast gateway funksionojnë së bashku. VXLAN, pa hyrë në detaje, është një tunel për transportimin e kornizave Ethernet brenda paketave UDP. Ndërfaqet loopback të ndërprerësve të shpërndarjes përdoren si adresa IP e destinacionit të tunelit VXLAN. Çdo kryqëzim ka dy ndërprerës me të njëjtat adresa të ndërfaqes loopback, kështu që një paketë mund të arrijë në secilën prej tyre dhe një kornizë Ethernet mund të nxirret prej saj.
Nëse çelësi di për adresën MAC të destinacionit të kornizës së marrë, korniza do të dorëzohet saktë në destinacionin e saj. Për të siguruar që të dy çelsat e shpërndarjes të instaluar në të njëjtën lidhje tërthore të kenë informacion të përditësuar për të gjitha adresat MAC që "mbërrijnë" nga çelësat e aksesit, mekanizmi M-LAG është përgjegjës për sinkronizimin e tabelave të adresave MAC (si dhe ARP tabelat) në të dy çelësat çifte M-LAG.
Balancimi i trafikut arrihet për shkak të pranisë në rrjetin e nënshtresës së disa rrugëve në ndërfaqet loopback të ndërprerësve të shpërndarjes.
Në vend të një përfundimi
Siç u përmend më lart, gjatë testimit dhe funksionimit rrjeti tregoi besueshmëri të lartë (koha e rikuperimit për dështimet tipike nuk është më shumë se qindra milisekonda) dhe performancë e mirë - çdo ndërlidhje lidhet me bërthamën me dy kanale 40 Gbit/s. Çelësat e aksesit në rrjetin tonë grumbullohen dhe lidhen me çelësat e shpërndarjes nëpërmjet LACP/M-LAG me dy kanale 10 Gbit/s. Një pirg zakonisht përmban 5 ndërprerës me 48 porte secili dhe deri në 10 rafte aksesi janë të lidhura me shpërndarjen në secilën lidhje të kryqëzuar. Kështu, shtylla kurrizore siguron rreth 30 Mbit/s për përdorues edhe në ngarkesën maksimale teorike, e cila në momentin e shkrimit është e mjaftueshme për të gjitha aplikimet tona praktike.
Rrjeti ju lejon të organizoni pa probleme çiftimin e çdo pajisjeje të lidhur arbitrare nëpërmjet L2 dhe L3, duke siguruar izolim të plotë të trafikut (që i pëlqen shërbimi i sigurisë së informacionit) dhe domeneve të gabimeve (që i pëlqen ekipit të operacioneve).
Në pjesën tjetër do t'ju tregojmë se si kemi migruar në rrjetin e ri. Qëndroni të sintonizuar!
Maksim Kloçkov
Konsulent i lartë i grupit të auditimit të rrjetit dhe projekteve komplekse
Qendra e Zgjidhjeve të Rrjetit
"Jet Infosystems"
Burimi: www.habr.com