Haut wäert ech Iech soen wéi d'Iddi fir en neit internt Netzwierk fir eis Firma ze kreéieren entstanen ass an ëmgesat gouf. D'Positioun vum Management ass datt Dir dee selwechte vollwäertege Projet fir Iech selwer maache musst wéi fir de Client. Wa mir et gutt fir eis selwer maachen, kënne mir de Client invitéieren a weisen wéi gutt dat wat mir him bidden funktionnéiert a funktionnéiert. Dofir hu mir d'Entwécklung vum Konzept vun engem neie Reseau fir de Moskauer Büro ganz grëndlech ugaangen, mat der ganzer Produktiounszyklus: Analyse vun de Bedierfnesser vum Departement → Auswiel vun enger technescher Léisung → Design → Ëmsetzung → Testen. Also loosst eis ufänken.
Auswiel vun enger technescher Léisung: Mutant Sanctuary
D'Prozedur fir un engem komplexen automatiséierte System ze schaffen ass am Moment am beschten am GOST 34.601-90 "Automatiséiert Systemer" beschriwwen. Stages of Creation", also hu mir dorop geschafft. A schonn an de Stadien vun der Ufuerderungsbildung an der Konzeptentwécklung hu mir déi éischt Schwieregkeeten begéint. Organisatioune vu verschiddene Profiler - Banken, Versécherungsgesellschaften, Software Entwéckler, etc. Dat klappt awer net bei eis.
Firwat?
Jet Infosystems ass eng grouss diversifizéiert IT Firma. Zur selwechter Zäit ass eis intern Ënnerstëtzungsdepartement kleng (awer houfreg), et garantéiert d'Funktionalitéit vun de Basisservicer a Systemer. D'Firma enthält vill Divisiounen déi verschidde Funktiounen ausféieren: dëst sinn e puer mächteg Outsourcing-Teams, an intern Entwéckler vu Geschäftssystemer, an Informatiounssécherheet, an Architekte vu Rechensystemer - am Allgemengen, wien et ass. Deementspriechend sinn hir Aufgaben, Systemer a Sécherheetspolitik och anescht. Wat, wéi erwaart, Schwieregkeeten am Prozess vun der Bedierfnesanalyse an der Standardiséierung erstallt huet.
Hei, zum Beispill, ass d'Entwécklung Departement: seng Mataarbechter schreiwen an Test Code fir eng grouss Zuel vu Clienten. Dacks gëtt et e Besoin fir séier Testëmfeld z'organiséieren, an éierlech gesoot ass et net ëmmer méiglech Ufuerderunge fir all Projet ze formuléieren, Ressourcen ze froen an eng separat Testëmfeld am Aklang mat allen internen Reglementer ze bauen. Dëst entsteet virwëtzeg Situatiounen: enges Daags huet Ären bescheidenen Déngscht an den Entwécklersraum gekuckt an ënner dem Dësch e richteg funktionéierende Hadoop-Cluster vun 20 Desktops fonnt, deen onerklärlech un engem gemeinsame Netzwierk verbonne war. Ech denken net datt et derwäert ass ze klären datt d'IT Departement vun der Firma net iwwer seng Existenz wousst. Dës Situatioun, wéi vill anerer, war verantwortlech fir d'Tatsaach, datt während der Entwécklung vum Projet de Begrëff "mutant Reserve" gebuer gouf, deen den Zoustand vun der laanger Leed Büroinfrastruktur beschreift.
Oder hei ass en anert Beispill. Periodesch gëtt an engem Departement eng Testbänk opgestallt. Dëst war de Fall mat Jira a Confluence, déi a begrenzte Mooss vum Software Development Center an e puer Projete benotzt goufen. No enger Zäit hunn aner Departementer iwwer dës nëtzlech Ressourcen geléiert, se evaluéiert, an um Enn vum 2018 sinn d'Jira a Confluence vum Status vum "lokale Programméierer Spillsaach" op de Status vun "Firma Ressourcen" geplënnert. Elo muss e Besëtzer un dëse Systemer zougewisen ginn, SLAs, Zougang / Informatiounssécherheetspolitik, Backup-Politik, Iwwerwaachung, Regele fir Routingsufroe fir Probleemer ze fixéieren mussen definéiert ginn - am Allgemengen mussen all Attributer vun engem vollwäertege Informatiounssystem präsent sinn .
Jiddereng vun eisen Divisiounen ass och en Inkubator deen seng eege Produkter wuessen. E puer vun hinnen stierwen an der Entwécklungsphase, e puer benotze mir wärend mir un Projeten schaffen, anerer huelen root a ginn replizéiert Léisungen, déi mir ufänken selwer ze benotzen an u Clienten ze verkafen. Fir all esou System ass et wënschenswäert en eegent Netzwierk Ëmfeld ze hunn, wou et sech entwéckelt ouni mat anere Systemer ze stéieren, an iergendwann an d'Infrastruktur vun der Firma integréiert ka ginn.
Nieft der Entwécklung hu mir eng ganz grouss mat méi wéi 500 Mataarbechter, an Teams fir all Client geformt. Si sinn involvéiert fir Netzwierker an aner Systemer z'erhalen, Ferniwwerwaachung, Fuerderungen ze léisen, asw. Dat heescht, d'Infrastruktur vum SC ass tatsächlech d'Infrastruktur vum Client mat deem se am Moment schaffen. D'Besonderheet vun der Aarbecht mat dëser Sektioun vum Netz ass datt hir Aarbechtsstatiounen fir eis Firma deelweis extern an deelweis intern sinn. Dofir hu mir fir den SC déi folgend Approche implementéiert - d'Firma liwwert dem entspriechende Departement mat Netzwierk an aner Ressourcen, andeems d'Aarbechtsstatiounen vun dësen Departementer als extern Verbindunge berücksichtegt (analogie mat Filialen a Fernbenotzer).
Autobunnsdesign: Mir sinn de Bedreiwer (Iwwerraschung)
Nodeems mir all d'Feele bewäert hunn, hu mir gemierkt datt mir en Netzwierk vun engem Telekommunikatiounsbedreiwer bannent engem Büro kréien, a mir hunn ugefaang deementspriechend ze handelen.
Mir hunn e Kärnetz erstallt mat der Hëllef vun deem all internen, an an Zukunft och externen, Konsument den erfuerderleche Service gëtt: L2 VPN, L3 VPN oder regelméisseg L3 Routing. E puer Departementer brauche sécheren Internetzougang, anerer brauchen propperem Zougang ouni Firewalls, awer gläichzäiteg schützen eis Firmenressourcen a Kärnetz aus hirem Traffic.
Mir hunn informell "en SLA" mat all Divisioun ofgeschloss. Deementspriechend mussen all Tëschefäll, déi entstinn, bannent engem bestëmmten, viraus ausgemaachten Zäitraum eliminéiert ginn. D'Ufuerderunge vun der Firma fir säi Reseau hunn sech als streng erausgestallt. Déi maximal Äntwertzäit op en Tëschefall am Fall vun Telefon- an E-Mailfehler war 5 Minutten. D'Zäit fir d'Netzwierkfunktionalitéit während typesch Feeler ze restauréieren ass net méi wéi eng Minutt.
Well mir e Carrier-Grad-Netzwierk hunn, kënnt Dir nëmme mat de Regele konnektéieren. Service Unitéiten setzen Politik a bidden Servicer. Si brauchen net emol Informatioun iwwer d'Verbindunge vu spezifesche Serveren, virtuelle Maschinnen an Aarbechtsstatiounen. Awer gläichzäiteg sinn Schutzmechanismen gebraucht, well net eng eenzeg Verbindung däerf d'Netzwierk deaktivéieren. Wann eng Loop zoufälleg erstallt gëtt, sollten aner Benotzer dat net bemierken, dat heescht eng adäquat Äntwert vum Netz ass néideg. All Telekomoperateur léist dauernd ähnlech anscheinend komplex Probleemer a sengem Kärnetz. Et gëtt Service fir vill Clienten mat verschiddene Besoinen a Verkéier. Zur selwechter Zäit sollten verschidden Abonnente keng Nodeel aus dem Traffic vun aneren erliewen.
Doheem hu mir dëse Problem op déi folgend Manéier geléist: Mir hunn e Backbone L3 Netzwierk mat voller Redundanz gebaut, mam IS-IS Protokoll. En Iwwerlagernetz gouf uewen um Kär baséiert op Technologie gebaut /, mat engem Routingprotokoll . Fir d'Konvergenz vu Routingprotokollen ze beschleunegen, gouf BFD Technologie benotzt.
Reseau Struktur
An Tester huet dëse Schema sech als exzellent gewisen - wann all Kanal oder Schalter ofgeschalt ass, ass d'Konvergenzzäit net méi wéi 0.1-0.2 s, e Minimum vu Päck verluer (dacks keng), TCP Sessiounen sinn net zerräissen, Telefonsgespréicher sinn net ënnerbrach.
Ënnerlag Layer - Routing
Overlay Layer - Routing
Huawei CE6870 Schalter mat VXLAN Lizenzen goufen als Verdeelungsschalter benotzt. Dësen Apparat huet en optimale Präis / Qualitéitsverhältnis, wat Iech erlaabt Abonnente mat enger Geschwindegkeet vun 10 Gbit / s ze verbannen, a Verbindung mat der Réckgrat mat Geschwindegkeete vu 40-100 Gbit / s, ofhängeg vun den benotzten Transceivers.
Huawei CE6870 Schalter
Huawei CE8850 Schalter goufen als Kärschalter benotzt. D'Zil ass den Traffic séier an zouverlässeg ze vermëttelen. Keen Apparater si mat hinnen ugeschloss ausser Verdeelungsschalter, si wëssen näischt iwwer VXLAN, sou datt e Modell mat 32 40/100 Gbps Ports gewielt gouf, mat enger Basislizenz déi L3 Routing an Ënnerstëtzung fir IS-IS an MP-BGP ubitt Protokoller.
Déi ënnescht ass den Huawei CE8850 Kärschalter
Op der Designstadium ass eng Diskussioun am Team iwwer Technologien ausgebrach, déi benotzt kënne fir eng Feelertolerant Verbindung mat Core Network Noden ëmzesetzen. Eis Moskauer Büro ass an dräi Gebaier, mir hunn 7 Verdeelungsraim, an all vun deenen zwee Huawei CE6870 Verdeelungsschalter installéiert goufen (nëmmen Zougangsschalter goufen a verschiddene Verdeelungsraim installéiert). Bei der Entwécklung vum Netzwierkkonzept goufen zwou Redundanzoptioune berücksichtegt:
- Konsolidéierung vun Verdeelung schalt an engem Feeler-tolerant Stack an all Kräiz-Verbindung Sall. Virdeeler: Einfachheet an Einfachheet vum Setup. Nodeeler: et gëtt eng méi héich Wahrscheinlechkeet vum Ausfall vum ganze Stack wann Feeler an der Firmware vun Netzwierkgeräter optrieden ("Erënnerung Leckage" an dergläiche).
- Benotzt M-LAG an Anycast Gateway Technologien fir Apparater mat Verdeelungsschalter ze verbannen.
Um Enn hu mir eis op déi zweet Optioun niddergelooss. Et ass e bësse méi schwéier ze konfiguréieren, awer huet an der Praxis seng Leeschtung an héich Zouverlässegkeet gewisen.
Loosst eis als éischt betruecht d'Verbindung vun Endapparater mat Verdeelungsschalter:
Kräiz
En Zougangschalter, Server oder all aner Apparat, deen eng Feelertolerant Verbindung erfuerdert, ass an zwee Verdeelungsschalter abegraff. M-LAG Technologie bitt Redundanz um Datelinkniveau. Et gëtt ugeholl datt zwee Verdeelungsschalter un der verbonnen Ausrüstung als een Apparat erscheinen. Redundanz a Laaschtbalancéierung ginn mam LACP Protokoll duerchgefouert.
Anycast Gateway Technologie bitt Redundanz um Netzwierkniveau. Eng zimlech grouss Zuel vu VRFs sinn op jiddereng vun den Verdeelungsschalter konfiguréiert (all VRF ass fir seng eegen Zwecker geduecht - separat fir "regelméisseg" Benotzer, separat fir Telefonie, separat fir verschidden Test- an Entwécklungsëmfeld, etc.), an an all VRF huet verschidde VLANs konfiguréiert. An eisem Netz sinn Verdeelungsschalter d'Standardpaart fir all Apparater déi mat hinnen verbonne sinn. D'IP Adressen, déi zu de VLAN Interfaces entspriechen, sinn déiselwecht fir béid Verdeelungsschalter. De Verkéier gëtt duerch den nooste Schalter gefouert.
Loosst eis elo kucken wéi d'Verdeelungsschalter mam Kernel verbannen:
Feeler Toleranz gëtt um Netzwierkniveau mam IS-IS Protokoll zur Verfügung gestallt. Maacht weg datt eng separat L3 Kommunikatiounslinn tëscht de Schalter geliwwert gëtt, mat enger Geschwindegkeet vun 100G. Kierperlech ass dës Kommunikatiounslinn en Direct Access Kabel; et kann op der rietser Säit op der Foto vum Huawei CE6870 Schalter gesi ginn.
Eng Alternativ wier eng "éierlech" voll verbonne duebel Stär Topologie ze organiséieren, mä, wéi uewen ernimmt, mir hunn 7 Kräiz-verbinden Zëmmeren an dräi Gebaier. Deementspriechend, wa mir d'"Double Star" Topologie gewielt hätten, hätte mir genee duebel sou vill "laang-Gamme" 40G Transceiver gebraucht. D'Erspuernisser hei si ganz bedeitend.
E puer Wierder musse gesot ginn iwwer wéi VXLAN an Anycast Gateway Technologien zesumme schaffen. VXLAN, ouni an Detailer ze goen, ass en Tunnel fir Ethernet Frames bannent UDP Päck ze transportéieren. D'Loopback Interfaces vu Verdeelungsschalter ginn als Destinatioun IP Adress vum VXLAN Tunnel benotzt. All Crossover huet zwee Schalter mat der selwechter Loopback Interface Adressen, sou datt e Paket op jiddereng vun hinnen ukommen, an en Ethernet Frame kann dovun ofgebaut ginn.
Wann de Schalter iwwer d'Destinatiouns-MAC-Adress vum erhuelten Frame weess, gëtt de Frame richteg op seng Destinatioun geliwwert. Fir sécherzestellen datt béid Verdeelungsschalter, déi am selwechte Cross-Connect installéiert sinn, aktuell Informatioun iwwer all MAC Adressen hunn, déi vun den Zougangsschalter "ukommen", ass de M-LAG Mechanismus verantwortlech fir d'Synchroniséierung vun den MAC Adresstabellen (wéi och ARP) Dëscher) op béide Schalter M-LAG Pairen.
Traffic Balance gëtt erreecht duerch d'Präsenz am Ënnerlagennetz vu verschiddene Strecken op d'Loopback-Interface vu Verdeelungsschalter.
Amplaz vun enger Konklusioun
Wéi uewen ernimmt, während Testen an Operatioun huet de Reseau héich Zouverlässegkeet gewisen (Erhuelung Zäit fir typesch Feeler ass net méi wéi honnerte vu Millisekonnen) a gutt Leeschtung - all Cross-Connect ass un de Kär verbonne mat zwee 40 Gbit / s Channels. Zougangsschalter an eisem Netz gi gestapelt a verbonne mat Verdeelungsschalter iwwer LACP / M-LAG mat zwee 10 Gbit / s Kanäl. E Stack enthält normalerweis 5 Schalter mat all 48 Häfen, a bis zu 10 Zougangsstécker si mat der Verdeelung an all Kräizverbindung verbonnen. Sou liwwert de Backbone ongeféier 30 Mbit/s pro Benotzer och bei der maximaler theoretescher Belaaschtung, déi am Schreiwenzäiteg genuch ass fir all eis praktesch Uwendungen.
D'Netz erlaabt Iech d'Paarung vun all arbiträr verbonne Geräter iwwer L2 a L3 nahtlos z'organiséieren, déi komplett Isolatioun vum Traffic ubitt (wat den Informatiounssécherheetsservice gär huet) a Feelerdomänen (wat d'Operatiounsteam gär huet).
Am nächsten Deel wäerte mir Iech soen wéi mir an dat neit Netzwierk migréiert sinn. Bleift drun!
Maxim Klochkov
Senior Beroder vum Netzwierk Audit a komplexe Projete Grupp
Network Solutions Center
"Jet Infosystems"
Source: will.com