Jodi a mwen pral di w sou ki jan lide pou kreye yon nouvo rezo entèn pou konpayi nou an te rive e li te aplike. Pozisyon jesyon an se ke ou bezwen fè menm pwojè a plen véritable pou tèt ou kòm pou kliyan an. Si nou fè li byen pou tèt nou, nou ka envite kliyan an epi montre kòman sa nou ofri li travay ak travay. Se poutèt sa, nou apwoche devlopman nan konsèp nan yon nouvo rezo pou biwo Moskou a trè byen, lè l sèvi avèk sik pwodiksyon konplè: analiz de bezwen depatman yo → seleksyon nan yon solisyon teknik → konsepsyon → aplikasyon → tès. Se konsa, ann kòmanse.
Chwazi yon solisyon teknik: Sanctuary mutant
Pwosedi a pou travay sou yon sistèm otomatik konplèks kounye a pi byen dekri nan GOST 34.601-90 "Sistèm otomatik yo. Etap Kreyasyon”, se konsa nou te travay selon li. E deja nan etap fòmasyon kondisyon ak devlopman konsèp, nou te rankontre premye difikilte yo. Òganizasyon nan divès pwofil - bank, konpayi asirans, devlopè lojisyèl, elatriye - pou travay yo ak estanda, yo bezwen sèten kalite rezo, spesifik yo ki klè ak ofisyèl. Sepandan, sa a pa pral travay avèk nou.
Poukisa?
Jet Infosystems se yon gwo konpayi IT divèsifye. An menm tan, depatman sipò entèn nou an piti (men fyè), li asire fonksyonalite sèvis ak sistèm debaz yo. Konpayi an gen anpil divizyon ki fè fonksyon diferan: sa yo se plizyè ekip externalisation pwisan, ak en-kay devlopè nan sistèm biznis, ak sekirite enfòmasyon, ak achitèk nan sistèm informatique - an jeneral, nenpòt moun li ye. An konsekans, travay yo, sistèm ak politik sekirite yo tou diferan. Ki, jan yo espere, te kreye difikilte nan pwosesis analiz bezwen ak normalisation.
Isit la, pou egzanp, se depatman an devlopman: anplwaye li yo ekri ak tès kòd pou yon gwo kantite kliyan. Souvan gen yon bezwen byen vit òganize anviwònman tès yo, ak franchman pale, li pa toujou posib yo fòmile kondisyon pou chak pwojè, mande resous ak bati yon anviwònman tès separe an akò ak tout règleman entèn yo. Sa a bay sitiyasyon kirye: yon jou, sèvitè enb ou a gade nan chanm devlopè yo epi li te jwenn anba tab la yon gwoup Hadoop ki byen travay nan 20 Desktop, ki te ineksplikabl konekte ak yon rezo komen. Mwen pa panse li vo klarifye ke depatman IT konpayi an pa t 'konnen sou egzistans li. Sikonstans sa a, tankou anpil lòt moun, te responsab pou lefèt ke pandan devlopman pwojè a, tèm "rezèv mutan" te fèt, ki dekri eta a nan enfrastrikti biwo ki soufri lontan.
Oswa isit la nan yon lòt egzanp. Tanzantan, yo mete yon ban tès nan yon depatman. Sa a te ka a ak Jira ak Confluence, ki te itilize nan yon limit limite pa Sant Devlopman Lojisyèl la nan kèk pwojè. Apre kèk tan, lòt depatman te aprann sou resous itil sa yo, evalye yo, epi nan fen ane 2018, Jira ak Confluence te deplase soti nan estati "jwèt pwogramasyon lokal yo" nan estati "resous konpayi." Koulye a, yon pwopriyetè dwe asiyen nan sistèm sa yo, SLAs, aksè/politik sekirite enfòmasyon, règleman backup, siveyans, règ pou demann routage pou rezoud pwoblèm yo dwe defini - an jeneral, tout atribi yo nan yon sistèm enfòmasyon konplè dwe prezan. .
Chak nan divizyon nou yo se tou yon enkibatè ki grandi pwòp pwodwi pa yo. Kèk nan yo mouri nan etap devlopman, gen kèk nou itilize pandan y ap travay sou pwojè, pandan ke lòt moun pran rasin epi yo vin repwodui solisyon ke nou kòmanse sèvi ak tèt nou epi vann bay kliyan yo. Pou chak sistèm sa yo, li se dezirab gen pwòp anviwònman rezo li yo, kote li pral devlope san yo pa entèfere ak lòt sistèm, epi nan kèk pwen ka entegre nan enfrastrikti konpayi an.
Anplis de sa nan devlopman, nou gen yon gwo anpil ak plis pase 500 anplwaye, fòme an ekip pou chak kliyan. Yo patisipe nan kenbe rezo ak lòt sistèm, siveyans aleka, rezoud reklamasyon, ak sou sa. Sa vle di, enfrastrikti SC a se, an reyalite, enfrastrikti nan kliyan an ak ki moun yo ap travay kounye a. Singularité a nan travay ak seksyon sa a nan rezo a se ke estasyon travay yo pou konpayi nou an yo se an pati ekstèn, ak an pati entèn. Se poutèt sa, pou SC a nou aplike apwòch sa a - konpayi an bay depatman ki koresponn lan ak rezo ak lòt resous, konsidere estasyon yo nan depatman sa yo kòm koneksyon ekstèn (pa analoji ak branch ak itilizatè aleka).
Konsepsyon otowout: nou se operatè a (sipriz)
Apre nou te evalye tout enkonvenyans yo, nou te reyalize ke nou t ap jwenn yon rezo operatè telekominikasyon nan yon biwo, epi nou te kòmanse aji kòmsadwa.
Nou te kreye yon rezo debaz avèk èd nan ki nenpòt entèn, ak nan lavni an tou ekstèn, konsomatè yo bay sèvis ki nesesè yo: L2 VPN, L3 VPN oswa regilye L3 routage. Gen kèk depatman ki bezwen aksè an sekirite nan Entènèt, pandan ke lòt bezwen aksè pwòp san firewall, men an menm tan pwoteje resous antrepriz nou yo ak rezo debaz yo kont trafik yo.
Nou enfòmèlman "konkli yon SLA" ak chak divizyon. An akò ak li, tout ensidan ki rive yo dwe elimine nan yon sèten peryòd tan ki te dakò davans. Kondisyon konpayi an pou rezo li yo te tounen sevè. Tan an repons maksimòm nan yon ensidan nan ka ta gen echèk nan telefòn ak imèl te 5 minit. Tan an retabli fonksyonalite rezo pandan echèk tipik se pa plis pase yon minit.
Depi nou gen yon rezo konpayi asirans, ou ka sèlman konekte ak li an akò strik ak règ yo. Inite sèvis yo mete règleman yo epi yo bay sèvis yo. Yo pa menm bezwen enfòmasyon sou koneksyon yo nan sèvè espesifik, machin vityèl ak estasyon travay. Men, an menm tan an, mekanis pwoteksyon yo bezwen, paske se pa yon sèl koneksyon ta dwe enfim rezo a. Si yon bouk aksidantèlman kreye, lòt itilizatè pa ta dwe remake sa a, se sa ki nesesè yon repons adekwa nan rezo a. Nenpòt operatè telecom toujou ap rezoud pwoblèm ki sanble konplèks nan rezo debaz li yo. Li bay sèvis pou anpil kliyan ki gen diferan bezwen ak trafik. An menm tan an, diferan abonnés pa ta dwe fè eksperyans deranje nan trafik lòt moun.
Nan kay la, nou rezoud pwoblèm sa a nan fason sa a: nou bati yon rezo L3 zo rèl do ak redondans konplè, lè l sèvi avèk pwotokòl IS-IS. Yon rezo kouvri te bati sou tèt nwayo a ki baze sou teknoloji /, lè l sèvi avèk yon pwotokòl routage . Pou pi vit dirèksyon pwotokòl routage yo, yo te itilize teknoloji BFD.
Estrikti rezo a
Nan tès yo, konplo sa a te montre tèt li ekselan - lè nenpòt chanèl oswa switch dekonekte, tan dirèksyon an pa plis pase 0.1-0.2 s, yon minimòm de pake yo pèdi (souvan pa gen okenn), sesyon TCP yo pa chire, konvèsasyon telefòn. yo pa entèwonp.
Kouch Underlay - Routage
Kouch kouvri - Routage
Huawei CE6870 switch ak lisans VXLAN yo te itilize kòm switch distribisyon. Aparèy sa a gen yon rapò pi bon pri / bon jan kalite, ki pèmèt ou konekte abonnés nan yon vitès 10 Gbit / s, epi konekte nan zo rèl do a nan vitès 40-100 Gbit / s, tou depann de transceiver yo itilize.
Huawei CE6870 switch
Huawei CE8850 switch yo te itilize kòm switch debaz. Objektif la se transmèt trafik rapid ak fyab. Pa gen okenn aparèy ki konekte ak yo eksepte switch distribisyon, yo pa konnen anyen sou VXLAN, kidonk yo te chwazi yon modèl ki gen 32 pò 40/100 Gbps, ak yon lisans debaz ki bay routage L3 ak sipò pou IS-IS ak MP-BGP. pwotokòl.
Youn anba a se switch debaz Huawei CE8850 la
Nan etap konsepsyon an, yon diskisyon te pete nan ekip la sou teknoloji ki ta ka itilize pou aplike yon koneksyon ki toleran fay ak nœuds rezo debaz yo. Biwo Moskou nou an sitiye nan twa bilding, nou gen 7 chanm distribisyon, nan chak nan yo te enstale de switch distribisyon Huawei CE6870 (sèlman switch aksè yo te enstale nan plizyè chanm distribisyon). Lè w devlope konsèp rezo a, yo te konsidere de opsyon redondance:
- Konsolidasyon switch distribisyon nan yon pil toleran fay nan chak chanm koneksyon kwa. Pou: senplisite ak fasilite nan konfigirasyon. Dezavantaj: gen yon pi gwo pwobabilite pou echèk nan tout chemine a lè erè rive nan firmwèr nan aparèy rezo ("fwit memwa" ak renmen an).
- Aplike teknoloji pòtay M-LAG ak Anycast pou konekte aparèy ak switch distribisyon.
Nan fen a, nou rezoud sou dezyèm opsyon an. Li se yon ti jan pi difisil konfigirasyon, men li te montre nan pratik pèfòmans li yo ak segondè fyab.
Ann premye konsidere konekte aparèy fen ak switch distribisyon:
Kwa
Yon switch aksè, sèvè, oswa nenpòt lòt aparèy ki mande pou yon koneksyon toleran defo enkli nan de switch distribisyon. Teknoloji M-LAG bay redondance nan nivo lyen done. Li sipoze ke de switch distribisyon parèt nan ekipman an konekte kòm yon sèl aparèy. Redondans ak balans chaj yo fèt lè l sèvi avèk pwotokòl LACP.
Teknoloji pòtay Anycast bay redondance nan nivo rezo a. Yon gwo kantite VRF yo konfigirasyon sou chak nan switch distribisyon yo (chak VRF gen entansyon pou pwòp rezon li yo - separeman pou itilizatè "regilye", separeman pou telefòn, separeman pou divès anviwònman tès ak devlopman, elatriye), ak nan chak. VRF gen plizyè VLAN configuré. Nan rezo nou an, switch distribisyon yo se pòtay default pou tout aparèy ki konekte ak yo. Adrès IP ki koresponn ak interfaces VLAN yo se menm bagay la tou pou tou de switch distribisyon. Trafik yo dirije atravè switch ki pi pre a.
Koulye a, ann gade nan konekte switch distribisyon nan nwayo a:
Yo bay tolerans fay nan nivo rezo a lè l sèvi avèk pwotokòl IS-IS la. Tanpri sonje ke yo bay yon liy kominikasyon separe L3 ant switch yo, nan yon vitès 100G. Fizikman, liy kominikasyon sa a se yon kab Aksè Dirèk li ka wè sou bò dwat la nan foto a nan switch Huawei CE6870.
Yon altènatif ta dwe òganize yon topoloji "onèt" konplètman konekte doub zetwal, men, jan mansyone pi wo a, nou gen 7 chanm kwa-konekte nan twa bilding. An konsekans, si nou te chwazi topoloji "double etwal" la, nou ta bezwen egzakteman de fwa plis transceiver 40G "long ranje". Ekonomi yo isit la yo trè enpòtan.
Kèk mo bezwen di sou fason teknoloji pòtay VXLAN ak Anycast travay ansanm. VXLAN, san yo pa antre nan detay, se yon tinèl pou transpòte ankadreman Ethernet andedan pake UDP. Entèfas loopback nan switch distribisyon yo itilize kòm adrès IP destinasyon tinèl VXLAN la. Chak kwazman gen de switch ak menm adrès koòdone loopback, kidonk yon pake ka rive nan nenpòt nan yo, epi yo ka ekstrè yon ankadreman Ethernet nan li.
Si switch la konnen adrès MAC destinasyon an nan ankadreman an rekipere, ankadreman an pral kòrèkteman delivre nan destinasyon li yo. Pou asire ke tou de switch distribisyon ki enstale nan menm koneksyon kwa a gen enfòmasyon ajou sou tout adrès MAC "rive" soti nan switch aksè yo, mekanis M-LAG la responsab pou senkronize tab adrès MAC yo (kòm byen ke ARP. tab) sou tou de switch M-LAG pè.
Se balanse trafik reyalize akòz prezans nan rezo a underlay nan plizyè wout nan koòdone yo loopback nan switch distribisyon.
Olye pou yo yon konklizyon
Kòm mansyone pi wo a, pandan tès ak operasyon rezo a te montre gwo fyab (tan rekiperasyon pou echèk tipik se pa plis pase dè santèn de milisgond) ak bon pèfòmans - chak kwa-konekte konekte ak nwayo a pa de 40 Gbit / s chanèl. Switch aksè nan rezo nou an anpile epi konekte ak switch distribisyon atravè LACP/M-LAG ak de chanèl 10 Gbit/s. Yon pil anjeneral gen 5 switch ak 48 pò chak, epi jiska 10 pil aksè yo konekte ak distribisyon an nan chak koneksyon kwa. Kidonk, zo rèl do a bay apeprè 30 Mbit / s pou chak itilizatè menm nan chaj maksimòm teyorik la, ki nan moman ekri a se ase pou tout aplikasyon pratik nou yo.
Rezo a pèmèt ou òganize san pwoblèm nenpòt aparèy ki konekte abitrè atravè tou de L2 ak L3, bay izolasyon konplè nan trafik (ki sèvis sekirite enfòmasyon an renmen) ak domèn fay (ki ekip operasyon an renmen).
Nan pwochen pati a nou pral di w ki jan nou te imigre nan nouvo rezo a. Rete branche!
Maxim Klochkov
Konsiltan ansyen nan odit rezo a ak gwoup pwojè konplèks
Sant solisyon rezo
"Jet Infosystems"
Sous: www.habr.com