Oghje vi dicu cumu l'idea di creà una nova rete interna per a nostra cumpagnia hè ghjunta è hè stata implementata. A pusizione di a gestione hè chì avete bisognu di fà u stessu prughjettu cumpletu per sè stessu cum'è per u cliente. Se facemu bè per noi stessi, pudemu invià u cliente è dimustrà quantu bè ciò chì l'offremu funziona è travaglia. Per quessa, avemu avvicinatu u sviluppu di u cuncettu di una nova reta per l'uffiziu di Mosca assai bè, utilizendu u ciclu di produzzione sanu: analisi di bisogni dipartimentali → selezzione di una suluzione tecnica → design → implementazione → teste. Allora cuminciamu.
Selezzione di una Soluzione Tecnica: Santuariu Mutante
A prucedura per travaglià in un sistema automatizatu cumplessu hè attualmente megliu descritta in GOST 34.601-90 "Sistemi automatizzati. Tappe di a Creazione ", cusì avemu travagliatu secondu. E digià in i tappe di furmazione di esigenze è sviluppu di cuncettu, avemu scontru i primi difficultà. L'urganisazione di diversi profili - banche, cumpagnie d'assicuranza, sviluppatori di software, etc. - per i so compiti è standardi, anu bisognu di certi tipi di rete, chì e specifiche sò chjaru è standardizati. Tuttavia, questu ùn hà micca travagliatu cun noi.
Perchè
Jet Infosystems hè una grande cumpagnia di IT diversificata. À u listessu tempu, u nostru dipartimentu di supportu internu hè chjucu (ma fieru), assicura a funziunalità di i servizii basi è sistemi. A cumpagnia cuntene parechje divisioni chì eseguinu diverse funzioni: sò parechje squadre di outsourcing putenti, è sviluppatori interni di sistemi di cummerciale, è sicurezza di l'infurmazioni, è architetti di sistemi di computing - in generale, quale sia. Per quessa, i so compiti, i sistemi è e pulitiche di sicurità sò ancu diffirenti. Chì, cum'è s'aspittava, hà creatu difficultà in u prucessu di analisi di bisogni è standardizazione.
Quì, per esempiu, hè u dipartimentu di sviluppu: i so impiegati scrivenu è teste codice per un gran numaru di clienti. Spessu ci hè bisognu di urganizà rapidamente ambienti di prova, è francamente, ùn hè micca sempre pussibule di furmulà esigenze per ogni prughjettu, dumandà risorse è custruisce un ambiente di prova separatu in cunfurmità cù tutti i regulamenti interni. Questu dà origine à situazioni curiose: un ghjornu u vostru umile servitore hà guardatu in a stanza di i sviluppatori è hà truvatu sottu à a tavula un cluster Hadoop di 20 desktop, chì era inspiegabilmente cunnessu à una reta cumuna. Ùn pensu micca chì vale a pena chjarificà chì u dipartimentu IT di a cumpagnia ùn sapia micca di a so esistenza. Sta circustanza, cum'è parechji altri, era rispunsevuli di u fattu chì durante u sviluppu di u prugettu hè natu u terminu "riserva mutante", chì descrive u statu di l'infrastruttura di l'uffiziu longu.
O quì hè un altru esempiu. Periodicamente, un banc di prova hè stallatu in un dipartimentu. Questu era u casu cù Jira è Confluence, chì sò stati utilizati in una misura limitata da u Centru di Sviluppu di Software in certi prughjetti. Dopu qualchì tempu, altri dipartimenti anu sappiutu di sti risorse utili, evaluate, è à a fine di u 2018, Jira è Confluence passanu da u statutu di "ghjocu di programatori lucali" à u statutu di "risorse di a cumpagnia". Avà un pruprietariu deve esse attribuitu à questi sistemi, SLA, pulitiche di sicurezza d'accessu / infurmazione, pulitiche di salvezza, monitoraghju, regule per e dumande di routing per risolve i prublemi deve esse definitu - in generale, tutti l'attributi di un sistema d'informazione cumpletu deve esse presente. .
Ognuna di e nostre divisioni hè ancu un incubatore chì cresce i so prudutti. Qualchidunu di elli mori in u stadiu di sviluppu, alcuni avemu usatu mentre travaglianu nantu à i prughjetti, mentri àutri arradicanu è diventanu suluzioni replicate chì cuminciamu à aduprà noi stessi è vende à i clienti. Per ogni tali sistema, hè desideratu avè u so propiu ambiente di rete, induve si svilupperà senza interferiscenu cù altri sistemi, è in un certu puntu pò esse integratu in l'infrastruttura di a cumpagnia.
In più di u sviluppu, avemu un assai grande cù più di 500 impiegati, furmatu in squadre per ogni cliente. Sò implicati in u mantenimentu di e rete è altri sistemi, u monitoraghju remota, a risoluzione di e rivindicazioni, etc. Questu hè, l'infrastruttura di u SC hè, in fattu, l'infrastruttura di u cliente cù quale sò attualmente travagliendu. A peculiarità di travaglià cù questa parte di a reta hè chì e so stazioni di travagliu per a nostra cumpagnia sò in parte esterni, è in parte internu. Per quessa, per u SC avemu implementatu l'approcciu seguitu - a cumpagnia furnisce u dipartimentu currispundente cù a rete è altre risorse, cunsiderendu e stazioni di travagliu di sti dipartimenti cum'è cunnessione esterne (per analogia cù rami è utilizatori remoti).
Disegnu di l'autostrada: simu l'operatore (sorpresa)
Dopu avè valutatu tutte e trappule, avemu capitu chì avemu avutu una reta di l'operatore di telecomunicazione in un uffiziu, è avemu cuminciatu à agisce in cunseguenza.
Avemu creatu una reta core cù l'aiutu di quale ogni cunsumadore internu, è in u futuru ancu esternu, hè furnitu cù u serviziu necessariu: L2 VPN, L3 VPN o routing L3 regular. Certi dipartimenti necessitanu un accessu à Internet sicuru, mentri àutri necessitanu un accessu pulitu senza firewalls, ma à u stessu tempu prutegge e nostre risorse corporative è a rete core da u so trafficu.
Avemu informalmente "cunclusu un SLA" cù ogni divisione. In cunfurmità cù questu, tutti l'incidentali chì si sviluppanu devenu esse eliminati in un certu periodu di tempu pre-accordu. I requisiti di a cumpagnia per a so rete sò stati stretti. U tempu massimu di risposta à un incidente in casu di fallimentu di u telefunu è di l'email era di 5 minuti. U tempu per restaurà a funziunalità di a rete durante i fallimenti tipici ùn hè micca più di un minutu.
Siccomu avemu una rete di trasportatore, pudete cunnette solu in stretta cunfurmità cù e regule. Unità di serviziu stabilisce pulitiche è furnisce servizii. Ùn anu mancu bisognu d'infurmazioni nantu à e cunnessione di servori specifichi, macchine virtuali è stazioni di travagliu. Ma à u stessu tempu, i miccanismi di prutezzione sò necessarii, perchè micca una sola cunnessione ùn deve disattivà a reta. Se un loop hè creatu accidintali, altri utilizatori ùn deve micca nutà questu, vale à dì, una risposta adatta da a reta hè necessaria. Ogni operatore di telecomunicazione risolve constantemente prublemi simili apparentemente cumplessi in a so rete core. Fornisce serviziu à parechji clienti cù bisogni è trafficu diffirenti. À u listessu tempu, diversi abbonati ùn deve micca sperienze inconvenienti da u trafficu di l'altri.
In casa, avemu risoltu stu prublema in a seguente manera: avemu custruitu una reta di backbone L3 cù redundancy cumpleta, utilizendu u protocolu IS-IS. Una reta overlay hè stata custruita nantu à u core basatu annantu à a tecnulugia /, utilizendu un protocolu di routing . Per accelerà a cunvergenza di i protokolli di routing, a tecnulugia BFD hè stata aduprata.
Struttura di a rete
In i testi, stu schema hà dimustratu per esse eccellenti - quandu ogni canali o switch hè disconnected, u tempu di cunvergenza ùn hè micca più di 0.1-0.2 s, un minimu di pacchetti sò persi (spessu nimu), e sessioni TCP ùn sò micca strappate, conversazioni telefoniche. ùn sò micca interrotta.
Underlay Layer - Routing
Overlay Layer - Routing
I switches Huawei CE6870 cù licenze VXLAN sò stati utilizati cum'è switch di distribuzione. Stu dispusitivu hà un rapportu ottimali di prezzu / qualità, chì vi permette di cunnette l'abbonati à una velocità di 10 Gbit / s, è cunnette à a spina dorsale à velocità di 40-100 Gbit / s, secondu i transceivers utilizati.
Switch Huawei CE6870
I switches Huawei CE8850 sò stati usati cum'è switch core. U scopu hè di trasmette u trafficu rapidamente è affidabile. Nisun dispositivu hè cunnessu cù elli, eccettu i switch di distribuzione, ùn sanu micca nunda di VXLAN, cusì hè statu sceltu un mudellu cù 32 porti 40/100 Gbps, cù una licenza basica chì furnisce routing L3 è supportu per l'IS-IS è MP-BGP. protokolli.
U fondu hè u switch core Huawei CE8850
In a fase di cuncepimentu, una discussione hà scoppiatu in a squadra nantu à e tecnulugia chì puderanu esse aduprate per implementà una cunnessione tolerante à i difetti à i nodi di rete core. U nostru uffiziu di Mosca hè situatu in trè edifici, avemu 7 sale di distribuzione, in ognuna di e quali sò stati installati dui switches di distribuzione Huawei CE6870 (solu i switches d'accessu sò stati installati in parechje sale di distribuzione). Quandu hà sviluppatu u cuncettu di rete, duie opzioni di redundanza sò state cunsiderate:
- A cunsolidazione di a distribuzione cambia in una pila tolerante à i difetti in ogni stanza di cunnessione incruciata. Pro: simplicità è facilità di stallazione. Svantaghji: ci hè una probabilità più alta di fallimentu di tutta a pila quandu l'errore si verificanu in u firmware di i dispositi di rete ("fughe di memoria" è simili).
- Applicà e tecnulugia di gateway M-LAG è Anycast per cunnette i dispositi à i switch di distribuzione.
In fine, avemu stallatu nantu à a seconda opzione. Hè un pocu più difficiuli di cunfigurà, ma hà dimustratu in pratica a so prestazione è alta affidabilità.
Cunsideremu prima di cunnette i dispositi finali à i switch di distribuzione:
Croce
Un switch d'accessu, servitore, o qualsiasi altru dispositivu chì necessita una cunnessione tolerante à i difetti hè inclusu in dui switch di distribuzione. A tecnulugia M-LAG furnisce redundanza à u livellu di u ligame di dati. Si assume chì dui switch di distribuzione appariscenu à l'equipaggiu cunnessu cum'è un dispositivu. A redundanza è l'equilibriu di carica sò realizati cù u protocolu LACP.
A tecnulugia di gateway Anycast furnisce redundanza à u livellu di a rete. Un numeru abbastanza grande di VRF sò cunfigurati nantu à ognuna di i switch di distribuzione (ogni VRF hè destinatu à i so propiu scopi - separatamente per l'utilizatori "regulari", separatamente per a telefonia, separatamente per diversi ambienti di teste è di sviluppu, etc.), è in ogni modu. VRF hà parechje VLAN cunfigurate. In a nostra reta, i switch di distribuzione sò i gateway predeterminati per tutti i dispositi cunnessi à elli. L'indirizzi IP chì currispondenu à l'interfacce VLAN sò listessi per i dui switch di distribuzione. U trafficu hè instradatu attraversu u switch più vicinu.
Avà fighjemu a cunnessione di i switch di distribuzione à u kernel:
A tolleranza di difetti hè furnita à u livellu di a rete cù u protocolu IS-IS. Per piacè nutate chì una linea di cumunicazione L3 separata hè furnita trà i switches, à una velocità di 100G. Fisicamente, sta linea di cumunicazione hè un cable d'accessu direttu pò esse vistu à a diritta in a foto di i switches Huawei CE6870.
Una alternativa seria d'urganizà una topulugia doppia stella "onesta" cumpletamente cunnessa, ma, cum'è l'esitatu sopra, avemu 7 stanze incruciate in trè edifici. Per quessa, se avemu sceltu a topologia "doppia stella", avaristi bisognu esattamente duie volte di transceivers 40G "long range". U risparmiu quì hè assai significativu.
Ci vole à dì uni pochi di parolle nantu à cumu e tecnulugia di gateway VXLAN è Anycast travaglianu inseme. VXLAN, senza entre in dettagli, hè un tunnel per u trasportu di frames Ethernet in pacchetti UDP. L'interfaccia di loopback di i switch di distribuzione sò aduprate cum'è l'indirizzu IP di destinazione di u tunnel VXLAN. Ogni crossover hà dui switch cù i stessi indirizzi di l'interfaccia di loopback, cusì un pacchettu pò ghjunghje à qualsiasi di elli, è un quadru Ethernet pò esse estratti da ellu.
Se u cambiamentu cunnosci l'indirizzu MAC di destinazione di u quadru ritruvatu, u quadru serà mandatu currettamente à u so destinazione. Per assicurà chì i dui switches di distribuzione installati in u stessu cross-connect anu infurmazione aghjurnata nantu à tutti l'indirizzi MAC "arrivuti" da i switch d'accessu, u mecanismu M-LAG hè rispunsevuli di sincronizà e tabelle d'indirizzu MAC (cum'è ARP). tabelle) su entrambe le coppie di interruttori M-LAG.
L'equilibriu di u trafficu hè ottenutu per via di a prisenza in a reta sottu di parechje rotte à l'interfaccia di loopback di i switch di distribuzione.
Inveci di 'na cunchiusioni
Cumu l'esitatu sopra, durante a prova è u funziunamentu, a reta dimustrava una alta affidabilità (u tempu di ricuperazione per i fallimenti tipici ùn hè più di centinaie di millisecondi) è un bonu rendimentu - ogni cross-connect hè cunnessu à u core da dui canali 40 Gbit/s. I switch d'accessu in a nostra reta sò impilati è cunnessi à i switch di distribuzione via LACP/M-LAG cù dui canali 10 Gbit/s. Una pila di solitu cuntene 5 switch cù 48 porti ognunu, è finu à 10 stacks d'accessu sò cunnessi à a distribuzione in ogni cross-connect. Cusì, a spina dorsale furnisce circa 30 Mbit / s per utilizatore ancu à a massima carica teorica, chì à u mumentu di a scrittura hè abbastanza per tutte e nostre applicazioni pratiche.
A reta vi permette di urganizà senza saldatura l'accoppiamentu di qualsiasi dispositi cunnessi arbitrarie via L2 è L3, furnisce un isolamentu cumpletu di u trafficu (chì piace à u serviziu di sicurità di l'infurmazioni) è i domini di difetti (chì piace à a squadra di l'operazioni).
In a prossima parte vi diceremu cumu avemu migratu à a nova reta. Stà à sente !
Maxim Klochkov
Consultant Senior, Audit di Rete è Gruppu di Prughjetti Cumplessi
Centru di soluzioni di rete
"Jet Infosystems"
Source: www.habr.com