Danes vam bom povedal, kako se je pojavila in uresničila ideja o ustvarjanju novega notranjega omrežja za naše podjetje. Stališče vodstva je, da morate narediti enak polnopravni projekt zase in za naročnika. Če to naredimo dobro zase, lahko kupca povabimo in pokažemo, kako dobro to, kar mu ponujamo, deluje in deluje. Zato smo k razvoju koncepta novega omrežja za pisarno v Moskvi pristopili zelo temeljito, z uporabo celotnega proizvodnega cikla: analiza potreb oddelka → izbor tehnične rešitve → načrtovanje → izvedba → testiranje. Pa začnimo.
Izbira tehnične rešitve: Mutant Sanctuary
Postopek dela na kompleksnem avtomatiziranem sistemu je trenutno najbolje opisan v GOST 34.601-90 "Avtomatizirani sistemi. Faze ustvarjanja«, zato smo delali na tem. In že v fazi oblikovanja zahtev in razvoja koncepta smo naleteli na prve težave. Organizacije različnih profilov - banke, zavarovalnice, razvijalci programske opreme itd. - za svoje naloge in standarde potrebujejo določene vrste omrežij, katerih specifike so jasne in standardizirane. Vendar pri nas to ne bo šlo.
Zakaj?
Jet Infosystems je veliko razvejano IT podjetje. Hkrati je naš notranji podporni oddelek majhen (a ponosen), zagotavlja delovanje osnovnih storitev in sistemov. Podjetje vsebuje veliko oddelkov, ki opravljajo različne funkcije: to je več močnih ekip za zunanje izvajanje in lastni razvijalci poslovnih sistemov ter informacijska varnost in arhitekti računalniških sistemov - na splošno, kdor koli že je. Temu primerno se razlikujejo tudi njihove naloge, sistemi in varnostne politike. Kar je pričakovano povzročilo težave pri procesu analize potreb in standardizacije.
Tukaj je na primer razvojni oddelek: njegovi zaposleni pišejo in testirajo kodo za veliko število strank. Pogosto je treba hitro organizirati testna okolja in odkrito povedano ni vedno mogoče oblikovati zahtev za vsak projekt posebej, zahtevati sredstva in zgraditi ločeno testno okolje v skladu z vsemi internimi predpisi. To privede do nenavadnih situacij: nekega dne je vaš ponižni služabnik pogledal v sobo za razvijalce in pod mizo našel pravilno delujočo gručo Hadoop z 20 namizji, ki je bila nerazložljivo povezana v skupno omrežje. Mislim, da ni vredno pojasnjevati, da IT-oddelek podjetja ni vedel za njegov obstoj. Ta okoliščina, tako kot mnoge druge, je bila odgovorna za dejstvo, da se je med razvojem projekta rodil izraz "mutantski rezervat", ki opisuje stanje dolgotrajne pisarniške infrastrukture.
Ali tukaj je še en primer. Občasno se v oddelku vzpostavi testna miza. Tako je bilo z Jira in Confluence, ki ju je Center za razvoj programske opreme v nekaterih projektih uporabljal v omejenem obsegu. Čez nekaj časa so drugi oddelki izvedeli za te uporabne vire, jih ovrednotili in konec leta 2018 sta Jira in Confluence iz statusa »lokalne programerske igrače« prešla v status »virov podjetja«. Zdaj je treba tem sistemom dodeliti lastnika, določiti SLA, politike dostopa/informacijske varnosti, varnostne politike, spremljanje, pravila za usmerjanje zahtev za odpravljanje težav - na splošno morajo biti prisotni vsi atributi polnega informacijskega sistema .
Vsaka naša divizija je tudi inkubator, ki prideluje lastne izdelke. Nekatere zamrejo v fazi razvoja, nekatere uporabimo pri delu na projektih, druge pa se ukoreninijo in postanejo replicirane rešitve, ki jih začnemo uporabljati sami in prodajati strankam. Za vsak tak sistem je zaželeno, da ima svoje omrežno okolje, kjer se bo razvijal brez poseganja v druge sisteme in ga bo na neki točki mogoče integrirati v infrastrukturo podjetja.
Poleg razvoja imamo zelo velik z več kot 500 zaposlenimi, oblikovanimi v ekipe za vsako stranko. Ukvarjajo se z vzdrževanjem omrežij in drugih sistemov, nadzorom na daljavo, reševanjem škodnih primerov ipd. To pomeni, da je infrastruktura SC dejansko infrastruktura stranke, s katero trenutno delajo. Posebnost dela s tem delom omrežja je, da so njihove delovne postaje za naše podjetje deloma zunanje, deloma notranje. Zato smo za SC izvedli naslednji pristop - podjetje ustreznemu oddelku zagotavlja omrežne in druge vire, pri čemer delovne postaje teh oddelkov obravnava kot zunanje povezave (po analogiji s podružnicami in oddaljenimi uporabniki).
Projektiranje avtoceste: upravljavec smo mi (presenečenje)
Ko smo ocenili vse pasti, smo ugotovili, da dobivamo omrežje telekomunikacijskega operaterja znotraj ene pisarne, in temu primerno smo tudi začeli ukrepati.
Ustvarili smo jedrno omrežje, s pomočjo katerega je vsakemu notranjemu, v prihodnosti pa tudi zunanjemu potrošniku zagotovljena zahtevana storitev: L2 VPN, L3 VPN ali navadno L3 usmerjanje. Nekateri oddelki potrebujejo varen dostop do interneta, medtem ko drugi potrebujejo čist dostop brez požarnih zidov, ki pa hkrati ščiti naše poslovne vire in jedrno omrežje pred njihovim prometom.
Z vsako divizijo smo neformalno »sklenili SLA«. V skladu z njim je treba vse nastale incidente odpraviti v določenem, vnaprej dogovorjenem roku. Zahteve podjetja za njegovo omrežje so se izkazale za stroge. Najdaljši odzivni čas na incident v primeru okvare telefona in elektronske pošte je bil 5 minut. Čas za obnovitev delovanja omrežja med tipičnimi okvarami ni daljši od minute.
Ker imamo omrežje operaterskega razreda, se lahko nanj povežete samo v skladu s pravili. Servisne enote določajo politike in zagotavljajo storitve. Ne potrebujejo niti informacij o povezavah določenih strežnikov, virtualnih strojev in delovnih postaj. Toda hkrati so potrebni zaščitni mehanizmi, saj nobena povezava ne sme onemogočiti omrežja. Če se slučajno ustvari zanka, drugi uporabniki tega ne bi smeli opaziti, torej je potreben ustrezen odziv omrežja. Vsak telekomunikacijski operater nenehno rešuje podobne na videz zapletene probleme znotraj svojega jedrnega omrežja. Ponuja storitve številnim strankam z različnimi potrebami in prometom. Hkrati različni naročniki ne bi smeli imeti neprijetnosti zaradi prometa drugih.
Doma smo to težavo rešili na naslednji način: zgradili smo hrbtenično L3 omrežje s popolno redundanco po protokolu IS-IS. Prekrivno omrežje je bilo zgrajeno na vrhu hrbtenice, ki temelji na tehnologiji /, z uporabo usmerjevalnega protokola . Za pospešitev konvergence usmerjevalnih protokolov je bila uporabljena tehnologija BFD.
Struktura mreže
V testih se je ta shema izkazala za odlično - ko je kateri koli kanal ali stikalo odklopljeno, čas konvergence ni daljši od 0.1-0.2 s, izgubljeno je najmanj paketov (pogosto nobenega), seje TCP niso pretrgane, telefonski pogovori niso prekinjeni.
Podložni sloj - usmerjanje
Prekrivni sloj – usmerjanje
Kot distribucijska stikala so bila uporabljena stikala Huawei CE6870 z licencami VXLAN. Ta naprava ima optimalno razmerje med ceno in kakovostjo, omogoča povezovanje naročnikov s hitrostjo 10 Gbit/s in povezavo s hrbtenico s hitrostjo 40–100 Gbit/s, odvisno od uporabljenih oddajnikov.
Huawei CE6870 stikala
Kot osnovna stikala so bila uporabljena stikala Huawei CE8850. Cilj je hiter in zanesljiv prenos prometa. Na njih ni priključena nobena naprava razen distribucijskih stikal, o VXLAN ne vedo nič, zato je bil izbran model z 32 40/100 Gbps vrati, z osnovno licenco, ki omogoča L3 usmerjanje in podporo za IS-IS in MP-BGP. protokoli .
Spodnje je jedrno stikalo Huawei CE8850
V fazi načrtovanja je v ekipi izbruhnila razprava o tehnologijah, ki bi jih lahko uporabili za izvedbo povezave, odporne na napake, do vozlišč jedrnega omrežja. Naša pisarna v Moskvi se nahaja v treh stavbah, imamo 7 distribucijskih sob, v vsaki sta bili nameščeni dve distribucijski stikali Huawei CE6870 (v več distribucijskih sobah so bila nameščena samo dostopna stikala). Pri razvoju koncepta omrežja sta bili upoštevani dve možnosti redundance:
- Konsolidacija distribucijskih stikal v sklad, odporen na napake, v vsaki sobi navzkrižne povezave. Prednosti: preprostost in enostavna nastavitev. Slabosti: obstaja večja verjetnost okvare celotnega sklada, ko pride do napak v firmware-u omrežnih naprav (»memory leaks« in podobno).
- Uporabite tehnologije prehoda M-LAG in Anycast za povezavo naprav z distribucijskimi stikali.
Na koncu smo se odločili za drugo možnost. Nekoliko težje ga je konfigurirati, vendar je v praksi pokazal svojo zmogljivost in visoko zanesljivost.
Najprej razmislimo o priključitvi končnih naprav na razdelilna stikala:
Križ
Dostopovno stikalo, strežnik ali katera koli druga naprava, ki zahteva povezavo, odporno na napake, je vključena v dve distribucijski stikali. Tehnologija M-LAG zagotavlja redundanco na ravni podatkovne povezave. Predpostavlja se, da sta dve razdelilni stikali povezani opremi prikazani kot ena naprava. Redundanca in izravnava obremenitve se izvajata s protokolom LACP.
Tehnologija prehoda Anycast zagotavlja redundanco na ravni omrežja. Na vsakem od distribucijskih stikal je konfiguriranih precej veliko število VRF-jev (vsak VRF je namenjen za svoje namene - posebej za “navadne” uporabnike, posebej za telefonijo, posebej za različna testna in razvojna okolja itd.) in v vsakem VRF ima konfiguriranih več omrežij VLAN. V našem omrežju so razdelilna stikala privzeti prehodi za vse naprave, ki so nanje povezane. Naslovi IP, ki ustrezajo vmesnikom VLAN, so enaki za obe distribucijski stikali. Promet je speljan preko najbližje kretnice.
Zdaj pa poglejmo povezavo distribucijskih stikal z jedrom:
Toleranca napak je zagotovljena na ravni omrežja s protokolom IS-IS. Upoštevajte, da je med stikali zagotovljena ločena komunikacijska linija L3 s hitrostjo 100G. Fizično je ta komunikacijska linija Direct Access kabel; viden je na desni na fotografiji stikala Huawei CE6870.
Alternativa bi bila organizirati "pošteno" popolnoma povezano topologijo dvojne zvezde, vendar, kot je navedeno zgoraj, imamo 7 sob za navzkrižno povezavo v treh stavbah. V skladu s tem, če bi izbrali topologijo "dvojne zvezde", bi potrebovali natanko dvakrat toliko oddajnikov "dolgega dosega" 40G. Prihranki tukaj so zelo pomembni.
Nekaj besed je treba povedati o tem, kako tehnologiji prehoda VXLAN in Anycast delujeta skupaj. VXLAN je, ne da bi se spuščal v podrobnosti, tunel za prenos ethernetnih okvirjev znotraj paketov UDP. Vmesniki povratne zanke distribucijskih stikal se uporabljajo kot ciljni IP naslov tunela VXLAN. Vsako križišče ima dve stikali z enakimi naslovi vmesnika povratne zanke, tako da lahko paket prispe do katerega koli od njih in iz njega se lahko ekstrahira okvir Ethernet.
Če stikalo pozna ciljni naslov MAC prejetega okvira, bo okvir pravilno dostavljen na cilj. Za zagotovitev, da imata obe distribucijski stikali, nameščeni v isti navzkrižni povezavi, posodobljene informacije o vseh naslovih MAC, ki »prispejo« iz dostopovnih stikal, je mehanizem M-LAG odgovoren za sinhronizacijo tabel naslovov MAC (kot tudi ARP mize) na obeh stikalih M-LAG parov.
Uravnoteženje prometa je doseženo zaradi prisotnosti v osnovnem omrežju več poti do povratnih vmesnikov distribucijskih stikal.
Namesto zaključka
Kot je navedeno zgoraj, je med testiranjem in delovanjem omrežje pokazalo visoko zanesljivost (čas okrevanja pri tipičnih okvarah ni daljši od sto milisekund) in dobro zmogljivost - vsaka navzkrižna povezava je povezana z jedrom z dvema kanaloma 40 Gbit/s. Dostopna stikala v našem omrežju so skladna in povezana z distribucijskimi stikali preko LACP/M-LAG z dvema kanaloma 10 Gbit/s. Sklad običajno vsebuje 5 stikal s po 48 vrati in do 10 dostopovnih skladov je povezanih z distribucijo v vsaki navzkrižni povezavi. Tako hrbtenica zagotavlja okoli 30 Mbit/s na uporabnika tudi pri največji teoretični obremenitvi, kar je v času pisanja dovolj za vse naše praktične aplikacije.
Omrežje vam omogoča nemoteno organiziranje združevanja poljubno povezanih naprav prek L2 in L3, kar zagotavlja popolno izolacijo prometa (kar je všeč službi za informacijsko varnost) in domen napak (kar je všeč operativni skupini).
V naslednjem delu vam bomo povedali, kako smo migrirali na novo omrežje. Ostani na vezi!
Maksim Kločkov
Višji svetovalec skupine za revizijo omrežja in kompleksne projekte
Center omrežnih rešitev
"Jet Infosystems"
Vir: www.habr.com