Danas ću vam ispričati kako je nastala i kako je implementirana ideja o stvaranju nove interne mreže za našu tvrtku. Stajalište uprave je da trebate napraviti isti cjeloviti projekt za sebe kao i za klijenta. Ako to radimo dobro za sebe, možemo pozvati kupca i pokazati koliko dobro funkcionira i funkcionira ono što mu nudimo. Stoga smo razvoju koncepta nove mreže za moskovski ured pristupili vrlo temeljito, koristeći cijeli proizvodni ciklus: analiza potreba odjela → odabir tehničkog rješenja → dizajn → implementacija → testiranje. Pa počnimo.
Odabir tehničkog rješenja: Utočište mutanata
Postupak rada na složenom automatiziranom sustavu trenutno je najbolje opisan u GOST 34.601-90 „Automatizirani sustavi. Faze stvaranja”, pa smo radili u skladu s njim. I već u fazama oblikovanja zahtjeva i razvoja koncepta naišli smo na prve poteškoće. Organizacije različitih profila - banke, osiguravajuća društva, programeri itd. - za svoje zadatke i standarde trebaju određene vrste mreža, čije su specifičnosti jasne i standardizirane. Međutim, kod nas to neće uspjeti.
Zašto?
Jet Infosystems velika je diversificirana IT tvrtka. U isto vrijeme, naš interni odjel podrške je mali (ali ponosan), osigurava funkcionalnost osnovnih usluga i sustava. Tvrtka sadrži mnogo odjela koji obavljaju različite funkcije: to su nekoliko moćnih outsourcing timova, i interni programeri poslovnih sustava, i informacijske sigurnosti, i arhitekti računalnih sustava - općenito, tko god to bio. Sukladno tome razlikuju se i njihovi zadaci, sustavi i sigurnosne politike. Što je očekivano stvorilo poteškoće u procesu analize potreba i standardizacije.
Evo, na primjer, razvojnog odjela: njegovi zaposlenici pišu i testiraju kod za veliki broj kupaca. Često postoji potreba za brzim organiziranjem testnih okruženja, a iskreno govoreći, nije uvijek moguće formulirati zahtjeve za svaki projekt, zatražiti resurse i izgraditi zasebno testno okruženje u skladu sa svim internim propisima. To dovodi do zanimljivih situacija: jednog dana je vaš ponizni sluga pogledao u prostoriju za programere i ispod stola pronašao Hadoop klaster koji ispravno radi od 20 stolnih računala, koji je bio neobjašnjivo povezan na zajedničku mrežu. Mislim da nije vrijedno pojašnjavati da IT odjel tvrtke nije znao za njegovo postojanje. Ova okolnost, kao i mnoge druge, bila je odgovorna za činjenicu da se tijekom razvoja projekta rodio pojam "rezervat mutanata", koji opisuje stanje dugotrajne uredske infrastrukture.
Ili evo još jednog primjera. Povremeno se unutar odjela postavlja ispitni stol. To je bio slučaj s Jirom i Confluenceom, koje je Centar za razvoj softvera u ograničenoj mjeri koristio u nekim projektima. Nakon nekog vremena drugi su odjeli saznali za te korisne resurse, procijenili ih, a krajem 2018. Jira i Confluence su iz statusa “lokalne programerske igračke” prešli u status “resursa tvrtke”. Sada tim sustavima mora biti dodijeljen vlasnik, moraju se definirati SLA-ovi, politike pristupa/informacijske sigurnosti, politike sigurnosne kopije, nadzor, pravila za usmjeravanje zahtjeva za rješavanje problema - općenito, moraju biti prisutni svi atributi potpunog informacijskog sustava .
Svaki od naših odjela također je inkubator koji uzgaja vlastite proizvode. Neka od njih umiru u fazi razvoja, neka koristimo tijekom rada na projektima, dok se druga ukorijene i postanu replicirana rješenja koja počinjemo sami koristiti i prodavati klijentima. Za svaki takav sustav poželjno je imati vlastito mrežno okruženje, gdje će se razvijati bez ometanja drugih sustava, te se u jednom trenutku može integrirati u infrastrukturu tvrtke.
Osim razvoja, imamo vrlo velik s više od 500 zaposlenika, formiranih u timove za svakog kupca. Oni su uključeni u održavanje mreža i drugih sustava, daljinski nadzor, rješavanje potraživanja i tako dalje. Odnosno, infrastruktura SC-a je zapravo infrastruktura kupca s kojim trenutno rade. Posebnost rada s ovim dijelom mreže je da su njihove radne stanice za našu tvrtku dijelom eksterne, a dijelom interne. Stoga smo za SC implementirali sljedeći pristup - tvrtka osigurava odgovarajućem odjelu mrežne i druge resurse, smatrajući radne stanice tih odjela vanjskim vezama (po analogiji s podružnicama i udaljenim korisnicima).
Dizajn autoceste: mi smo operater (iznenađenje)
Nakon što smo procijenili sve zamke, shvatili smo da dobivamo mrežu telekomunikacijskog operatera unutar jednog ureda i počeli smo se ponašati u skladu s tim.
Stvorili smo jezgrenu mrežu uz pomoć koje je svakom internom, au budućnosti i eksternom potrošaču omogućena potrebna usluga: L2 VPN, L3 VPN ili obično L3 rutiranje. Neki odjeli trebaju siguran pristup Internetu, dok drugi trebaju čisti pristup bez vatrozida, ali u isto vrijeme štiteći naše korporativne resurse i jezgrenu mrežu od njihovog prometa.
Neslužbeno smo "zaključili SLA" sa svakom podjelom. U skladu s njim, svi incidenti koji nastanu moraju se otkloniti u određenom, unaprijed dogovorenom roku. Pokazalo se da su zahtjevi tvrtke za svoju mrežu strogi. Maksimalno vrijeme odgovora na incident u slučaju kvara telefona i e-pošte bilo je 5 minuta. Vrijeme za vraćanje mrežne funkcionalnosti tijekom tipičnih kvarova nije duže od minute.
Budući da imamo mrežu mobilnog operatera, na nju se možete povezati samo u strogom skladu s pravilima. Servisne jedinice postavljaju politike i pružaju usluge. Ne trebaju im ni informacije o vezama određenih poslužitelja, virtualnih strojeva i radnih stanica. Ali u isto vrijeme, potrebni su zaštitni mehanizmi, jer niti jedna veza ne smije onemogućiti mrežu. Ako se slučajno stvori petlja, drugi korisnici to ne bi trebali primijetiti, odnosno potreban je adekvatan odgovor mreže. Svaki telekom operater neprestano rješava slične naizgled složene probleme unutar svoje jezgrene mreže. Pruža uslugu mnogim klijentima s različitim potrebama i prometom. U isto vrijeme, različiti pretplatnici ne bi trebali doživjeti neugodnosti od prometa drugih.
Kod kuće smo taj problem riješili na sljedeći način: izgradili smo okosnicu L3 mreže s potpunom redundancijom, koristeći IS-IS protokol. Prekrivajuća mreža izgrađena je na vrhu jezgre temeljena na tehnologiji /, koristeći protokol usmjeravanja . Kako bi se ubrzala konvergencija protokola usmjeravanja, korištena je BFD tehnologija.
Struktura mreže
U testovima se ova shema pokazala izvrsnom - kada je bilo koji kanal ili prekidač isključen, vrijeme konvergencije nije veće od 0.1-0.2 s, gubi se najmanje paketa (često nijedan), TCP sesije se ne prekidaju, telefonski razgovori nisu prekinuti.
Podložni sloj - usmjeravanje
Prekrivajući sloj - usmjeravanje
Kao distribucijski preklopnici korišteni su Huawei CE6870 preklopnici s VXLAN licencama. Ovaj uređaj ima optimalan omjer cijene i kvalitete, što vam omogućuje povezivanje pretplatnika brzinom od 10 Gbit/s i povezivanje s okosnicom brzinom od 40–100 Gbit/s, ovisno o korištenim primopredajnicima.
Prekidači Huawei CE6870
Huawei CE8850 prekidači korišteni su kao osnovni prekidači. Cilj je brzo i pouzdano prenijeti promet. Na njih nisu spojeni nikakvi uređaji osim distribucijskih preklopnika, ne znaju ništa o VXLAN-u, pa je odabran model s 32 40/100 Gbps porta, s osnovnom licencom koja omogućuje L3 rutiranje i podršku za IS-IS i MP-BGP protokoli .
Donji je Huawei CE8850 core switch
U fazi projektiranja, unutar tima je izbila rasprava o tehnologijama koje bi se mogle koristiti za implementaciju veze otporne na pogreške s čvorovima jezgrene mreže. Naš ured u Moskvi nalazi se u tri zgrade, imamo 7 distribucijskih prostorija, u svakoj od kojih su instalirana dva distribucijska prekidača Huawei CE6870 (u nekoliko distribucijskih soba instalirani su samo pristupni prekidači). Prilikom razvoja koncepta mreže razmatrane su dvije opcije redundantnosti:
- Konsolidacija distribucijskih sklopki u stog otporan na pogreške u svakoj sobi za poprečno povezivanje. Prednosti: jednostavnost i lakoća postavljanja. Nedostaci: postoji veća vjerojatnost kvara cijelog steka kada se pojave greške u firmware-u mrežnih uređaja (“curenje memorije” i sl.).
- Primijenite M-LAG i Anycast pristupne tehnologije za povezivanje uređaja s distribucijskim sklopkama.
Na kraju smo se odlučili za drugu opciju. Nešto ga je teže konfigurirati, ali je u praksi pokazao svoje performanse i visoku pouzdanost.
Razmotrimo prvo spajanje krajnjih uređaja na distribucijske sklopke:
Križ
Preklopnik za pristup, poslužitelj ili bilo koji drugi uređaj koji zahtijeva vezu otpornu na greške uključen je u dvije distribucijske sklopke. M-LAG tehnologija omogućuje redundantnost na razini podatkovne veze. Pretpostavlja se da se dvije distribucijske sklopke pojavljuju povezanoj opremi kao jedan uređaj. Redundancija i uravnoteženje opterećenja provode se korištenjem LACP protokola.
Anycast gateway tehnologija pruža redundantnost na mrežnoj razini. Na svakoj od distribucijskih sklopki konfiguriran je prilično velik broj VRF-ova (svaki VRF je namijenjen za svoje potrebe - posebno za "obične" korisnike, posebno za telefoniju, posebno za razna testna i razvojna okruženja itd.), a u svakom VRF ima nekoliko konfiguriranih VLAN-ova. U našoj mreži distribucijski preklopnici zadani su pristupnici za sve uređaje koji su na njih spojeni. IP adrese koje odgovaraju VLAN sučeljima iste su za obje distribucijske sklopke. Promet se odvija preko najbliže skretnice.
Sada pogledajmo povezivanje distribucijskih sklopki s jezgrom:
Tolerancija grešaka je osigurana na mrežnoj razini korištenjem IS-IS protokola. Imajte na umu da je između preklopnika osigurana zasebna L3 komunikacijska linija, brzinom od 100G. Fizički, ova komunikacijska linija je Direct Access kabel; može se vidjeti desno na fotografiji Huawei CE6870 preklopnika.
Alternativa bi bila organizirati "poštenu" potpuno povezanu topologiju dvostruke zvijezde, ali, kao što je gore spomenuto, imamo 7 prostorija za unakrsno povezivanje u tri zgrade. Sukladno tome, da smo odabrali topologiju "dvostruke zvijezde", trebalo bi nam točno duplo više "dugodometnih" 40G primopredajnika. Uštede su ovdje vrlo značajne.
Potrebno je reći nekoliko riječi o tome kako tehnologije VXLAN i Anycast gateway rade zajedno. VXLAN je, ne ulazeći u detalje, tunel za prijenos Ethernet okvira unutar UDP paketa. Sučelja povratne petlje distribucijskih sklopki koriste se kao odredišna IP adresa VXLAN tunela. Svaki crossover ima dva preklopnika s istim adresama sučelja povratne petlje, tako da paket može stići na bilo koji od njih i iz njega se može izdvojiti Ethernet okvir.
Ako preklopnik zna odredišnu MAC adresu dohvaćenog okvira, okvir će biti ispravno isporučen na odredište. Kako bi se osiguralo da obje distribucijske sklopke instalirane u istoj unakrsnoj vezi imaju ažurne informacije o svim MAC adresama koje "stižu" s pristupnih sklopki, mehanizam M-LAG odgovoran je za sinkronizaciju tablica MAC adresa (kao i ARP tablice) na obje sklopke M-LAG parovi.
Balansiranje prometa postiže se zbog prisutnosti nekoliko ruta u podložnoj mreži do povratnih sučelja distribucijskih sklopki.
Umjesto zaključka
Kao što je gore spomenuto, tijekom testiranja i rada mreža je pokazala visoku pouzdanost (vrijeme oporavka za tipične kvarove nije više od stotina milisekundi) i dobre performanse - svaka križna veza povezana je s jezgrom s dva kanala od 40 Gbit/s. Pristupni preklopnici u našoj mreži složeni su i povezani s distribucijskim preklopnicima putem LACP/M-LAG s dva kanala od 10 Gbit/s. Stog obično sadrži 5 preklopnika sa po 48 priključaka, a do 10 pristupnih skupova povezano je na distribuciju u svakom križnom spoju. Dakle, okosnica osigurava oko 30 Mbit/s po korisniku čak i pri maksimalnom teoretskom opterećenju, što je u trenutku pisanja dostatno za sve naše praktične primjene.
Mreža vam omogućuje neprimjetno organiziranje uparivanja proizvoljno povezanih uređaja putem L2 i L3, pružajući potpunu izolaciju prometa (što služba za informacijsku sigurnost voli) i domena grešaka (što operativni tim voli).
U sljedećem dijelu ćemo vam reći kako smo migrirali na novu mrežu. Ostanite s nama!
Maksim Kločkov
Viši konzultant grupe za mrežnu reviziju i složene projekte
Centar mrežnih rješenja
"Jet Infosustavi"
Izvor: www.habr.com