Í dag mun ég segja þér frá því hvernig hugmyndin um að búa til nýtt innra net fyrir fyrirtækið okkar kom til og var hrint í framkvæmd. Afstaða stjórnenda er sú að þú þarft að gera sama fullkomna verkefni fyrir sjálfan þig og fyrir viðskiptavininn. Ef við gerum það vel fyrir okkur getum við boðið viðskiptavininum og sýnt hversu vel það sem við bjóðum honum virkar og virkar. Þess vegna nálguðumst við þróun hugmyndarinnar um nýtt net fyrir Moskvu skrifstofuna mjög rækilega, með því að nota alla framleiðsluferlið: greining á deildaþörfum → val á tæknilausn → hönnun → framkvæmd → prófun. Svo skulum við byrja.
Að velja tæknilausn: Stökkbreytt helgidómur
Aðferðin við að vinna á flóknu sjálfvirku kerfi er nú best lýst í GOST 34.601-90 „Sjálfvirk kerfi. Stages of Creation“, svo við unnum eftir því. Og þegar á stigum kröfugerðar og hugmyndaþróunar lentum við í fyrstu erfiðleikunum. Samtök af ýmsum sniðum - bankar, tryggingafélög, hugbúnaðarframleiðendur o.s.frv. - fyrir verkefni sín og staðla þurfa þau ákveðnar tegundir netkerfa, sem eru skýrar og staðlaðar. Hins vegar mun þetta ekki virka hjá okkur.
Hvers vegna?
Jet Infosystems er stórt og fjölbreytt upplýsingatæknifyrirtæki. Á sama tíma er innri stoðdeildin okkar lítil (en stolt), hún tryggir virkni grunnþjónustu og kerfa. Fyrirtækið inniheldur margar deildir sem sinna mismunandi hlutverkum: þetta eru nokkur öflug útvistunarteymi, og innri þróunaraðilar viðskiptakerfa og upplýsingaöryggis og arkitektar tölvukerfa - almennt, hver sem það er. Í samræmi við það eru verkefni þeirra, kerfi og öryggisstefnur einnig mismunandi. Sem, eins og við var að búast, skapaði erfiðleika í ferli þarfagreiningar og stöðlunar.
Hér er til dæmis þróunardeildin: starfsmenn hennar skrifa og prófa kóða fyrir mikinn fjölda viðskiptavina. Oft þarf að skipuleggja prófunarumhverfi fljótt og satt að segja er ekki alltaf hægt að móta kröfur fyrir hvert verkefni, óska eftir fjármagni og byggja upp sérstakt prófumhverfi í samræmi við allar innri reglur. Þetta gefur tilefni til forvitnilegra aðstæðna: Dag einn leit auðmjúkur þjónn þinn inn í herbergi þróunaraðila og fann undir borðinu rétt virka Hadoop þyrpingu með 20 skjáborðum, sem var óskiljanlega tengdur sameiginlegu neti. Ég held að það sé ekki þess virði að útskýra að upplýsingatæknideild fyrirtækisins vissi ekki um tilvist þess. Þessar aðstæður, eins og margar aðrar, voru ábyrgar fyrir því að við þróun verkefnisins fæddist hugtakið „stökkbreyttur varasjóður“, sem lýsir ástandi langþjáðra skrifstofuinnviða.
Eða hér er annað dæmi. Reglulega er settur upp prófunarbekkur innan deildar. Þetta var raunin með Jira og Confluence, sem voru notuð í takmörkuðum mæli af hugbúnaðarþróunarmiðstöðinni í sumum verkefnum. Eftir nokkurn tíma lærðu aðrar deildir um þessi gagnlegu úrræði, metu þau og í lok árs 2018 færðu Jira og Confluence sig úr stöðunni „leikfang staðbundinna forritara“ í stöðuna „fyrirtækjaauðlindir“. Nú þarf að úthluta eiganda til þessara kerfa, SLA, aðgangs-/upplýsingaöryggisstefnur, öryggisafritunarstefnur, eftirlit, reglur um leiðbeiðnir til að laga vandamál verða að vera skilgreindar - almennt verða allir eiginleikar fullgilds upplýsingakerfis að vera til staðar .
Hver deild okkar er einnig útungunarstöð sem ræktar sínar eigin vörur. Sum þeirra deyja á þróunarstigi, sum notum við þegar við vinnum að verkefnum, á meðan önnur skjóta rótum og verða endurteknar lausnir sem við byrjum að nota sjálf og seljum til viðskiptavina. Fyrir hvert slíkt kerfi er æskilegt að hafa eigið netumhverfi þar sem það þróast án þess að trufla önnur kerfi og á einhverjum tímapunkti er hægt að samþætta það innviði fyrirtækisins.
Auk þróunar höfum við mjög stórt með meira en 500 starfsmenn, skipuð í teymi fyrir hvern viðskiptavin. Þeir taka þátt í viðhaldi netkerfa og annarra kerfa, fjarvöktun, úrlausn krafna og svo framvegis. Það er að segja, innviðir SC eru í raun innviðir viðskiptavinarins sem þeir eru að vinna með. Það sem er sérkennilegt við að vinna með þennan hluta netkerfisins er að vinnustöðvar þeirra fyrir fyrirtækið okkar eru að hluta til ytri og að hluta til innri. Þess vegna, fyrir SC, innleiddum við eftirfarandi nálgun - fyrirtækið útvegar samsvarandi deild netkerfi og önnur úrræði og lítur á vinnustöðvar þessara deilda sem utanaðkomandi tengingar (á hliðstæðan hátt við útibú og fjarnotendur).
Hönnun þjóðvega: við erum rekstraraðili (óvart)
Eftir að hafa metið allar gildrurnar komumst við að því að við vorum að fá net fjarskiptafyrirtækis á einni skrifstofu og fórum að bregðast við í samræmi við það.
Við bjuggum til kjarnanet með hjálp sem allir innri, og í framtíðinni einnig ytri, neytendur fá nauðsynlega þjónustu: L2 VPN, L3 VPN eða venjuleg L3 leið. Sumar deildir þurfa öruggan netaðgang á meðan aðrar þurfa hreinan aðgang án eldveggs, en á sama tíma að vernda fyrirtækjaauðlindir okkar og grunnnet fyrir umferð þeirra.
Við „gerðum SLA“ óformlega með hverri deild. Í samræmi við hana ber að útrýma öllum atvikum sem upp koma innan ákveðins fyrirfram ákveðins tíma. Kröfur fyrirtækisins til nets þess reyndust strangar. Hámarksviðbragðstími við atviki ef bilun í síma og tölvupósti var 5 mínútur. Tíminn til að endurheimta netvirkni við dæmigerðar bilanir er ekki meira en ein mínúta.
Þar sem við erum með símafyrirtækisnet geturðu aðeins tengst því í ströngu samræmi við reglurnar. Þjónustueiningar setja stefnur og veita þjónustu. Þeir þurfa ekki einu sinni upplýsingar um tengingar tiltekinna netþjóna, sýndarvéla og vinnustöðva. En á sama tíma er þörf á verndaraðferðum, því ekki ein tenging ætti að slökkva á netinu. Ef lykkja er óvart búin til ættu aðrir notendur ekki að taka eftir þessu, það er að segja að nægilegt svar frá netinu sé nauðsynlegt. Sérhver fjarskiptafyrirtæki leysir stöðugt svipuð að því er virðist flókin vandamál innan grunnnets síns. Það veitir þjónustu við marga viðskiptavini með mismunandi þarfir og umferð. Á sama tíma ættu mismunandi áskrifendur ekki að upplifa óþægindi vegna umferðar annarra.
Heima fyrir leystum við þetta vandamál á eftirfarandi hátt: við byggðum upp L3 netkerfi með fullri offramboði, með því að nota IS-IS samskiptareglur. Yfirborðsnet var byggt ofan á kjarna byggt á tækni /, með því að nota leiðarsamskiptareglur . Til að flýta fyrir samleitni leiðarferla var BFD tækni notuð.
Uppbygging nets
Í prófunum sýndi þetta kerfi sig vera frábært - þegar einhver rás eða rofi er aftengdur, er samleitnitíminn ekki lengri en 0.1-0.2 sek., að lágmarki pakka tapast (oft enginn), TCP lotur eru ekki rifnar, símtöl eru ekki truflaðar.
Undirlagslag - Leiðin
Yfirlagslag - Leiding
Huawei CE6870 rofar með VXLAN leyfi voru notaðir sem dreifingarrofar. Þetta tæki hefur ákjósanlegt verð/gæðahlutfall, sem gerir þér kleift að tengja áskrifendur á 10 Gbit/s hraða og tengja við burðargetu á 40–100 Gbit/s hraða, eftir því hvaða senditæki eru notuð.
Huawei CE6870 rofar
Huawei CE8850 rofar voru notaðir sem kjarnarofar. Markmiðið er að senda umferð hratt og örugglega. Engin tæki eru tengd við þá nema dreifingarrofar, þeir vita ekkert um VXLAN og því var valin gerð með 32 40/100 Gbps tengi, með grunnleyfi sem veitir L3 leið og stuðning fyrir IS-IS og MP-BGP samskiptareglur.
Sá neðsti er Huawei CE8850 kjarnarofinn
Á hönnunarstigi braust út umræða innan teymisins um tækni sem hægt væri að nota til að innleiða bilunarþolna tengingu við kjarnanethnúta. Skrifstofan okkar í Moskvu er staðsett í þremur byggingum, við höfum 7 dreifiherbergi, í hverju þeirra voru tveir Huawei CE6870 dreifirofar settir upp (aðeins aðgangsrofar voru settir upp í nokkrum dreifiherbergjum). Við þróun nethugmyndarinnar voru tveir offramboðsmöguleikar skoðaðir:
- Sameining dreifirofa í bilunarþolinn stafla í hverju krosstengiherbergi. Kostir: einfaldleiki og auðveld uppsetning. Ókostir: það eru meiri líkur á bilun í öllum staflanum þegar villur eiga sér stað í fastbúnaði nettækja („minnisleki“ og þess háttar).
- Notaðu M-LAG og Anycast gáttartækni til að tengja tæki við dreifingarrofa.
Að lokum sættum við okkur við seinni kostinn. Það er nokkuð erfiðara að stilla, en hefur sýnt í reynd frammistöðu sína og mikla áreiðanleika.
Við skulum fyrst íhuga að tengja endatæki við dreifirofa:
Kross
Aðgangsrofi, miðlari eða önnur tæki sem krefjast bilunarþolna tengingar er innifalinn í tveimur dreifingarrofum. M-LAG tækni veitir offramboð á gagnatengingarstigi. Gert er ráð fyrir að tveir dreifirofar birtist á tengdum búnaði sem eitt tæki. Offramboð og álagsjöfnun eru framkvæmd með því að nota LACP siðareglur.
Anycast gáttartækni veitir offramboð á netstigi. Nokkuð mikill fjöldi VRF er stilltur á hverjum dreifiskiptarofa (hver VRF er ætlaður í eigin tilgangi - sérstaklega fyrir „venjulega“ notendur, sérstaklega fyrir símtækni, sérstaklega fyrir ýmis próf- og þróunarumhverfi, osfrv.), og í hverju VRF hefur nokkur VLAN stillt. Í netkerfinu okkar eru dreifingarrofar sjálfgefnar gáttir fyrir öll tæki sem tengjast þeim. IP tölur sem samsvara VLAN tengi eru þau sömu fyrir báða dreifingarrofana. Umferð er beint í gegnum næsta rofa.
Nú skulum við líta á að tengja dreifingarrofa við kjarnann:
Bilunarþol er veitt á netkerfi með því að nota IS-IS samskiptareglur. Vinsamlegast athugið að sér L3 samskiptalína er á milli rofana, á 100G hraða. Líkamlega er þessi samskiptalína bein aðgangssnúra; hana má sjá hægra megin á myndinni af Huawei CE6870 rofum.
Annar valkostur væri að skipuleggja „heiðarlega“ fulltengda tveggjastjörnu jarðfræði, en eins og áður segir erum við með 7 þvertengingarherbergi í þremur byggingum. Í samræmi við það, ef við hefðum valið „tvístjörnu“ svæðisfræðina, hefðum við þurft nákvæmlega tvöfalt fleiri „langdræga“ 40G senditæki. Sparnaðurinn hér er mjög mikill.
Það þarf að segja nokkur orð um hvernig VXLAN og Anycast gáttartækni vinna saman. VXLAN, án þess að fara í smáatriði, eru göng til að flytja Ethernet ramma inni í UDP pakka. Hringrásarviðmót dreifingarrofa eru notuð sem IP-tala áfangastaðar VXLAN gönganna. Hver crossover hefur tvo rofa með sömu loopback tengi vistföng, þannig að pakki getur borist á hvaða þeirra sem er og hægt er að draga Ethernet ramma úr honum.
Ef rofinn veit um áfangastað MAC vistfangs rammans sem sóttur er, verður ramminn rétt afhentur á áfangastað. Til að tryggja að báðir dreifingarrofar uppsettir í sömu krosstengingunni séu með uppfærðar upplýsingar um öll MAC vistföng sem „berast“ frá aðgangsrofunum, er M-LAG vélbúnaðurinn ábyrgur fyrir að samstilla MAC vistfangatöflurnar (sem og ARP). töflur) á báðum rofum M-LAG pörum.
Jafnvægi í umferð næst vegna þess að í undirlagsnetinu eru nokkrar leiðir að bakslagsviðmótum dreifirofa.
Í stað þess að niðurstöðu
Eins og getið er hér að ofan sýndi netið mikla áreiðanleika við prófun og rekstur (batatími fyrir dæmigerðar bilanir er ekki meira en hundruð millisekúndna) og góða frammistöðu - hver krosstenging er tengd við kjarnann með tveimur 40 Gbit/s rásum. Aðgangsrofar á netinu okkar eru staflað og tengdir dreifirofum í gegnum LACP/M-LAG með tveimur 10 Gbit/s rásum. Stafla inniheldur venjulega 5 rofa með 48 höfnum hver og allt að 10 aðgangsstaflar eru tengdir dreifingunni í hverri krosstengingu. Þannig veitir burðarásin um 30 Mbit/s á hvern notanda jafnvel við hámarks fræðilega álag, sem þegar þetta er skrifað er nóg fyrir öll hagnýt forrit okkar.
Netið gerir þér kleift að skipuleggja óaðfinnanlega pörun hvers kyns handahófskenndra tengdra tækja um bæði L2 og L3, sem veitir algjöra einangrun á umferð (sem upplýsingaöryggisþjónustunni líkar við) og bilanalén (sem rekstrarteyminu líkar).
Í næsta hluta munum við segja þér hvernig við fluttum yfir á nýja netið. Fylgstu með!
Maxim Klochkov
Yfirráðgjafi netendurskoðunar- og flókinna verkefnahóps
Netlausnamiðstöð
"Jet Infosystems"
Heimild: www.habr.com