Å odien es jums pastÄstÄ«Å”u par to, kÄ radÄs un tika Ä«stenota ideja par jauna iekÅ”ÄjÄ tÄ«kla izveidi mÅ«su uzÅÄmumam. VadÄ«bas nostÄja ir tÄda, ka jums ir jÄizdara tÄds pats pilnvÄrtÄ«gs projekts sev kÄ klientam. Ja mÄs paÅ”i to darÄm labi, varam uzaicinÄt klientu un parÄdÄ«t, cik labi viÅam darbojas un darbojas mÅ«su piedÄvÄtais. TÄpÄc ļoti rÅ«pÄ«gi piegÄjÄm Maskavas biroja jaunÄ tÄ«kla koncepcijas izstrÄdei, izmantojot pilnu ražoÅ”anas ciklu: departamentu vajadzÄ«bu analÄ«ze ā tehniskÄ risinÄjuma izvÄle ā projektÄÅ”ana ā ievieÅ”ana ā testÄÅ”ana. TÄtad sÄksim.
TehniskÄ risinÄjuma izvÄle: Mutantu rezervÄts
ProcedÅ«ra darbam ar sarežģītu automatizÄtu sistÄmu paÅ”laik vislabÄk ir aprakstÄ«ta GOST 34.601-90 āAutomatizÄtÄs sistÄmas. RadÄ«Å”anas posmiā, tÄpÄc strÄdÄjÄm saskaÅÄ ar to. Un jau prasÄ«bu veidoÅ”anas un koncepcijas izstrÄdes stadijÄ mÄs saskÄrÄmies ar pirmajÄm grÅ«tÄ«bÄm. DažÄda profila organizÄcijÄm - bankÄm, apdroÅ”inÄÅ”anas kompÄnijÄm, programmatÅ«ras izstrÄdÄtÄjiem u.c. - saviem uzdevumiem un standartiem ir nepiecieÅ”ami noteikta veida tÄ«kli, kuru specifika ir skaidra un standartizÄta. TomÄr ar mums tas nedarbosies.
KÄpÄc?
Jet Infosystems ir liels daudzveidÄ«gs IT uzÅÄmums. TajÄ paÅ”Ä laikÄ mÅ«su iekÅ”ÄjÄ atbalsta nodaļa ir neliela (bet lepna), tÄ nodroÅ”ina pamatpakalpojumu un sistÄmu funkcionalitÄti. UzÅÄmumÄ ir daudzas nodaļas, kas veic dažÄdas funkcijas: tÄs ir vairÄkas spÄcÄ«gas Ärpakalpojumu komandas, gan biznesa sistÄmu un informÄcijas droŔības iekÅ”Äjie izstrÄdÄtÄji, gan skaitļoÅ”anas sistÄmu arhitekti - vispÄr, lai kurÅ” tas bÅ«tu. AttiecÄ«gi atŔķiras arÄ« viÅu uzdevumi, sistÄmas un droŔības politika. Kas, kÄ gaidÄ«ts, radÄ«ja grÅ«tÄ«bas vajadzÄ«bu analÄ«zes un standartizÄcijas procesÄ.
Å eit, piemÄram, ir izstrÄdes nodaļa: tÄs darbinieki raksta un pÄrbauda kodu lielam skaitam klientu. Bieži vien ir nepiecieÅ”ams Ätri organizÄt testa vides, un, atklÄti sakot, ne vienmÄr ir iespÄjams formulÄt prasÄ«bas katram projektam, pieprasÄ«t resursus un izveidot atseviŔķu testa vidi atbilstoÅ”i visiem iekÅ”Äjiem noteikumiem. Tas rada dÄ«vainas situÄcijas: kÄdu dienu jÅ«su pazemÄ«gais kalps ieskatÄ«jÄs izstrÄdÄtÄju istabÄ un zem galda atrada pareizi strÄdÄjoÅ”u Hadoop kopu ar 20 galddatoriem, kas bija neizskaidrojami savienots ar kopÄjo tÄ«klu. Es domÄju, ka nav vÄrts precizÄt, ka uzÅÄmuma IT nodaļa nezinÄja par tÄ esamÄ«bu. Å is apstÄklis, tÄpat kÄ daudzi citi, bija atbildÄ«gs par to, ka projekta izstrÄdes gaitÄ radÄs termins āmutantu rezerveā, kas raksturo ilgi cietusÄ« biroju infrastruktÅ«ras stÄvokli.
Vai arÄ« Å”eit ir vÄl viens piemÄrs. Periodiski departamentÄ tiek izveidots testÄÅ”anas stends. TÄ tas bija gadÄ«jumÄ ar Jira un Confluence, kuras dažos projektos ProgrammatÅ«ras izstrÄdes centrs izmantoja ierobežotÄ apjomÄ. PÄc kÄda laika citas nodaļas uzzinÄja par Å”iem noderÄ«gajiem resursiem, novÄrtÄja tos, un 2018. gada beigÄs Jira un Confluence pÄrcÄlÄs no statusa āvietÄjo programmÄtÄju rotaļlietaā uz āuzÅÄmuma resursuā statusu. Tagad Ŕīm sistÄmÄm ir jÄpieŔķir Ä«paÅ”nieks, jÄdefinÄ SLA, piekļuves/informÄcijas droŔības politikas, rezerves politikas, uzraudzÄ«ba, noteikumi marÅ”rutÄÅ”anas pieprasÄ«jumiem problÄmu novÄrÅ”anai - kopumÄ jÄbÅ«t visiem pilnvÄrtÄ«gas informÄcijas sistÄmas atribÅ«tiem. .
Katra mÅ«su nodaļa ir arÄ« inkubators, kas audzÄ savus produktus. Daži no tiem mirst izstrÄdes stadijÄ, daži mÄs izmantojam, strÄdÄjot pie projektiem, bet citi iesakÅojas un kļūst par risinÄjumiem, kurus sÄkam lietot paÅ”i un pÄrdot klientiem. Katrai Å”Ädai sistÄmai ir vÄlama sava tÄ«kla vide, kurÄ tÄ attÄ«stÄ«sies, netraucÄjot citÄm sistÄmÄm, un kÄdÄ brÄ«dÄ« var tikt integrÄta uzÅÄmuma infrastruktÅ«rÄ.
Papildus attÄ«stÄ«bai mums ir ļoti liela ar vairÄk nekÄ 500 darbiniekiem, kas izveidotas komandÄs katram klientam. ViÅi ir iesaistÄ«ti tÄ«klu un citu sistÄmu uzturÄÅ”anÄ, attÄlinÄtÄ uzraudzÄ«bÄ, pretenziju risinÄÅ”anÄ utt. Tas ir, SC infrastruktÅ«ra faktiski ir tÄ klienta infrastruktÅ«ra, ar kuru viÅi Å”obrÄ«d strÄdÄ. Darba ar Å”o tÄ«kla sadaļu Ä«patnÄ«ba ir tÄda, ka viÅu darbstacijas mÅ«su uzÅÄmumam ir daļÄji ÄrÄjÄs un daļÄji iekÅ”ÄjÄs. TÄpÄc SC ieviesÄm Å”Ädu pieeju - uzÅÄmums nodroÅ”ina attiecÄ«go nodaļu ar tÄ«kla un citiem resursiem, Å”o nodaļu darbstacijas uzskatot par ÄrÄjiem pieslÄgumiem (pÄc analoÄ£ijas ar filiÄlÄm un attÄliem lietotÄjiem).
Å osejas dizains: mÄs esam operators (pÄrsteigums)
IzvÄrtÄjot visas nepilnÄ«bas, sapratÄm, ka telekomunikÄciju operatora tÄ«klu iegÅ«stam vienÄ birojÄ, un sÄkÄm attiecÄ«gi rÄ«koties.
MÄs izveidojÄm pamattÄ«klu, ar kura palÄ«dzÄ«bu jebkuram iekÅ”Äjam un nÄkotnÄ arÄ« ÄrÄjam patÄrÄtÄjam tiek nodroÅ”inÄts nepiecieÅ”amais pakalpojums: L2 VPN, L3 VPN vai regulÄra L3 marÅ”rutÄÅ”ana. Dažiem departamentiem ir nepiecieÅ”ama droÅ”a piekļuve internetam, savukÄrt citiem ir nepiecieÅ”ama tÄ«ra piekļuve bez ugunsmÅ«riem, bet tajÄ paÅ”Ä laikÄ aizsargÄjot mÅ«su korporatÄ«vos resursus un pamattÄ«klu no to trafika.
MÄs neoficiÄli ānoslÄdzÄm SLAā ar katru nodaļu. SaskaÅÄ ar to visi incidenti, kas rodas, ir jÄnovÄrÅ” noteiktÄ, iepriekÅ” saskaÅotÄ termiÅÄ. UzÅÄmuma prasÄ«bas savam tÄ«klam izrÄdÄ«jÄs stingras. MaksimÄlais reaÄ£ÄÅ”anas laiks uz incidentu telefona un e-pasta kļūmju gadÄ«jumÄ bija 5 minÅ«tes. TÄ«kla funkcionalitÄtes atjaunoÅ”anas laiks tipisku kļūmju laikÄ nav ilgÄks par minÅ«ti.
TÄ kÄ mums ir mobilo sakaru operatora lÄ«meÅa tÄ«kls, jÅ«s varat izveidot savienojumu ar to tikai stingri ievÄrojot noteikumus. Pakalpojumu vienÄ«bas nosaka politikas un sniedz pakalpojumus. ViÅiem pat nav vajadzÄ«ga informÄcija par konkrÄtu serveru, virtuÄlo maŔīnu un darbstaciju savienojumiem. Bet tajÄ paÅ”Ä laikÄ ir nepiecieÅ”ami aizsardzÄ«bas mehÄnismi, jo nevienam savienojumam nevajadzÄtu atspÄjot tÄ«klu. Ja nejauÅ”i tiek izveidota cilpa, citiem lietotÄjiem to nevajadzÄtu pamanÄ«t, tas ir, ir nepiecieÅ”ama atbilstoÅ”a tÄ«kla atbilde. JebkurÅ” telekomunikÄciju operators savÄ pamattÄ«klÄ pastÄvÄ«gi risina lÄ«dzÄ«gas Ŕķietami sarežģītas problÄmas. Tas sniedz pakalpojumus daudziem klientiem ar dažÄdÄm vajadzÄ«bÄm un satiksmi. TajÄ paÅ”Ä laikÄ dažÄdiem abonentiem nevajadzÄtu piedzÄ«vot neÄrtÄ«bas no citu personu satiksmes.
MÄjÄs mÄs Å”o problÄmu atrisinÄjÄm Å”Ädi: izveidojÄm mugurkaula L3 tÄ«klu ar pilnu dublÄÅ”anu, izmantojot IS-IS protokolu. Pamatojoties uz tehnoloÄ£iju, kodolam tika izveidots pÄrklÄjuma tÄ«kls /, izmantojot marÅ”rutÄÅ”anas protokolu . Lai paÄtrinÄtu marÅ”rutÄÅ”anas protokolu konverÄ£enci, tika izmantota BFD tehnoloÄ£ija.
Tīkla struktūra
Testos Ŕī shÄma sevi parÄdÄ«ja izcili - atvienojot jebkuru kanÄlu vai slÄdzi, konverÄ£ences laiks nav lielÄks par 0.1-0.2 s, tiek pazaudÄts minimums pakeÅ”u (bieži vien neviena), TCP sesijas netiek saplÄstas, telefona sarunas netiek pÄrtraukti.
ApakÅ”klÄjuma slÄnis ā marÅ”rutÄÅ”ana
PÄrklÄjuma slÄnis ā marÅ”rutÄÅ”ana
KÄ izplatÄ«Å”anas slÄdži tika izmantoti Huawei CE6870 slÄdži ar VXLAN licencÄm. Å ai ierÄ«cei ir optimÄla cenas/kvalitÄtes attiecÄ«ba, kas ļauj pieslÄgt abonentus ar Ätrumu 10 Gbit/s, bet mugurkaula savienojumu ar Ätrumu 40ā100 Gbit/s, atkarÄ«bÄ no izmantotajiem raiduztvÄrÄjiem.
Huawei CE6870 slÄdži
Huawei CE8850 slÄdži tika izmantoti kÄ galvenie slÄdži. MÄrÄ·is ir Ätri un uzticami pÄrraidÄ«t satiksmi. ViÅiem nav pievienotas ierÄ«ces, izÅemot sadales slÄdžus, viÅi neko nezina par VXLAN, tÄpÄc tika izvÄlÄts modelis ar 32 40/100 Gbps pieslÄgvietÄm, ar pamata licenci, kas nodroÅ”ina L3 marÅ”rutÄÅ”anu un atbalstu IS-IS un MP-BGP. protokoli.
ApakÅ”Äjais ir Huawei CE8850 kodola slÄdzis
ProjektÄÅ”anas stadijÄ komandas iekÅ”ienÄ izcÄlÄs diskusija par tehnoloÄ£ijÄm, kuras varÄtu izmantot, lai ieviestu defektu izturÄ«gu savienojumu ar pamattÄ«kla mezgliem. MÅ«su Maskavas birojs atrodas trÄ«s ÄkÄs, mums ir 7 sadales telpas, katrÄ no kurÄm tika uzstÄdÄ«ti divi Huawei CE6870 sadales slÄdži (vairÄkÄs sadales telpÄs tika uzstÄdÄ«ti tikai piekļuves slÄdži). IzstrÄdÄjot tÄ«kla koncepciju, tika apsvÄrtas divas atlaiÅ”anas iespÄjas:
- Sadales slÄdžu apvienoÅ”ana defektu izturÄ«gÄ kaudzÄ katrÄ Å”Ä·Ärssavienojuma telpÄ. Plusi: vienkÄrŔība un viegla iestatÄ«Å”ana. TrÅ«kumi: pastÄv lielÄka visa kaudzes kļūmes iespÄjamÄ«ba, ja rodas kļūdas tÄ«kla ierÄ«Äu programmaparatÅ«rÄ (āatmiÅas noplÅ«desā un tamlÄ«dzÄ«gi).
- Izmantojiet M-LAG un Anycast vÄrtejas tehnoloÄ£ijas, lai savienotu ierÄ«ces ar sadales slÄdžiem.
BeigÄs izŔķīrÄmies pie otrÄ varianta. To ir nedaudz grÅ«tÄk konfigurÄt, taÄu praksÄ tas ir pierÄdÄ«jis tÄ veiktspÄju un augstu uzticamÄ«bu.
Vispirms apsveriet gala ierÄ«Äu pievienoÅ”anu sadales slÄdžiem:
Krusts
Divos sadales slÄdžos ir iekļauts piekļuves slÄdzis, serveris vai jebkura cita ierÄ«ce, kurai nepiecieÅ”ams kļūmju izturÄ«gs savienojums. M-LAG tehnoloÄ£ija nodroÅ”ina dublÄÅ”anu datu saites lÄ«menÄ«. Tiek pieÅemts, ka divi sadales slÄdži pievienotajai iekÄrtai parÄdÄs kÄ viena ierÄ«ce. Redundance un slodzes lÄ«dzsvaroÅ”ana tiek veikta, izmantojot LACP protokolu.
Anycast vÄrtejas tehnoloÄ£ija nodroÅ”ina dublÄÅ”anu tÄ«kla lÄ«menÄ«. KatrÄ sadales slÄdÅ¾Ä ir konfigurÄts diezgan liels skaits VRF (katrs VRF ir paredzÄts saviem mÄrÄ·iem - atseviŔķi āparastajiemā lietotÄjiem, atseviŔķi telefonijai, atseviŔķi dažÄdÄm testÄÅ”anas un izstrÄdes vidÄm utt.), Un katrÄ. VRF ir konfigurÄti vairÄki VLAN. MÅ«su tÄ«klÄ sadales slÄdži ir noklusÄjuma vÄrtejas visÄm ar tiem pievienotajÄm ierÄ«cÄm. IP adreses, kas atbilst VLAN saskarnÄm, ir vienÄdas abiem sadales slÄdžiem. Satiksme tiek virzÄ«ta caur tuvÄko pÄrmiju.
Tagad apskatÄ«sim sadales slÄdžu savienoÅ”anu ar kodolu:
Kļūdu tolerance tiek nodroÅ”inÄta tÄ«kla lÄ«menÄ«, izmantojot IS-IS protokolu. LÅ«dzu, Åemiet vÄrÄ, ka starp slÄdžiem tiek nodroÅ”inÄta atseviŔķa L3 sakaru lÄ«nija ar Ätrumu 100G. Fiziski Ŕī sakaru lÄ«nija ir tieÅ”Äs piekļuves kabelis; to var redzÄt labajÄ pusÄ Huawei CE6870 slÄdžu fotoattÄlÄ.
AlternatÄ«va bÅ«tu organizÄt āgodÄ«guā pilnÄ«bÄ savienotu dubultzvaigžÅu topoloÄ£iju, taÄu, kÄ minÄts iepriekÅ”, mums ir 7 savstarpÄji savienotas telpas trÄ«s ÄkÄs. AttiecÄ«gi, ja mÄs bÅ«tu izvÄlÄjuÅ”ies ādubultzvaigžÅuā topoloÄ£iju, mums bÅ«tu nepiecieÅ”ams tieÅ”i divreiz vairÄk ātÄldarbÄ«basā 40G raiduztvÄrÄju. IetaupÄ«jumi Å”eit ir ļoti bÅ«tiski.
Daži vÄrdi jÄsaka par to, kÄ VXLAN un Anycast vÄrtejas tehnoloÄ£ijas darbojas kopÄ. VXLAN, neiedziļinoties detaļÄs, ir tunelis Ethernet kadru transportÄÅ”anai UDP paketÄs. Sadales slÄdžu cilpas saskarnes tiek izmantotas kÄ VXLAN tuneļa galamÄrÄ·a IP adrese. Katram krustojumam ir divi slÄdži ar vienÄdÄm cilpas interfeisa adresÄm, tÄpÄc pakete var nonÄkt jebkurÄ no tiem, un no tÄ var iegÅ«t Ethernet rÄmi.
Ja slÄdzis zina par izgÅ«tÄ kadra mÄrÄ·a MAC adresi, rÄmis tiks pareizi piegÄdÄts galamÄrÄ·im. Lai nodroÅ”inÄtu, ka abiem sadales slÄdžiem, kas uzstÄdÄ«ti vienÄ Å”Ä·ÄrssavienojumÄ, ir jaunÄkÄ informÄcija par visÄm MAC adresÄm, kas ānÄkā no piekļuves slÄdžiem, M-LAG mehÄnisms ir atbildÄ«gs par MAC adreÅ”u tabulu (kÄ arÄ« ARP) sinhronizÄciju. tabulas) uz abiem slÄdžiem M-LAG pÄriem.
Satiksmes lÄ«dzsvaroÅ”ana tiek panÄkta, pateicoties tam, ka apakÅ”klÄja tÄ«klÄ ir vairÄki marÅ”ruti uz sadales slÄdžu atpakaļcilpas saskarnÄm.
TÄ vietÄ, lai noslÄgtu
KÄ minÄts iepriekÅ”, testÄÅ”anas un darbÄ«bas laikÄ tÄ«kls uzrÄdÄ«ja augstu uzticamÄ«bu (atkopÅ”anas laiks tipiskÄm kļūmÄm ir ne vairÄk kÄ simtiem milisekundes) un labu veiktspÄju - katrs ŔķÄrssavienojums ir savienots ar kodolu ar diviem 40 Gbit/s kanÄliem. Piekļuves slÄdži mÅ«su tÄ«klÄ ir sakrauti un savienoti ar sadales slÄdžiem caur LACP/M-LAG ar diviem 10 Gbit/s kanÄliem. StackÄ parasti ir 5 slÄdži ar 48 portiem katrÄ, un lÄ«dz 10 piekļuves skursteÅiem ir pievienoti sadalei katrÄ Å”Ä·ÄrssavienojumÄ. TÄdÄjÄdi mugurkauls nodroÅ”ina aptuveni 30 Mbit/s vienam lietotÄjam pat pie maksimÄlÄs teorÄtiskÄs slodzes, kas rakstÄ«Å”anas brÄ«dÄ« ir pietiekama visiem mÅ«su praktiskiem pielietojumiem.
TÄ«kls ļauj nemanÄmi organizÄt jebkuru patvaļīgi savienotu ierÄ«Äu savienoÅ”anu pÄrÄ« gan caur L2, gan L3, nodroÅ”inot pilnÄ«gu trafika izolÄciju (kas patÄ«k informÄcijas droŔības dienestam) un kļūdu domÄnus (kas patÄ«k operÄciju komandai).
NÄkamajÄ daÄ¼Ä mÄs jums pastÄstÄ«sim, kÄ mÄs migrÄjÄm uz jauno tÄ«klu. Sekojiet lÄ«dzi!
Maksims KloÄkovs
TÄ«kla audita un komplekso projektu grupas vecÄkais konsultants
TÄ«kla risinÄjumu centrs
"ReaktÄ«vÄs informÄcijas sistÄmas"
Avots: www.habr.com