Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1

Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1

Kajeno ke tla u joetsa hore na mohopolo oa ho theha marang-rang a macha a kahare bakeng sa k'hamphani ea rona o bile teng joang mme oa kengoa ts'ebetsong. Boemo ba batsamaisi ke hore o hloka ho iketsetsa projeke e felletseng joalo ka ea moreki. Haeba re iketsetsa eona hantle, re ka mema moreki ’me ra bontša kamoo seo re mo fang sona se sebetsang le ho sebetsa hantle kateng. Ka hona, re ile ra atamela nts'etsopele ea mohopolo oa marang-rang a macha bakeng sa ofisi ea Moscow ka botlalo, re sebelisa potoloho e feletseng ea tlhahiso: tlhahlobo ea litlhoko tsa lefapha → khetho ea tharollo ea theknoloji → moralo → ts'ebetsong → tlhahlobo. Kahoo ha re qaleng.

Ho Khetha Tharollo ea Setsebi: Mutant Sanctuary

Mokhoa oa ho sebetsa tsamaisong e rarahaneng ea othomathike hajoale o hlalosoa hantle ho GOST 34.601-90 "Lits'ebetso tse ikemetseng. Mekhahlelo ea Pōpo”, kahoo re ile ra sebetsa ho ea ka eona. 'Me e se e ntse e le mekhahlelo ea litlhoko tsa ho thehoa le nts'etsopele ea maikutlo, re ile ra kopana le mathata a pele. Mekhatlo ea litlaleho tse sa tšoaneng - libanka, lik'hamphani tsa inshorense, bahlahisi ba mananeo, joalo-joalo - bakeng sa mesebetsi le litekanyetso tsa bona, ba hloka mefuta e itseng ea marang-rang, tse tobileng tse hlakileng le tse tloaelehileng. Leha ho le joalo, sena se ke ke sa sebetsa le rona.

Hobane'ng?

Jet Infosystems ke k'hamphani e kholo e fapaneng ea IT. Ka nako e ts'oanang, lefapha la rona la ts'ehetso ea ka hare le lenyenyane (empa le motlotlo), le netefatsa ts'ebetso ea lits'ebeletso le mekhoa ea motheo. Khampani e na le likarohano tse ngata tse etsang mesebetsi e fapaneng: tsena ke lihlopha tse 'maloa tse matla tsa ho tsoa, ​​​​le baetsi ba ntlo ea tsamaiso ea khoebo, le ts'ireletso ea tlhahisoleseding, le baetsi ba meralo ea tsamaiso ea lik'homphieutha - ka kakaretso, hore na ke mang. Ka hona, mesebetsi ea bona, litsamaiso le maano a ts'ireletso le tsona li fapane. Eo, joalo ka ha ho ne ho lebelletsoe, e bakile mathata ts'ebetsong ea tlhahlobo ea litlhoko le maemo.

Mona, mohlala, ke lefapha la nts'etsopele: basebetsi ba lona ba ngola le ho hlahloba khoutu bakeng sa palo e kholo ea bareki. Hangata ho na le tlhoko ea ho hlophisa maemo a liteko kapele, 'me ha re bua 'nete, ha se kamehla ho ka khonehang ho etsa litlhoko tsa morero o mong le o mong, ho kopa lisebelisoa le ho aha tikoloho e arohaneng ea liteko ho latela melaoana eohle ea kahare. Sena se hlahisa maemo a bohelehele: ka letsatsi le leng mohlanka oa hau ea ikokobelitseng o ile a sheba ka kamoreng ea bahlahisi 'me a fumana tlas'a tafole sehlopha sa Hadoop se sebetsang hantle sa li-desktops tsa 20, tse neng li kopantsoe ka mokhoa o sa utloisiseheng ho marang-rang a tloaelehileng. Ha ke nahane hore ke habohlokoa ho hlakisa hore lefapha la IT la k'hamphani le ne le sa tsebe ka boteng ba lona. Boemo bona, joalo ka ba bang ba bangata, bo ne bo ikarabella bakeng sa taba ea hore nakong ea nts'etsopele ea morero, lentsoe "mutant reserve" le ile la hlaha, le hlalosang boemo ba meaho ea liofisi ea nako e telele.

Kapa mohlala o mong ke ona. Nako le nako, benche ea liteko e etsoa ka har'a lefapha. Ho bile joalo ka Jira le Confluence, tse ileng tsa sebelisoa ho isa bohōleng bo itseng ke Setsi sa Tsoelo-pele ea Software mererong e meng. Kamora nako e itseng, mafapha a mang a ile a ithuta ka lisebelisoa tsena tse molemo, a li hlahloba, 'me qetellong ea 2018, Jira le Confluence ba ile ba tloha boemong ba "toy ea lehae ea baetsi ba mananeo" ho ea boemong ba "lisebelisoa tsa khamphani." Hona joale mong'a lona o tlameha ho abeloa lits'ebetso tsena, li-SLA, maano a ts'ireletso ea phihlello / tlhahisoleseling, maano a ho boloka, ho beha leihlo, melao ea likopo tsa ho lokisa mathata e tlameha ho hlalosoa - ka kakaretso, litšoaneleho tsohle tsa sistimi e felletseng ea tlhahisoleseling e tlameha ho ba teng. .
Karohano e 'ngoe le e' ngoe ea rona ke incubator e hōlisang lihlahisoa tsa eona. Tse ling tsa tsona li shoa sethaleng sa nts'etsopele, tse ling re li sebelisa ha re ntse re sebetsa mererong, ha tse ling li mela 'me li fetoha litharollo tse phetoang tseo re qalang ho li sebelisa le ho li rekisetsa bareki. Bakeng sa tsamaiso e 'ngoe le e' ngoe e joalo, ke ntho e lakatsehang ho ba le tikoloho ea eona ea marang-rang, moo e tla ntlafala ntle le ho kena-kenana le mekhoa e meng, 'me ka nako e itseng e ka kopanngoa le mekhoa ea motheo ea k'hamphani.

Ho phaella ho ntshetsopele, re na le e kholo haholo Setsi sa lits'ebeletso e nang le basebetsi ba fetang 500, e entsoeng ka lihlopha bakeng sa moreki ka mong. Ba kenya letsoho ho boloka marang-rang le mekhoa e meng, ho shebella hole, ho rarolla likopo, joalo-joalo. Ke hore, meaho ea SC ke, ha e le hantle, lisebelisoa tsa bareki bao ba sebetsang le bona hajoale. Ntho e ikhethang ea ho sebetsa le karolo ena ea marang-rang ke hore litsi tsa bona tsa mosebetsi bakeng sa k'hamphani ea rona ke karolo e 'ngoe ea kantle,' me karolo e 'ngoe e le kahare. Ka hona, bakeng sa SC re ile ra kenya tshebetsong mokhoa o latelang - khampani e fana ka lefapha le tsamaisanang le marangrang le lisebelisoa tse ling, ho nahana ka li-workstations tsa mafapha ana e le likamano tsa ka ntle (ka papiso le makala le basebelisi ba hōle).

Moralo oa tsela e kholo: re opareitara (ho makala)

Ka mor’a ho hlahloba maraba ’ohle, re ile ra hlokomela hore re ne re fumana marang-rang a opareitara ea lithelefono ka har’a ofisi e le ’ngoe, ’me re ile ra qala ho sebetsa tumellanong le seo.

Re thehile marang-rang a mantlha ka thuso eo leha e le efe ea ka hare, 'me nakong e tlang hape e ka ntle, bareki ba fuoa tšebeletso e hlokahalang: L2 VPN, L3 VPN kapa L3 routing e tloaelehileng. Mafapha a mang a hloka phihlello e sireletsehileng ea Marang-rang, ha a mang a hloka phihlello e hloekileng ntle le li-firewall, empa ka nako e ts'oanang a sireletsa lisebelisoa tsa rona tsa khoebo le marang-rang a mantlha ho tsoa ho sephethephethe sa bona.

Re ile ra "phetha SLA" ka mokhoa o sa reroang ka karolo ka 'ngoe. Tumellanong le eona, liketsahalo tsohle tse hlahang li tlameha ho felisoa ka nako e itseng, e reriloeng esale pele. Litlhoko tsa k'hamphani bakeng sa marang-rang a eona li ile tsa bonahala li le thata. Nako e phahameng ea karabelo ketsahalong ea ho hloleha ha mohala le lengolo-tsoibila e bile metsotso e 5. Nako ea ho khutlisetsa ts'ebetso ea marang-rang nakong ea mefokolo e tloaelehileng ha e fete motsotso.

Kaha re na le marang-rang a marang-rang, u ka hokela ho eona feela ho latela melao e thata. Litsi tsa litšebeletso li theha maano le ho fana ka litšebeletso. Ha ba hloke le tlhahisoleseling mabapi le likhokahano tsa li-server tse ikhethileng, mechini ea sebele le litsi tsa mosebetsi. Empa ka nako e ts'oanang, mekhoa ea ts'ireletso ea hlokahala, hobane ha ho khokahano e le 'ngoe e lokelang ho tima marang-rang. Haeba loop e entsoe ka phoso, basebelisi ba bang ha baa lokela ho hlokomela sena, ke hore, karabo e lekaneng e tsoang ho marang-rang e hlokahala. Mokhanni ofe kapa ofe oa telecom o lula a rarolla mathata a tšoanang a bonahalang a rarahane ka har'a marang-rang a eona a mantlha. E fana ka litšebeletso ho bareki ba bangata ba nang le litlhoko tse fapaneng le sephethephethe. Ka nako e ts'oanang, ba ngolisitseng ba fapaneng ha baa lokela ho ba le tšitiso ho tsoa ho sephethephethe sa ba bang.
Lapeng, re ile ra rarolla bothata bona ka tsela e latelang: re ile ra haha ​​​​marang-rang L3 marang-rang a nang le redundancy e feletseng, re sebelisa protocol ea IS-IS. Marang-rang a overlay a hahiloe ka holim'a mantlha ho latela theknoloji EVPN/VXLAN, ho sebelisa protocol ea routing MP-BGP. Ho potlakisa ho kopana ha liprothokholo tsa litsela, ho ile ha sebelisoa theknoloji ea BFD.

Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1
Sebopeho sa marang-rang

Litekong, morero ona o ile oa iponahatsa o le motle haholo - ha mocha kapa sesebelisoa leha e le sefe se khaotsoe, nako ea convergence ha e fete 0.1-0.2 s, bonyane ba lipakete li lahlehile (hangata ha li eo), mananeo a TCP ha a tabohe, lipuisano tsa thelefono. ha li sitisoe.

Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1
Lera le ka tlase - Ho tsamaisa

Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1
Lera la Overlay - Routing

Li-switch tsa Huawei CE6870 tse nang le laesense ea VXLAN li ile tsa sebelisoa e le li-switches tsa ho aba. Sesebelisoa sena se na le tekanyo e nepahetseng ea theko / boleng, e u lumellang hore u kopanye ba ngolisitseng ka lebelo la 10 Gbit / s, 'me u kopane le mokokotlo ka lebelo la 40-100 Gbit / s, ho itšetlehile ka li-transceivers tse sebelisoang.

Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1
Huawei CE6870 e fetoha

Li-switch tsa Huawei CE8850 li ne li sebelisoa e le li-switches tsa mantlha. Sepheo ke ho fetisa sephethephethe ka potlako le ka botšepehi. Ha ho lisebelisoa tse hokahaneng le tsona ntle le li-switches tsa kabo, ha ba tsebe letho ka VXLAN, kahoo ho ile ha khethoa mohlala o nang le likou tsa 32 40/100 Gbps, o nang le laesense ea mantlha e fanang ka routing ea L3 le tšehetso bakeng sa IS-IS le MP-BGP. protocol.

Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1
E ka tlase ke switch ea mantlha ea Huawei CE8850

Sethaleng sa moralo, puisano e ile ea qhoma ka har'a sehlopha mabapi le theknoloji e ka sebelisoang ho kenya ts'ebetsong khokahanyo e sa mamellehang ho li-node tsa mantlha tsa marang-rang. Ofisi ea rona ea Moscow e meahong e meraro, re na le likamore tse 7 tsa kabo, ho e 'ngoe le e' ngoe eo ho eona ho kentsoeng li-switches tse peli tsa Huawei CE6870 (li-switches feela tsa ho fihlella li kentsoe likamoreng tse 'maloa tsa kabo). Ha ho ntse ho ntlafatsoa mohopolo oa marang-rang, ho ile ha nahanoa likhetho tse peli tsa redundancy:

  • Ho kopanngoa ha li-switches ho ba stack e mamellang liphoso ka kamoreng e 'ngoe le e' ngoe e kopanyang. Melemo: bonolo le boiketlo ba ho seta. Mefokolo: ho na le monyetla o moholo oa ho hlōleha ha stack eohle ha liphoso li etsahala ho firmware ea lisebelisoa tsa marang-rang ("memory leaks" le tse ling tse joalo).
  • Sebelisa mahlale a M-LAG le Anycast gateway ho hokahanya lisebelisoa ho li-switches.

Qetellong, re ile ra rarolla khetho ea bobeli. Ho batla ho le thata ho feta ho e lokisa, empa e bonts'itse ts'ebetsong ts'ebetso ea eona le ts'epo e phahameng.
Ha re qale ka ho nahana ka ho hokahanya lisebelisoa tsa ho qetela ho li-switches tsa kabo:
Mokhoa oa ho theha le ho kenya ts'ebetsong marang-rang a macha ho Huawei ofising ea Moscow, karolo ea 1
Sefapano

Sesebelisoa sa phihlello, seva, kapa sesebelisoa leha e le sefe se hlokang khokahanyo e mamellang liphoso e kenyelelitsoe ho li-switches tse peli tsa phepelo. Theknoloji ea M-LAG e fana ka khaello ea mosebetsi boemong ba khokahano ea data. Ho nahanoa hore li-switches tse peli tsa kabo li hlaha ho thepa e hokahaneng e le sesebelisoa se le seng. Redundancy le ho leka-lekanya mojaro li etsoa ho sebelisoa protocol ea LACP.

Theknoloji ea anycast gateway e fana ka redundancy boemong ba marang-rang. Palo e kholo haholo ea li-VRF li hlophisitsoe ho e 'ngoe le e' ngoe ea li-switches tsa kabo (VRF ka 'ngoe e reretsoe merero ea eona - ka thoko bakeng sa basebelisi ba "ka mehla", ka thoko bakeng sa mohala, ka thoko bakeng sa maemo a fapaneng a tlhahlobo le nts'etsopele, joalo-joalo), le sebakeng se seng le se seng. VRF e na le li-VLAN tse 'maloa tse hlophisitsoeng. Marang-rang a rona, li-switches tsa kabo ke liheke tsa kamehla tsa lisebelisoa tsohle tse hokahantsoeng ho tsona. Liaterese tsa IP tse tsamaellanang le li-interfaces tsa VLAN lia tšoana bakeng sa li-switches ka bobeli. Sephethephethe se tsamaisoa ka switch e haufi.

Joale ha re shebeng ho hokahanya li-switches tsa kabo ho kernel:
Ho mamellana ha liphoso ho fanoa boemong ba marang-rang ho sebelisa protocol ea IS-IS. Ka kopo hlokomela hore mohala o fapaneng oa puisano oa L3 o fanoa pakeng tsa li-switches, ka lebelo la 100G. Ka 'mele, mohala ona oa puisano ke thapo ea Direct Access; e ka bonoa ka ho le letona fotong ea li-switches tsa Huawei CE6870.

Mokhoa o mong e ka ba ho hlophisa "bots'epehi" bo hokahaneng ka botlalo ba linaleli tse peli, empa, joalo ka ha ho boletsoe ka holimo, re na le likamore tse 7 tse hokahanyang meahong e meraro. Ka lebaka leo, haeba re ne re khethile topology ea "double star", re ka be re hloka li-transceivers tsa "40G" tse ngata ka makhetlo a mabeli. Ho boloka mona ho bohlokoa haholo.

Ho hlokahala hore ho buuoe mantsoe a seng makae mabapi le hore na mahlale a VXLAN le Anycast gateway a sebetsa 'moho joang. VXLAN, ntle le ho kena lintlha, ke kotopo ea ho tsamaisa liforeimi tsa Ethernet ka har'a lipakete tsa UDP. Li-interface tsa loopback tsa li-switches tsa kabo li sebelisoa e le aterese ea IP ea kotopo ea VXLAN. Crossover e 'ngoe le e' ngoe e na le li-switches tse peli tse nang le liaterese tse tšoanang tsa loopback, kahoo pakete e ka fihla ho leha e le efe ea tsona, 'me foreimi ea Ethernet e ka ntšoa ho eona.

Haeba switch e tseba ka aterese ea MAC ea foreimi e khutlisitsoeng, foreime e tla tlisoa moo e eang ka nepo. Ho etsa bonnete ba hore li-switches ka bobeli tse kentsoeng khokahanong e le 'ngoe li na le tlhaiso-leseling ea morao-rao mabapi le liaterese tsohle tsa MAC "tse fihlang" ho tsoa ho li-switches, mochine oa M-LAG o ikarabella bakeng sa ho hokahanya litafole tsa liaterese tsa MAC (hammoho le ARP. tables) ho li-switches ka bobeli lipara tsa M-LAG.

Tekanyetso ea sephethephethe e finyelloa ka lebaka la boteng ba marang-rang a marang-rang a litsela tse 'maloa ho ea ho li-interface tsa loopback tsa li-switches.

Ho e-na phetheha

Joalokaha ho boletsoe ka holimo, nakong ea teko le ts'ebetso marang-rang a bontšitse ho tšepahala ho phahameng (nako ea ho hlaphoheloa bakeng sa ho hlōleha ho tloaelehileng ha e na ho feta makholo a li-milliseconds) le ts'ebetso e ntle - e 'ngoe le e' ngoe ea sefapano e kopantsoe ho ea mantlha ka litsela tse peli tsa 40 Gbit / s. Li-switches tsa marang-rang tsa rona li kentsoe 'me li hokahantsoe le li-switches ka LACP/M-LAG tse nang le likanale tse peli tsa 10 Gbit/s. Hangata stack e na le li-switch tse 5 tse nang le likou tse 48 e 'ngoe le e 'ngoe, 'me li-stack tse fihlang ho tse 10 li hokahane le kabo ho khokahanyo e' ngoe le e 'ngoe. Ka hona, mokokotlo o fana ka hoo e ka bang 30 Mbit / s ka mosebedisi esita le ka mojaro o moholo oa theory, oo ka nako ea ho ngola o lekaneng bakeng sa likopo tsohle tsa rona tse sebetsang.

Marang-rang a u lumella ho hlophisa ka mokhoa o se nang moeli ho kopanngoa ha lisebelisoa life kapa life tse hokahaneng ka L2 le L3, ho fana ka karohano e felletseng ea sephethephethe (seo ts'ebeletso ea ts'ireletso ea tlhahisoleseling e se ratang) le libaka tsa liphoso (tseo sehlopha sa ts'ebetso se se ratang).

Karolong e latelang re tla u bolella hore na re falletse joang marang-rang a macha. Lula u mametse!

Maxim Klochkov
Moeletsi e moholo oa tlhahlobo ea marang-rang le sehlopha sa merero e rarahaneng
Network Solutions Center
"Jet Infosystems"


Source: www.habr.com

Eketsa ka tlhaloso