Leo nitakuambia juu ya jinsi wazo la kuunda mtandao mpya wa ndani kwa kampuni yetu lilikuja na kutekelezwa. Msimamo wa usimamizi ni kwamba unahitaji kujifanyia mradi kamili kama mteja. Ikiwa tunajifanyia vizuri, tunaweza kumwalika mteja na kuonyesha jinsi kile tunachompa kinavyofanya kazi na kufanya kazi. Kwa hiyo, tulikaribia maendeleo ya dhana ya mtandao mpya kwa ofisi ya Moscow vizuri sana, kwa kutumia mzunguko kamili wa uzalishaji: uchambuzi wa mahitaji ya idara β uteuzi wa ufumbuzi wa kiufundi β kubuni β utekelezaji β kupima. Basi hebu tuanze.
Kuchagua Suluhisho la Kiufundi: Sanctuary Mutant
Utaratibu wa kufanya kazi kwenye mfumo tata wa kiotomatiki kwa sasa umeelezewa vyema katika GOST 34.601-90 "Mifumo otomatiki. Hatua za Uumbajiβ, kwa hivyo tulifanya kazi kulingana nayo. Na tayari katika hatua za malezi ya mahitaji na ukuzaji wa dhana, tulikutana na shida za kwanza. Mashirika ya wasifu mbalimbali - mabenki, makampuni ya bima, watengenezaji wa programu, nk - kwa kazi zao na viwango, wanahitaji aina fulani za mitandao, maalum ambayo ni wazi na ya kawaida. Walakini, hii haitafanya kazi na sisi.
Kwa nini?
Jet Infosystems ni kampuni kubwa ya mseto ya IT. Wakati huo huo, idara yetu ya usaidizi wa ndani ni ndogo (lakini inajivunia), inahakikisha utendaji wa huduma za msingi na mifumo. Kampuni hiyo ina mgawanyiko mwingi ambao hufanya kazi tofauti: hizi ni timu kadhaa za nguvu za nje, na watengenezaji wa ndani wa mifumo ya biashara, na usalama wa habari, na wasanifu wa mifumo ya kompyuta - kwa ujumla, ni nani. Ipasavyo, kazi zao, mifumo na sera za usalama pia ni tofauti. Ambayo, kama inavyotarajiwa, iliunda ugumu katika mchakato wa uchambuzi wa mahitaji na viwango.
Hapa, kwa mfano, ni idara ya maendeleo: wafanyakazi wake kuandika na mtihani code kwa idadi kubwa ya wateja. Mara nyingi kuna haja ya kupanga haraka mazingira ya mtihani, na kusema ukweli, si mara zote inawezekana kuunda mahitaji ya kila mradi, kuomba rasilimali na kujenga mazingira tofauti ya mtihani kwa mujibu wa kanuni zote za ndani. Hii inasababisha hali za kushangaza: siku moja mtumishi wako mnyenyekevu aliangalia kwenye chumba cha watengenezaji na akapata chini ya meza kikundi cha Hadoop kinachofanya kazi vizuri cha dawati 20, ambacho kiliunganishwa kwa njia isiyoeleweka kwenye mtandao wa kawaida. Sidhani kama inafaa kufafanua kuwa idara ya IT ya kampuni haikujua juu ya uwepo wake. Hali hii, kama wengine wengi, iliwajibika kwa ukweli kwamba wakati wa maendeleo ya mradi, neno "hifadhi ya mutant" lilizaliwa, kuelezea hali ya miundombinu ya ofisi ya muda mrefu.
Au hapa kuna mfano mwingine. Mara kwa mara, benchi ya majaribio huwekwa ndani ya idara. Hivi ndivyo ilivyokuwa kwa Jira na Confluence, ambazo zilitumiwa kwa kiasi kidogo na Kituo cha Maendeleo ya Programu katika baadhi ya miradi. Baada ya muda, idara zingine zilijifunza kuhusu rasilimali hizi muhimu, zikatathminiwa, na mwishoni mwa 2018, Jira na Confluence walihama kutoka hadhi ya "kichezeo cha waandaaji wa programu wa ndani" hadi hadhi ya "rasilimali za kampuni." Sasa mmiliki lazima agawiwe kwa mifumo hii, SLAs, sera za usalama wa ufikiaji/habari, sera za chelezo, ufuatiliaji, sheria za kuelekeza maombi ya kurekebisha matatizo lazima zifafanuliwe - kwa ujumla, sifa zote za mfumo kamili wa habari lazima ziwepo. .
Kila moja ya mgawanyiko wetu pia ni incubator ambayo inakuza bidhaa zake. Baadhi yao hufa katika hatua ya maendeleo, wengine tunawatumia wakati wa kufanya kazi kwenye miradi, wakati wengine huchukua mizizi na kuwa suluhisho ambalo tunaanza kutumia wenyewe na kuuza kwa wateja. Kwa kila mfumo huo, ni kuhitajika kuwa na mazingira yake ya mtandao, ambapo itaendeleza bila kuingilia mifumo mingine, na kwa wakati fulani inaweza kuunganishwa katika miundombinu ya kampuni.
Mbali na maendeleo, tunayo kubwa sana na wafanyakazi zaidi ya 500, walioundwa katika timu kwa kila mteja. Wanahusika katika kudumisha mitandao na mifumo mingine, ufuatiliaji wa mbali, kutatua madai, na kadhalika. Hiyo ni, miundombinu ya SC ni, kwa kweli, miundombinu ya mteja ambaye wanafanya kazi naye kwa sasa. Upekee wa kufanya kazi na sehemu hii ya mtandao ni kwamba vituo vyao vya kazi kwa kampuni yetu ni sehemu ya nje, na kwa sehemu ya ndani. Kwa hivyo, kwa SC tulitekeleza mbinu ifuatayo - kampuni hutoa idara inayolingana na mtandao na rasilimali zingine, kwa kuzingatia vituo vya kazi vya idara hizi kama viunganisho vya nje (kwa mlinganisho na matawi na watumiaji wa mbali).
Ubunifu wa barabara kuu: sisi ni mwendeshaji (mshangao)
Baada ya kutathmini mitego yote, tuligundua kwamba tulikuwa tukipata mtandao wa waendeshaji wa mawasiliano ndani ya ofisi moja, na tukaanza kutenda ipasavyo.
Tumeunda mtandao wa msingi kwa usaidizi ambao wowote wa ndani, na katika siku zijazo pia nje, mtumiaji hutolewa na huduma inayohitajika: L2 VPN, L3 VPN au njia ya kawaida ya L3. Idara zingine zinahitaji ufikiaji salama wa Mtandao, wakati zingine zinahitaji ufikiaji safi bila ngome, lakini wakati huo huo kulinda rasilimali zetu za shirika na mtandao wa msingi kutoka kwa trafiki yao.
"Tulihitimisha SLA" isiyo rasmi na kila kitengo. Kwa mujibu wa hayo, matukio yote yanayotokea lazima yaondolewe ndani ya muda fulani, uliokubaliwa kabla. Mahitaji ya kampuni kwa mtandao wake yaligeuka kuwa kali. Muda wa juu zaidi wa kujibu tukio katika tukio la hitilafu ya simu na barua pepe ilikuwa dakika 5. Wakati wa kurejesha utendaji wa mtandao wakati wa kushindwa kwa kawaida sio zaidi ya dakika.
Kwa kuwa tuna mtandao wa daraja la mtoa huduma, unaweza tu kuunganisha kwake kwa mujibu wa sheria. Vitengo vya huduma huweka sera na kutoa huduma. Hazihitaji hata habari kuhusu miunganisho ya seva maalum, mashine pepe na vituo vya kazi. Lakini wakati huo huo, taratibu za ulinzi zinahitajika, kwa sababu hakuna uhusiano mmoja unapaswa kuzima mtandao. Ikiwa kitanzi kinaundwa kwa bahati mbaya, watumiaji wengine hawapaswi kutambua hili, yaani, jibu la kutosha kutoka kwa mtandao ni muhimu. Opereta yeyote wa mawasiliano ya simu mara kwa mara hutatua matatizo yanayofanana yanayoonekana kuwa magumu ndani ya mtandao wake mkuu. Inatoa huduma kwa wateja wengi wenye mahitaji tofauti na trafiki. Wakati huo huo, watumiaji tofauti hawapaswi kupata usumbufu kutoka kwa trafiki ya wengine.
Huko nyumbani, tulitatua tatizo hili kwa njia ifuatayo: tulijenga mtandao wa L3 wa mgongo na upungufu kamili, kwa kutumia itifaki ya IS-IS. Mtandao wa kufunika ulijengwa juu ya msingi kulingana na teknolojia /, kwa kutumia itifaki ya uelekezaji . Ili kuharakisha muunganisho wa itifaki za uelekezaji, teknolojia ya BFD ilitumiwa.
Muundo wa mtandao
Katika majaribio, mpango huu ulijidhihirisha kuwa bora - wakati chaneli au swichi yoyote imekatika, wakati wa muunganisho sio zaidi ya 0.1-0.2 s, pakiti za chini hupotea (mara nyingi hakuna), vikao vya TCP hazijavunjwa, mazungumzo ya simu. hazijaingiliwa.
Safu ya Chini - Kuelekeza
Safu ya Kufunika - Kuelekeza
Swichi za Huawei CE6870 zilizo na leseni za VXLAN zilitumika kama swichi za usambazaji. Kifaa hiki kina uwiano bora wa bei/ubora, unaokuwezesha kuunganisha watumiaji kwa kasi ya 10 Gbit/s, na kuunganisha kwenye uti wa mgongo kwa kasi ya 40β100 Gbit/s, kulingana na vipitishi sauti vinavyotumika.
Swichi za Huawei CE6870
Swichi za Huawei CE8850 zilitumika kama swichi za msingi. Lengo ni kusambaza trafiki haraka na kwa uhakika. Hakuna vifaa vilivyounganishwa kwao isipokuwa swichi za usambazaji, hawajui chochote kuhusu VXLAN, kwa hivyo modeli iliyo na bandari 32 40/100 Gbps ilichaguliwa, ikiwa na leseni ya msingi ambayo hutoa uelekezaji wa L3 na usaidizi kwa IS-IS na MP-BGP. itifaki.
Ya chini ni swichi ya msingi ya Huawei CE8850
Katika hatua ya usanifu, majadiliano yalizuka ndani ya timu kuhusu teknolojia zinazoweza kutumika kutekeleza muunganisho unaostahimili hitilafu kwa nodi kuu za mtandao. Ofisi yetu ya Moscow iko katika majengo matatu, tuna vyumba 7 vya usambazaji, katika kila moja ambayo swichi mbili za usambazaji za Huawei CE6870 ziliwekwa (swichi za ufikiaji tu ziliwekwa kwenye vyumba kadhaa vya usambazaji). Wakati wa kuunda dhana ya mtandao, chaguzi mbili za uondoaji zilizingatiwa:
- Ujumuishaji wa swichi za usambazaji kuwa safu inayostahimili hitilafu katika kila chumba cha muunganisho mtambuka. Faida: unyenyekevu na urahisi wa kuanzisha. Hasara: kuna uwezekano mkubwa wa kushindwa kwa stack nzima wakati makosa hutokea katika firmware ya vifaa vya mtandao ("uvujaji wa kumbukumbu" na kadhalika).
- Tumia teknolojia za lango la M-LAG na Anycast ili kuunganisha vifaa kwenye swichi za usambazaji.
Mwishowe, tulikaa kwenye chaguo la pili. Ni ngumu zaidi kusanidi, lakini imeonyesha kwa vitendo utendaji wake na kuegemea juu.
Wacha kwanza tuzingatie kuunganisha vifaa vya mwisho kwa swichi za usambazaji:
Msalaba
Swichi ya ufikiaji, seva, au kifaa kingine chochote kinachohitaji muunganisho unaostahimili hitilafu hujumuishwa katika swichi mbili za usambazaji. Teknolojia ya M-LAG hutoa upungufu katika kiwango cha kiungo cha data. Inachukuliwa kuwa swichi mbili za usambazaji zinaonekana kwenye vifaa vilivyounganishwa kama kifaa kimoja. Usawazishaji wa upungufu na usawazishaji wa mzigo unafanywa kwa kutumia itifaki ya LACP.
Teknolojia ya lango la Anycast hutoa upungufu katika kiwango cha mtandao. Idadi kubwa ya VRF imesanidiwa kwenye kila swichi za usambazaji (kila VRF imekusudiwa kwa madhumuni yake - kando kwa watumiaji "wa kawaida", kando kwa simu, kando kwa mazingira anuwai ya majaribio na ukuzaji, n.k.), na katika kila moja. VRF ina VLAN kadhaa zilizosanidiwa. Katika mtandao wetu, swichi za usambazaji ni lango la msingi la vifaa vyote vilivyounganishwa kwao. Anwani za IP zinazolingana na violesura vya VLAN ni sawa kwa swichi zote mbili za usambazaji. Trafiki inapitishwa kupitia swichi iliyo karibu zaidi.
Sasa hebu tuangalie kuunganisha swichi za usambazaji kwenye kernel:
Uvumilivu wa makosa hutolewa katika kiwango cha mtandao kwa kutumia itifaki ya IS-IS. Tafadhali kumbuka kuwa mstari wa mawasiliano wa L3 tofauti hutolewa kati ya swichi, kwa kasi ya 100G. Kimwili, laini hii ya mawasiliano ni kebo ya Ufikiaji wa Moja kwa Moja; inaweza kuonekana upande wa kulia kwenye picha ya swichi za Huawei CE6870.
Njia mbadala itakuwa kupanga "uaminifu" iliyounganishwa kikamilifu ya topolojia ya nyota mbili, lakini, kama ilivyoelezwa hapo juu, tuna vyumba 7 vya kuunganisha katika majengo matatu. Ipasavyo, ikiwa tungechagua topolojia ya "nyota mbili", tungehitaji vipitishio vya 40G vya "masafa marefu" mara mbili. Akiba hapa ni muhimu sana.
Maneno machache yanahitaji kusemwa kuhusu jinsi teknolojia za lango la VXLAN na Anycast zinavyofanya kazi pamoja. VXLAN, bila kuingia katika maelezo, ni handaki ya kusafirisha fremu za Ethernet ndani ya pakiti za UDP. Miingiliano ya nyuma ya swichi za usambazaji hutumiwa kama anwani ya IP fikio ya handaki ya VXLAN. Kila crossover ina swichi mbili zilizo na anwani sawa za kiolesura cha loopback, kwa hivyo pakiti inaweza kufika kwa yoyote kati yao, na fremu ya Ethernet inaweza kutolewa kutoka kwayo.
Ikiwa swichi inajua kuhusu anwani ya MAC inayolengwa ya fremu iliyorejeshwa, fremu hiyo itawasilishwa kwa usahihi hadi inakoenda. Ili kuhakikisha kuwa swichi zote mbili za usambazaji zilizosakinishwa kwenye muunganisho sawa zina maelezo ya kisasa kuhusu anwani zote za MAC "zinazowasili" kutoka kwa swichi za ufikiaji, utaratibu wa M-LAG una jukumu la kusawazisha jedwali la anwani za MAC (pamoja na ARP. tables) kwenye swichi zote mbili jozi za M-LAG.
Usawazishaji wa trafiki unapatikana kwa sababu ya uwepo katika mtandao wa chini wa njia kadhaa hadi miingiliano ya nyuma ya swichi za usambazaji.
Badala ya hitimisho
Kama ilivyoelezwa hapo juu, wakati wa majaribio na uendeshaji mtandao ulionyesha kuegemea juu (wakati wa kurejesha kwa kushindwa kwa kawaida sio zaidi ya mamia ya milliseconds) na utendaji mzuri - kila kuunganisha msalaba kunaunganishwa kwenye msingi na njia mbili za 40 Gbit / s. Swichi za ufikiaji katika mtandao wetu zimepangwa kwa rafu na kuunganishwa kwa swichi za usambazaji kupitia LACP/M-LAG na chaneli mbili za 10 Gbit/s. Rafu kwa kawaida huwa na swichi 5 zenye milango 48 kila moja, na hadi rafu 10 za ufikiaji huunganishwa kwenye usambazaji katika kila muunganisho mtambuka. Kwa hivyo, mgongo hutoa kuhusu 30 Mbit / s kwa mtumiaji hata kwa mzigo mkubwa wa kinadharia, ambayo wakati wa kuandika ni wa kutosha kwa maombi yetu yote ya vitendo.
Mtandao hukuruhusu kupanga kwa urahisi kuoanisha kwa vifaa vyovyote vilivyounganishwa kiholela kupitia L2 na L3, kutoa utengaji kamili wa trafiki (ambayo huduma ya usalama wa habari inapenda) na vikoa vyenye hitilafu (ambazo timu ya utendakazi inapenda).
Katika sehemu inayofuata tutakuambia jinsi tulivyohamia kwenye mtandao mpya. Endelea kufuatilia!
Maxim Klochkov
Mshauri mkuu wa kikundi cha ukaguzi wa mtandao na miradi changamano
Kituo cha Mifumo ya Mtandao
"Jet Infosystems"
Chanzo: mapenzi.com