Ngayon sasabihin ko sa iyo kung paano nabuo at ipinatupad ang ideya ng paglikha ng isang bagong panloob na network para sa aming kumpanya. Ang posisyon ng pamamahala ay kailangan mong gawin ang parehong buong proyekto para sa iyong sarili tulad ng para sa kliyente. Kung gagawin natin ito nang maayos para sa ating sarili, maaari nating anyayahan ang customer at ipakita kung gaano kahusay at gumagana ang inaalok natin sa kanya. Samakatuwid, nilapitan namin ang pagbuo ng konsepto ng isang bagong network para sa tanggapan ng Moscow nang lubusan, gamit ang buong cycle ng produksyon: pagsusuri ng mga pangangailangan ng departamento β pagpili ng isang teknikal na solusyon β disenyo β pagpapatupad β pagsubok. Kaya simulan na natin.
Pagpili ng Teknikal na Solusyon: Mutant Sanctuary
Ang pamamaraan para sa pagtatrabaho sa isang kumplikadong awtomatikong sistema ay kasalukuyang pinakamahusay na inilarawan sa GOST 34.601-90 "Mga awtomatikong sistema. Mga Yugto ng Paglikha", kaya nagtrabaho kami ayon dito. At nasa mga yugto na ng pagbuo ng mga kinakailangan at pagbuo ng konsepto, nakatagpo kami ng mga unang paghihirap. Mga organisasyon ng iba't ibang profile - mga bangko, kompanya ng seguro, mga developer ng software, atbp. - para sa kanilang mga gawain at pamantayan, kailangan nila ng ilang uri ng mga network, ang mga detalye nito ay malinaw at na-standardize. Gayunpaman, hindi ito gagana sa amin.
Bakit?
Ang Jet Infosystems ay isang malaking sari-sari na kumpanya ng IT. Kasabay nito, ang aming panloob na departamento ng suporta ay maliit (ngunit ipinagmamalaki), tinitiyak nito ang paggana ng mga pangunahing serbisyo at sistema. Ang kumpanya ay naglalaman ng maraming mga dibisyon na gumaganap ng iba't ibang mga function: ito ay ilang makapangyarihang outsourcing team, at mga in-house na developer ng mga sistema ng negosyo, at seguridad ng impormasyon, at mga arkitekto ng mga sistema ng computing - sa pangkalahatan, kung sino man ito. Alinsunod dito, iba rin ang kanilang mga gawain, sistema at mga patakaran sa seguridad. Na, tulad ng inaasahan, ay lumikha ng mga kahirapan sa proseso ng pagsusuri ng mga pangangailangan at standardisasyon.
Narito, halimbawa, ang departamento ng pag-unlad: ang mga empleyado nito ay sumulat at sumubok ng code para sa isang malaking bilang ng mga customer. Kadalasan mayroong pangangailangan na mabilis na ayusin ang mga kapaligiran sa pagsubok, at sa totoo lang, hindi laging posible na bumalangkas ng mga kinakailangan para sa bawat proyekto, humiling ng mga mapagkukunan at bumuo ng isang hiwalay na kapaligiran ng pagsubok alinsunod sa lahat ng panloob na regulasyon. Nagbubunga ito ng mga kakaibang sitwasyon: isang araw ang iyong hamak na lingkod ay tumingin sa silid ng mga developer at nakita sa ilalim ng talahanayan ang isang maayos na gumaganang Hadoop cluster ng 20 desktop, na hindi maipaliwanag na konektado sa isang karaniwang network. Sa palagay ko hindi ito nagkakahalaga ng paglilinaw na hindi alam ng departamento ng IT ng kumpanya ang tungkol sa pagkakaroon nito. Ang sitwasyong ito, tulad ng marami pang iba, ay may pananagutan sa katotohanan na sa panahon ng pagbuo ng proyekto, ang terminong "mutant reserve" ay ipinanganak, na naglalarawan sa estado ng mahabang pagtitiis na imprastraktura ng opisina.
O narito ang isa pang halimbawa. Paminsan-minsan, ang isang test bench ay naka-set up sa loob ng isang departamento. Ito ang kaso sa Jira at Confluence, na ginamit sa limitadong lawak ng Software Development Center sa ilang proyekto. Pagkaraan ng ilang oras, nalaman ng ibang mga departamento ang tungkol sa mga kapaki-pakinabang na mapagkukunang ito, sinuri ang mga ito, at sa pagtatapos ng 2018, lumipat sina Jira at Confluence mula sa katayuan ng "laruan ng mga lokal na programmer" patungo sa katayuan ng "mga mapagkukunan ng kumpanya." Ngayon ang isang may-ari ay dapat na italaga sa mga system na ito, ang mga SLA, mga patakaran sa seguridad sa pag-access/impormasyon, mga patakaran sa pag-backup, pagsubaybay, mga panuntunan para sa mga kahilingan sa pagruruta upang ayusin ang mga problema ay dapat tukuyin - sa pangkalahatan, ang lahat ng mga katangian ng isang ganap na sistema ng impormasyon ay dapat na naroroon .
Ang bawat isa sa aming mga dibisyon ay isa ring incubator na nagpapalaki ng sarili nitong mga produkto. Ang ilan sa kanila ay namamatay sa yugto ng pag-unlad, ang ilan ay ginagamit namin habang nagtatrabaho sa mga proyekto, habang ang iba ay nag-ugat at nagiging mga replicated na solusyon na sinimulan naming gamitin ang aming sarili at ibenta sa mga kliyente. Para sa bawat naturang sistema, ito ay kanais-nais na magkaroon ng sarili nitong network environment, kung saan ito ay bubuo nang hindi nakakasagabal sa iba pang mga system, at sa ilang mga punto ay maaaring isama sa imprastraktura ng kumpanya.
Bilang karagdagan sa pag-unlad, mayroon kaming isang napakalaking na may higit sa 500 empleyado, na nabuo sa mga koponan para sa bawat customer. Kasangkot sila sa pagpapanatili ng mga network at iba pang mga system, remote monitoring, paglutas ng mga claim, at iba pa. Ibig sabihin, ang imprastraktura ng SC ay, sa katunayan, ang imprastraktura ng customer kung saan sila kasalukuyang nagtatrabaho. Ang kakaiba ng pagtatrabaho sa seksyong ito ng network ay ang kanilang mga workstation para sa aming kumpanya ay bahagyang panlabas, at bahagyang panloob. Samakatuwid, para sa SC ipinatupad namin ang sumusunod na diskarte - ang kumpanya ay nagbibigay ng kaukulang departamento na may network at iba pang mga mapagkukunan, isinasaalang-alang ang mga workstation ng mga departamentong ito bilang mga panlabas na koneksyon (sa pamamagitan ng pagkakatulad sa mga sangay at malalayong gumagamit).
Disenyo ng highway: kami ang operator (sorpresa)
Matapos suriin ang lahat ng mga pitfalls, napagtanto namin na nakakakuha kami ng network ng telecommunications operator sa loob ng isang opisina, at nagsimula kaming kumilos nang naaayon.
Gumawa kami ng isang pangunahing network sa tulong kung saan anumang panloob, at sa hinaharap din panlabas, ang consumer ay binibigyan ng kinakailangang serbisyo: L2 VPN, L3 VPN o regular na pagruruta ng L3. Ang ilang mga departamento ay nangangailangan ng ligtas na pag-access sa Internet, habang ang iba ay nangangailangan ng malinis na pag-access nang walang mga firewall, ngunit sa parehong oras na nagpoprotekta sa aming mga mapagkukunan ng kumpanya at pangunahing network mula sa kanilang trapiko.
Kami ay hindi pormal na "nagtapos ng isang SLA" sa bawat dibisyon. Alinsunod dito, ang lahat ng mga insidente na lumitaw ay dapat na alisin sa loob ng isang tiyak, paunang napagkasunduang yugto ng panahon. Ang mga kinakailangan ng kumpanya para sa network nito ay naging mahigpit. Ang maximum na oras ng pagtugon sa isang insidente kung sakaling mabigo ang telepono at email ay 5 minuto. Ang oras upang maibalik ang paggana ng network sa panahon ng mga karaniwang pagkabigo ay hindi hihigit sa isang minuto.
Dahil mayroon kaming carrier-grade network, maaari ka lamang kumonekta dito sa mahigpit na alinsunod sa mga panuntunan. Ang mga yunit ng serbisyo ay nagtatakda ng mga patakaran at nagbibigay ng mga serbisyo. Ni hindi nila kailangan ng impormasyon tungkol sa mga koneksyon ng mga partikular na server, virtual machine at workstation. Ngunit sa parehong oras, kinakailangan ang mga mekanismo ng proteksyon, dahil hindi dapat paganahin ng isang koneksyon ang network. Kung ang isang loop ay hindi sinasadyang nalikha, ang ibang mga gumagamit ay hindi dapat mapansin ito, iyon ay, isang sapat na tugon mula sa network ay kinakailangan. Anumang telecom operator ay patuloy na nilulutas ang mga katulad na tila kumplikadong mga problema sa loob ng pangunahing network nito. Nagbibigay ito ng serbisyo sa maraming kliyente na may iba't ibang pangangailangan at trapiko. Kasabay nito, ang iba't ibang mga subscriber ay hindi dapat makaranas ng abala mula sa trapiko ng iba.
Sa bahay, nalutas namin ang problemang ito sa sumusunod na paraan: nagtayo kami ng backbone L3 network na may ganap na redundancy, gamit ang IS-IS protocol. Isang overlay na network ang binuo sa ibabaw ng core batay sa teknolohiya /, gamit ang isang routing protocol . Upang mapabilis ang convergence ng mga routing protocol, ginamit ang teknolohiya ng BFD.
Istruktura ng network
Sa mga pagsubok, ipinakita ng scheme na ito ang sarili nito na napakahusay - kapag ang anumang channel o switch ay nakadiskonekta, ang oras ng convergence ay hindi hihigit sa 0.1-0.2 s, isang minimum na mga packet ang nawala (madalas na wala), ang mga session ng TCP ay hindi napunit, mga pag-uusap sa telepono ay hindi naaabala.
Underlay Layer - Pagruruta
Overlay Layer - Pagruruta
Ang mga switch ng Huawei CE6870 na may mga lisensya ng VXLAN ay ginamit bilang mga switch sa pamamahagi. Ang device na ito ay may pinakamainam na ratio ng presyo/kalidad, na nagbibigay-daan sa iyong ikonekta ang mga subscriber sa bilis na 10 Gbit/s, at kumonekta sa backbone sa bilis na 40β100 Gbit/s, depende sa mga transceiver na ginamit.
Huawei CE6870 switch
Ginamit ang mga switch ng Huawei CE8850 bilang mga core switch. Ang layunin ay upang magpadala ng trapiko nang mabilis at mapagkakatiwalaan. Walang device na nakakonekta sa kanila maliban sa mga switch sa pamamahagi, wala silang alam tungkol sa VXLAN, kaya napili ang isang modelo na may 32 40/100 Gbps port, na may pangunahing lisensya na nagbibigay ng L3 routing at suporta para sa IS-IS at MP-BGP mga protocol.
Ang nasa ibaba ay ang Huawei CE8850 core switch
Sa yugto ng disenyo, sumiklab ang isang talakayan sa loob ng koponan tungkol sa mga teknolohiyang maaaring magamit upang ipatupad ang isang fault-tolerant na koneksyon sa mga core network node. Ang aming tanggapan sa Moscow ay matatagpuan sa tatlong mga gusali, mayroon kaming 7 mga silid ng pamamahagi, sa bawat isa kung saan dalawang switch ng pamamahagi ng Huawei CE6870 ang na-install (mga access switch lamang ang na-install sa ilang mga silid ng pamamahagi). Sa pagbuo ng konsepto ng network, dalawang opsyon sa redundancy ang isinasaalang-alang:
- Ang pagsasama-sama ng pamamahagi ay lumilipat sa isang fault-tolerant stack sa bawat cross-connection room. Mga kalamangan: pagiging simple at kadalian ng pag-setup. Mga disadvantages: may mas mataas na posibilidad ng pagkabigo ng buong stack kapag naganap ang mga error sa firmware ng mga device sa network ("memory leaks" at iba pa).
- Ilapat ang M-LAG at Anycast gateway na mga teknolohiya upang ikonekta ang mga device sa mga switch ng pamamahagi.
Sa huli, kami ay nanirahan sa pangalawang opsyon. Ito ay medyo mas mahirap i-configure, ngunit ipinakita sa pagsasanay ang pagganap nito at mataas na pagiging maaasahan.
Isaalang-alang muna natin ang pagkonekta ng mga end device sa mga switch ng pamamahagi:
Krus
Isang access switch, server, o anumang iba pang device na nangangailangan ng fault-tolerant na koneksyon ay kasama sa dalawang distribution switch. Ang teknolohiya ng M-LAG ay nagbibigay ng redundancy sa antas ng data link. Ipinapalagay na lumilitaw ang dalawang switch ng pamamahagi sa konektadong kagamitan bilang isang aparato. Ang redundancy at load balancing ay isinasagawa gamit ang LACP protocol.
Ang teknolohiya ng Anycast gateway ay nagbibigay ng redundancy sa antas ng network. Ang isang medyo malaking bilang ng mga VRF ay na-configure sa bawat isa sa mga switch ng pamamahagi (bawat VRF ay inilaan para sa sarili nitong mga layunin - hiwalay para sa mga "regular" na gumagamit, hiwalay para sa telephony, hiwalay para sa iba't ibang mga pagsubok at mga kapaligiran sa pag-unlad, atbp.), At sa bawat isa. Ang VRF ay may ilang mga VLAN na na-configure. Sa aming network, ang mga switch sa pamamahagi ay ang mga default na gateway para sa lahat ng device na nakakonekta sa kanila. Ang mga IP address na naaayon sa mga interface ng VLAN ay pareho para sa parehong mga switch ng pamamahagi. Ang trapiko ay dinadaanan sa pinakamalapit na switch.
Ngayon tingnan natin ang pagkonekta ng mga switch sa pamamahagi sa kernel:
Ibinibigay ang fault tolerance sa antas ng network gamit ang IS-IS protocol. Pakitandaan na may nakahiwalay na linya ng komunikasyon ng L3 sa pagitan ng mga switch, sa bilis na 100G. Sa pisikal, ang linya ng komunikasyon na ito ay isang Direct Access cable; makikita ito sa kanan sa larawan ng Huawei CE6870 switch.
Ang isang alternatibo ay ang pag-aayos ng isang "tapat" na ganap na konektado na double star topology, ngunit, tulad ng nabanggit sa itaas, mayroon kaming 7 cross-connect na kuwarto sa tatlong gusali. Alinsunod dito, kung pinili namin ang "double star" na topology, kakailanganin namin ng eksaktong doble sa dami ng "long-range" na 40G transceiver. Malaki ang matitipid dito.
Ang ilang mga salita ay kailangang sabihin tungkol sa kung paano gumagana ang VXLAN at Anycast gateway na mga teknolohiya. Ang VXLAN, nang hindi naglalagay ng mga detalye, ay isang tunel para sa pagdadala ng mga Ethernet frame sa loob ng mga UDP packet. Ang mga loopback na interface ng mga switch sa pamamahagi ay ginagamit bilang patutunguhang IP address ng VXLAN tunnel. Ang bawat crossover ay may dalawang switch na may parehong loopback interface address, kaya ang isang packet ay maaaring dumating sa alinman sa mga ito, at isang Ethernet frame ay maaaring makuha mula dito.
Kung alam ng switch ang tungkol sa patutunguhang MAC address ng nakuhang frame, maihahatid nang tama ang frame sa patutunguhan nito. Upang matiyak na ang parehong mga switch ng pamamahagi na naka-install sa parehong cross-connect ay may napapanahong impormasyon tungkol sa lahat ng mga MAC address na "darating" mula sa mga switch ng access, ang mekanismo ng M-LAG ay responsable para sa pag-synchronize ng mga talahanayan ng MAC address (pati na rin ang ARP mga talahanayan) sa parehong switch na mga pares ng M-LAG.
Ang pagbabalanse ng trapiko ay nakakamit dahil sa presensya sa underlay na network ng ilang mga ruta patungo sa loopback na mga interface ng mga switch ng pamamahagi.
Sa halip ng isang konklusyon
Tulad ng nabanggit sa itaas, sa panahon ng pagsubok at pagpapatakbo ang network ay nagpakita ng mataas na pagiging maaasahan (oras ng pagbawi para sa mga tipikal na pagkabigo ay hindi hihigit sa daan-daang millisecond) at mahusay na pagganap - bawat cross-connect ay konektado sa core ng dalawang 40 Gbit/s na channel. Ang mga access switch sa aming network ay nakasalansan at nakakonekta sa mga distribution switch sa pamamagitan ng LACP/M-LAG na may dalawang 10 Gbit/s na channel. Ang isang stack ay karaniwang naglalaman ng 5 switch na may 48 port bawat isa, at hanggang 10 access stack ay konektado sa pamamahagi sa bawat cross-connect. Kaya, ang backbone ay nagbibigay ng humigit-kumulang 30 Mbit/s bawat user kahit na sa pinakamataas na theoretical load, na sa oras ng pagsulat ay sapat na para sa lahat ng aming praktikal na aplikasyon.
Binibigyang-daan ka ng network na maayos na ayusin ang pagpapares ng anumang arbitrary na konektadong mga device sa pamamagitan ng parehong L2 at L3, na nagbibigay ng kumpletong paghihiwalay ng trapiko (na gusto ng serbisyo sa seguridad ng impormasyon) at mga fault domain (na gusto ng operations team).
Sa susunod na bahagi ay sasabihin namin sa iyo kung paano kami lumipat sa bagong network. Manatiling nakatutok!
Maxim Klochkov
Senior consultant ng network audit at complex projects group
Network Solutions Center
"Mga Jet Infosystem"
Pinagmulan: www.habr.com