Îro ez ê ji we re vebêjim ka çawa ramana afirandina torgilokek navxweyî ya nû ji bo pargîdaniya me derket û hate pêkanîn. Helwesta rêveberiyê ev e ku hûn hewce ne ku ji bo xerîdar heman projeya bêkêmasî ji bo xwe bikin. Ger em ji bo xwe baş bikin, em dikarin xerîdar vexwînin û nîşan bidin ku tiştên ku em pêşkêşî wî dikin çiqas baş dixebite û dixebite. Ji ber vê yekê, me pir bi hûrgulî nêzikî pêşkeftina têgeha torgilokek nû ya ji bo ofîsa Moskowê bû, bi karanîna çerxa hilberîna tevahî: analîzkirina hewcedariyên beşê → hilbijartina çareseriyek teknîkî → sêwirandin → pêkanîn → ceribandin. Ji ber vê yekê em dest pê bikin.
Hilbijartina Çareseriya Teknîkî: Mutant Sanctuary
Pêvajoya xebata li ser pergalek xweser a tevlihev niha di GOST 34.601-90 "Pergalên otomatîkî" de çêtirîn tête diyar kirin. Qonaxên Afirandinê”, lewma em li gorî wê xebitîn. Û jixwe di qonaxên pêkhatina pêdiviyan û pêşxistina têgînê de, em rastî zehmetiyên yekem hatin. Rêxistinên profîlên cihê - bank, pargîdaniyên bîmeyê, pêşdebirên nermalavê, hwd. - ji bo kar û pîvanên xwe, hewcedariya wan bi hin celeb toran hene, ku taybetmendiyên wan zelal û standardkirî ne. Lêbelê, ev ê bi me re nexebite.
Çima
Jet Infosystems pargîdaniyek IT-ê ya cihêreng e. Di heman demê de, beşa meya piştevaniya navxweyî piçûk e (lê serbilind), ew fonksiyona karûbar û pergalên bingehîn misoger dike. Pargîdanî gelek beşan vedihewîne ku fonksiyonên cihêreng pêk tînin: ev çend tîmên hêzdar ên derve ne, û pêşdebirên hundurîn ên pergalên karsaziyê, û ewlehiya agahdarî, û mîmarên pergalên hesabkirinê - bi gelemperî, kî dibe bila bibe. Li gorî vê, erk, sîstem û polîtîkayên ewlehiyê yên wan jî ji hev cuda ne. Ya ku, wekî ku tê hêvî kirin, di pêvajoya analîz û standardîzekirina hewcedariyê de dijwarî çêkir.
Li vir, bo nimûne, beşa pêşkeftinê ye: karmendên wê ji bo hejmareke mezin ji xerîdaran kodê dinivîsin û ceribandin. Bi gelemperî pêdivî ye ku meriv zû hawîrdorên ceribandinê organîze bike, û bi eşkereyî, ne her gav ne gengaz e ku ji bo her projeyek hewcedariyên formule bike, çavkaniyan daxwaz bike û li gorî hemî rêzikên hundurîn hawîrdorek ceribandinê veqetîne. Ev dibe sedema rewşên meraq: rojekê xulamê weya dilnizm li odeya pêşdebiran mêze kir û di binê maseyê de komek Hadoop ya bi rêkûpêk xebitî ya ji 20 sermaseyan, ya ku bi rengek nediyar bi torgilokek hevpar ve girêdayî bû, dît. Ez nafikirim ku hêjayî zelalkirinê ye ku beşa IT ya pargîdanî di derbarê hebûna wê de nizane. Ev rewş, mîna gelekên din, berpirsiyarê wê yekê bû ku di dema pêşkeftina projeyê de, têgîna "rezervana mutant" çêbû, ku rewşa binesaziya nivîsgeha dirêj-ezam diyar dike.
An jî li vir mînakek din heye. Demjimêr, di nav dezgehek de bendek ceribandinê tê saz kirin. Ev yek bi Jira û Confluence re bû, ku ji hêla Navenda Pêşkeftina Nermalavê ve di hin projeyan de bi rêjeyek sînorkirî hate bikar anîn. Piştî demekê, beşên din li ser van çavkaniyên kêrhatî fêr bûn, wan nirxandin, û di dawiya sala 2018 de, Jira û Confluence ji statûya "lîstika bernamenûsên herêmî" derbasî rewşa "çavkaniyên pargîdaniyê" bûn. Naha pêdivî ye ku xwedanek ji van pergalan re were destnîşankirin, SLA, polîtîkayên ewlehiya gihîştinê / agahiyê, polîtîkayên paşvegirtinê, çavdêrîkirin, rêgezên ji bo daxwazên rêvekirinê ji bo çareserkirina pirsgirêkan bêne diyar kirin - bi gelemperî, divê hemî taybetmendiyên pergala agahdariya bêkêmasî hebe. .
Her beşên me di heman demê de inkubatorek e ku hilberên xwe mezin dike. Hin ji wan di qonaxa pêşkeftinê de dimirin, hinan em dema ku li ser projeyan dixebitin bikar tînin, hinên din bingeh digirin û dibin çareseriyên dubare yên ku em dest bi karanîna xwe dikin û ji xerîdaran re difroşin. Ji bo her pergalek wusa, tê xwestin ku hawîrdora torê ya xwe hebe, ku ew ê bêyî destwerdana pergalên din pêşve bibe, û di hin xalan de dikare di binesaziya pargîdaniyê de were yek kirin.
Ji bilî pêşveçûnê, me pir mezin heye bi zêdetirî 500 karmendan re, ji bo her xerîdar tîmê hatine damezrandin. Ew di parastina toran û pergalên din de, çavdêriya dûr, çareserkirina îdîayan, û hwd. Ango, binesaziya SC, bi rastî, binesaziya xerîdar e ku ew niha pê re dixebitin. Taybetmendiya xebata bi vê beşa torê re ev e ku qereqolên wan ên xebatê ji bo pargîdaniya me hinekî derveyî, û hinekî jî hundurîn in. Ji ber vê yekê, ji bo SC me nêzîkatiya jêrîn bicîh anî - pargîdanî bi torê û çavkaniyên din re beşa têkildar peyda dike, qereqolên van beşan wekî girêdanên derveyî dihesibîne (bi analogî bi şax û bikarhênerên dûr ve).
Sêwirana otobanê: em operator in (sûrprîz)
Piştî nirxandina hemî kêmasiyan, me fêm kir ku em di nav yek ofîsê de tora operatorek têlefonê digirin, û me li gorî vê yekê dest bi tevgerê kir.
Me torgilokek bingehîn çêkir ku bi alîkariya wê her hundurîn, û di pêşerojê de jî ji derve, xerîdar bi karûbarê pêwîst tê peyda kirin: L2 VPN, L3 VPN an rêça L3 ya birêkûpêk. Hin beşan hewceyê gihîştina Înternetê ya ewledar in, lê yên din hewceyê gihîştina paqij bêyî dîwaran in, lê di heman demê de çavkaniyên pargîdanî û tora meya bingehîn ji seyrûsefera wan diparêzin.
Me bi her dabeşkirinê re bi nefermî "SLA encam da". Li gorî wê, divê hemû bûyerên ku diqewimin di demek diyarkirî de, ji berê ve lihevkirî, ji holê bên rakirin. Pêdiviyên pargîdaniyê ji bo tora wê hişk derketin. Di bûyera têkçûna telefon û e-nameyê de dema bersivdayînê ya herî zêde 5 hûrdem bû. Wextê vegerandina fonksiyona torê di dema têkçûnên tîpîk de ji deqîqeyek zêdetir nîne.
Ji ber ku me torgilokek pola hilgirê heye, hûn tenê dikarin li gorî rêzikên hişk pê ve girêbidin. Yekîneyên karûbarê polîtîkayan destnîşan dikin û karûbaran peyda dikin. Ew di derheqê girêdanên serverên taybetî, makîneyên virtual û qereqolên xebatê de ne hewce ne agahdarî ne. Lê di heman demê de, mekanîzmayên parastinê hewce ne, ji ber ku pêwendiyek yekane divê torê neçalak bike. Ger xelekek bi xeletî were afirandin, divê bikarhênerên din vê yekê ferq nekin, ango bersivek têr ji torê hewce ye. Her operatorê têlefonê bi domdarî di nav tora xweya bingehîn de pirsgirêkên wusa xuya tevlihev çareser dike. Ew ji gelek xerîdarên bi hewcedarî û seyrûsefera cûda re karûbar peyda dike. Di heman demê de, aboneyên cihêreng divê ji seyrûsefera kesên din aciz nebin.
Li malê, me ev pirsgirêk bi awayê jêrîn çareser kir: me bi karanîna protokola IS-IS torgilokek L3-ya piştê bi bêserûberî çêkir. Li ser bingeha teknolojiyê torgilokek pêvekirî li ser bingehê hate çêkirin /, bi karanîna protokola rêvekirinê . Ji bo lezkirina lihevhatina protokolên rêvekirinê, teknolojiya BFD hate bikar anîn.
avahiya Network
Di ceribandinan de, vê nexşeyê xwe xweş nîşan da - gava ku kanalek an guheztinek were qut kirin, dema hevgirtinê ji 0.1-0.2 syan zêdetir nabe, herî kêm pakêt winda dibin (bi gelemperî tune), danişînên TCP nayên çikandin, danûstendinên têlefonê nayên qut kirin.
Layera Binxetê - Rêçkirin
Layer Overlay - Routing
Guhezên Huawei CE6870 yên bi lîsansa VXLAN wekî guhêrbarên belavkirinê hatin bikar anîn. Vê amûrê xwedan rêjeyek biha / kalîteyê ya çêtirîn e, ku dihêle hûn bi leza 10 Gbit / s aboneyan ve girêbidin, û bi leza 40-100 Gbit / s ve girêdayî bin, li gorî transceiversên têne bikar anîn.
Huawei CE6870 veguherîne
Guhezên Huawei CE8850 wekî guheztinên bingehîn hatin bikar anîn. Armanc ew e ku trafîkê zû û pêbawer were veguheztin. Ji xeynî guhêrbarên belavkirinê ti cîhaz bi wan ve nayên girêdan, ew di derbarê VXLAN de tiştek nizanin, ji ber vê yekê modelek bi 32 portên 40/100 Gbps hate hilbijartin, bi destûrnameyek bingehîn ku rêvekirina L3 û piştgirî ji IS-IS û MP-BGP re peyda dike. protokol .
Ya jêrîn veguherîna bingehîn a Huawei CE8850 e
Di qonaxa sêwiranê de, nîqaşek di nav tîmê de li ser teknolojiyên ku dikarin werin bikar anîn ji bo pêkanîna pêwendiyek xelet-tolerans bi girêkên torê yên bingehîn re derketin. Ofîsa me ya Moskowê di sê avahiyan de ye, me 7 odeyên belavkirinê hene, di her yek ji wan de du guhezên belavkirinê yên Huawei CE6870 hatine saz kirin (tenê guheztinên gihîştinê li çend odeyên belavkirinê hatine saz kirin). Dema ku têgeha torê pêş dixist, du vebijarkên zêdebûnê hatin hesibandin:
- Di her jûreya pêwendiya xaçê de yekbûna guheztina belavkirinê di stûnek toleransê de. Pros: sadebûn û hêsankirina sazkirinê. Kêmasî: îhtîmalek mezin a têkçûna tevahiya stakê heye dema ku xeletî di firmware cîhazên torê de çêdibin ("leakên bîranînê" û yên wekî wan).
- Teknolojiyên dergehê M-LAG û Anycast bicîh bikin da ku amûran bi guhezên belavkirinê ve girêdin.
Di dawiyê de, em li ser vebijarka duyemîn rûniştin. Veavakirina wê hinekî dijwartir e, lê di pratîkê de performansa xwe û pêbaweriya xwe ya bilind destnîşan kiriye.
Ka em pêşî li girêdana cîhazên paşîn bi guheztinên belavkirinê re bifikirin:
Xaç
Veguheztinek gihîştinê, server, an amûrek din a ku pêwendiyek xelet-tolerant hewce dike di du guhezên belavkirinê de tête navandin. Teknolojiya M-LAG di asta girêdana daneyê de zêdebûnê peyda dike. Tê texmîn kirin ku du guhêrbarên belavkirinê ji alavên ve girêdayî wekî yek amûrek xuya dikin. Zêdebûn û hevsengkirina barkirinê bi karanîna protokola LACP têne kirin.
Teknolojiya deriyê Anycast di asta torê de zêdebûnê peyda dike. Hejmarek pir mezin ji VRF-an li ser her yek ji guhêrbarên belavkirinê têne mîheng kirin (her VRF ji bo armancên xwe têne armanc kirin - ji hev veqetandî ji bo bikarhênerên "birêkûpêk", ji hev cuda ji bo têlefonê, veqetandî ji bo hawîrdorên cûrbecûr ceribandin û pêşkeftinê, hwd.), û di her yekê de VRF gelek VLAN-yên mîhengkirî hene. Di tora me de, guhêrbarên belavkirinê ji bo hemî cîhazên ku bi wan ve girêdayî ne deriyên xwerû ne. Navnîşanên IP-ê yên ku bi navgînên VLAN re têkildar in ji bo her du guheztinên belavkirinê yek in. Trafîk bi guheztina herî nêzîk ve tê rêve kirin.
Naha em li girêdana guhêzbarên belavkirinê bi kernelê re binêrin:
Tolerasyona xeletiyê di asta torê de bi karanîna protokola IS-IS tête peyda kirin. Ji kerema xwe re xêzek pêwendiya L3 ya veqetandî di navbera guhezkan de, bi leza 100G tê peyda kirin. Ji hêla fizîkî ve, ev xeta ragihandinê kabloyek Têkilî ya Rasterê ye ku ew li rastê di wêneya guhezên Huawei CE6870 de tê dîtin.
Alternatîfek dê organîzekirina topolojiya stêrkek dualî ya bi tevahî ve girêdayî "dilpak" be, lê, wekî ku li jor hatî behs kirin, me di sê avahiyan de 7 odeyên hevgirêdan hene. Li gorî vê yekê, heke me topolojiya "stêrkek ducar" hilbijarta, me ê tam du caran hewcedariya me bi transceiverên 40G yên "dûr-dirêj" bikira. Teserûfên li vir pir girîng in.
Pêdivî ye ku çend peyvan li ser ka çawa teknolojiyên dergehê VXLAN û Anycast bi hev re dixebitin werin gotin. VXLAN, bêyî ku bikeve nav hûrguliyan, tunelek e ji bo veguheztina çarçoveyên Ethernet di hundurê pakêtên UDP de. Têkiliyên loopback yên guheztinên belavkirinê wekî navnîşana IP-ya mebestê ya tunela VXLAN têne bikar anîn. Her girêdana xaçê du guhêrbar bi heman navnîşanên navbeynkariya loopback hene, ji ber vê yekê pakêtek dikare bigihîje her yek ji wan, û çarçoveyek Ethernet dikare jê were derxistin.
Ger guhêrbar bi navnîşana MAC-a mebestê ya çarçoweya hatî vegerandin zanibe, dê çarçove bi rengek rast bigihîje cihê xwe. Ji bo ku her du guhêzbarên belavkirinê yên ku di heman girêdana xaçê de hatine saz kirin agahdariya nûjen li ser hemî navnîşanên MAC-ê yên ku ji guhêzbarên gihîştinê "digihîjin" hene, mekanîzmaya M-LAG berpirsiyar e ku tabloyên navnîşana MAC-ê hevdeng bike (û her weha ARP tabloyên) li ser her du guheztinên M-LAG.
Hevsengiya seyrûseferê ji ber hebûna di tora jêrîn a çend rêçikan de berbi navbeynkariya paşîn a guhêzbarên belavkirinê ve tê bidestxistin.
Şûna encamê
Wekî ku li jor hatî behs kirin, di dema ceribandin û xebitandinê de torgilok pêbaweriyek bilind nîşan da (dema hilanînê ji bo têkçûnên tîpîk ne ji sedan milîsaniyeyan zêdetir e) û performansa baş - her hev-girêdan bi du kanalên 40 Gbit / s ve bi bingehîn ve girêdayî ye. Veguheztinên gihîştinê yên di tora me de bi du kanalên 10 Gbit/s ve bi LACP/M-LAG-ê ve bi guhêzbarên belavkirinê ve têne berhev kirin û têne girêdan. Stack bi gelemperî 5 guhêrbar hene ku her yek ji wan 48 port hene, û heya 10 stûnên gihîştinê di her hev-girêdanê de bi belavkirinê ve têne girêdan. Bi vî rengî, pişta piştê ji her bikarhênerek re 30 Mbit / s peyda dike tewra di barkirina herî teorîkî de, ku di dema nivîsandinê de ji bo hemî sepanên me yên pratîkî bes e.
Tora rê dide we ku hûn bi hevûdu veqetandina her cîhazên girêdayî keyfî hem bi navgîniya L2 û hem jî L3 ve birêxistin bikin, îzolasyona bêkêmasî ya seyrûseferê (ya ku karûbarê ewlehiya agahdarî jê hez dike) û domên xeletiyê (ya ku tîmê operasyonê jê hez dike) peyda dike.
Di beşa pêş de em ê ji we re vebêjin ka em çawa koçî tora nû kirin. Li bendê bin!
Maxim Klochkov
Şêwirmendê payebilind ê koma çavdêriya torê û projeyên tevlihev
Navenda Çareserkirina Torê
"Jet Infosystems"
Source: www.habr.com