Heddiw byddaf yn dweud wrthych sut y daeth y syniad o greu rhwydwaith mewnol newydd ar gyfer ein cwmni i fodolaeth a sut y cafodd ei weithredu. Safbwynt y rheolwyr yw bod angen i chi wneud yr un prosiect cyflawn i chi'ch hun ag ar gyfer y cleient. Os byddwn yn ei wneud yn dda i ni ein hunain, gallwn wahodd y cwsmer a dangos pa mor dda y mae'r hyn yr ydym yn ei gynnig iddo yn gweithio ac yn gweithio. Felly, aethom at ddatblygiad y cysyniad o rwydwaith newydd ar gyfer swyddfa Moscow yn drylwyr iawn, gan ddefnyddio'r cylch cynhyrchu llawn: dadansoddiad o anghenion adrannol → dewis ateb technegol → dylunio → gweithredu → profi. Felly gadewch i ni ddechrau.
Dewis Ateb Technegol: Noddfa Mutant
Mae'r weithdrefn ar gyfer gweithio ar system awtomataidd gymhleth yn cael ei disgrifio orau ar hyn o bryd yn GOST 34.601-90 “Systemau awtomataidd. Camau'r Greadigaeth”, felly buom yn gweithio yn unol ag ef. Ac eisoes ar y camau o ffurfio gofynion a datblygu cysyniad, daethom ar draws yr anawsterau cyntaf. Sefydliadau o broffiliau amrywiol - banciau, cwmnïau yswiriant, datblygwyr meddalwedd, ac ati - ar gyfer eu tasgau a'u safonau, mae angen rhai mathau o rwydweithiau arnynt, y mae eu manylion yn glir ac wedi'u safoni. Fodd bynnag, ni fydd hyn yn gweithio gyda ni.
Pam?
Mae Jet Infosystems yn gwmni TG amrywiol mawr. Ar yr un pryd, mae ein hadran cymorth mewnol yn fach (ond yn falch), mae'n sicrhau ymarferoldeb gwasanaethau a systemau sylfaenol. Mae'r cwmni'n cynnwys llawer o adrannau sy'n cyflawni gwahanol swyddogaethau: mae'r rhain yn nifer o dîmau allanol pwerus, a datblygwyr mewnol systemau busnes, a diogelwch gwybodaeth, a phenseiri systemau cyfrifiadurol - yn gyffredinol, pwy bynnag ydyw. Yn unol â hynny, mae eu tasgau, systemau a pholisïau diogelwch hefyd yn wahanol. Sydd, yn ôl y disgwyl, yn creu anawsterau yn y broses o ddadansoddi a safoni anghenion.
Yma, er enghraifft, mae'r adran ddatblygu: mae ei gweithwyr yn ysgrifennu ac yn profi cod ar gyfer nifer fawr o gwsmeriaid. Yn aml mae angen trefnu amgylcheddau prawf yn gyflym, a dweud y gwir, nid yw bob amser yn bosibl llunio gofynion ar gyfer pob prosiect, gofyn am adnoddau ac adeiladu amgylchedd prawf ar wahân yn unol â'r holl reoliadau mewnol. Mae hyn yn arwain at sefyllfaoedd chwilfrydig: un diwrnod edrychodd eich gwas gostyngedig i mewn i ystafell y datblygwyr a dod o hyd o dan y bwrdd glwstwr Hadoop o 20 bwrdd gwaith a oedd yn gweithio'n iawn, a oedd wedi'i gysylltu'n anesboniadwy â rhwydwaith cyffredin. Nid wyf yn meddwl ei bod yn werth egluro nad oedd adran TG y cwmni yn gwybod am ei fodolaeth. Roedd yr amgylchiad hwn, fel llawer o rai eraill, yn gyfrifol am y ffaith, yn ystod datblygiad y prosiect, fod y term “mutant wrth gefn” wedi'i eni, gan ddisgrifio cyflwr y seilwaith swyddfeydd hir-ddioddefol.
Neu dyma enghraifft arall. O bryd i'w gilydd, sefydlir mainc brawf o fewn adran. Roedd hyn yn wir am Jira a Confluence, a ddefnyddiwyd i raddau cyfyngedig gan y Ganolfan Datblygu Meddalwedd mewn rhai prosiectau. Ar ôl peth amser, dysgodd adrannau eraill am yr adnoddau defnyddiol hyn, eu gwerthuso, ac ar ddiwedd 2018, symudodd Jira a Confluence o statws “tegan rhaglenwyr lleol” i statws “adnoddau cwmni.” Nawr mae'n rhaid i berchennog gael ei neilltuo i'r systemau hyn, rhaid diffinio CLGau, polisïau mynediad/diogelwch gwybodaeth, polisïau wrth gefn, monitro, rheolau llwybro ceisiadau i drwsio problemau - yn gyffredinol, rhaid i holl nodweddion system wybodaeth lawn fod yn bresennol. .
Mae pob un o'n his-adrannau hefyd yn ddeorydd sy'n tyfu ei gynhyrchion ei hun. Mae rhai ohonyn nhw'n marw yn y cam datblygu, rhai rydyn ni'n eu defnyddio wrth weithio ar brosiectau, tra bod eraill yn gwreiddio ac yn dod yn atebion ailadroddus rydyn ni'n dechrau eu defnyddio ein hunain a'u gwerthu i gleientiaid. Ar gyfer pob system o'r fath, mae'n ddymunol cael ei amgylchedd rhwydwaith ei hun, lle bydd yn datblygu heb ymyrryd â systemau eraill, ac ar ryw adeg gellir ei integreiddio i seilwaith y cwmni.
Yn ogystal â datblygu, mae gennym fawr iawn gyda mwy na 500 o weithwyr, wedi'u ffurfio'n dimau ar gyfer pob cwsmer. Maent yn ymwneud â chynnal rhwydweithiau a systemau eraill, monitro o bell, datrys hawliadau, ac ati. Hynny yw, seilwaith y SC, mewn gwirionedd, yw seilwaith y cwsmer y maent yn gweithio ag ef ar hyn o bryd. Hynodrwydd gweithio gyda'r adran hon o'r rhwydwaith yw bod eu gweithfannau ar gyfer ein cwmni yn rhannol allanol, ac yn rhannol fewnol. Felly, ar gyfer y SC fe wnaethom weithredu'r dull canlynol - mae'r cwmni'n darparu rhwydwaith ac adnoddau eraill i'r adran gyfatebol, gan ystyried gweithfannau'r adrannau hyn fel cysylltiadau allanol (drwy gydweddiad â changhennau a defnyddwyr anghysbell).
Dyluniad priffyrdd: ni yw'r gweithredwr (syndod)
Ar ôl asesu’r holl beryglon, sylweddolom ein bod yn cael rhwydwaith gweithredwr telathrebu o fewn un swyddfa, a dechreuasom weithredu’n unol â hynny.
Fe wnaethom greu rhwydwaith craidd gyda chymorth y mae unrhyw ddefnyddiwr mewnol, ac yn y dyfodol hefyd yn allanol, yn cael y gwasanaeth gofynnol: L2 VPN, L3 VPN neu lwybro L3 rheolaidd. Mae angen mynediad diogel i'r Rhyngrwyd ar rai adrannau, tra bod eraill angen mynediad glân heb waliau tân, ond ar yr un pryd yn amddiffyn ein hadnoddau corfforaethol a'n rhwydwaith craidd rhag eu traffig.
Fe wnaethom “gwblhau CLG” yn anffurfiol gyda phob adran. Yn unol ag ef, rhaid dileu pob digwyddiad sy'n codi o fewn cyfnod penodol o amser y cytunwyd arno ymlaen llaw. Trodd gofynion y cwmni ar gyfer ei rwydwaith yn llym. Yr amser ymateb hwyaf i ddigwyddiad mewn achos o fethiannau ffôn ac e-bost oedd 5 munud. Nid yw'r amser i adfer ymarferoldeb rhwydwaith yn ystod methiannau nodweddiadol yn fwy na munud.
Gan fod gennym rwydwaith gradd cludwr, dim ond yn unol â'r rheolau y gallwch gysylltu ag ef. Mae unedau gwasanaeth yn gosod polisïau ac yn darparu gwasanaethau. Nid oes angen gwybodaeth arnynt hyd yn oed am gysylltiadau gweinyddwyr penodol, peiriannau rhithwir a gweithfannau. Ond ar yr un pryd, mae angen mecanweithiau amddiffyn, oherwydd ni ddylai un cysylltiad analluogi'r rhwydwaith. Os caiff dolen ei chreu'n ddamweiniol, ni ddylai defnyddwyr eraill sylwi ar hyn, hynny yw, mae angen ymateb digonol gan y rhwydwaith. Mae unrhyw weithredwr telathrebu yn datrys problemau tebyg sy'n ymddangos yn gymhleth yn gyson o fewn ei rwydwaith craidd. Mae'n darparu gwasanaeth i lawer o gleientiaid â gwahanol anghenion a thraffig. Ar yr un pryd, ni ddylai gwahanol danysgrifwyr brofi anghyfleustra gan draffig eraill.
Gartref, gwnaethom ddatrys y broblem hon yn y ffordd ganlynol: fe wnaethom adeiladu rhwydwaith L3 asgwrn cefn gyda diswyddiad llawn, gan ddefnyddio'r protocol IS-IS. Adeiladwyd rhwydwaith troshaen ar ben y craidd yn seiliedig ar dechnoleg /, gan ddefnyddio protocol llwybro . Er mwyn cyflymu'r broses o gydgyfeirio protocolau llwybro, defnyddiwyd technoleg BFD.
Strwythur rhwydwaith
Mewn profion, dangosodd y cynllun hwn ei hun yn ardderchog - pan fydd unrhyw sianel neu switsh wedi'i ddatgysylltu, nid yw'r amser cydgyfeirio yn fwy na 0.1-0.2 s, mae isafswm o becynnau'n cael eu colli (yn aml dim), nid yw sesiynau TCP yn cael eu rhwygo, sgyrsiau ffôn yn cael eu torri ar draws.
Haen Ishaenu - Llwybro
Haen Troshaen - Llwybro
Defnyddiwyd switshis Huawei CE6870 gyda thrwyddedau VXLAN fel switshis dosbarthu. Mae gan y ddyfais hon gymhareb pris / ansawdd gorau posibl, sy'n eich galluogi i gysylltu tanysgrifwyr ar gyflymder o 10 Gbit yr eiliad, a chysylltu â'r asgwrn cefn ar gyflymder o 40-100 Gbit yr eiliad, yn dibynnu ar y trosglwyddyddion a ddefnyddir.
Mae Huawei CE6870 yn newid
Defnyddiwyd switshis Huawei CE8850 fel switshis craidd. Y nod yw trosglwyddo traffig yn gyflym ac yn ddibynadwy. Nid oes unrhyw ddyfeisiau wedi'u cysylltu â nhw ac eithrio switshis dosbarthu, nid ydynt yn gwybod dim am VXLAN, felly dewiswyd model gyda phorthladdoedd 32 40/100 Gbps, gyda thrwydded sylfaenol sy'n darparu llwybro L3 a chefnogaeth i'r IS-IS ac MP-BGP protocolau .
Yr un gwaelod yw switsh craidd Huawei CE8850
Yn ystod y cam dylunio, cychwynnodd trafodaeth o fewn y tîm am dechnolegau y gellid eu defnyddio i weithredu cysylltiad sy'n goddef diffygion i nodau rhwydwaith craidd. Mae ein swyddfa ym Moscow wedi'i lleoli mewn tri adeilad, mae gennym 7 ystafell ddosbarthu, ac ym mhob un ohonynt gosodwyd dau switsh dosbarthu Huawei CE6870 (dim ond switshis mynediad a osodwyd mewn sawl ystafell ddosbarthu). Wrth ddatblygu’r cysyniad rhwydwaith, ystyriwyd dau opsiwn diswyddo:
- Mae cydgrynhoi dosbarthiad yn troi i mewn i bentwr sy'n goddef namau ym mhob ystafell trawsgysylltu. Manteision: symlrwydd a rhwyddineb gosod. Anfanteision: mae tebygolrwydd uwch o fethiant y pentwr cyfan pan fydd gwallau yn y firmware dyfeisiau rhwydwaith (gollyngiadau cof" ac ati).
- Cymhwyso technolegau porth M-LAG ac Anycast i gysylltu dyfeisiau â switshis dosbarthu.
Yn y diwedd, fe wnaethom setlo ar yr ail opsiwn. Mae ychydig yn anoddach ei ffurfweddu, ond mae wedi dangos yn ymarferol ei berfformiad a'i ddibynadwyedd uchel.
Yn gyntaf, gadewch i ni ystyried cysylltu dyfeisiau terfynol â switshis dosbarthu:
Croes
Mae switsh mynediad, gweinydd, neu unrhyw ddyfais arall sydd angen cysylltiad sy'n goddef namau wedi'i gynnwys mewn dau switsh dosbarthu. Mae technoleg M-LAG yn darparu diswyddiadau ar lefel cyswllt data. Tybir bod dau switsh dosbarthu yn ymddangos i'r offer cysylltiedig fel un ddyfais. Cyflawnir diswyddiadau a chydbwyso llwyth gan ddefnyddio'r protocol LACP.
Mae technoleg porth Anycast yn darparu diswyddiad ar lefel rhwydwaith. Mae nifer eithaf mawr o VRFs wedi'u ffurfweddu ar bob un o'r switshis dosbarthu (mae pob VRF wedi'i fwriadu at ei ddibenion ei hun - ar wahân ar gyfer defnyddwyr "rheolaidd", ar wahân ar gyfer teleffoni, ar wahân ar gyfer gwahanol amgylcheddau profi a datblygu, ac ati), ac ym mhob un. Mae gan VRF sawl VLAN wedi'u ffurfweddu. Yn ein rhwydwaith, switshis dosbarthu yw'r pyrth rhagosodedig ar gyfer pob dyfais sy'n gysylltiedig â nhw. Mae'r cyfeiriadau IP sy'n cyfateb i'r rhyngwynebau VLAN yr un peth ar gyfer y ddau switsh dosbarthu. Mae traffig yn cael ei gyfeirio drwy'r switsh agosaf.
Nawr, gadewch i ni edrych ar gysylltu switshis dosbarthu i'r cnewyllyn:
Darperir goddefgarwch nam ar lefel rhwydwaith gan ddefnyddio'r protocol IS-IS. Sylwch fod llinell gyfathrebu L3 ar wahân yn cael ei darparu rhwng y switshis, ar gyflymder o 100G. Yn gorfforol, mae'r llinell gyfathrebu hon yn gebl Mynediad Uniongyrchol; gellir ei weld ar y dde yn y llun o switshis Huawei CE6870.
Dewis arall fyddai trefnu topoleg seren ddwbl “onest” wedi’i chysylltu’n llawn, ond, fel y crybwyllwyd uchod, mae gennym 7 ystafell trawsgysylltu mewn tri adeilad. Yn unol â hynny, pe baem wedi dewis y topoleg “seren ddwbl”, byddai angen union ddwywaith cymaint o drosglwyddyddion 40G “ystod hir” arnom. Mae'r arbedion yma yn sylweddol iawn.
Mae angen dweud ychydig eiriau am sut mae technolegau porth VXLAN ac Anycast yn gweithio gyda'i gilydd. Mae VXLAN, heb fynd i fanylion, yn dwnnel ar gyfer cludo fframiau Ethernet y tu mewn i becynnau CDU. Defnyddir rhyngwynebau loopback switshis dosbarthu fel cyfeiriad IP cyrchfan twnnel VXLAN. Mae gan bob croesiad ddau switsh gyda'r un cyfeiriadau rhyngwyneb loopback, felly gall pecyn gyrraedd unrhyw un ohonynt, a gellir tynnu ffrâm Ethernet ohono.
Os yw'r switsh yn gwybod am gyfeiriad MAC cyrchfan y ffrâm a adferwyd, bydd y ffrâm yn cael ei danfon yn gywir i'w gyrchfan. Er mwyn sicrhau bod gan y ddau switsh dosbarthu sydd wedi'u gosod yn yr un croesgysylltu'r wybodaeth ddiweddaraf am yr holl gyfeiriadau MAC sy'n “cyrraedd” o'r switshis mynediad, mae'r mecanwaith M-LAG yn gyfrifol am gysoni'r tablau cyfeiriadau MAC (yn ogystal ag ARP tablau) ar y ddau switshis M-LAG parau.
Sicrheir cydbwyso traffig oherwydd presenoldeb yn y rhwydwaith isgarthau nifer o lwybrau i ryngwynebau loopback switshis dosbarthu.
Yn hytrach na i gasgliad
Fel y soniwyd uchod, yn ystod y profion a'r gweithrediad, dangosodd y rhwydwaith ddibynadwyedd uchel (nid yw'r amser adfer ar gyfer methiannau nodweddiadol yn fwy na channoedd o filieiliadau) a pherfformiad da - mae pob croes-gysylltiad wedi'i gysylltu â'r craidd gan ddwy sianel 40 Gbit yr eiliad. Mae switshis mynediad yn ein rhwydwaith yn cael eu pentyrru a'u cysylltu â switshis dosbarthu trwy LACP/M-LAG gyda dwy sianel 10 Gbit yr eiliad. Mae pentwr fel arfer yn cynnwys 5 switsh gyda 48 o borthladdoedd yr un, ac mae hyd at 10 stac mynediad wedi'u cysylltu â'r dosbarthiad ym mhob croesgysylltu. Felly, mae'r asgwrn cefn yn darparu tua 30 Mbit yr eiliad y defnyddiwr hyd yn oed ar y llwyth damcaniaethol uchaf, sydd ar adeg ysgrifennu'n ddigonol ar gyfer ein holl gymwysiadau ymarferol.
Mae'r rhwydwaith yn caniatáu ichi drefnu paru unrhyw ddyfeisiau cysylltiedig mympwyol yn ddi-dor trwy L2 a L3, gan ddarparu ynysu traffig yn llwyr (y mae'r gwasanaeth diogelwch gwybodaeth yn ei hoffi) a pharthau namau (y mae'r tîm gweithrediadau yn eu hoffi).
Yn y rhan nesaf byddwn yn dweud wrthych sut yr ydym wedi mudo i'r rhwydwaith newydd. Aros diwnio!
Maxim Klochkov
Uwch Ymgynghorydd, Grŵp Archwilio Rhwydwaith a Phrosiectau Cymhleth
Canolfan Atebion Rhwydwaith
"Systemau Gwybodaeth Jet"
Ffynhonnell: hab.com