Awtomatiaeth rhwydwaith. Achos o fywyd rhywun

Hei Habr!

Yn yr erthygl hon hoffem siarad am awtomeiddio seilwaith rhwydwaith. Cyflwynir diagram gweithredol o'r rhwydwaith sy'n gweithredu mewn un cwmni bach ond balch iawn. Mae pob paru ag offer rhwydwaith go iawn yn digwydd ar hap. Byddwn yn edrych ar achos a ddigwyddodd yn y rhwydwaith hwn, a allai fod wedi arwain at gau busnes am amser hir a cholledion ariannol difrifol. Mae'r ateb i'r achos hwn yn cyd-fynd yn dda iawn â'r cysyniad o "Awtomeiddio seilwaith rhwydwaith". Gan ddefnyddio offer awtomeiddio, byddwn yn dangos sut y gallwch chi ddatrys problemau cymhleth yn effeithiol mewn amser byr, a byddwn yn myfyrio ar pam y dylid datrys y problemau hyn fel hyn ac nid fel arall (trwy'r consol).

Ymwadiad

Ein prif offer ar gyfer awtomeiddio yw Ansible (fel offeryn awtomeiddio) a Git (fel ystorfa ar gyfer llyfrau chwarae Ansible). Hoffwn wneud amheuaeth ar unwaith nad erthygl ragarweiniol yw hon, lle rydym yn siarad am resymeg Ansible neu Git, ac yn egluro pethau sylfaenol (er enghraifft, beth yw modylau tasg-chwarae, ffeiliau rhestr eiddo, newidynnau yn Ansible, neu beth sy'n digwydd pan rydych chi'n mynd i mewn i'r gorchmynion gwthio git neu git commit). Nid yw'r stori hon yn ymwneud â sut y gallwch chi ymarfer Ansible a ffurfweddu NTP neu SMTP ar eich offer. Mae hon yn stori am sut y gallwch chi ddatrys problem rhwydwaith yn gyflym ac yn ddelfrydol heb wallau. Mae hefyd yn syniad da cael dealltwriaeth dda o sut mae'r rhwydwaith yn gweithio, yn enwedig beth yw stac protocol TCP/IP, OSPF, BGP. Byddwn hefyd yn tynnu’r dewis o Ansible a Git allan o’r hafaliad. Os oes angen i chi ddewis datrysiad penodol o hyd, rydym yn argymell yn gryf eich bod yn darllen y llyfr “Rhaglenadwyedd Rhwydwaith ac Awtomeiddio. Sgiliau ar gyfer Peiriannydd Rhwydwaith y Genhedlaeth Nesaf" gan Jason Edelman, Scott S. Lowe, a Matt Oswalt.

Nawr i'r pwynt.

Datganiad o'r broblem

Gadewch i ni ddychmygu sefyllfa: 3 o'r gloch y bore, rydych chi'n cysgu'n gyflym ac yn breuddwydio. Galwad ffon. Mae'r cyfarwyddwr technegol yn galw:

- Oes?
— ###, ####, #####, mae'r clwstwr wal dân wedi gostwng ac nid yw'n codi !!!
Rydych chi'n rhwbio'ch llygaid, gan geisio deall beth sy'n digwydd a dychmygu sut y gallai hyn ddigwydd hyd yn oed. Ar y ffôn gallwch glywed y gwallt ar ben y cyfarwyddwr yn rhwygo, ac mae'n gofyn i ffonio'n ôl oherwydd bod y cadfridog yn ei alw ar yr ail linell.

Hanner awr yn ddiweddarach, fe wnaethoch chi gasglu'r nodiadau rhagarweiniol cyntaf o'r sifft ddyletswydd, deffro pawb y gellid eu deffro. O ganlyniad, nid oedd y cyfarwyddwr technegol yn dweud celwydd, mae popeth fel y mae, mae'r prif glwstwr o waliau tân wedi gostwng, ac nid oes unrhyw symudiadau corff sylfaenol yn dod ag ef at ei synhwyrau. Nid yw'r holl wasanaethau y mae'r cwmni'n eu cynnig yn gweithio.

Dewiswch broblem at eich dant, bydd pawb yn cofio rhywbeth gwahanol. Er enghraifft, ar ôl diweddariad dros nos yn absenoldeb llwyth trwm, gweithiodd popeth yn dda, ac aeth pawb i'r gwely yn hapus. Dechreuodd traffig lifo, a dechreuodd byfferau rhyngwyneb orlifo oherwydd nam yn gyrrwr y cerdyn rhwydwaith.

Gall Jackie Chan ddisgrifio'r sefyllfa yn dda.

Diolch, Jackie.

Ddim yn sefyllfa ddymunol iawn, ynte?

Gadewch i ni adael ein bro rhwydwaith gyda'i feddyliau trist am ychydig.

Gadewch i ni drafod sut y bydd digwyddiadau'n datblygu ymhellach.

Rydym yn awgrymu y drefn ganlynol o gyflwyno'r deunydd

1. Gadewch i ni edrych ar y diagram rhwydwaith a gweld sut mae'n gweithio;
2. Byddwn yn disgrifio sut rydym yn trosglwyddo gosodiadau o un llwybrydd i'r llall gan ddefnyddio Ansible;
3. Gadewch i ni siarad am awtomeiddio'r seilwaith TG yn ei gyfanrwydd.

Diagram rhwydwaith a disgrifiad

Cynllun

Gadewch i ni ystyried y diagram rhesymegol o'n sefydliad. Ni fyddwn yn enwi gweithgynhyrchwyr offer penodol; at ddibenion yr erthygl hon nid oes ots (Bydd y darllenydd astud yn dyfalu pa fath o offer a ddefnyddir). Dyma un o fanteision da gweithio gydag Ansible; wrth sefydlu, yn gyffredinol nid oes ots gennym pa fath o offer ydyw. Dim ond i ddeall, dyma offer gan werthwyr adnabyddus, fel Cisco, Juniper, Check Point, Fortinet, Palo Alto ... gallwch chi amnewid eich opsiwn eich hun.

Mae gennym ddwy brif dasg ar gyfer symud traffig:

1. Sicrhau cyhoeddi ein gwasanaethau, sef busnes y cwmni;
2. Darparu cyfathrebu â changhennau, canolfan ddata anghysbell a sefydliadau trydydd parti (partneriaid a chleientiaid), yn ogystal â mynediad i ganghennau i'r Rhyngrwyd trwy'r swyddfa ganolog.

Gadewch i ni ddechrau gyda'r elfennau sylfaenol:

1. Dau lwybrydd ffin (BRD-01, BRD-02);
2. Clwstwr Mur Tân (FW-CLLUSTER);
3. Switsh craidd (L3-CORE);
4. Llwybrydd a fydd yn dod yn achubiaeth (wrth i ni ddatrys y broblem, byddwn yn trosglwyddo'r gosodiadau rhwydwaith o FW-CLUSTER i ARGYFWNG) (ARGYFWNG);
5. Switsys ar gyfer rheoli seilwaith rhwydwaith (L2-MGMT);
6. Peiriant rhithwir gyda Git and Ansible (VM-AUTOMATION);
7. Gliniadur ar gyfer profi a datblygu llyfrau chwarae ar gyfer Ansible (Laptop-Automation).

Mae'r rhwydwaith wedi'i ffurfweddu gyda phrotocol llwybro OSPF deinamig gyda'r meysydd canlynol:

• Ardal 0 – ardal sy'n cynnwys llwybryddion sy'n gyfrifol am symud traffig yn y parth CYFNEWID;
• Ardal 1 – ardal sy’n cynnwys llwybryddion sy’n gyfrifol am weithredu gwasanaethau’r cwmni;
• Ardal 2 – ardal sy'n cynnwys llwybryddion sy'n gyfrifol am reoli llwybrau traffig;
• Ardal N – ardaloedd rhwydweithiau cangen.

Ar lwybryddion ffin, crëir llwybrydd rhithwir (VRF-INTERNET), lle gosodir golwg lawn eBGP arno gyda'r UG a neilltuwyd cyfatebol. Mae iBGP wedi'i ffurfweddu rhwng VRFs. Mae gan y cwmni gronfa o gyfeiriadau gwyn sy'n cael eu cyhoeddi ar y VRF-INTERNET hyn. Mae rhai o'r cyfeiriadau gwyn yn cael eu cyfeirio'n uniongyrchol i FW-CLUSTER (cyfeiriadau y mae gwasanaethau'r cwmni'n gweithredu arnynt), mae rhai yn cael eu cyfeirio trwy'r parth CYFNEWID (gwasanaethau cwmni mewnol sydd angen cyfeiriadau IP allanol, a chyfeiriadau NAT allanol ar gyfer swyddfeydd). Nesaf, mae'r traffig yn mynd i lwybryddion rhithwir a grëwyd ar L3-CORE gyda chyfeiriadau gwyn a llwyd (parthau diogelwch).

Mae'r rhwydwaith Rheoli yn defnyddio switshis pwrpasol ac yn cynrychioli rhwydwaith pwrpasol yn gorfforol. Mae'r rhwydwaith rheoli hefyd wedi'i rannu'n barthau diogelwch.
Mae'r llwybrydd ARGYFWNG yn dyblygu'r FW-CLLUSTER yn gorfforol ac yn rhesymegol. Mae pob rhyngwyneb arno yn anabl ac eithrio'r rhai sy'n edrych i mewn i'r rhwydwaith rheoli.

Awtomatiaeth a'i ddisgrifiad

Fe wnaethon ni ddarganfod sut mae'r rhwydwaith yn gweithio. Nawr, gadewch i ni edrych gam wrth gam ar yr hyn y byddwn yn ei wneud i drosglwyddo traffig o FW-CLUSTER i ARGYFWNG:

1. Rydym yn analluogi'r rhyngwynebau ar y switsh craidd (L3-CORE) sy'n ei gysylltu â'r FW-CLUSTER;
2. Rydym yn analluogi'r rhyngwynebau ar y switsh cnewyllyn L2-MGMT sy'n ei gysylltu â'r FW-CLUSTER;
3. Rydym yn ffurfweddu'r llwybrydd ARGYFWNG (yn ddiofyn, mae pob rhyngwyneb wedi'i analluogi arno, ac eithrio'r rhai sy'n gysylltiedig â L2-MGMT):

• Rydym yn galluogi rhyngwynebau ar ARGYFWNG;
• Rydym yn ffurfweddu'r cyfeiriad IP allanol (ar gyfer NAT) a oedd ar y FW-Clwster;
• Rydym yn cynhyrchu ceisiadau gARP fel bod y cyfeiriadau pabi yn y tablau arp L3-CORE yn cael eu newid o FW-Clwstwr i ARGYFWNG;
• Rydym yn cofrestru'r llwybr rhagosodedig fel un statig i BRD-01, BRD-02;
• Creu rheolau NAT;
• Codi i Ardal 1 OSPF ARGYFWNG;
• Codi i Ardal 2 OSPF ARGYFWNG;
• Rydym yn newid cost llwybrau yn Ardal 1 i 10;
• Rydym yn newid cost y llwybr rhagosodedig yn Ardal 1 i 10;
• Rydym yn newid y cyfeiriadau IP sy'n gysylltiedig â L2-MGMT (i'r rhai a oedd ar FW-CLUSTER);
• Rydym yn cynhyrchu ceisiadau gARP fel bod y cyfeiriadau pabi yn y tablau arp L2-MGMT yn cael eu newid o FW-CLLUSTER i ARGYFWNG.

Unwaith eto, dychwelwn at ffurfiad gwreiddiol y broblem. Tri o'r gloch y bore, straen enfawr, gall camgymeriad ar unrhyw adeg arwain at broblemau newydd. Yn barod i deipio gorchmynion trwy'r CLI? Oes? Iawn, o leiaf ewch i olchi'ch wyneb, yfed coffi a chasglu'ch ewyllys.
Bruce, helpwch y bois os gwelwch yn dda.

Wel, rydym yn parhau i wella ein awtomeiddio.
Isod mae diagram o sut mae'r llyfr chwarae yn gweithio mewn termau Ansible. Mae’r cynllun hwn yn adlewyrchu’r hyn a ddisgrifiwyd gennym ychydig uchod, dim ond gweithrediad penodol ydyw yn Ansible.


Ar y cam hwn, fe wnaethom sylweddoli beth sydd angen ei wneud, datblygu llyfr chwarae, cynnal profion, a nawr rydym yn barod i'w lansio.

Digression telynegol bach arall. Ni ddylai rhwyddineb y stori eich camarwain. Nid oedd y broses o ysgrifennu llyfrau chwarae mor syml a chyflym ag y gallai ymddangos. Cymerodd y profion lawer o amser, crëwyd stondin rithwir, profwyd yr ateb lawer gwaith, cynhaliwyd tua 100 o brofion.

Gadewch i ni lansio... Mae yna deimlad bod popeth yn digwydd yn araf iawn, mae gwall yn rhywle, ni fydd rhywbeth yn gweithio yn y diwedd. Y teimlad o neidio gyda pharasiwt, ond nid yw'r parasiwt am agor ar unwaith ... mae hyn yn normal.

Nesaf, rydym yn darllen canlyniad gweithrediadau a gyflawnwyd yn y llyfr chwarae Ansible (disodlwyd y cyfeiriadau IP at ddibenion cyfrinachedd):

[xxx@emergency ansible]$ ansible-playbook -i /etc/ansible/inventories/prod_inventory.ini /etc/ansible/playbooks/emergency_on.yml 

PLAY [------->Emergency on VCF] ********************************************************

TASK [vcf_junos_emergency_on : Disable PROD interfaces to FW-CLUSTER] *********************
changed: [vcf]

PLAY [------->Emergency on MGMT-CORE] ************************************************

TASK [mgmt_junos_emergency_on : Disable MGMT interfaces to FW-CLUSTER] ******************
changed: [m9-03-sw-03-mgmt-core]

PLAY [------->Emergency on] ****************************************************

TASK [mk_routeros_emergency_on : Enable EXT-INTERNET interface] **************************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Generate gARP for EXT-INTERNET interface] ****************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Enable static default route to EXT-INTERNET] ****************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Change NAT rule to EXT-INTERNET interface] ****************
changed: [m9-04-r-04] => (item=12)
changed: [m9-04-r-04] => (item=14)
changed: [m9-04-r-04] => (item=15)
changed: [m9-04-r-04] => (item=16)
changed: [m9-04-r-04] => (item=17)

TASK [mk_routeros_emergency_on : Enable OSPF Area 1 PROD] ******************************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Enable OSPF Area 2 MGMT] *****************************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Change OSPF Area 1 interfaces costs to 10] *****************
changed: [m9-04-r-04] => (item=VLAN-1001)
changed: [m9-04-r-04] => (item=VLAN-1002)
changed: [m9-04-r-04] => (item=VLAN-1003)
changed: [m9-04-r-04] => (item=VLAN-1004)
changed: [m9-04-r-04] => (item=VLAN-1005)
changed: [m9-04-r-04] => (item=VLAN-1006)
changed: [m9-04-r-04] => (item=VLAN-1007)
changed: [m9-04-r-04] => (item=VLAN-1008)
changed: [m9-04-r-04] => (item=VLAN-1009)
changed: [m9-04-r-04] => (item=VLAN-1010)
changed: [m9-04-r-04] => (item=VLAN-1011)
changed: [m9-04-r-04] => (item=VLAN-1012)
changed: [m9-04-r-04] => (item=VLAN-1013)
changed: [m9-04-r-04] => (item=VLAN-1100)

TASK [mk_routeros_emergency_on : Change OSPF area1 default cost for to 10] ******************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Change MGMT interfaces ip addresses] ********************
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n.254', u'name': u'VLAN-803'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+1.254', u'name': u'VLAN-805'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+2.254', u'name': u'VLAN-807'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+3.254', u'name': u'VLAN-809'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+4.254', u'name': u'VLAN-820'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+5.254', u'name': u'VLAN-822'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+6.254', u'name': u'VLAN-823'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+7.254', u'name': u'VLAN-824'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+8.254', u'name': u'VLAN-850'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+9.254', u'name': u'VLAN-851'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+10.254', u'name': u'VLAN-852'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+11.254', u'name': u'VLAN-853'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+12.254', u'name': u'VLAN-870'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+13.254', u'name': u'VLAN-898'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+14.254', u'name': u'VLAN-899'})

TASK [mk_routeros_emergency_on : Generate gARPs for MGMT interfaces] *********************
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n.254', u'name': u'VLAN-803'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+1.254', u'name': u'VLAN-805'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+2.254', u'name': u'VLAN-807'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+3.254', u'name': u'VLAN-809'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+4.254', u'name': u'VLAN-820'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+5.254', u'name': u'VLAN-822'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+6.254', u'name': u'VLAN-823'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+7.254', u'name': u'VLAN-824'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+8.254', u'name': u'VLAN-850'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+9.254', u'name': u'VLAN-851'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+10.254', u'name': u'VLAN-852'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+11.254', u'name': u'VLAN-853'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+12.254', u'name': u'VLAN-870'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+13.254', u'name': u'VLAN-898'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+14.254', u'name': u'VLAN-899'})

PLAY RECAP ************************************************************************

Wedi'i wneud!

Mewn gwirionedd, nid yw'n hollol barod, peidiwch ag anghofio am gydgyfeiriant protocolau llwybro deinamig a llwytho nifer fawr o lwybrau i'r FIB. Ni allwn ddylanwadu ar hyn mewn unrhyw ffordd. Rydym yn aros. Fe weithiodd allan. Nawr mae'n barod.

Ac ym mhentref Vilabajo (nad yw am awtomeiddio'r gosodiad rhwydwaith) maen nhw'n parhau i olchi'r llestri. Mae Bruce (yn gyfaddef, eisoes yn wahanol, ond heb fod yn llai cŵl) yn ceisio deall faint yn fwy y bydd ad-drefnu'r offer â llaw yn digwydd.

Hoffwn hefyd drigo ar un pwynt pwysig. Sut allwn ni gael popeth yn ôl? Ar ôl peth amser, byddwn yn dod â'n FW-CLLUSTER yn ôl yn fyw. Dyma'r prif offer, nid wrth gefn, rhaid i'r rhwydwaith redeg arno.

Ydych chi'n teimlo sut mae rhwydweithwyr yn dechrau llosgi allan? Bydd y cyfarwyddwr technegol yn clywed mil o ddadleuon pam na ddylid gwneud hyn, pam y gellir gwneud hyn yn nes ymlaen. Yn anffodus, dyma sut mae'r rhwydwaith yn gweithio o griw o glytiau, darnau, a gweddillion ei hen foethusrwydd. Mae'n troi allan i fod yn cwilt clytwaith. Ein tasg yn gyffredinol, nid yn y sefyllfa benodol hon, ond yn gyffredinol mewn egwyddor, fel arbenigwyr TG, yw dod â gwaith y rhwydwaith i'r gair Saesneg hardd "cysondeb", mae'n amlochrog iawn, gellir ei gyfieithu fel: cydlyniad , cysondeb, rhesymeg, cydlyniad, cyfundrefnol, cymaroldeb, cydlyniad. Mae'n ymwneud ag ef. Dim ond yn y cyflwr hwn y gellir rheoli'r rhwydwaith, rydym yn deall yn glir beth sy'n gweithio a sut, rydym yn deall yn glir beth sydd angen ei newid, os oes angen, rydym yn amlwg yn gwybod ble i edrych os bydd problemau'n codi. A dim ond mewn rhwydwaith o'r fath y gallwch chi berfformio triciau fel y rhai rydyn ni newydd eu disgrifio.

Mewn gwirionedd, paratowyd llyfr chwarae arall, a ddychwelodd y gosodiadau i'w cyflwr gwreiddiol. Mae rhesymeg ei weithrediad yr un peth (mae'n bwysig cofio bod trefn y tasgau yn bwysig iawn), er mwyn peidio ag ymestyn erthygl sydd eisoes yn eithaf hir, penderfynasom beidio â phostio rhestr o weithrediad y llyfr chwarae. Ar ôl cynnal ymarferion o'r fath, byddwch chi'n teimlo'n llawer tawelach a mwy hyderus yn y dyfodol, yn ogystal, bydd unrhyw faglau y gwnaethoch chi eu pentyrru yno yn datgelu eu hunain ar unwaith.

Gall unrhyw un ysgrifennu atom a derbyn ffynonellau'r holl god ysgrifenedig, ynghyd â'r holl lyfrau paly. Cysylltiadau yn y proffil.

Canfyddiadau

Yn ein barn ni, nid yw prosesau y gellir eu hawtomeiddio wedi crisialu eto. Yn seiliedig ar yr hyn yr ydym wedi dod ar ei draws a'r hyn y mae ein cydweithwyr Gorllewinol yn ei drafod, mae'r themâu canlynol i'w gweld hyd yn hyn:

• Darparu dyfeisiau;
• Casglu data;
• Adrodd;
• Datrys Problemau;
• Cydymffurfio.

Os oes diddordeb, gallwn barhau â'r drafodaeth ar un o'r pynciau a roddwyd.

Hoffwn hefyd siarad ychydig am awtomeiddio. Beth ddylai fod yn ein dealltwriaeth ni:

• Rhaid i'r system fyw heb berson, tra'n cael ei gwella gan berson. Ni ddylai'r system ddibynnu ar fodau dynol;
• Rhaid i weithrediad fod yn arbenigwr. Nid oes unrhyw ddosbarth o arbenigwyr sy'n cyflawni tasgau arferol. Mae yna arbenigwyr sydd wedi awtomeiddio'r drefn gyfan ac yn datrys problemau cymhleth yn unig;
• Mae tasgau safonol arferol yn cael eu gwneud yn awtomatig “wrth bwyso botwm”, nid oes unrhyw adnoddau'n cael eu gwastraffu. Mae canlyniad tasgau o'r fath bob amser yn rhagweladwy ac yn ddealladwy.

A beth ddylai'r pwyntiau hyn arwain ato:

• Tryloywder seilwaith TG (Llai o risgiau gweithredu, moderneiddio, gweithredu. Llai o amser segur y flwyddyn);
• Y gallu i gynllunio adnoddau TG (System cynllunio capasiti - gallwch weld faint sy'n cael ei ddefnyddio, gallwch weld faint o adnoddau sydd eu hangen mewn un system, ac nid trwy lythyrau ac ymweliadau â'r adrannau uchaf);
• Posibilrwydd i leihau nifer y staff TG.

Awduron yr erthygl: Alexander Chelovekov (CCIE RS, CCIE SP) a Pavel Kirillov. Mae gennym ddiddordeb mewn trafod a chynnig atebion ar bwnc awtomeiddio seilwaith TG.


Ffynhonnell: hab.com