Ehi Habr!
Recentemente un articulu hè apparsu quì induve un prublema simili hè stata risolta cù i mezi fossili. E ancu s'è u compitu hè cumplettamente tipicu, ùn ci hè nunda di simile nantu à Habré. Oseu d'offre a mo bicicletta à a rispettata cumunità IT.
Questa ùn hè micca a prima bicicletta per un tali compitu. A prima opzione hè stata implementata parechji anni fà ansible versione 1.x.x. A bicicletta era raramente usata è per quessa sempre arrugginita. In u sensu chì u compitu stessu ùn hè micca cusì spessu chì e versioni sò aghjurnati ansible. È ogni volta chì avete bisognu di guidà, a catena casca o a rota. In ogni casu, a prima parte, chì genera cunfigurazioni, sempre travaglia assai chjaramente, per furtuna jinja2 U mutore hè longu stabilitu. Ma a seconda parte, stendu e cunfigurazioni, di solitu portava sorprese. E postu ch'e aghju da roll out the config remotely à a mità di centu dispusitivi, alcuni di i quali sò situati à millaie di chilometri di distanza, l'usu di stu strumentu era un pocu noioso.
Quì devu ammette chì a mo incertezza più prubabilmente si trova in a mo mancanza di familiarità ansiblechè in i so difetti. È questu, per via, hè un puntu impurtante. ansible hè un spaziu cumplettamente separatu, a so propria area di cunniscenza cù u so propiu DSL (Domain Specific Language), chì deve esse mantinutu à un livellu di cunfidenza. Ebbè, quellu mumentu chì ansible Si sviluppeghja abbastanza rapidamente, è senza un rispettu speciale per a cumpatibilità inversa, ùn aghjunghje micca fiducia.
Dunque, pocu tempu fà, una seconda versione di a bicicletta hè stata implementata. Sta volta pitone, o piuttostu nantu à un quadru scrittu in pitone è per pitone sottu u nome
Allora - Nornir hè un microframework scrittu in pitone è per pitone è cuncepitu per l'automatizazione. U listessu cum'è in u casu cù ansible, per risolve i prublemi quì, a preparazione di dati cumpetente hè necessaria, i.e. inventariu di l'ospiti è i so paràmetri, ma i scripts sò scritti micca in un DSL separatu, ma in u stessu micca assai vechju, ma assai bonu p[i|i]ton.
Fighjemu ciò chì usa u seguente esempiu live.
Aghju una reta di filiale cù parechje decine di uffizii in tuttu u paese. Ogni uffiziu hà un router WAN chì termina diversi canali di cumunicazione da diversi operatori. U protocolu di routing hè BGP. I router WAN sò in dui tipi: Cisco ISG o Juniper SRX.
Avà u compitu: avete bisognu di cunfigurà una subnet dedicata per a Video Surveillance in un portu separatu nantu à tutti i routers WAN di a reta di filiale - annunzià sta subnet in BGP - cunfigurà u limitu di velocità di u portu dedicatu.
Prima, avemu bisognu di preparà un paru di mudelli, nantu à a basa di quali cunfigurazioni seranu generati separatamente per Cisco è Juniper. Hè ancu necessariu di preparà dati per ogni puntu è i paràmetri di cunnessione, i.e. raccoglie u listessu inventariu
Template prontu per Cisco:
$ cat templates/ios/base.j2
class-map match-all VIDEO_SURV
match access-group 111
policy-map VIDEO_SURV
class VIDEO_SURV
police 1500000 conform-action transmit exceed-action drop
interface {{ host.task_data.ifname }}
description VIDEOSURV
ip address 10.10.{{ host.task_data.ipsuffix }}.254 255.255.255.0
service-policy input VIDEO_SURV
router bgp {{ host.task_data.asn }}
network 10.40.{{ host.task_data.ipsuffix }}.0 mask 255.255.255.0
access-list 11 permit 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255
access-list 111 permit ip 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255 anyTemplate per Juniper:
$ cat templates/junos/base.j2
set interfaces {{ host.task_data.ifname }} unit 0 description "Video surveillance"
set interfaces {{ host.task_data.ifname }} unit 0 family inet filter input limit-in
set interfaces {{ host.task_data.ifname }} unit 0 family inet address 10.10.{{ host.task_data.ipsuffix }}.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.{{ host.task_data.ipsuffix }}.0/24 exact
set security zones security-zone WAN interfaces {{ host.task_data.ifname }}
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiterI mudelli, sicuru, ùn escenu micca da l'aria. Quessi sò essenzialmente diffs trà e cunfigurazioni di travagliu chì eranu è eranu dopu à risolve u compitu nantu à dui routers specifichi di mudelli diffirenti.
Da i nostri mudelli vedemu chì per risolve u prublema, avemu solu bisognu di dui paràmetri per Juniper è 3 paràmetri per Cisco. quì sò:
- ifname
- ipsuffissu
- asn
Avà avemu bisognu di stabilisce sti paràmetri per ogni dispusitivu, i.e. fà a stessa cosa Invintariu.
di Invintariu Seguiremu strettamente a documentazione
vale à dì, creamu u listessu scheletru di schedariu:
.
├── config.yaml
├── inventory
│ ├── defaults.yaml
│ ├── groups.yaml
│ └── hosts.yamlU schedariu config.yaml hè u schedariu standard di cunfigurazione nornir
$ cat config.yaml
---
core:
num_workers: 10
inventory:
plugin: nornir.plugins.inventory.simple.SimpleInventory
options:
host_file: "inventory/hosts.yaml"
group_file: "inventory/groups.yaml"
defaults_file: "inventory/defaults.yaml"Avemu da indicà i paràmetri principali in u schedariu hosts.yaml, gruppu (in u mo casu questi sò logins / password) in gruppi.yamlè in defaults.yaml Ùn avemu micca indicà nunda, ma avete bisognu di inserisce trè minus quì - indicà chì hè yaml u schedariu hè viotu però.
Eccu ciò chì hosts.yaml s'assumiglia:
---
srx-test:
hostname: srx-test
groups:
- juniper
data:
task_data:
ifname: fe-0/0/2
ipsuffix: 111
cisco-test:
hostname: cisco-test
groups:
- cisco
data:
task_data:
ifname: GigabitEthernet0/1/1
ipsuffix: 222
asn: 65111È quì hè groups.yaml:
---
cisco:
platform: ios
username: admin1
password: cisco1
juniper:
platform: junos
username: admin2
password: juniper2Questu hè ciò chì hè accadutu Invintariu per u nostru compitu. Durante l'inizializazione, i paràmetri da i schedarii d'inventariu sò mappati à u mudellu di l'ughjettu Elementu d'inventariu.
Sottu u spoiler hè un diagramma di u mudellu InventoryElement
print(json.dumps(InventoryElement.schema(), indent=4))
{
"title": "InventoryElement",
"type": "object",
"properties": {
"hostname": {
"title": "Hostname",
"type": "string"
},
"port": {
"title": "Port",
"type": "integer"
},
"username": {
"title": "Username",
"type": "string"
},
"password": {
"title": "Password",
"type": "string"
},
"platform": {
"title": "Platform",
"type": "string"
},
"groups": {
"title": "Groups",
"default": [],
"type": "array",
"items": {
"type": "string"
}
},
"data": {
"title": "Data",
"default": {},
"type": "object"
},
"connection_options": {
"title": "Connection_Options",
"default": {},
"type": "object",
"additionalProperties": {
"$ref": "#/definitions/ConnectionOptions"
}
}
},
"definitions": {
"ConnectionOptions": {
"title": "ConnectionOptions",
"type": "object",
"properties": {
"hostname": {
"title": "Hostname",
"type": "string"
},
"port": {
"title": "Port",
"type": "integer"
},
"username": {
"title": "Username",
"type": "string"
},
"password": {
"title": "Password",
"type": "string"
},
"platform": {
"title": "Platform",
"type": "string"
},
"extras": {
"title": "Extras",
"type": "object"
}
}
}
}
}Stu mudellu pò vede un pocu cunfusu, soprattuttu in prima. Per capisce, u modu interattivu in ipython.
$ ipython3
Python 3.6.9 (default, Nov 7 2019, 10:44:02)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.1.1 -- An enhanced Interactive Python. Type '?' for help.
In [1]: from nornir import InitNornir
In [2]: nr = InitNornir(config_file="config.yaml", dry_run=True)
In [3]: nr.inventory.hosts
Out[3]:
{'srx-test': Host: srx-test, 'cisco-test': Host: cisco-test}
In [4]: nr.inventory.hosts['srx-test'].data
Out[4]: {'task_data': {'ifname': 'fe-0/0/2', 'ipsuffix': 111}}
In [5]: nr.inventory.hosts['srx-test']['task_data']
Out[5]: {'ifname': 'fe-0/0/2', 'ipsuffix': 111}
In [6]: nr.inventory.hosts['srx-test'].platform
Out[6]: 'junos'
È infine, andemu à u script stessu. Ùn aghju nunda di esse particularmente fieru di quì. Aghju pigliatu solu un esempiu ready-made da è l'hà utilizatu quasi senza cambiatu. Eccu ciò chì pare u script di travagliu finitu:
from nornir import InitNornir
from nornir.plugins.tasks import networking, text
from nornir.plugins.functions.text import print_title, print_result
def config_and_deploy(task):
# Transform inventory data to configuration via a template file
r = task.run(task=text.template_file,
name="Base Configuration",
template="base.j2",
path=f"templates/{task.host.platform}")
# Save the compiled configuration into a host variable
task.host["config"] = r.result
# Save the compiled configuration into a file
with open(f"configs/{task.host.hostname}", "w") as f:
f.write(r.result)
# Deploy that configuration to the device using NAPALM
task.run(task=networking.napalm_configure,
name="Loading Configuration on the device",
replace=False,
configuration=task.host["config"])
nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again
# run tasks
result = nr.run(task=config_and_deploy)
print_result(result)Attenti à u paràmetru dry_run=Veru inizializazione di l'ughjettu in linea nr.
Quì u listessu cum'è in ansible un test run hè statu implementatu in quale una cunnessione à u router hè fatta, una nova cunfigurazione mudificata hè preparata, chì hè poi validata da u dispusitivu (ma questu ùn hè micca sicuru; dipende da u supportu di u dispositivu è l'implementazione di u driver in NAPALM) , ma a nova cunfigurazione ùn hè micca direttamente applicata. Per usu di cummattimentu, vi tocca à sguassà u paràmetru dry_run o cambià u so valore à False.
Quandu u script hè eseguitu, Nornir produce logs dettagliati à a cunsola.
Sottu u spoiler hè u risultatu di una corsa di cumbattimentu nantu à dui routers di prova:
config_and_deploy***************************************************************
* cisco-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
class-map match-all VIDEO_SURV
match access-group 111
policy-map VIDEO_SURV
class VIDEO_SURV
police 1500000 conform-action transmit exceed-action drop
interface GigabitEthernet0/1/1
description VIDEOSURV
ip address 10.10.222.254 255.255.255.0
service-policy input VIDEO_SURV
router bgp 65001
network 10.10.222.0 mask 255.255.255.0
access-list 11 permit 10.10.222.0 0.0.0.255
access-list 111 permit ip 10.10.222.0 0.0.0.255 any
---- Loading Configuration on the device ** changed : True --------------------- INFO
+class-map match-all VIDEO_SURV
+ match access-group 111
+policy-map VIDEO_SURV
+ class VIDEO_SURV
+interface GigabitEthernet0/1/1
+ description VIDEOSURV
+ ip address 10.10.222.254 255.255.255.0
+ service-policy input VIDEO_SURV
+router bgp 65001
+ network 10.10.222.0 mask 255.255.255.0
+access-list 11 permit 10.10.222.0 0.0.0.255
+access-list 111 permit ip 10.10.222.0 0.0.0.255 any
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
* srx-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
set interfaces fe-0/0/2 unit 0 description "Video surveillance"
set interfaces fe-0/0/2 unit 0 family inet filter input limit-in
set interfaces fe-0/0/2 unit 0 family inet address 10.10.111.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.111.0/24 exact
set security zones security-zone WAN interfaces fe-0/0/2
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter
---- Loading Configuration on the device ** changed : True --------------------- INFO
[edit interfaces]
+ fe-0/0/2 {
+ unit 0 {
+ description "Video surveillance";
+ family inet {
+ filter {
+ input limit-in;
+ }
+ address 10.10.111.254/24;
+ }
+ }
+ }
[edit]
+ policy-options {
+ policy-statement export2bgp {
+ term 1 {
+ from {
+ route-filter 10.10.111.0/24 exact;
+ }
+ }
+ }
+ }
[edit security zones]
security-zone test-vpn { ... }
+ security-zone WAN {
+ interfaces {
+ fe-0/0/2.0;
+ }
+ }
[edit]
+ firewall {
+ policer policer-1m {
+ if-exceeding {
+ bandwidth-limit 1m;
+ burst-size-limit 187k;
+ }
+ then discard;
+ }
+ policer policer-1.5m {
+ if-exceeding {
+ bandwidth-limit 1500000;
+ burst-size-limit 280k;
+ }
+ then discard;
+ }
+ filter limit-in {
+ term 1 {
+ then {
+ policer policer-1.5m;
+ count limiter;
+ }
+ }
+ }
+ }
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^Oculta e password in ansible_vault
À l'iniziu di l'articulu aghju currettu un pocu ansible, ma ùn hè micca tuttu male. Mi piace assai vault cum'è, chì hè pensatu per ammuccià l'infurmazioni sensittivi fora di vista. E prubabilmente parechji anu nutatu chì avemu tutti i logins / password per tutti i routers di cummattimentu scintillanti in forma aperta in un schedariu gorups.yaml. Ùn hè micca bellu, sicuru. Prutegemu sti dati cun vault.
Trasferemu i paràmetri da groups.yaml à creds.yaml, è cifrite cù AES256 cù una password di 20 cifre:
$ cd inventory
$ cat creds.yaml
---
cisco:
username: admin1
password: cisco1
juniper:
username: admin2
password: juniper2
$ pwgen 20 -N 1 > vault.passwd
ansible-vault encrypt creds.yaml --vault-password-file vault.passwd
Encryption successful
$ cat creds.yaml
$ANSIBLE_VAULT;1.1;AES256
39656463353437333337356361633737383464383231366233386636333965306662323534626131
3964396534396333363939373539393662623164373539620a346565373439646436356438653965
39643266333639356564663961303535353364383163633232366138643132313530346661316533
6236306435613132610a656163653065633866626639613537326233653765353661613337393839
62376662303061353963383330323164633162386336643832376263343634356230613562643533
30363436343465306638653932366166306562393061323636636163373164613630643965636361
34343936323066393763323633336366366566393236613737326530346234393735306261363239
35663430623934323632616161636330353134393435396632663530373932383532316161353963
31393434653165613432326636616636383665316465623036376631313162646435Hè cusì simplice. Resta à insignà u nostru Nornir-script per ritruvà è applicà sti dati.
Per fà questu, in u nostru script dopu a linea di inizializazione nr = InitNornir(config_file=... aghjunghje u codice seguente:
...
nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again
# enrich Inventory with the encrypted vault data
from ansible_vault import Vault
vault_password_file="inventory/vault.passwd"
vault_file="inventory/creds.yaml"
with open(vault_password_file, "r") as fp:
password = fp.readline().strip()
vault = Vault(password)
vaultdata = vault.load(open(vault_file).read())
for a in nr.inventory.hosts.keys():
item = nr.inventory.hosts[a]
item.username = vaultdata[item.groups[0]]['username']
item.password = vaultdata[item.groups[0]]['password']
#print("hostname={}, username={}, password={}n".format(item.hostname, item.username, item.password))
# run tasks
...Di sicuru, vault.passwd ùn deve esse situatu vicinu à creds.yaml cum'è in u mo esempiu. Ma hè bè per ghjucà.
Hè tuttu per avà. Ci hè un paru di articuli più nantu à Cisco + Zabbix chì venenu, ma questu ùn hè micca un pocu di l'automatizazione. È in un futuru vicinu aghju pensatu à scrive nantu à RESTCONF in Cisco.
Source: www.habr.com