Еј Хабр!
Неодамна овде се појави статија каде сличен проблем е решен со употреба на фосилни средства. И иако задачата е сосема типична, нема ништо слично за тоа на Хабре. Се осмелувам да го понудам мојот велосипед на почитуваната ИТ заедница.
Ова не е првиот велосипед за ваква задача. Првата опција беше имплементирана пред неколку години уште во одговорен верзија 1.x.x. Велосипедот ретко се користеше и затоа постојано рѓосуваше. Во смисла дека самата задача не се појавува толку често колку што се ажурираат верзиите одговорен. И секогаш кога треба да возите, ланецот паѓа или тркалото паѓа. Сепак, првиот дел, генерирање на конфигурации, секогаш функционира многу јасно, за среќа џинџа2 Моторот е одамна воспоставен. Но, вториот дел - објавувањето на конфигурации - обично донесе изненадувања. И бидејќи морам да ја пренесам конфигурацијата од далечина на половина сто уреди, од кои некои се наоѓаат на илјадници километри, користењето на оваа алатка беше малку досадно.
Овде морам да признаам дека мојата несигурност најверојатно лежи во моето непознавање одговоренотколку во неговите недостатоци. И ова, патем, е важна точка. одговорен е целосно одвоена, своја област на знаење со свој DSL (Специфичен јазик за домен), кој мора да се одржува на сигурно ниво. Па, тој момент одговорен Се развива доста брзо и без посебно внимание за компатибилноста наназад, не додава доверба.
Затоа, не толку одамна беше имплементирана втората верзија на велосипедот. Овој пат натаму python, поточно на рамка напишана во python и за python наречен
Значи - Норнир е микрорамка напишана во python и за python и дизајниран за автоматизација. Исто како и во случајот со одговорен, за да се решат проблемите овде, потребна е компетентна подготовка на податоци, т.е. инвентар на хостови и нивните параметри, но скриптите се напишани не во посебен DSL, туку во истиот не многу стар, но многу добар p[i|i]ton.
Ајде да погледнеме што е тоа користејќи го следниов пример во живо.
Имам мрежа на експозитури со неколку десетици канцеларии низ државата. Секоја канцеларија има WAN рутер кој завршува неколку канали за комуникација од различни оператори. Протоколот за рутирање е BGP. WAN рутерите доаѓаат во два вида: Cisco ISG или Juniper SRX.
Сега задачата: треба да конфигурирате посебна подмрежа за видео надзор на посебна порта на сите WAN рутери на мрежата на филијали - рекламирајте ја оваа подмрежа во BGP - конфигурирајте го ограничувањето на брзината на посветената порта.
Прво, треба да подготвиме неколку шаблони, врз основа на кои ќе се генерираат конфигурации одделно за Cisco и Juniper. Исто така, потребно е да се подготват податоци за секоја точка и параметри за поврзување, т.е. соберете го истиот инвентар
Подготвен шаблон за Cisco:
$ cat templates/ios/base.j2
class-map match-all VIDEO_SURV
match access-group 111
policy-map VIDEO_SURV
class VIDEO_SURV
police 1500000 conform-action transmit exceed-action drop
interface {{ host.task_data.ifname }}
description VIDEOSURV
ip address 10.10.{{ host.task_data.ipsuffix }}.254 255.255.255.0
service-policy input VIDEO_SURV
router bgp {{ host.task_data.asn }}
network 10.40.{{ host.task_data.ipsuffix }}.0 mask 255.255.255.0
access-list 11 permit 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255
access-list 111 permit ip 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255 anyШаблон за Џунипер:
$ cat templates/junos/base.j2
set interfaces {{ host.task_data.ifname }} unit 0 description "Video surveillance"
set interfaces {{ host.task_data.ifname }} unit 0 family inet filter input limit-in
set interfaces {{ host.task_data.ifname }} unit 0 family inet address 10.10.{{ host.task_data.ipsuffix }}.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.{{ host.task_data.ipsuffix }}.0/24 exact
set security zones security-zone WAN interfaces {{ host.task_data.ifname }}
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiterШаблоните, се разбира, не излегуваат од воздух. Овие се суштински разлики помеѓу работните конфигурации кои беа и беа по решавањето на задачата на два специфични рутери од различни модели.
Од нашите шаблони гледаме дека за да го решиме проблемот, потребни ни се само два параметри за Juniper и 3 параметри за Cisco. тука се:
- ако име
- ипсуфикс
- асн
Сега треба да ги поставиме овие параметри за секој уред, т.е. направете го истото инвентар.
За инвентар Строго ќе ја следиме документацијата
тоа е, ајде да го создадеме истиот скелет на датотека:
.
├── config.yaml
├── inventory
│ ├── defaults.yaml
│ ├── groups.yaml
│ └── hosts.yamlДатотеката config.yaml е стандардна конфигурациска датотека nornir
$ cat config.yaml
---
core:
num_workers: 10
inventory:
plugin: nornir.plugins.inventory.simple.SimpleInventory
options:
host_file: "inventory/hosts.yaml"
group_file: "inventory/groups.yaml"
defaults_file: "inventory/defaults.yaml"Ќе ги наведеме главните параметри во датотеката домаќини.yaml, група (во мојот случај тоа се најавувања/лозинки) во групи.yamlи внатре стандардно.yaml Нема да наведеме ништо, но треба да внесете три минус таму - што означува дека е ѓамл сепак датотеката е празна.
Вака изгледа hosts.yaml:
---
srx-test:
hostname: srx-test
groups:
- juniper
data:
task_data:
ifname: fe-0/0/2
ipsuffix: 111
cisco-test:
hostname: cisco-test
groups:
- cisco
data:
task_data:
ifname: GigabitEthernet0/1/1
ipsuffix: 222
asn: 65111И еве ги групите.yaml:
---
cisco:
platform: ios
username: admin1
password: cisco1
juniper:
platform: junos
username: admin2
password: juniper2Ова е она што се случи инвентар за нашата задача. За време на иницијализацијата, параметрите од датотеките со залихи се пресликуваат на моделот на објектот InventoryElement.
Под спојлерот е прикажан дијаграм на моделот InventoryElement
print(json.dumps(InventoryElement.schema(), indent=4))
{
"title": "InventoryElement",
"type": "object",
"properties": {
"hostname": {
"title": "Hostname",
"type": "string"
},
"port": {
"title": "Port",
"type": "integer"
},
"username": {
"title": "Username",
"type": "string"
},
"password": {
"title": "Password",
"type": "string"
},
"platform": {
"title": "Platform",
"type": "string"
},
"groups": {
"title": "Groups",
"default": [],
"type": "array",
"items": {
"type": "string"
}
},
"data": {
"title": "Data",
"default": {},
"type": "object"
},
"connection_options": {
"title": "Connection_Options",
"default": {},
"type": "object",
"additionalProperties": {
"$ref": "#/definitions/ConnectionOptions"
}
}
},
"definitions": {
"ConnectionOptions": {
"title": "ConnectionOptions",
"type": "object",
"properties": {
"hostname": {
"title": "Hostname",
"type": "string"
},
"port": {
"title": "Port",
"type": "integer"
},
"username": {
"title": "Username",
"type": "string"
},
"password": {
"title": "Password",
"type": "string"
},
"platform": {
"title": "Platform",
"type": "string"
},
"extras": {
"title": "Extras",
"type": "object"
}
}
}
}
}Овој модел може да изгледа малку збунувачки, особено на почетокот. За да го дознаете, интерактивниот режим е вклучен ипајтон.
$ ipython3
Python 3.6.9 (default, Nov 7 2019, 10:44:02)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.1.1 -- An enhanced Interactive Python. Type '?' for help.
In [1]: from nornir import InitNornir
In [2]: nr = InitNornir(config_file="config.yaml", dry_run=True)
In [3]: nr.inventory.hosts
Out[3]:
{'srx-test': Host: srx-test, 'cisco-test': Host: cisco-test}
In [4]: nr.inventory.hosts['srx-test'].data
Out[4]: {'task_data': {'ifname': 'fe-0/0/2', 'ipsuffix': 111}}
In [5]: nr.inventory.hosts['srx-test']['task_data']
Out[5]: {'ifname': 'fe-0/0/2', 'ipsuffix': 111}
In [6]: nr.inventory.hosts['srx-test'].platform
Out[6]: 'junos'
И, конечно, да преминеме на самото сценарио. Немам со што да бидам особено горд овде. Само зедов готов пример од и го користеше речиси непроменето. Вака изгледа готовата работна скрипта:
from nornir import InitNornir
from nornir.plugins.tasks import networking, text
from nornir.plugins.functions.text import print_title, print_result
def config_and_deploy(task):
# Transform inventory data to configuration via a template file
r = task.run(task=text.template_file,
name="Base Configuration",
template="base.j2",
path=f"templates/{task.host.platform}")
# Save the compiled configuration into a host variable
task.host["config"] = r.result
# Save the compiled configuration into a file
with open(f"configs/{task.host.hostname}", "w") as f:
f.write(r.result)
# Deploy that configuration to the device using NAPALM
task.run(task=networking.napalm_configure,
name="Loading Configuration on the device",
replace=False,
configuration=task.host["config"])
nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again
# run tasks
result = nr.run(task=config_and_deploy)
print_result(result)Обрнете внимание на параметарот dry_run=Точно во линија иницијализација на објектот nr.
Овде исто како и во одговорен имплементирано е тестирање во кое е направено поврзување со рутерот, се подготвува нова изменета конфигурација, која потоа се потврдува од уредот (но тоа не е сигурно; зависи од поддршката на уредот и имплементацијата на драјверот во NAPALM) , но новата конфигурација не се применува директно. За борбена употреба, мора да го отстраните параметарот dry_run или сменете ја неговата вредност во Лажни.
Кога скриптата е извршена, Норнир прикажува детални дневници на конзолата.
Под спојлерот се наоѓа излезот од борбеното возење на два тест рутери:
config_and_deploy***************************************************************
* cisco-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
class-map match-all VIDEO_SURV
match access-group 111
policy-map VIDEO_SURV
class VIDEO_SURV
police 1500000 conform-action transmit exceed-action drop
interface GigabitEthernet0/1/1
description VIDEOSURV
ip address 10.10.222.254 255.255.255.0
service-policy input VIDEO_SURV
router bgp 65001
network 10.10.222.0 mask 255.255.255.0
access-list 11 permit 10.10.222.0 0.0.0.255
access-list 111 permit ip 10.10.222.0 0.0.0.255 any
---- Loading Configuration on the device ** changed : True --------------------- INFO
+class-map match-all VIDEO_SURV
+ match access-group 111
+policy-map VIDEO_SURV
+ class VIDEO_SURV
+interface GigabitEthernet0/1/1
+ description VIDEOSURV
+ ip address 10.10.222.254 255.255.255.0
+ service-policy input VIDEO_SURV
+router bgp 65001
+ network 10.10.222.0 mask 255.255.255.0
+access-list 11 permit 10.10.222.0 0.0.0.255
+access-list 111 permit ip 10.10.222.0 0.0.0.255 any
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
* srx-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
set interfaces fe-0/0/2 unit 0 description "Video surveillance"
set interfaces fe-0/0/2 unit 0 family inet filter input limit-in
set interfaces fe-0/0/2 unit 0 family inet address 10.10.111.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.111.0/24 exact
set security zones security-zone WAN interfaces fe-0/0/2
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter
---- Loading Configuration on the device ** changed : True --------------------- INFO
[edit interfaces]
+ fe-0/0/2 {
+ unit 0 {
+ description "Video surveillance";
+ family inet {
+ filter {
+ input limit-in;
+ }
+ address 10.10.111.254/24;
+ }
+ }
+ }
[edit]
+ policy-options {
+ policy-statement export2bgp {
+ term 1 {
+ from {
+ route-filter 10.10.111.0/24 exact;
+ }
+ }
+ }
+ }
[edit security zones]
security-zone test-vpn { ... }
+ security-zone WAN {
+ interfaces {
+ fe-0/0/2.0;
+ }
+ }
[edit]
+ firewall {
+ policer policer-1m {
+ if-exceeding {
+ bandwidth-limit 1m;
+ burst-size-limit 187k;
+ }
+ then discard;
+ }
+ policer policer-1.5m {
+ if-exceeding {
+ bandwidth-limit 1500000;
+ burst-size-limit 280k;
+ }
+ then discard;
+ }
+ filter limit-in {
+ term 1 {
+ then {
+ policer policer-1.5m;
+ count limiter;
+ }
+ }
+ }
+ }
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^Сокривање лозинки во ansible_vault
На почетокот на статијата малку претерав одговорен, но не е се толку лошо. Навистина ми се допаѓаат свод како, кој е дизајниран да ги скрие чувствителните информации надвор од видното поле. И веројатно многумина забележале дека ги имаме сите најавувања/лозинки за сите борбени рутери кои блескаат во отворена форма во датотека горупс.yaml. Не е убаво, се разбира. Да ги заштитиме овие податоци со свод.
Да ги пренесеме параметрите од group.yaml на creds.yaml и да го шифрираме со AES256 со 20-цифрена лозинка:
$ cd inventory
$ cat creds.yaml
---
cisco:
username: admin1
password: cisco1
juniper:
username: admin2
password: juniper2
$ pwgen 20 -N 1 > vault.passwd
ansible-vault encrypt creds.yaml --vault-password-file vault.passwd
Encryption successful
$ cat creds.yaml
$ANSIBLE_VAULT;1.1;AES256
39656463353437333337356361633737383464383231366233386636333965306662323534626131
3964396534396333363939373539393662623164373539620a346565373439646436356438653965
39643266333639356564663961303535353364383163633232366138643132313530346661316533
6236306435613132610a656163653065633866626639613537326233653765353661613337393839
62376662303061353963383330323164633162386336643832376263343634356230613562643533
30363436343465306638653932366166306562393061323636636163373164613630643965636361
34343936323066393763323633336366366566393236613737326530346234393735306261363239
35663430623934323632616161636330353134393435396632663530373932383532316161353963
31393434653165613432326636616636383665316465623036376631313162646435Тоа е толку едноставно. Останува да ги научиме нашите Норнир-скрипта за преземање и примена на овие податоци.
За да го направите ова, во нашата скрипта по линијата за иницијализација nr = InitNornir(config_file=… додадете го следниот код:
...
nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again
# enrich Inventory with the encrypted vault data
from ansible_vault import Vault
vault_password_file="inventory/vault.passwd"
vault_file="inventory/creds.yaml"
with open(vault_password_file, "r") as fp:
password = fp.readline().strip()
vault = Vault(password)
vaultdata = vault.load(open(vault_file).read())
for a in nr.inventory.hosts.keys():
item = nr.inventory.hosts[a]
item.username = vaultdata[item.groups[0]]['username']
item.password = vaultdata[item.groups[0]]['password']
#print("hostname={}, username={}, password={}n".format(item.hostname, item.username, item.password))
# run tasks
...Се разбира, vault.passwd не треба да се наоѓа веднаш до creds.yaml како во мојот пример. Но, тоа е во ред за играње.
Тоа е се за сега. Доаѓаат уште неколку статии за Cisco + Zabbix, но ова не е малку за автоматизација. И во блиска иднина планирам да пишувам за RESTCONF во Cisco.
Извор: www.habr.com