Pembuatan dan pengisian otomatis elemen konfigurasi perangkat jaringan menggunakan Nornir

Pembuatan dan pengisian otomatis elemen konfigurasi perangkat jaringan menggunakan Nornir

Hei Habr!

Baru-baru ini sebuah artikel muncul di sini Mikrotik dan Linux. Rutin dan otomatisasi di mana masalah serupa diselesaikan dengan menggunakan cara-cara fosil. Dan meskipun tugasnya sangat umum, tidak ada yang serupa di Habré. Saya berani menawarkan sepeda saya kepada komunitas IT yang dihormati.

Ini bukan sepeda pertama yang melakukan tugas seperti itu. Opsi pertama diterapkan beberapa tahun lalu ansible versi 1.x.x. Sepeda jarang digunakan sehingga selalu berkarat. Dalam artian tugas itu sendiri tidak muncul sesering versi diperbarui ansible. Dan setiap kali Anda perlu mengemudi, rantainya terlepas atau rodanya terlepas. Namun, untungnya, bagian pertama, menghasilkan konfigurasi, selalu bekerja dengan sangat jelas jinja2 Mesinnya sudah lama berdiri. Namun bagian kedua - meluncurkan konfigurasi - biasanya membawa kejutan. Dan karena saya harus meluncurkan konfigurasi dari jarak jauh ke setengah ratus perangkat, beberapa di antaranya terletak ribuan kilometer jauhnya, menggunakan alat ini agak membosankan.

Di sini saya harus mengakui bahwa ketidakpastian saya kemungkinan besar terletak pada kurangnya pemahaman saya terhadap hal tersebut ansibledaripada kekurangannya. Dan ini, omong-omong, adalah poin penting. ansible adalah bidang pengetahuannya sendiri yang benar-benar terpisah dengan DSL (Bahasa Spesifik Domain) miliknya sendiri, yang harus dipertahankan pada tingkat yang percaya diri. Nah, saat itu juga ansible Ini berkembang cukup cepat, dan tanpa memperhatikan kompatibilitas ke belakang, hal itu tidak menambah kepercayaan diri.

Oleh karena itu, belum lama ini sepeda versi kedua diimplementasikan. Kali ini aktif ular sanca, atau lebih tepatnya pada kerangka kerja yang tertulis ular sanca dan untuk ular sanca bernama Nornir

Jadi - Nornir adalah kerangka mikro yang ditulis ular sanca dan untuk ular sanca dan dirancang untuk otomatisasi. Sama seperti dalam kasus dengan ansible, untuk menyelesaikan masalah disini diperlukan penyiapan data yang kompeten, yaitu. inventaris host dan parameternya, tetapi skrip tidak ditulis dalam DSL terpisah, tetapi dalam p[i|i]ton yang sama, tidak terlalu lama, tetapi sangat bagus.

Mari kita lihat apa itu menggunakan contoh langsung berikut.

Saya memiliki jaringan cabang dengan beberapa lusin kantor di seluruh negeri. Setiap kantor memiliki router WAN yang mengakhiri beberapa saluran komunikasi dari operator berbeda. Protokol peruteannya adalah BGP. Router WAN tersedia dalam dua jenis: Cisco ISG atau Juniper SRX.

Sekarang tugasnya: Anda perlu mengonfigurasi subnet khusus untuk Pengawasan Video pada port terpisah di semua router WAN di jaringan cabang - mengiklankan subnet ini di BGP - mengonfigurasi batas kecepatan port khusus.

Pertama, kita perlu menyiapkan beberapa template, berdasarkan konfigurasi mana yang akan dibuat secara terpisah untuk Cisco dan Juniper. Penting juga untuk menyiapkan data untuk setiap titik dan parameter koneksi, mis. mengumpulkan inventaris yang sama

Templat siap pakai untuk Cisco:

$ cat templates/ios/base.j2 
class-map match-all VIDEO_SURV
 match access-group 111

policy-map VIDEO_SURV
 class VIDEO_SURV
    police 1500000 conform-action transmit  exceed-action drop

interface {{ host.task_data.ifname }}
  description VIDEOSURV
  ip address 10.10.{{ host.task_data.ipsuffix }}.254 255.255.255.0
  service-policy input VIDEO_SURV

router bgp {{ host.task_data.asn }}
  network 10.40.{{ host.task_data.ipsuffix }}.0 mask 255.255.255.0

access-list 11 permit 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255
access-list 111 permit ip 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255 any

Templat untuk Juniper:

$ cat templates/junos/base.j2 
set interfaces {{ host.task_data.ifname }} unit 0 description "Video surveillance"
set interfaces {{ host.task_data.ifname }} unit 0 family inet filter input limit-in
set interfaces {{ host.task_data.ifname }} unit 0 family inet address 10.10.{{ host.task_data.ipsuffix }}.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.{{ host.task_data.ipsuffix }}.0/24 exact
set security zones security-zone WAN interfaces {{ host.task_data.ifname }}
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter

Template, tentu saja, tidak muncul begitu saja. Ini pada dasarnya adalah perbedaan antara konfigurasi kerja yang dulu dan setelah menyelesaikan tugas pada dua router tertentu dengan model berbeda.

Dari template kami, kami melihat bahwa untuk menyelesaikan masalah, kami hanya memerlukan dua parameter untuk Juniper dan 3 parameter untuk Cisco. di sini mereka:

  • namaif
  • akhiran ips
  • asn

Sekarang kita perlu mengatur parameter ini untuk setiap perangkat, mis. melakukan hal yang sama inventaris.

Untuk inventaris Kami akan mengikuti dokumentasi dengan ketat Menginisialisasi Nornir

yaitu, mari buat kerangka file yang sama:

.
├── config.yaml
├── inventory
│   ├── defaults.yaml
│   ├── groups.yaml
│   └── hosts.yaml

File config.yaml adalah file konfigurasi nornir standar

$ cat config.yaml 
---
core:
    num_workers: 10

inventory:
    plugin: nornir.plugins.inventory.simple.SimpleInventory
    options:
        host_file: "inventory/hosts.yaml"
        group_file: "inventory/groups.yaml"
        defaults_file: "inventory/defaults.yaml"

Kami akan menunjukkan parameter utama dalam file host.yaml, grup (dalam kasus saya ini adalah login/kata sandi) di grup.yaml, dan dalam default.yaml Kami tidak akan menunjukkan apa pun, tetapi Anda harus memasukkan tiga tanda minus di sana - yang menunjukkan bahwa memang demikian yaml padahal filenya kosong.

Seperti inilah tampilan host.yaml:

---
srx-test:
    hostname: srx-test
    groups: 
        - juniper
    data:
        task_data:
            ifname: fe-0/0/2
            ipsuffix: 111

cisco-test:
    hostname: cisco-test
    groups: 
        - cisco
    data:
        task_data:
            ifname: GigabitEthernet0/1/1
            ipsuffix: 222
            asn: 65111

Dan inilah groups.yaml:

---
cisco:
    platform: ios
    username: admin1
    password: cisco1

juniper:
    platform: junos
    username: admin2
    password: juniper2

Inilah yang terjadi inventaris untuk tugas kita. Selama inisialisasi, parameter dari file inventaris dipetakan ke model objek Elemen Inventaris.

Di bawah spoiler adalah diagram model InventoryElement

print(json.dumps(InventoryElement.schema(), indent=4))
{
    "title": "InventoryElement",
    "type": "object",
    "properties": {
        "hostname": {
            "title": "Hostname",
            "type": "string"
        },
        "port": {
            "title": "Port",
            "type": "integer"
        },
        "username": {
            "title": "Username",
            "type": "string"
        },
        "password": {
            "title": "Password",
            "type": "string"
        },
        "platform": {
            "title": "Platform",
            "type": "string"
        },
        "groups": {
            "title": "Groups",
            "default": [],
            "type": "array",
            "items": {
                "type": "string"
            }
        },
        "data": {
            "title": "Data",
            "default": {},
            "type": "object"
        },
        "connection_options": {
            "title": "Connection_Options",
            "default": {},
            "type": "object",
            "additionalProperties": {
                "$ref": "#/definitions/ConnectionOptions"
            }
        }
    },
    "definitions": {
        "ConnectionOptions": {
            "title": "ConnectionOptions",
            "type": "object",
            "properties": {
                "hostname": {
                    "title": "Hostname",
                    "type": "string"
                },
                "port": {
                    "title": "Port",
                    "type": "integer"
                },
                "username": {
                    "title": "Username",
                    "type": "string"
                },
                "password": {
                    "title": "Password",
                    "type": "string"
                },
                "platform": {
                    "title": "Platform",
                    "type": "string"
                },
                "extras": {
                    "title": "Extras",
                    "type": "object"
                }
            }
        }
    }
}

Model ini mungkin terlihat sedikit membingungkan, terutama pada awalnya. Untuk mengetahuinya, mode interaktif masuk ular piton.

 $ ipython3
Python 3.6.9 (default, Nov  7 2019, 10:44:02) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.1.1 -- An enhanced Interactive Python. Type '?' for help.

In [1]: from nornir import InitNornir                                                                           

In [2]: nr = InitNornir(config_file="config.yaml", dry_run=True)                                                

In [3]: nr.inventory.hosts                                                                                      
Out[3]: 
{'srx-test': Host: srx-test, 'cisco-test': Host: cisco-test}

In [4]: nr.inventory.hosts['srx-test'].data                                                                                    
Out[4]: {'task_data': {'ifname': 'fe-0/0/2', 'ipsuffix': 111}}

In [5]: nr.inventory.hosts['srx-test']['task_data']                                                     
Out[5]: {'ifname': 'fe-0/0/2', 'ipsuffix': 111}

In [6]: nr.inventory.hosts['srx-test'].platform                                                                                
Out[6]: 'junos'

Dan terakhir, mari beralih ke skrip itu sendiri. Tidak ada hal yang bisa saya banggakan di sini. Saya baru saja mengambil contoh yang sudah jadi tutorial dan menggunakannya hampir tidak berubah. Seperti inilah tampilan skrip yang sudah selesai:

from nornir import InitNornir
from nornir.plugins.tasks import networking, text
from nornir.plugins.functions.text import print_title, print_result

def config_and_deploy(task):
    # Transform inventory data to configuration via a template file
    r = task.run(task=text.template_file,
                 name="Base Configuration",
                 template="base.j2",
                 path=f"templates/{task.host.platform}")

    # Save the compiled configuration into a host variable
    task.host["config"] = r.result

    # Save the compiled configuration into a file
    with open(f"configs/{task.host.hostname}", "w") as f:
        f.write(r.result)

    # Deploy that configuration to the device using NAPALM
    task.run(task=networking.napalm_configure,
             name="Loading Configuration on the device",
             replace=False,
             configuration=task.host["config"])

nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again

# run tasks
result = nr.run(task=config_and_deploy)
print_result(result)

Perhatikan parameternya dry_run=Benar inisialisasi objek baris nr.
Di sini sama seperti di ansible uji coba telah dilaksanakan di mana koneksi ke router dibuat, konfigurasi modifikasi baru disiapkan, yang kemudian divalidasi oleh perangkat (tetapi ini tidak pasti; tergantung pada dukungan perangkat dan implementasi driver di NAPALM) , namun konfigurasi baru tidak diterapkan secara langsung. Untuk penggunaan tempur, Anda harus menghapus parameternya kering_lari atau ubah nilainya menjadi Salah.

Saat skrip dijalankan, Nornir mengeluarkan log terperinci ke konsol.

Di bawah spoiler adalah output dari pertarungan yang dijalankan pada dua router uji:

config_and_deploy***************************************************************
* cisco-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
class-map match-all VIDEO_SURV
 match access-group 111

policy-map VIDEO_SURV
 class VIDEO_SURV
    police 1500000 conform-action transmit  exceed-action drop

interface GigabitEthernet0/1/1
  description VIDEOSURV
  ip address 10.10.222.254 255.255.255.0
  service-policy input VIDEO_SURV

router bgp 65001
  network 10.10.222.0 mask 255.255.255.0

access-list 11 permit 10.10.222.0 0.0.0.255
access-list 111 permit ip 10.10.222.0 0.0.0.255 any
---- Loading Configuration on the device ** changed : True --------------------- INFO
+class-map match-all VIDEO_SURV
+ match access-group 111
+policy-map VIDEO_SURV
+ class VIDEO_SURV
+interface GigabitEthernet0/1/1
+  description VIDEOSURV
+  ip address 10.10.222.254 255.255.255.0
+  service-policy input VIDEO_SURV
+router bgp 65001
+  network 10.10.222.0 mask 255.255.255.0
+access-list 11 permit 10.10.222.0 0.0.0.255
+access-list 111 permit ip 10.10.222.0 0.0.0.255 any
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
* srx-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
set interfaces fe-0/0/2 unit 0 description "Video surveillance"
set interfaces fe-0/0/2 unit 0 family inet filter input limit-in
set interfaces fe-0/0/2 unit 0 family inet address 10.10.111.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.111.0/24 exact
set security zones security-zone WAN interfaces fe-0/0/2
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter
---- Loading Configuration on the device ** changed : True --------------------- INFO
[edit interfaces]
+   fe-0/0/2 {
+       unit 0 {
+           description "Video surveillance";
+           family inet {
+               filter {
+                   input limit-in;
+               }
+               address 10.10.111.254/24;
+           }
+       }
+   }
[edit]
+  policy-options {
+      policy-statement export2bgp {
+          term 1 {
+              from {
+                  route-filter 10.10.111.0/24 exact;
+              }
+          }
+      }
+  }
[edit security zones]
     security-zone test-vpn { ... }
+    security-zone WAN {
+        interfaces {
+            fe-0/0/2.0;
+        }
+    }
[edit]
+  firewall {
+      policer policer-1m {
+          if-exceeding {
+              bandwidth-limit 1m;
+              burst-size-limit 187k;
+          }
+          then discard;
+      }
+      policer policer-1.5m {
+          if-exceeding {
+              bandwidth-limit 1500000;
+              burst-size-limit 280k;
+          }
+          then discard;
+      }
+      filter limit-in {
+          term 1 {
+              then {
+                  policer policer-1.5m;
+                  count limiter;
+              }
+          }
+      }
+  }
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Menyembunyikan kata sandi di ansible_vault

Di awal artikel saya sedikit berlebihan ansible, tapi tidak terlalu buruk. Saya sangat menyukainya kubah misalnya, yang dirancang untuk menyembunyikan informasi sensitif agar tidak terlihat. Dan mungkin banyak yang memperhatikan bahwa kami memiliki semua login/kata sandi untuk semua router tempur yang berkilau dalam bentuk terbuka dalam sebuah file gorups.yaml. Tentu saja itu tidak cantik. Mari lindungi data ini dengan kubah.

Mari kita transfer parameter dari groups.yaml ke creds.yaml, dan enkripsi dengan AES256 dengan kata sandi 20 digit:

$ cd inventory
$ cat creds.yaml
---
cisco:
    username: admin1
    password: cisco1

juniper:
    username: admin2
    password: juniper2

$ pwgen 20 -N 1 > vault.passwd
ansible-vault encrypt creds.yaml --vault-password-file vault.passwd  
Encryption successful
$ cat creds.yaml 
$ANSIBLE_VAULT;1.1;AES256
39656463353437333337356361633737383464383231366233386636333965306662323534626131
3964396534396333363939373539393662623164373539620a346565373439646436356438653965
39643266333639356564663961303535353364383163633232366138643132313530346661316533
6236306435613132610a656163653065633866626639613537326233653765353661613337393839
62376662303061353963383330323164633162386336643832376263343634356230613562643533
30363436343465306638653932366166306562393061323636636163373164613630643965636361
34343936323066393763323633336366366566393236613737326530346234393735306261363239
35663430623934323632616161636330353134393435396632663530373932383532316161353963
31393434653165613432326636616636383665316465623036376631313162646435

Sesederhana itu. Tetap mengajar kita Nornir-script untuk mengambil dan menerapkan data ini.
Untuk melakukan ini, di skrip kami setelah baris inisialisasi nr = InitNornir(config_file=… tambahkan kode berikut:

...
nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again

# enrich Inventory with the encrypted vault data
from ansible_vault import Vault
vault_password_file="inventory/vault.passwd"
vault_file="inventory/creds.yaml"
with open(vault_password_file, "r") as fp:
    password = fp.readline().strip()   
    vault = Vault(password)
    vaultdata = vault.load(open(vault_file).read())

for a in nr.inventory.hosts.keys():
    item = nr.inventory.hosts[a]
    item.username = vaultdata[item.groups[0]]['username']
    item.password = vaultdata[item.groups[0]]['password']
    #print("hostname={}, username={}, password={}n".format(item.hostname, item.username, item.password))

# run tasks
...

Tentu saja, vault.passwd tidak boleh ditempatkan di sebelah creds.yaml seperti pada contoh saya. Tapi tidak apa-apa untuk bermain.

Itu saja untuk saat ini. Ada beberapa artikel lagi tentang Cisco + Zabbix yang akan datang, tapi ini bukan tentang otomatisasi. Dan dalam waktu dekat saya berencana untuk menulis tentang RESTCONF di Cisco.

Sumber: www.habr.com

Tambah komentar