Nornir를 사용하여 네트워크 장치 구성 요소 자동 생성 및 채우기

헤이 하브르!

최근에 여기에 기사가 떴어요 미크로틱과 리눅스. 루틴 및 자동화 화석 수단을 사용하여 비슷한 문제가 해결되었습니다. 이 작업은 완전히 일반적이지만 Habré에서는 비슷한 것이 없습니다. 나는 감히 내 자전거를 존경받는 IT 커뮤니티에 제공할 것입니다.

이러한 작업을 수행하는 자전거는 이번이 처음이 아닙니다. 첫 번째 옵션은 몇 년 전에 구현되었습니다. 먹을 수있는 버전 1.x.x. 자전거는 거의 사용되지 않았기 때문에 지속적으로 녹슬었습니다. 버전이 업데이트될 때마다 작업 자체가 자주 발생하지 않는다는 점에서 먹을 수있는. 그리고 운전해야 할 때마다 체인이 떨어지거나 바퀴가 떨어져 나갑니다. 그러나 구성을 생성하는 첫 번째 부분은 다행히 항상 매우 명확하게 작동합니다. 진자 2 엔진은 오랫동안 확립되었습니다. 그러나 두 번째 부분인 구성 출시는 대개 놀라움을 가져왔습니다. 그리고 구성을 XNUMX개의 장치에 원격으로 롤아웃해야 하며 그 중 일부는 수천 킬로미터 떨어져 있기 때문에 이 도구를 사용하는 것은 약간 지루했습니다.

여기서 나는 나의 불확실성이 내가 가진 지식의 부족에 있을 가능성이 가장 높다는 점을 인정해야 합니다. 먹을 수있는단점보다. 그런데 이것은 중요한 포인트입니다. 먹을 수있는 완전히 분리된 자체 지식 영역으로, 자체 DSL(도메인 특정 언어)을 사용하여 자신감 있는 수준으로 유지되어야 합니다. 뭐, 그 순간 그 먹을 수있는 매우 빠르게 발전하고 있으며 이전 버전과의 호환성을 특별히 고려하지 않으면 자신감이 추가되지 않습니다.

따라서 얼마 전 자전거의 두 번째 버전이 구현되었습니다. 이번에는 파이썬, 또는 오히려 다음으로 작성된 프레임워크에서 파이썬 ~을 위해 파이썬 자격 노르니르

그래서 - 노르니르 다음으로 작성된 마이크로프레임워크입니다. 파이썬 ~을 위해 파이썬 자동화를 위해 설계되었습니다. 의 경우와 동일 먹을 수있는, 여기서 문제를 해결하려면 유능한 데이터 준비가 필요합니다. 호스트 및 해당 매개변수의 인벤토리이지만 스크립트는 별도의 DSL이 아니라 아주 오래되지는 않았지만 매우 좋은 p[i|i]ton으로 작성되었습니다.

다음 라이브 예제를 사용하여 이것이 무엇인지 살펴보겠습니다.

저는 전국에 수십 개의 사무실이 있는 지점 네트워크를 보유하고 있습니다. 각 사무실에는 서로 다른 운영자의 여러 통신 채널을 종료하는 WAN 라우터가 있습니다. 라우팅 프로토콜은 BGP입니다. WAN 라우터는 Cisco ISG 또는 Juniper SRX의 두 가지 유형으로 제공됩니다.

이제 작업: 지점 네트워크의 모든 WAN 라우터에 있는 별도의 포트에 비디오 감시용 전용 서브넷을 구성해야 합니다. BGP에서 이 서브넷을 광고하고 전용 포트의 속도 제한을 구성합니다.

먼저 Cisco와 Juniper에 대해 별도로 생성되는 구성을 기반으로 몇 가지 템플릿을 준비해야 합니다. 또한 각 지점 및 연결 매개변수에 대한 데이터를 준비해야 합니다. 같은 인벤토리를 수집

Cisco용으로 준비된 템플릿:

$ cat templates/ios/base.j2 
class-map match-all VIDEO_SURV
 match access-group 111

policy-map VIDEO_SURV
 class VIDEO_SURV
    police 1500000 conform-action transmit  exceed-action drop

interface {{ host.task_data.ifname }}
  description VIDEOSURV
  ip address 10.10.{{ host.task_data.ipsuffix }}.254 255.255.255.0
  service-policy input VIDEO_SURV

router bgp {{ host.task_data.asn }}
  network 10.40.{{ host.task_data.ipsuffix }}.0 mask 255.255.255.0

access-list 11 permit 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255
access-list 111 permit ip 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255 any

Juniper용 템플릿:

$ cat templates/junos/base.j2 
set interfaces {{ host.task_data.ifname }} unit 0 description "Video surveillance"
set interfaces {{ host.task_data.ifname }} unit 0 family inet filter input limit-in
set interfaces {{ host.task_data.ifname }} unit 0 family inet address 10.10.{{ host.task_data.ipsuffix }}.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.{{ host.task_data.ipsuffix }}.0/24 exact
set security zones security-zone WAN interfaces {{ host.task_data.ifname }}
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter

물론 템플릿은 갑자기 나오지 않습니다. 이는 본질적으로 서로 다른 모델의 두 특정 라우터에서 작업을 해결한 작업 구성과 해결한 이후의 작업 구성 간의 차이점입니다.

템플릿에서 문제를 해결하려면 Juniper의 경우 매개변수 3개, Cisco의 경우 매개변수 XNUMX개만 필요하다는 것을 알 수 있습니다. 여기 있습니다:

• ifname
• IP접미사
• asn

이제 각 장치에 대해 이러한 매개변수를 설정해야 합니다. 같은 일을 목록.

에 목록 우리는 문서를 엄격히 따를 것입니다 노르니르 초기화

즉, 동일한 파일 뼈대를 만들어 보겠습니다.

.
├── config.yaml
├── inventory
│   ├── defaults.yaml
│   ├── groups.yaml
│   └── hosts.yaml

config.yaml 파일은 표준 nornir 구성 파일입니다.

$ cat config.yaml 
---
core:
    num_workers: 10

inventory:
    plugin: nornir.plugins.inventory.simple.SimpleInventory
    options:
        host_file: "inventory/hosts.yaml"
        group_file: "inventory/groups.yaml"
        defaults_file: "inventory/defaults.yaml"

파일에 주요 매개변수를 표시하겠습니다. 호스트.yaml, 그룹(제 경우에는 로그인/비밀번호입니다) 그룹.yaml, 및 c defaults.yaml 우리는 아무것도 표시하지 않을 것이지만 거기에 세 개의 마이너스를 입력해야 합니다. 얌 하지만 파일은 비어 있습니다.

Host.yaml은 다음과 같습니다.

---
srx-test:
    hostname: srx-test
    groups: 
        - juniper
    data:
        task_data:
            ifname: fe-0/0/2
            ipsuffix: 111

cisco-test:
    hostname: cisco-test
    groups: 
        - cisco
    data:
        task_data:
            ifname: GigabitEthernet0/1/1
            ipsuffix: 222
            asn: 65111

다음은 groups.yaml입니다.

---
cisco:
    platform: ios
    username: admin1
    password: cisco1

juniper:
    platform: junos
    username: admin2
    password: juniper2

이런 일이 일어났습니다 목록 우리 임무를 위해. 초기화 중에 인벤토리 파일의 매개변수가 개체 모델에 매핑됩니다. 인벤토리 요소.

스포일러 아래에는 InventoryElement 모델의 다이어그램이 있습니다.

print(json.dumps(InventoryElement.schema(), indent=4))
{
    "title": "InventoryElement",
    "type": "object",
    "properties": {
        "hostname": {
            "title": "Hostname",
            "type": "string"
        },
        "port": {
            "title": "Port",
            "type": "integer"
        },
        "username": {
            "title": "Username",
            "type": "string"
        },
        "password": {
            "title": "Password",
            "type": "string"
        },
        "platform": {
            "title": "Platform",
            "type": "string"
        },
        "groups": {
            "title": "Groups",
            "default": [],
            "type": "array",
            "items": {
                "type": "string"
            }
        },
        "data": {
            "title": "Data",
            "default": {},
            "type": "object"
        },
        "connection_options": {
            "title": "Connection_Options",
            "default": {},
            "type": "object",
            "additionalProperties": {
                "$ref": "#/definitions/ConnectionOptions"
            }
        }
    },
    "definitions": {
        "ConnectionOptions": {
            "title": "ConnectionOptions",
            "type": "object",
            "properties": {
                "hostname": {
                    "title": "Hostname",
                    "type": "string"
                },
                "port": {
                    "title": "Port",
                    "type": "integer"
                },
                "username": {
                    "title": "Username",
                    "type": "string"
                },
                "password": {
                    "title": "Password",
                    "type": "string"
                },
                "platform": {
                    "title": "Platform",
                    "type": "string"
                },
                "extras": {
                    "title": "Extras",
                    "type": "object"
                }
            }
        }
    }
}

이 모델은 특히 처음에는 다소 혼란스러워 보일 수 있습니다. 이를 파악하기 위해 대화형 모드는 아이파이썬.

 $ ipython3
Python 3.6.9 (default, Nov  7 2019, 10:44:02) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.1.1 -- An enhanced Interactive Python. Type '?' for help.

In [1]: from nornir import InitNornir                                                                           

In [2]: nr = InitNornir(config_file="config.yaml", dry_run=True)                                                

In [3]: nr.inventory.hosts                                                                                      
Out[3]: 
{'srx-test': Host: srx-test, 'cisco-test': Host: cisco-test}

In [4]: nr.inventory.hosts['srx-test'].data                                                                                    
Out[4]: {'task_data': {'ifname': 'fe-0/0/2', 'ipsuffix': 111}}

In [5]: nr.inventory.hosts['srx-test']['task_data']                                                     
Out[5]: {'ifname': 'fe-0/0/2', 'ipsuffix': 111}

In [6]: nr.inventory.hosts['srx-test'].platform                                                                                
Out[6]: 'junos'

마지막으로 스크립트 자체로 넘어가겠습니다. 여기서는 특별히 자랑할 것이 없습니다. 방금 준비된 예를 들어봤습니다. 지도 시간 거의 변함없이 사용했습니다. 완성된 작업 스크립트는 다음과 같습니다.

from nornir import InitNornir
from nornir.plugins.tasks import networking, text
from nornir.plugins.functions.text import print_title, print_result

def config_and_deploy(task):
    # Transform inventory data to configuration via a template file
    r = task.run(task=text.template_file,
                 name="Base Configuration",
                 template="base.j2",
                 path=f"templates/{task.host.platform}")

    # Save the compiled configuration into a host variable
    task.host["config"] = r.result

    # Save the compiled configuration into a file
    with open(f"configs/{task.host.hostname}", "w") as f:
        f.write(r.result)

    # Deploy that configuration to the device using NAPALM
    task.run(task=networking.napalm_configure,
             name="Loading Configuration on the device",
             replace=False,
             configuration=task.host["config"])

nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again

# run tasks
result = nr.run(task=config_and_deploy)
print_result(result)

매개변수에 주의하세요. dry_run=참 인라인 객체 초기화 nr.
여기서와 동일 먹을 수있는 라우터에 연결하고 새로 수정된 구성을 준비한 다음 장치에서 유효성을 검사하는 테스트 실행이 구현되었습니다. (그러나 이는 확실하지 않습니다. 장치 지원 및 NAPALM의 드라이버 구현에 따라 다릅니다.) 이지만 새 구성이 직접 적용되지는 않습니다. 전투용으로 사용하려면 매개변수를 제거해야 합니다. 드라이런 또는 해당 값을 다음으로 변경하십시오. 거짓.

스크립트가 실행되면 Nornir는 자세한 로그를 콘솔에 출력합니다.

스포일러 아래에는 두 개의 테스트 라우터에서의 전투 실행 결과가 나와 있습니다.

config_and_deploy***************************************************************
* cisco-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
class-map match-all VIDEO_SURV
 match access-group 111

policy-map VIDEO_SURV
 class VIDEO_SURV
    police 1500000 conform-action transmit  exceed-action drop

interface GigabitEthernet0/1/1
  description VIDEOSURV
  ip address 10.10.222.254 255.255.255.0
  service-policy input VIDEO_SURV

router bgp 65001
  network 10.10.222.0 mask 255.255.255.0

access-list 11 permit 10.10.222.0 0.0.0.255
access-list 111 permit ip 10.10.222.0 0.0.0.255 any
---- Loading Configuration on the device ** changed : True --------------------- INFO
+class-map match-all VIDEO_SURV
+ match access-group 111
+policy-map VIDEO_SURV
+ class VIDEO_SURV
+interface GigabitEthernet0/1/1
+  description VIDEOSURV
+  ip address 10.10.222.254 255.255.255.0
+  service-policy input VIDEO_SURV
+router bgp 65001
+  network 10.10.222.0 mask 255.255.255.0
+access-list 11 permit 10.10.222.0 0.0.0.255
+access-list 111 permit ip 10.10.222.0 0.0.0.255 any
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
* srx-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
set interfaces fe-0/0/2 unit 0 description "Video surveillance"
set interfaces fe-0/0/2 unit 0 family inet filter input limit-in
set interfaces fe-0/0/2 unit 0 family inet address 10.10.111.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.111.0/24 exact
set security zones security-zone WAN interfaces fe-0/0/2
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter
---- Loading Configuration on the device ** changed : True --------------------- INFO
[edit interfaces]
+   fe-0/0/2 {
+       unit 0 {
+           description "Video surveillance";
+           family inet {
+               filter {
+                   input limit-in;
+               }
+               address 10.10.111.254/24;
+           }
+       }
+   }
[edit]
+  policy-options {
+      policy-statement export2bgp {
+          term 1 {
+              from {
+                  route-filter 10.10.111.0/24 exact;
+              }
+          }
+      }
+  }
[edit security zones]
     security-zone test-vpn { ... }
+    security-zone WAN {
+        interfaces {
+            fe-0/0/2.0;
+        }
+    }
[edit]
+  firewall {
+      policer policer-1m {
+          if-exceeding {
+              bandwidth-limit 1m;
+              burst-size-limit 187k;
+          }
+          then discard;
+      }
+      policer policer-1.5m {
+          if-exceeding {
+              bandwidth-limit 1500000;
+              burst-size-limit 280k;
+          }
+          then discard;
+      }
+      filter limit-in {
+          term 1 {
+              then {
+                  policer policer-1.5m;
+                  count limiter;
+              }
+          }
+      }
+  }
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

ansible_vault에서 비밀번호 숨기기

기사 시작 부분에서 나는 약간 선을 넘었습니다. 먹을 수있는, 하지만 그다지 나쁘지는 않습니다. 나는 그들을 정말 좋아한다 높이뛰기 민감한 정보를 눈에 띄지 않게 숨기도록 설계되었습니다. 그리고 아마도 많은 사람들이 모든 전투 라우터에 대한 모든 로그인/비밀번호가 파일에 공개 형식으로 반짝반짝 빛나고 있다는 것을 알아차렸을 것입니다. gorups.yaml. 물론 예쁘지는 않습니다. 다음을 사용하여 이 데이터를 보호합시다. 높이뛰기.

groups.yaml에서 creds.yaml로 매개변수를 전송하고 256자리 비밀번호를 사용하여 AES20으로 암호화해 보겠습니다.

$ cd inventory
$ cat creds.yaml
---
cisco:
    username: admin1
    password: cisco1

juniper:
    username: admin2
    password: juniper2

$ pwgen 20 -N 1 > vault.passwd
ansible-vault encrypt creds.yaml --vault-password-file vault.passwd  
Encryption successful
$ cat creds.yaml 
$ANSIBLE_VAULT;1.1;AES256
39656463353437333337356361633737383464383231366233386636333965306662323534626131
3964396534396333363939373539393662623164373539620a346565373439646436356438653965
39643266333639356564663961303535353364383163633232366138643132313530346661316533
6236306435613132610a656163653065633866626639613537326233653765353661613337393839
62376662303061353963383330323164633162386336643832376263343634356230613562643533
30363436343465306638653932366166306562393061323636636163373164613630643965636361
34343936323066393763323633336366366566393236613737326530346234393735306261363239
35663430623934323632616161636330353134393435396632663530373932383532316161353963
31393434653165613432326636616636383665316465623036376631313162646435

그렇게 간단합니다. 우리에게 가르쳐야 할 것이 남아있다 노르니르- 이 데이터를 검색하고 적용하는 스크립트입니다.
이렇게 하려면 초기화 라인 뒤의 스크립트에서 nr = InitNornir(config_file=… 다음 코드를 추가하세요.

...
nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again

# enrich Inventory with the encrypted vault data
from ansible_vault import Vault
vault_password_file="inventory/vault.passwd"
vault_file="inventory/creds.yaml"
with open(vault_password_file, "r") as fp:
    password = fp.readline().strip()   
    vault = Vault(password)
    vaultdata = vault.load(open(vault_file).read())

for a in nr.inventory.hosts.keys():
    item = nr.inventory.hosts[a]
    item.username = vaultdata[item.groups[0]]['username']
    item.password = vaultdata[item.groups[0]]['password']
    #print("hostname={}, username={}, password={}n".format(item.hostname, item.username, item.password))

# run tasks
...

물론, 내 예에서처럼 Vault.passwd가 creds.yaml 옆에 위치하면 안 됩니다. 하지만 놀기에는 괜찮습니다.

지금은 여기까지입니다. Cisco + Zabbix에 대한 기사가 몇 개 더 있지만 이는 자동화에 관한 내용이 아닙니다. 그리고 가까운 시일 내에 Cisco에서 RESTCONF에 관해 글을 쓸 계획입니다.

출처 : habr.com