🥇יצירה והעלאה אוטומטית של רכיבי תצורת מכשירי רשת באמצעות Nornir

היי הבר!

לאחרונה צצה כאן מאמר מיקרוטיק ולינוקס. שגרה ואוטומציה שבו בעיה דומה נפתרה באמצעות אמצעי מאובנים. ולמרות שהמשימה אופיינית לחלוטין, אין בה שום דבר דומה בהאברה. אני מעז להציע את האופניים שלי לקהילת ה-IT המכובדת.

זה לא האופניים הראשונים למשימה כזו. האפשרות הראשונה יושמה לפני מספר שנים בחזרה ansible גרסה 1.x.x. האופניים היו בשימוש נדיר ולכן החלידו כל הזמן. במובן זה שהמשימה עצמה אינה מתעוררת באותה תדירות כאשר גרסאות מתעדכנות ansible. ובכל פעם שאתה צריך לנסוע, השרשרת נופלת או הגלגל נופל. עם זאת, החלק הראשון, יצירת הגדרות, תמיד עובד בצורה ברורה מאוד, למרבה המזל jinja2 המנוע מבוסס מזמן. אבל החלק השני, פתיחת ההגדרות, הביא בדרך כלל הפתעות. ומכיוון שאני צריך לגלגל את התצורה מרחוק לחצי מאה מכשירים, שחלקם ממוקמים במרחק של אלפי קילומטרים, השימוש בכלי הזה היה קצת משעמם.

כאן אני חייב להודות שסביר להניח שאי הוודאות שלי נעוצה בחוסר ההיכרות שלי עם ansibleמאשר בחסרונותיו. וזו, אגב, נקודה חשובה. ansible הוא תחום ידע נפרד לחלוטין עם DSL משלו (שפת דומיין ספציפית), שחייב להישמר ברמה בטוחה. ובכן, הרגע הזה ansible זה מתפתח די מהר, וללא התייחסות מיוחדת לתאימות לאחור, זה לא מוסיף ביטחון.

לכן, לא כל כך מזמן יושמה גרסה שנייה של האופניים. הפעם על פִּיתוֹן, או יותר נכון על מסגרת שנכתבה ב פִּיתוֹן עבור פִּיתוֹן נקרא נורניר

כך - נורניר הוא מיקרו-מסגרת שנכתב ב פִּיתוֹן עבור פִּיתוֹן ומיועד לאוטומציה. אותו דבר כמו במקרה עם ansible, כדי לפתור בעיות כאן, נדרשת הכנת נתונים מוכשרים, כלומר. מלאי של מארחים והפרמטרים שלהם, אבל סקריפטים נכתבים לא ב-DSL נפרד, אלא באותו p[i|i]ton לא מאוד ישן, אבל טוב מאוד.

בואו נסתכל על מה זה באמצעות הדוגמה החיה הבאה.

יש לי רשת סניפים עם כמה עשרות משרדים ברחבי הארץ. לכל משרד יש נתב WAN שמסיים מספר ערוצי תקשורת ממפעילים שונים. פרוטוקול הניתוב הוא BGP. נתבי WAN מגיעים בשני סוגים: Cisco ISG או Juniper SRX.

כעת המשימה: עליך להגדיר תת-רשת ייעודית למעקב וידאו ביציאה נפרדת בכל נתבי ה-WAN של רשת הסניפים - פרסם את הרשת המשנה הזו ב-BGP - הגדר את מגבלת המהירות של היציאה הייעודית.

ראשית, עלינו להכין כמה תבניות, שעל בסיסן יופקו תצורות בנפרד עבור סיסקו וג'וניפר. כמו כן, יש צורך להכין נתונים עבור כל נקודה ופרמטרים של חיבור, כלומר. לאסוף את אותו מלאי

תבנית מוכנה עבור סיסקו:

$ cat templates/ios/base.j2 
class-map match-all VIDEO_SURV
 match access-group 111

policy-map VIDEO_SURV
 class VIDEO_SURV
    police 1500000 conform-action transmit  exceed-action drop

interface {{ host.task_data.ifname }}
  description VIDEOSURV
  ip address 10.10.{{ host.task_data.ipsuffix }}.254 255.255.255.0
  service-policy input VIDEO_SURV

router bgp {{ host.task_data.asn }}
  network 10.40.{{ host.task_data.ipsuffix }}.0 mask 255.255.255.0

access-list 11 permit 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255
access-list 111 permit ip 10.10.{{ host.task_data.ipsuffix }}.0 0.0.0.255 any

תבנית לג'וניפר:

$ cat templates/junos/base.j2 
set interfaces {{ host.task_data.ifname }} unit 0 description "Video surveillance"
set interfaces {{ host.task_data.ifname }} unit 0 family inet filter input limit-in
set interfaces {{ host.task_data.ifname }} unit 0 family inet address 10.10.{{ host.task_data.ipsuffix }}.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.{{ host.task_data.ipsuffix }}.0/24 exact
set security zones security-zone WAN interfaces {{ host.task_data.ifname }}
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter

תבניות, כמובן, לא יוצאות יש מאין. אלו הם בעצם הבדלים בין תצורות העבודה שהיו והיו לאחר פתרון המשימה בשני נתבים ספציפיים מדגמים שונים.

מהתבניות שלנו אנחנו רואים שכדי לפתור את הבעיה, אנחנו צריכים רק שני פרמטרים עבור Juniper ו-3 פרמטרים עבור Cisco. הנה הם:

ifname
סיומת ips
asn

כעת עלינו להגדיר את הפרמטרים הללו עבור כל מכשיר, כלומר. תעשה את אותו הדבר מלאי.

עבור מלאי אנו נעקוב אחר התיעוד בקפדנות אתחול נורניר

כלומר, בואו ניצור את אותו שלד קבצים:

.
├── config.yaml
├── inventory
│   ├── defaults.yaml
│   ├── groups.yaml
│   └── hosts.yaml

הקובץ config.yaml הוא קובץ התצורה הסטנדרטי של nornir

$ cat config.yaml 
---
core:
    num_workers: 10

inventory:
    plugin: nornir.plugins.inventory.simple.SimpleInventory
    options:
        host_file: "inventory/hosts.yaml"
        group_file: "inventory/groups.yaml"
        defaults_file: "inventory/defaults.yaml"

נציין את הפרמטרים העיקריים בקובץ hosts.yaml, קבוצה (במקרה שלי אלו כניסות/סיסמאות) ב groups.yaml, בעוד ב ברירות מחדל. yaml לא נציין כלום, אבל אתה צריך להזין שם שלושה מינוסים - מה שמציין שכן יאמל אבל הקובץ ריק.

כך נראה hosts.yaml:

---
srx-test:
    hostname: srx-test
    groups: 
        - juniper
    data:
        task_data:
            ifname: fe-0/0/2
            ipsuffix: 111

cisco-test:
    hostname: cisco-test
    groups: 
        - cisco
    data:
        task_data:
            ifname: GigabitEthernet0/1/1
            ipsuffix: 222
            asn: 65111

והנה groups.yaml:

---
cisco:
    platform: ios
    username: admin1
    password: cisco1

juniper:
    platform: junos
    username: admin2
    password: juniper2

זה מה שקרה מלאי למשימה שלנו. במהלך האתחול, פרמטרים מקובצי המלאי ממופים למודל האובייקט InventoryElement.

מתחת לספוילר יש דיאגרמה של מודל InventoryElement

print(json.dumps(InventoryElement.schema(), indent=4))
{
    "title": "InventoryElement",
    "type": "object",
    "properties": {
        "hostname": {
            "title": "Hostname",
            "type": "string"
        },
        "port": {
            "title": "Port",
            "type": "integer"
        },
        "username": {
            "title": "Username",
            "type": "string"
        },
        "password": {
            "title": "Password",
            "type": "string"
        },
        "platform": {
            "title": "Platform",
            "type": "string"
        },
        "groups": {
            "title": "Groups",
            "default": [],
            "type": "array",
            "items": {
                "type": "string"
            }
        },
        "data": {
            "title": "Data",
            "default": {},
            "type": "object"
        },
        "connection_options": {
            "title": "Connection_Options",
            "default": {},
            "type": "object",
            "additionalProperties": {
                "$ref": "#/definitions/ConnectionOptions"
            }
        }
    },
    "definitions": {
        "ConnectionOptions": {
            "title": "ConnectionOptions",
            "type": "object",
            "properties": {
                "hostname": {
                    "title": "Hostname",
                    "type": "string"
                },
                "port": {
                    "title": "Port",
                    "type": "integer"
                },
                "username": {
                    "title": "Username",
                    "type": "string"
                },
                "password": {
                    "title": "Password",
                    "type": "string"
                },
                "platform": {
                    "title": "Platform",
                    "type": "string"
                },
                "extras": {
                    "title": "Extras",
                    "type": "object"
                }
            }
        }
    }
}

הדגם הזה יכול להיראות מעט מבלבל, במיוחד בהתחלה. כדי להבין את זה, המצב האינטראקטיבי נכנס פִּיתוֹן.

 $ ipython3
Python 3.6.9 (default, Nov  7 2019, 10:44:02) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.1.1 -- An enhanced Interactive Python. Type '?' for help.

In [1]: from nornir import InitNornir                                                                           

In [2]: nr = InitNornir(config_file="config.yaml", dry_run=True)                                                

In [3]: nr.inventory.hosts                                                                                      
Out[3]: 
{'srx-test': Host: srx-test, 'cisco-test': Host: cisco-test}

In [4]: nr.inventory.hosts['srx-test'].data                                                                                    
Out[4]: {'task_data': {'ifname': 'fe-0/0/2', 'ipsuffix': 111}}

In [5]: nr.inventory.hosts['srx-test']['task_data']                                                     
Out[5]: {'ifname': 'fe-0/0/2', 'ipsuffix': 111}

In [6]: nr.inventory.hosts['srx-test'].platform                                                                                
Out[6]: 'junos'

ולבסוף, בואו נעבור לתסריט עצמו. אין לי במה להתגאות במיוחד כאן. רק לקחתי דוגמה מוכנה מ הדרכה והשתמש בו כמעט ללא שינוי. כך נראה תסריט העבודה המוגמר:

from nornir import InitNornir
from nornir.plugins.tasks import networking, text
from nornir.plugins.functions.text import print_title, print_result

def config_and_deploy(task):
    # Transform inventory data to configuration via a template file
    r = task.run(task=text.template_file,
                 name="Base Configuration",
                 template="base.j2",
                 path=f"templates/{task.host.platform}")

    # Save the compiled configuration into a host variable
    task.host["config"] = r.result

    # Save the compiled configuration into a file
    with open(f"configs/{task.host.hostname}", "w") as f:
        f.write(r.result)

    # Deploy that configuration to the device using NAPALM
    task.run(task=networking.napalm_configure,
             name="Loading Configuration on the device",
             replace=False,
             configuration=task.host["config"])

nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again

# run tasks
result = nr.run(task=config_and_deploy)
print_result(result)

שימו לב לפרמטר dry_run=נכון אתחול אובייקט בשורה nr.
כאן אותו דבר כמו ב ansible הוטמעה ריצת בדיקה שבה נוצר חיבור לנתב, מכינים תצורה שונה, אשר לאחר מכן מאומתת על ידי המכשיר (אבל זה לא בטוח; זה תלוי בתמיכת המכשיר וביישום הדרייבר ב-NAPALM) , אך התצורה החדשה אינה מיושמת ישירות. לשימוש קרבי, עליך להסיר את הפרמטר ריצה יבשה או לשנות את הערך שלו ל לא נכון.

כאשר הסקריפט מבוצע, Nornir מוציא יומנים מפורטים לקונסולה.

מתחת לספוילר מופיעה הפלט של ריצת קרב בשני נתבי בדיקה:

config_and_deploy***************************************************************
* cisco-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
class-map match-all VIDEO_SURV
 match access-group 111

policy-map VIDEO_SURV
 class VIDEO_SURV
    police 1500000 conform-action transmit  exceed-action drop

interface GigabitEthernet0/1/1
  description VIDEOSURV
  ip address 10.10.222.254 255.255.255.0
  service-policy input VIDEO_SURV

router bgp 65001
  network 10.10.222.0 mask 255.255.255.0

access-list 11 permit 10.10.222.0 0.0.0.255
access-list 111 permit ip 10.10.222.0 0.0.0.255 any
---- Loading Configuration on the device ** changed : True --------------------- INFO
+class-map match-all VIDEO_SURV
+ match access-group 111
+policy-map VIDEO_SURV
+ class VIDEO_SURV
+interface GigabitEthernet0/1/1
+  description VIDEOSURV
+  ip address 10.10.222.254 255.255.255.0
+  service-policy input VIDEO_SURV
+router bgp 65001
+  network 10.10.222.0 mask 255.255.255.0
+access-list 11 permit 10.10.222.0 0.0.0.255
+access-list 111 permit ip 10.10.222.0 0.0.0.255 any
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
* srx-test ** changed : True *******************************************
vvvv config_and_deploy ** changed : True vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
---- Base Configuration ** changed : True ------------------------------------- INFO
set interfaces fe-0/0/2 unit 0 description "Video surveillance"
set interfaces fe-0/0/2 unit 0 family inet filter input limit-in
set interfaces fe-0/0/2 unit 0 family inet address 10.10.111.254/24
set policy-options policy-statement export2bgp term 1 from route-filter 10.10.111.0/24 exact
set security zones security-zone WAN interfaces fe-0/0/2
set firewall policer policer-1m if-exceeding bandwidth-limit 1m
set firewall policer policer-1m if-exceeding burst-size-limit 187k
set firewall policer policer-1m then discard
set firewall policer policer-1.5m if-exceeding bandwidth-limit 1500000
set firewall policer policer-1.5m if-exceeding burst-size-limit 280k
set firewall policer policer-1.5m then discard
set firewall filter limit-in term 1 then policer policer-1.5m
set firewall filter limit-in term 1 then count limiter
---- Loading Configuration on the device ** changed : True --------------------- INFO
[edit interfaces]
+   fe-0/0/2 {
+       unit 0 {
+           description "Video surveillance";
+           family inet {
+               filter {
+                   input limit-in;
+               }
+               address 10.10.111.254/24;
+           }
+       }
+   }
[edit]
+  policy-options {
+      policy-statement export2bgp {
+          term 1 {
+              from {
+                  route-filter 10.10.111.0/24 exact;
+              }
+          }
+      }
+  }
[edit security zones]
     security-zone test-vpn { ... }
+    security-zone WAN {
+        interfaces {
+            fe-0/0/2.0;
+        }
+    }
[edit]
+  firewall {
+      policer policer-1m {
+          if-exceeding {
+              bandwidth-limit 1m;
+              burst-size-limit 187k;
+          }
+          then discard;
+      }
+      policer policer-1.5m {
+          if-exceeding {
+              bandwidth-limit 1500000;
+              burst-size-limit 280k;
+          }
+          then discard;
+      }
+      filter limit-in {
+          term 1 {
+              then {
+                  policer policer-1.5m;
+                  count limiter;
+              }
+          }
+      }
+  }
^^^^ END config_and_deploy ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

הסתרת סיסמאות ב-ansible_vault

בתחילת הכתבה קצת הגזמתי ansible, אבל זה לא כל כך נורא. אני מאוד אוהב אותם קמרון כמו, שנועד להסתיר מידע רגיש מחוץ לטווח הראייה. וכנראה שרבים שמו לב שיש לנו את כל ההתחברות/סיסמאות לכל נתבי הקרב נוצצים בצורה פתוחה בקובץ gorups.yaml. זה לא יפה, כמובן. בואו נגן על הנתונים האלה עם קמרון.

בואו נעביר את הפרמטרים מ-grupper.yaml ל-creds.yaml, ונצפין אותו עם AES256 עם סיסמה בת 20 ספרות:

$ cd inventory
$ cat creds.yaml
---
cisco:
    username: admin1
    password: cisco1

juniper:
    username: admin2
    password: juniper2

$ pwgen 20 -N 1 > vault.passwd
ansible-vault encrypt creds.yaml --vault-password-file vault.passwd  
Encryption successful
$ cat creds.yaml 
$ANSIBLE_VAULT;1.1;AES256
39656463353437333337356361633737383464383231366233386636333965306662323534626131
3964396534396333363939373539393662623164373539620a346565373439646436356438653965
39643266333639356564663961303535353364383163633232366138643132313530346661316533
6236306435613132610a656163653065633866626639613537326233653765353661613337393839
62376662303061353963383330323164633162386336643832376263343634356230613562643533
30363436343465306638653932366166306562393061323636636163373164613630643965636361
34343936323066393763323633336366366566393236613737326530346234393735306261363239
35663430623934323632616161636330353134393435396632663530373932383532316161353963
31393434653165613432326636616636383665316465623036376631313162646435

זה כזה פשוט. נותר ללמד את שלנו נורניר-script כדי לאחזר ולהחיל נתונים אלה.
לשם כך, בסקריפט שלנו לאחר שורת האתחול nr = InitNornir(config_file=… הוסף את הקוד הבא:

...
nr = InitNornir(config_file="config.yaml", dry_run=True) # set dry_run=False, cross your fingers and run again

# enrich Inventory with the encrypted vault data
from ansible_vault import Vault
vault_password_file="inventory/vault.passwd"
vault_file="inventory/creds.yaml"
with open(vault_password_file, "r") as fp:
    password = fp.readline().strip()   
    vault = Vault(password)
    vaultdata = vault.load(open(vault_file).read())

for a in nr.inventory.hosts.keys():
    item = nr.inventory.hosts[a]
    item.username = vaultdata[item.groups[0]]['username']
    item.password = vaultdata[item.groups[0]]['password']
    #print("hostname={}, username={}, password={}n".format(item.hostname, item.username, item.password))

# run tasks
...

כמובן, vault.passwd לא אמור להיות ממוקם ליד creds.yaml כמו בדוגמה שלי. אבל זה בסדר לשחק.

זה הכל לעת עתה. יש עוד כמה מאמרים על Cisco + Zabbix שמגיעים, אבל זה לא קצת על אוטומציה. ובעתיד הקרוב אני מתכנן לכתוב על RESTCONF בסיסקו.

מקור: www.habr.com

יצירה ומילוי אוטומטי של רכיבי תצורת מכשירי רשת באמצעות Nornir

הסתרת סיסמאות ב-ansible_vault

הוספת תגובה ביטול תגובה