שלום לכולם!

אני עובד כמהנדס DevOps בשירות הזמנת מלונות. Ostrovok.ru. במאמר זה, אני רוצה לדבר על הניסיון שלנו בבדיקת תפקידים אפשריים.

ב- Ostrovok.ru, אנו משתמשים ב- ansible כמנהל תצורה. לאחרונה, הגענו לצורך לבדוק תפקידים, אבל כפי שהתברר, אין כל כך הרבה כלים לכך - הפופולרי ביותר, אולי, הוא ה-Molecule framework, אז החלטנו להשתמש בו. אבל התברר שהתיעוד שלו שותק על מלכודות רבות. לא הצלחנו למצוא מדריך מפורט מספיק ברוסית, אז החלטנו לכתוב מאמר זה.

מולקולה

מולקולה - מסגרת שתסייע בבדיקת תפקידים אפשריים.

תיאור פשוט: המולקולה יוצרת מופע בפלטפורמה שציינת (ענן, מכונה וירטואלית, מיכל; לפרטים נוספים, עיין בסעיף נהג), מריץ את התפקיד שלך עליו, ואז מפעיל בדיקות ומוחק את המופע. במקרה של כשל באחד השלבים, המולקולה תודיע לך על כך.

עכשיו ביתר פירוט.

קצת תיאוריה

שקול שתי ישויות מפתח של המולקולה: תרחיש ונהג.

תַרחִישׁ

התסריט מכיל תיאור של מה, איפה, איך ובאיזה רצף יבוצע. לתפקיד אחד יכולים להיות מספר סקריפטים, וכל אחד מהם הוא ספרייה לאורך הנתיב <role>/molecule/<scenario>, המכיל תיאורים של הפעולות הנדרשות לבדיקה. יש לכלול סקריפט default, שייווצר אוטומטית אם אתה מאתחל את התפקיד עם מולקולה. השמות של התסריטים הבאים תלויים בך.

רצף פעולות הבדיקה בסקריפט נקרא מַטרִיצָה, וכברירת מחדל זה:

(שלבים מסומנים ?, דילוג כברירת מחדל אם לא צוין על ידי המשתמש)

• lint - ריצת linters. כברירת מחדל משמשים yamllint и flake8,
• destroy - מחיקת מופעים מההשקה האחרונה של המולקולה (אם יש),
• dependency? - התקנה של התלות האפשרית של התפקיד הנבדק,
• syntax - בדיקת התחביר של התפקיד באמצעות ansible-playbook --syntax-check,
• create - יצירת מופע,
• prepare? - הכנת הערכאה; למשל בדוק/התקן את python2
• converge - השקת ספר המשחקים הנבדק,
• idempotence - הפעלה מחדש של ספר המשחקים עבור מבחן האידמפוטנציה,
• side_effect? - פעולות שאינן קשורות ישירות לתפקיד, אך נחוצות למבחנים,
• verify - הפעלת בדיקות של התצורה המתקבלת באמצעות testinfra(ברירת מחדל) /goss/inspec,
• cleanup? - (בגרסאות חדשות) - באופן גס, "ניקוי" התשתית החיצונית המושפעת מהמולקולה,
• destroy - מחיקת מופע.

רצף זה מכסה את רוב המקרים, אך ניתן לשנות אותו במידת הצורך.

ניתן להפעיל כל אחד מהשלבים לעיל בנפרד molecule <command>. אבל צריך להבין שלכל פקודת cli כזו עשוי להיות רצף פעולות משלה, שאותו תוכל לגלות על ידי ביצוע molecule matrix <command>. לדוגמה, בעת הפעלת הפקודה converge (מפעיל את ספר המשחקים הנבדק), הפעולות הבאות יבוצעו:

$ molecule matrix converge
...
└── default         # название сценария
    ├── dependency  # установка зависимостей
    ├── create      # создание инстанса
    ├── prepare     # преднастройка инстанса
    └── converge    # прогон плейбука

ניתן לערוך את רצף הפעולות הללו. אם משהו מהרשימה כבר נעשה, הוא ידלג. המצב הנוכחי, כמו גם תצורת המופעים, ה-Molecule מאחסנת בספרייה $TMPDIR/molecule/<role>/<scenario>.

הוסף שלבים עם ? אתה יכול לתאר את הפעולות הרצויות בפורמט ansible-playbook, וליצור את שם הקובץ לפי השלב: prepare.yml/side_effect.yml. צפו לקבצים האלה המולקולה תהיה בתיקיית הסקריפט.

נהג

מנהל התקן הוא ישות שבה נוצרים מופעי בדיקה.
רשימת מנהלי ההתקן הסטנדרטיים שעבורם למולקולה יש תבניות מוכנות היא כדלקמן: Azure, Docker, EC2, GCE, LXC, LXD, OpenStack, Vagrant, Delegated.

ברוב המקרים, תבניות הן קבצים create.yml и destroy.yml בתיקיית הסקריפט המתארת ​​יצירה ומחיקה של מופע, בהתאמה.
יוצאי הדופן הם Docker ו- Vagrant, שכן אינטראקציות עם המודולים שלהם יכולות להתרחש ללא הקבצים שהוזכרו לעיל.

כדאי להדגיש את מנהל ההתקן Delegated, שכן אם הוא משמש בקבצים ליצירה ומחיקה של מופע, מתוארת רק עבודה עם תצורת המופעים, השאר צריך להיות מתואר על ידי המהנדס.

מנהל ההתקן המוגדר כברירת מחדל הוא Docker.

כעת נעבור לתרגול ונבחן תכונות נוספות שם.

תחילת העבודה

בתור "שלום עולם", בואו נבדוק תפקיד פשוט של התקנת nginx. בוא נבחר ב-docer כמנהל ההתקן - אני חושב שלרובכם זה מותקן (וזכרו ש-docer הוא מנהל ההתקן המוגדר כברירת מחדל).

להכין virtualenv ולהתקין בו molecule:

> pip install virtualenv
> virtualenv -p `which python2` venv
> source venv/bin/activate
> pip install molecule docker  # molecule установит ansible как зависимость; docker для драйвера

השלב הבא הוא אתחול התפקיד החדש.
אתחול של תפקיד חדש, כמו גם סקריפט חדש, מתבצע באמצעות הפקודה molecule init <params>:

> molecule init role -r nginx
--> Initializing new role nginx...
Initialized role in <path>/nginx successfully.
> cd nginx
> tree -L 1
.
├── README.md
├── defaults
├── handlers
├── meta
├── molecule
├── tasks
└── vars

6 directories, 1 file

זה התברר תפקיד אנסיבל טיפוסי. יתר על כן, כל האינטראקציות עם מולקולות CLI נעשות משורש התפקיד.

בוא נראה מה יש בספריית התפקידים:

> tree molecule/default/
molecule/default/
├── Dockerfile.j2  # Jinja-шаблон для Dockerfile
├── INSTALL.rst.   # Немного информации об установке зависимостей сценария
├── molecule.yml   # Файл конфигурации
├── playbook.yml   # Плейбук запуска роли
└── tests          # Директория с тестами стадии verify
    └── test_default.py

1 directory, 6 files

בואו ננתח את התצורה molecule/default/molecule.yml (החלף רק תמונת Docker):

---
dependency:
  name: galaxy
driver:
  name: docker
lint:
  name: yamllint
platforms:
  - name: instance
    image: centos:7
provisioner:
  name: ansible
  lint:
    name: ansible-lint
scenario:
  name: default
verifier:
  name: testinfra
  lint:
    name: flake8

התלות

סעיף זה מתאר את מקור התלות.

אפשרויות אפשריות: גלקסיה, giltar, צדף.

מעטפת היא רק מעטפת פקודה המשמשת למקרה שגלקסיה וגלקסיה לא מכסים את הצרכים שלך.

אני לא אתעכב כאן הרבה זמן, זה מספיק מתואר ב תיעוד.

נהג

שם הנהג. שלנו הוא דוקר.

מוך

ה-linter הוא yamllint.

אפשרויות שימושיות בחלק זה של התצורה הן היכולת לציין קובץ תצורה עבור yamllint, משתני סביבה קדימה או להשבית את ה-linter:

lint:
  name: yamllint
  options:
    config-file: foo/bar
  env:
    FOO: bar
  enabled: False

פלטפורמות

מתאר את תצורת המופעים.
במקרה של docker כנהג, המולקולה עוברת על סעיף זה, וכל רכיב ברשימה זמין ב Dockerfile.j2 בתור משתנה item.

במקרה של נהג שדורש create.yml и destroy.yml, המדור זמין בהם כ molecule_yml.platforms, ואיטרציות עליו כבר מתוארות בקבצים אלה.

מכיוון שהמולקולה מספקת שליטה על מופעים למודולים אפשריים, יש לחפש שם גם את רשימת ההגדרות האפשריות. עבור docker, למשל, נעשה שימוש במודול docker_container_module. ניתן למצוא באילו מודולים משתמשים בדרייברים אחרים תיעוד.

כמו כן ניתן למצוא דוגמאות לשימוש בדרייברים שונים בבדיקות של המולקולה עצמה.

החלף כאן סנטוס: 7 על אובונטו.

מספק

"ספק" - ישות המנהלת מופעים. במקרה של מולקולה, זה אפשרי, תמיכה באחרים לא מתוכננת, כך שניתן לקרוא לסעיף זה תצורה מורחבת מתאימה עם אזהרה.
כאן אתה יכול לציין הרבה דברים, אני אדגיש את הנקודות העיקריות, לדעתי:

• ספרי משחק: אתה יכול לציין באילו ספרי משחק יש להשתמש בשלבים מסוימים.

provisioner:
  name: ansible
  playbooks:
    create: create.yml
    destroy: ../default/destroy.yml
    converge: playbook.yml
    side_effect: side_effect.yml
    cleanup: cleanup.yml

• config_options: תצורה נסבלת

provisioner:
  name: ansible
  config_options:
    defaults:
      fact_caching: jsonfile
    ssh_connection:
      scp_if_ssh: True

• אפשרויות_חיבור: אפשרויות קישוריות

provisioner:
  name: ansible  
  connection_options:
    ansible_ssh_common_args: "-o 'UserKnownHostsFile=/dev/null' -o 'ForwardAgent=yes'"

• אפשרויות: אפשרויות אפשריות ומשתני סביבה

provisioner:
  name: ansible  
  options:
    vvv: true
    diff: true
  env:
    FOO: BAR

תרחיש

שם ותיאור של רצפי תסריט.
אתה יכול לשנות את מטריצת הפעולה המוגדרת כברירת מחדל של כל פקודה על ידי הוספת המפתח <command>_sequence וכערך עבורו על ידי הגדרת רשימת השלבים שאנו צריכים.
נניח שאנו רוצים לשנות את רצף הפעולות בעת הפעלת פקודת ההפעלה של ה-playbook: molecule converge

# изначально:
# - dependency
# - create
# - prepare
# - converge
scenario:
  name: default
  converge_sequence:
    - create
    - converge

מאמת

הקמת מסגרת למבחנים וליינטר אליה. ברירת המחדל היא testinfra и flake8. האפשרויות האפשריות זהות לעיל:

verifier:
  name: testinfra
  additional_files_or_dirs:
    - ../path/to/test_1.py
    - ../path/to/test_2.py
    - ../path/to/directory/*
  options:
    n: 1
  enabled: False
  env:
    FOO: bar
  lint:
    name: flake8
    options:
      benchmark: True
    enabled: False
    env:
      FOO: bar

נחזור לתפקידנו. בוא נערוך את הקובץ tasks/main.yml לסוג הזה:

---
- name: Install nginx
  apt:
    name: nginx
    state: present

- name: Start nginx
  service:
    name: nginx
    state: started

ולהוסיף מבחנים molecule/default/tests/test_default.py

def test_nginx_is_installed(host):
    nginx = host.package("nginx")
    assert nginx.is_installed

def test_nginx_running_and_enabled(host):
    nginx = host.service("nginx")
    assert nginx.is_running
    assert nginx.is_enabled

def test_nginx_config(host):
    host.run("nginx -t")

סיים, נותר רק לרוץ (מהשורש של התפקיד, הרשו לי להזכירכם):

> molecule test

אגזוז ארוך מתחת לספוילר:

--> Validating schema <path>/nginx/molecule/default/molecule.yml.
Validation completed successfully.
--> Test matrix

└── default
    ├── lint
    ├── destroy
    ├── dependency
    ├── syntax
    ├── create
    ├── prepare
    ├── converge
    ├── idempotence
    ├── side_effect
    ├── verify
    └── destroy

--> Scenario: 'default'
--> Action: 'lint'
--> Executing Yamllint on files found in <path>/nginx/...
Lint completed successfully.
--> Executing Flake8 on files found in <path>/nginx/molecule/default/tests/...
Lint completed successfully.
--> Executing Ansible Lint on <path>/nginx/molecule/default/playbook.yml...
Lint completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=1    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'dependency'
Skipping, missing the requirements file.
--> Scenario: 'default'
--> Action: 'syntax'

    playbook: <path>/nginx/molecule/default/playbook.yml

--> Scenario: 'default'
--> Action: 'create'

    PLAY [Create] ******************************************************************

    TASK [Log into a Docker registry] **********************************************
    skipping: [localhost] => (item=None)

    TASK [Create Dockerfiles from image names] *************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Discover local Docker images] ********************************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Build an Ansible compatible image] ***************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Create docker network(s)] ************************************************

    TASK [Create molecule instance(s)] *********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) creation to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    PLAY RECAP *********************************************************************
    localhost                  : ok=5    changed=4    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'prepare'
Skipping, prepare playbook not configured.
--> Scenario: 'default'
--> Action: 'converge'

    PLAY [Converge] ****************************************************************

    TASK [Gathering Facts] *********************************************************
    ok: [instance]

    TASK [nginx : Install nginx] ***************************************************
    changed: [instance]

    TASK [nginx : Start nginx] *****************************************************
    changed: [instance]

    PLAY RECAP *********************************************************************
    instance                   : ok=3    changed=2    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'idempotence'
Idempotence completed successfully.
--> Scenario: 'default'
--> Action: 'side_effect'
Skipping, side effect playbook not configured.
--> Scenario: 'default'
--> Action: 'verify'
--> Executing Testinfra tests found in <path>/nginx/molecule/default/tests/...
    ============================= test session starts ==============================
    platform darwin -- Python 2.7.15, pytest-4.3.0, py-1.8.0, pluggy-0.9.0
    rootdir: <path>/nginx/molecule/default, inifile:
    plugins: testinfra-1.16.0
collected 4 items

    tests/test_default.py ....                                               [100%]

    ========================== 4 passed in 27.23 seconds ===========================
Verifier completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=2    unreachable=0    failed=0

התפקיד הפשוט שלנו נבדק ללא בעיות.
כדאי לזכור שאם יש בעיות במהלך העבודה molecule test, אז אם לא שינית את רצף ברירת המחדל, המולקולה תמחק את המופע.

הפקודות הבאות שימושיות לניפוי באגים:

> molecule --debug <command> # debug info. При обычном запуске Молекула скрывает логи.
> molecule converge          # Оставляет инстанс после прогона тестируемой роли.
> molecule login             # Зайти в созданный инстанс.
> molecule --help            # Полный список команд.

תפקיד קיים

הוספת סקריפט חדש לתפקיד קיים היא מתוך ספריית התפקידים עם הפקודות הבאות:

# полный список доступных параметров
> molecule init scenarion --help
# создание нового сценария
> molecule init scenario -r <role_name> -s <scenario_name>

במקרה שזהו התרחיש הראשון בתפקיד, אז הפרמטר -s ניתן להשמיט מכיוון שהוא יוצר סקריפט default.

מסקנה

כפי שאתה יכול לראות, המולקולה אינה מורכבת במיוחד, ועל ידי שימוש בתבניות משלך, ניתן לצמצם פריסת סקריפט חדש לעריכת משתנים בספרי ההפעלה והמחיקה של מופעים. המולקולה משתלבת בצורה חלקה עם מערכות CI, מה שמאפשר לך להגביר את מהירות הפיתוח על ידי צמצום הזמן לבדיקה ידנית של ספרי משחק.

תודה לך על תשומת הלב. אם יש לך ניסיון בבדיקת תפקידים אפשריים, וזה לא קשור למולקולה, ספר לנו על זה בתגובות!

מקור: www.habr.com