हॅलो प्रत्येकजण!

मी हॉटेल बुकिंग सेवेसाठी DevOps अभियंता म्हणून काम करतो. Ostrovok.ru. या लेखात मला उत्तरदायी भूमिका तपासण्याच्या आमच्या अनुभवाबद्दल बोलायचे आहे.

Ostrovok.ru वर आम्ही कॉन्फिगरेशन व्यवस्थापक म्हणून उत्तरदायी वापरतो. अलीकडेच आम्हाला भूमिकांची चाचणी घेण्याची गरज आली, परंतु, जसे की हे दिसून आले की यासाठी बरीच साधने नाहीत - सर्वात लोकप्रिय, कदाचित, रेणू फ्रेमवर्क आहे, म्हणून आम्ही ते वापरण्याचे ठरविले. परंतु असे दिसून आले की त्याचे दस्तऐवजीकरण अनेक त्रुटींबद्दल शांत आहे. आम्हाला रशियन भाषेत पुरेसे तपशीलवार मार्गदर्शक सापडले नाही, म्हणून आम्ही हा लेख लिहिण्याचा निर्णय घेतला.

रेणू

रेणू — उत्तरदायी भूमिकांची चाचणी घेण्यात मदत करण्यासाठी एक फ्रेमवर्क.

सरलीकृत वर्णन: तुम्ही निर्दिष्ट केलेल्या प्लॅटफॉर्मवर रेणू एक उदाहरण तयार करतो (क्लाउड, व्हर्च्युअल मशीन, कंटेनर; अधिक तपशीलांसाठी, विभाग पहा ड्राइव्हर), त्यावर तुमची भूमिका चालवते, नंतर चाचण्या चालवते आणि उदाहरण हटवते. एका पायरीवर बिघाड झाल्यास, रेणू तुम्हाला त्याबद्दल सूचित करेल.

आता अधिक.

सिद्धांताचा बिट

रेणूच्या दोन प्रमुख घटकांचा विचार करूया: परिदृश्य आणि ड्रायव्हर.

परिदृश्य

स्क्रिप्टमध्ये काय, कुठे, कसे आणि कोणत्या क्रमाने केले जाईल याचे वर्णन आहे. एका भूमिकेत अनेक स्क्रिप्ट्स असू शकतात आणि प्रत्येक मार्गाच्या बाजूने एक निर्देशिका आहे <role>/molecule/<scenario>, चाचणीसाठी आवश्यक असलेल्या क्रियांचे वर्णन असलेले. एक स्क्रिप्ट असणे आवश्यक आहे default, जे तुम्ही Molecule वापरून भूमिका सुरू केल्यास आपोआप तयार होईल. खालील स्क्रिप्ट्सची नावे आपल्या विवेकबुद्धीनुसार आहेत.

स्क्रिप्टमधील चाचणी क्रियांच्या क्रमाला म्हणतात मॅट्रिक्स, आणि डीफॉल्टनुसार ते असे आहे:

(चरण चिन्हांकित ?, वापरकर्त्याद्वारे निर्दिष्ट न केल्यास ते डीफॉल्टनुसार वगळले जातात)

• lint - चालणारे लिंटर. मुलभूतरित्या yamllint и flake8,
• destroy - रेणूच्या शेवटच्या प्रक्षेपणातील उदाहरणे हटवणे (जर काही शिल्लक असेल तर),
• dependency? - चाचणी केलेल्या भूमिकेची उत्तरदायी अवलंबित्व स्थापित करणे,
• syntax - वापरून भूमिका वाक्यरचना तपासत आहे ansible-playbook --syntax-check,
• create - एक उदाहरण तयार करणे,
• prepare? - उदाहरण तयार करणे; उदाहरणार्थ python2 तपासणे/स्थापित करणे
• converge - चाचणी केलेले प्लेबुक लॉन्च करणे,
• idempotence - इडम्पोटेन्सी चाचणीसाठी प्लेबुक पुन्हा चालवा,
• side_effect? - कृती थेट भूमिकेशी संबंधित नाहीत, परंतु चाचण्यांसाठी आवश्यक आहेत,
• verify — वापरून परिणामी कॉन्फिगरेशनच्या चाचण्या चालवणे testinfra(डिफॉल्ट) /goss/inspec,
• cleanup? - (नवीन आवृत्त्यांमध्ये) - ढोबळपणे बोलायचे झाल्यास, रेणूमुळे प्रभावित होणारी बाह्य पायाभूत सुविधा "साफ करणे",
• destroy - एक उदाहरण हटवित आहे.

हा क्रम बहुतेक प्रकरणांचा समावेश करतो, परंतु आवश्यक असल्यास सुधारित केले जाऊ शकते.

वरीलपैकी प्रत्येक पायरी वापरून स्वतंत्रपणे चालवता येते molecule <command>. परंतु तुम्हाला हे समजले पाहिजे की अशा प्रत्येक cli कमांडसाठी क्रियांचा स्वतःचा क्रम असू शकतो, जो तुम्ही चालवून शोधू शकता. molecule matrix <command>. उदाहरणार्थ, कमांड चालवताना converge (चाचणी केलेले प्लेबुक चालवणे) खालील क्रिया केल्या जातील:

$ molecule matrix converge
...
└── default         # название сценария
    ├── dependency  # установка зависимостей
    ├── create      # создание инстанса
    ├── prepare     # преднастройка инстанса
    └── converge    # прогон плейбука

या क्रियांचा क्रम संपादित केला जाऊ शकतो. सूचीतील काहीतरी आधीच पूर्ण केले असल्यास, ते वगळले जाईल. वर्तमान स्थिती, तसेच उदाहरण कॉन्फिगरेशन, रेणू निर्देशिकेत संग्रहित केले जाते $TMPDIR/molecule/<role>/<scenario>.

सह चरण जोडा ? तुम्ही उत्तरदायी प्लेबुक फॉरमॅटमध्ये इच्छित क्रियांचे वर्णन करू शकता आणि चरणानुसार फाइलचे नाव बनवू शकता: prepare.yml/side_effect.yml. या Molecule फाइल्स स्क्रिप्ट फोल्डरमध्ये असण्याची अपेक्षा करा.

ड्राइव्हर

ड्रायव्हर ही एक संस्था आहे जिथे चाचणीसाठी उदाहरणे तयार केली जातात.
मानक ड्रायव्हर्सची यादी ज्यासाठी रेणूकडे तयार टेम्पलेट्स आहेत: Azure, Docker, EC2, GCE, LXC, LXD, OpenStack, Vagrant, Delegated.

बहुतेक प्रकरणांमध्ये, टेम्पलेट्स फाइल्स असतात create.yml и destroy.yml स्क्रिप्ट फोल्डरमध्ये, जे अनुक्रमे उदाहरण तयार करणे आणि हटवण्याचे वर्णन करते.
अपवाद डॉकर आणि व्हॅग्रंट आहेत, कारण वरील फायलींशिवाय त्यांच्या मॉड्यूलसह ​​परस्परसंवाद होऊ शकतात.

डेलिगेटेड ड्रायव्हरला हायलाइट करणे योग्य आहे, कारण जर ते वापरले गेले असेल तर, उदाहरण तयार करणे आणि हटविण्याच्या फायलींमध्ये केवळ उदाहरण कॉन्फिगरेशनसह कार्य वर्णन केले आहे; बाकीचे अभियंत्याने वर्णन केले पाहिजे.

डीफॉल्ट ड्रायव्हर डॉकर आहे.

आता सरावाकडे वळू या आणि तेथे पुढील वैशिष्ट्यांचा विचार करूया.

प्रारंभ करणे

"हॅलो वर्ल्ड" म्हणून आम्ही साध्या nginx इंस्टॉलेशन रोलची चाचणी करू. चला ड्रायव्हर म्हणून डॉकर निवडू या - मला वाटते की तुमच्यापैकी बहुतेकांनी ते स्थापित केले आहे (आणि लक्षात ठेवा की डॉकर हा डीफॉल्ट ड्राइव्हर आहे).

तयार करा virtualenv आणि त्यात स्थापित करा molecule:

> pip install virtualenv
> virtualenv -p `which python2` venv
> source venv/bin/activate
> pip install molecule docker  # molecule установит ansible как зависимость; docker для драйвера

पुढील पायरी म्हणजे नवीन भूमिका सुरू करणे.
कमांड वापरून नवीन भूमिकेची सुरुवात, तसेच नवीन स्क्रिप्ट केली जाते molecule init <params>:

> molecule init role -r nginx
--> Initializing new role nginx...
Initialized role in <path>/nginx successfully.
> cd nginx
> tree -L 1
.
├── README.md
├── defaults
├── handlers
├── meta
├── molecule
├── tasks
└── vars

6 directories, 1 file

परिणाम एक विशिष्ट उत्तरदायी भूमिका आहे. पुढे, रेणू CLI सह सर्व परस्परसंवाद रोल रूटपासून केले जातात.

चला भूमिका निर्देशिकेत काय आहे ते पाहू:

> tree molecule/default/
molecule/default/
├── Dockerfile.j2  # Jinja-шаблон для Dockerfile
├── INSTALL.rst.   # Немного информации об установке зависимостей сценария
├── molecule.yml   # Файл конфигурации
├── playbook.yml   # Плейбук запуска роли
└── tests          # Директория с тестами стадии verify
    └── test_default.py

1 directory, 6 files

चला कॉन्फिगरेशन पाहू molecule/default/molecule.yml (आम्ही फक्त डॉकर प्रतिमा पुनर्स्थित करू):

---
dependency:
  name: galaxy
driver:
  name: docker
lint:
  name: yamllint
platforms:
  - name: instance
    image: centos:7
provisioner:
  name: ansible
  lint:
    name: ansible-lint
scenario:
  name: default
verifier:
  name: testinfra
  lint:
    name: flake8

अवलंबित्व

हा विभाग अवलंबित्वाच्या स्त्रोताचे वर्णन करतो.

संभाव्य पर्याय: आकाशगंगा, गिल्ट, शेल.

जर आकाशगंगा आणि गिल्ट तुमच्या गरजा पूर्ण करत नसतील तर वापरण्यासाठी शेल हे फक्त कमांड शेल आहे.

मी येथे जास्त काळ राहणार नाही, याचे पुरेसे वर्णन केले आहे दस्तऐवजीकरण.

ड्राइव्हर

चालकाचे नाव. आमच्यासाठी हे डॉकर आहे.

लिंट

यम्लिंटचा वापर लिंटर म्हणून केला जातो.

कॉन्फिगरेशनच्या या भागात उपयुक्त पर्याय म्हणजे yamllint साठी कॉन्फिगरेशन फाइल निर्दिष्ट करणे, पर्यावरण व्हेरिएबल्स फॉरवर्ड करणे किंवा लिंटर अक्षम करणे:

lint:
  name: yamllint
  options:
    config-file: foo/bar
  env:
    FOO: bar
  enabled: False

प्लॅटफॉर्म

उदाहरणांच्या कॉन्फिगरेशनचे वर्णन करते.
ड्रायव्हर म्हणून डॉकरच्या बाबतीत, रेणू या विभागावर पुनरावृत्ती करतो आणि सूचीचा प्रत्येक घटक यामध्ये उपलब्ध आहे Dockerfile.j2 व्हेरिएबल म्हणून item.

चालकाच्या बाबतीत ज्यामध्ये create.yml и destroy.yml, विभाग त्यांच्यामध्ये उपलब्ध आहे molecule_yml.platforms, आणि त्यावरील पुनरावृत्ती या फाइल्समध्ये आधीच वर्णन केल्या आहेत.

रेणू उत्तरदायी मॉड्यूल्सना उदाहरण व्यवस्थापन प्रदान करत असल्याने, तुम्ही तेथे संभाव्य सेटिंग्जची सूची पहावी. डॉकरसाठी, उदाहरणार्थ, मॉड्यूल वापरले जाते docker_container_module. इतर ड्रायव्हर्समध्ये कोणते मॉड्यूल वापरले जातात ते आढळू शकतात दस्तऐवजीकरण.

आपण विविध ड्रायव्हर्स वापरण्याची उदाहरणे देखील शोधू शकता रेणूच्याच चाचण्यांमध्ये.

येथे बदलू सेंटोस:7 वर उबंटू.

तरतूद करणारा

"प्रदाता" ही घटना व्यवस्थापित करणारी संस्था आहे. रेणूच्या बाबतीत, हे उत्तरदायी आहे; इतरांसाठी समर्थन नियोजित नाही, म्हणून या विभागाला, आरक्षणासह, विस्तारित उत्तरदायी कॉन्फिगरेशन म्हटले जाऊ शकते.
आपण येथे बरेच काही दर्शवू शकता, परंतु मी माझ्या मते मुख्य मुद्दे हायलाइट करेन:

• playbooks: विशिष्ट टप्प्यांवर कोणती प्लेबुक वापरावीत हे तुम्ही निर्दिष्ट करू शकता.

provisioner:
  name: ansible
  playbooks:
    create: create.yml
    destroy: ../default/destroy.yml
    converge: playbook.yml
    side_effect: side_effect.yml
    cleanup: cleanup.yml

• config_options: उत्तरदायी कॉन्फिगरेशन

provisioner:
  name: ansible
  config_options:
    defaults:
      fact_caching: jsonfile
    ssh_connection:
      scp_if_ssh: True

• कनेक्शन_पर्याय: पर्याय कनेक्ट करीत आहे

provisioner:
  name: ansible  
  connection_options:
    ansible_ssh_common_args: "-o 'UserKnownHostsFile=/dev/null' -o 'ForwardAgent=yes'"

• पर्याय: उत्तरदायी मापदंड आणि पर्यावरण चल

provisioner:
  name: ansible  
  options:
    vvv: true
    diff: true
  env:
    FOO: BAR

परिस्थिती

स्क्रिप्ट अनुक्रमांचे शीर्षक आणि वर्णन.
तुम्ही की जोडून कमांडचे डीफॉल्ट अॅक्शन मॅट्रिक्स बदलू शकता <command>_sequence आणि त्याचे मूल्य म्हणून, आम्हाला आवश्यक असलेल्या चरणांची सूची परिभाषित करणे.
प्लेबुक रन कमांड चालवताना आम्हाला क्रियांचा क्रम बदलायचा आहे असे समजा: molecule converge

# изначально:
# - dependency
# - create
# - prepare
# - converge
scenario:
  name: default
  converge_sequence:
    - create
    - converge

तपासा

चाचण्यांसाठी फ्रेमवर्क आणि त्यासाठी लिंटर सेट करणे. डीफॉल्टनुसार, लिंटर वापरला जातो testinfra и flake8. संभाव्य पर्याय वरील प्रमाणेच आहेत:

verifier:
  name: testinfra
  additional_files_or_dirs:
    - ../path/to/test_1.py
    - ../path/to/test_2.py
    - ../path/to/directory/*
  options:
    n: 1
  enabled: False
  env:
    FOO: bar
  lint:
    name: flake8
    options:
      benchmark: True
    enabled: False
    env:
      FOO: bar

चला आपल्या भूमिकेकडे परत जाऊया. फाइल संपादित करू tasks/main.yml या फॉर्ममध्ये:

---
- name: Install nginx
  apt:
    name: nginx
    state: present

- name: Start nginx
  service:
    name: nginx
    state: started

आणि चाचण्या जोडा molecule/default/tests/test_default.py

def test_nginx_is_installed(host):
    nginx = host.package("nginx")
    assert nginx.is_installed

def test_nginx_running_and_enabled(host):
    nginx = host.service("nginx")
    assert nginx.is_running
    assert nginx.is_enabled

def test_nginx_config(host):
    host.run("nginx -t")

पूर्ण झाले, फक्त धावणे बाकी आहे (भूमिकेच्या मुळापासून, मी तुम्हाला आठवण करून देतो):

> molecule test

स्पॉयलर अंतर्गत लांब एक्झॉस्ट:

--> Validating schema <path>/nginx/molecule/default/molecule.yml.
Validation completed successfully.
--> Test matrix

└── default
    ├── lint
    ├── destroy
    ├── dependency
    ├── syntax
    ├── create
    ├── prepare
    ├── converge
    ├── idempotence
    ├── side_effect
    ├── verify
    └── destroy

--> Scenario: 'default'
--> Action: 'lint'
--> Executing Yamllint on files found in <path>/nginx/...
Lint completed successfully.
--> Executing Flake8 on files found in <path>/nginx/molecule/default/tests/...
Lint completed successfully.
--> Executing Ansible Lint on <path>/nginx/molecule/default/playbook.yml...
Lint completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=1    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'dependency'
Skipping, missing the requirements file.
--> Scenario: 'default'
--> Action: 'syntax'

    playbook: <path>/nginx/molecule/default/playbook.yml

--> Scenario: 'default'
--> Action: 'create'

    PLAY [Create] ******************************************************************

    TASK [Log into a Docker registry] **********************************************
    skipping: [localhost] => (item=None)

    TASK [Create Dockerfiles from image names] *************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Discover local Docker images] ********************************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Build an Ansible compatible image] ***************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Create docker network(s)] ************************************************

    TASK [Create molecule instance(s)] *********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) creation to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    PLAY RECAP *********************************************************************
    localhost                  : ok=5    changed=4    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'prepare'
Skipping, prepare playbook not configured.
--> Scenario: 'default'
--> Action: 'converge'

    PLAY [Converge] ****************************************************************

    TASK [Gathering Facts] *********************************************************
    ok: [instance]

    TASK [nginx : Install nginx] ***************************************************
    changed: [instance]

    TASK [nginx : Start nginx] *****************************************************
    changed: [instance]

    PLAY RECAP *********************************************************************
    instance                   : ok=3    changed=2    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'idempotence'
Idempotence completed successfully.
--> Scenario: 'default'
--> Action: 'side_effect'
Skipping, side effect playbook not configured.
--> Scenario: 'default'
--> Action: 'verify'
--> Executing Testinfra tests found in <path>/nginx/molecule/default/tests/...
    ============================= test session starts ==============================
    platform darwin -- Python 2.7.15, pytest-4.3.0, py-1.8.0, pluggy-0.9.0
    rootdir: <path>/nginx/molecule/default, inifile:
    plugins: testinfra-1.16.0
collected 4 items

    tests/test_default.py ....                                               [100%]

    ========================== 4 passed in 27.23 seconds ===========================
Verifier completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=2    unreachable=0    failed=0

आमची साधी भूमिका समस्यांशिवाय चाचणी केली गेली.
ऑपरेशन दरम्यान समस्या उद्भवल्यास हे लक्षात ठेवण्यासारखे आहे molecule test, नंतर जर तुम्ही मानक क्रम बदलला नाही, तर Molecule उदाहरण हटवेल.

खालील आदेश डीबगिंगसाठी उपयुक्त आहेत:

> molecule --debug <command> # debug info. При обычном запуске Молекула скрывает логи.
> molecule converge          # Оставляет инстанс после прогона тестируемой роли.
> molecule login             # Зайти в созданный инстанс.
> molecule --help            # Полный список команд.

विद्यमान भूमिका

विद्यमान भूमिकेत नवीन स्क्रिप्ट जोडणे उद्भवते भूमिका निर्देशिकेतून खालील आदेशांसह:

# полный список доступных параметров
> molecule init scenarion --help
# создание нового сценария
> molecule init scenario -r <role_name> -s <scenario_name>

भूमिकेतील ही पहिली स्क्रिप्ट असेल तर पॅरामीटर -s स्क्रिप्ट तयार केल्यामुळे वगळले जाऊ शकते default.

निष्कर्ष

जसे तुम्ही बघू शकता, रेणू फार क्लिष्ट नाही, आणि तुमचे स्वतःचे टेम्पलेट वापरताना, तुम्ही उदाहरणे तयार करण्यासाठी आणि हटवण्यासाठी प्लेबुकमधील व्हेरिएबल्सचे संपादन करण्यासाठी नवीन स्क्रिप्टची तैनाती कमी करू शकता. रेणू अखंडपणे CI सिस्टीमसह समाकलित होते, जे आपल्याला प्लेबुकच्या मॅन्युअल चाचणीसाठी वेळ कमी करून विकासाची गती वाढविण्यास अनुमती देते.

आपण लक्ष दिल्याबद्दल धन्यवाद. तुम्हाला उत्तरदायी भूमिकांची चाचणी घेण्याचा अनुभव असल्यास आणि ते रेणूशी संबंधित नसल्यास, टिप्पण्यांमध्ये त्याबद्दल आम्हाला सांगा!

स्त्रोत: www.habr.com