नमस्कार!

म होटल बुकिङ सेवामा DevOps इन्जिनियरको रूपमा काम गर्छु। Ostrovok.ru। यस लेखमा, म जवाफदेही भूमिकाहरूको परीक्षणमा हाम्रो अनुभवको बारेमा कुरा गर्न चाहन्छु।

Ostrovok.ru मा, हामी कन्फिगरेसन प्रबन्धकको रूपमा उत्तरदायी प्रयोग गर्छौं। भर्खरै, हामी भूमिकाहरू परीक्षण गर्ने आवश्यकतामा आएका छौं, तर यो बाहिर आएको रूपमा, त्यहाँ यसका लागि धेरै उपकरणहरू छैनन् - सबैभन्दा लोकप्रिय, सायद, अणु फ्रेमवर्क हो, त्यसैले हामीले यसलाई प्रयोग गर्ने निर्णय गर्यौं। तर यो बाहिर निस्कियो कि उनको कागजात धेरै कमजोरीहरूको बारेमा मौन छ। हामीले रूसीमा पर्याप्त विस्तृत म्यानुअल फेला पार्न सकेनौं, त्यसैले हामीले यो लेख लेख्ने निर्णय गर्यौं।

अणु

अणु - जवाफदेही भूमिकाहरू परीक्षण गर्न मद्दतको लागि एक ढाँचा।

सरलीकृत विवरण: तपाईंले निर्दिष्ट गर्नुभएको प्लेटफर्ममा अणुले एउटा उदाहरण सिर्जना गर्दछ (क्लाउड, भर्चुअल मेसिन, कन्टेनर; थप विवरणहरूको लागि, खण्ड हेर्नुहोस्। चालक), यसमा तपाईंको भूमिका चलाउँछ, त्यसपछि परीक्षणहरू चलाउँछ र उदाहरण मेटाउँछ। कुनै एक चरणमा असफल भएको अवस्थामा, अणुले तपाईंलाई यसको बारेमा सूचित गर्नेछ।

अब थप।

बिट सिद्धान्त

अणुका दुई प्रमुख निकायहरूलाई विचार गर्नुहोस्: परिदृश्य र चालक।

परिदृश्य

स्क्रिप्टले के, कहाँ, कसरी र कुन क्रममा प्रदर्शन गरिनेछ भन्ने विवरण समावेश गर्दछ। एउटा भूमिकामा धेरै स्क्रिप्टहरू हुन सक्छन्, र प्रत्येक पथमा डाइरेक्टरी हो <role>/molecule/<scenario>, जसमा परीक्षणको लागि आवश्यक कार्यहरूको विवरण समावेश छ। लिपि समावेश हुनुपर्छ default, जुन स्वचालित रूपमा सिर्जना हुनेछ यदि तपाईंले अणुको साथ भूमिका सुरु गर्नुभयो भने। निम्न लिपिहरूको नाम तपाईंमा निर्भर छ।

लिपिमा परीक्षण कार्यहरूको अनुक्रम भनिन्छ म्याट्रिक्स, र पूर्वनिर्धारित रूपमा यो हो:

(चरणहरू लेबल गरिएको छ ?, पूर्वनिर्धारित रूपमा छोडियो यदि प्रयोगकर्ता द्वारा निर्दिष्ट गरिएको छैन)

• lint - चलिरहेको linters। पूर्वनिर्धारित रूपमा प्रयोग गरिन्छ yamllint и flake8,
• destroy - अणुको अन्तिम प्रक्षेपणबाट उदाहरणहरू मेटाउँदै (यदि कुनै हो भने),
• dependency? - परीक्षण भूमिकाको उत्तरदायी निर्भरताको स्थापना,
• syntax - प्रयोग गरेर भूमिकाको वाक्यविन्यास जाँच गर्दै ansible-playbook --syntax-check,
• create - एक उदाहरण सिर्जना,
• prepare? - उदाहरण को तयारी; उदाहरणका लागि python2 जाँच/स्थापना गर्नुहोस्
• converge - परीक्षण भइरहेको प्लेबुकको सुरुवात,
• idempotence - idempotency परीक्षणको लागि प्लेबुक पुन: सुरु गर्दै,
• side_effect? - कार्यहरू प्रत्यक्ष रूपमा भूमिकासँग सम्बन्धित छैनन्, तर परीक्षणहरूको लागि आवश्यक छ,
• verify - नतिजा कन्फिगरेसन प्रयोग गरेर चलिरहेको परीक्षण testinfra(पूर्वनिर्धारित) /goss/inspec,
• cleanup? - (नयाँ संस्करणहरूमा) - लगभग बोल्दै, अणु द्वारा प्रभावित बाह्य पूर्वाधार "सफाई" गर्दै,
• destroy - एउटा उदाहरण मेटाउँदै।

यो क्रमले धेरै जसो केसहरू समेट्छ, तर आवश्यक भएमा परिवर्तन गर्न सकिन्छ।

माथिको प्रत्येक चरण अलग संग चलाउन सकिन्छ molecule <command>। तर यो बुझ्नुपर्छ कि प्रत्येक यस्तो cli-कमाण्डको लागि त्यहाँ कार्यहरूको आफ्नै अनुक्रम हुन सक्छ, जुन तपाईंले कार्यान्वयन गरेर पत्ता लगाउन सक्नुहुन्छ। molecule matrix <command>। उदाहरणका लागि, आदेश चलाउँदा converge (परीक्षण अन्तर्गत प्लेबुक चलाउँदै), निम्न कार्यहरू प्रदर्शन गरिनेछ:

$ molecule matrix converge
...
└── default         # название сценария
    ├── dependency  # установка зависимостей
    ├── create      # создание инстанса
    ├── prepare     # преднастройка инстанса
    └── converge    # прогон плейбука

यी कार्यहरूको अनुक्रम सम्पादन गर्न सकिन्छ। यदि सूचीबाट केहि पहिले नै गरिसकेको छ भने, यो छोडिनेछ। हालको अवस्था, साथै उदाहरणहरूको कन्फिगरेसन, डाइरेक्टरीमा अणु भण्डारहरू $TMPDIR/molecule/<role>/<scenario>.

साथ चरणहरू थप्नुहोस् ? तपाईंले जवाफदेही-प्लेबुक ढाँचामा इच्छित कार्यहरू वर्णन गर्न सक्नुहुन्छ, र चरण अनुसार फाइल नाम बनाउन सक्नुहुन्छ: prepare.yml/side_effect.yml। यी फाइलहरू अपेक्षा गर्नुहोस् अणु लिपि फोल्डरमा हुनेछ।

चालक

चालक एउटा संस्था हो जहाँ परीक्षण उदाहरणहरू सिर्जना गरिन्छ।
मानक ड्राइभरहरूको सूची जसको लागि अणुसँग टेम्प्लेटहरू तयार छन्: Azure, Docker, EC2, GCE, LXC, LXD, OpenStack, Vagrant, Delegated।

धेरै जसो अवस्थामा, टेम्प्लेटहरू फाइलहरू हुन् create.yml и destroy.yml स्क्रिप्ट फोल्डरमा जसले अनुक्रमको सिर्जना र मेटाउने वर्णन गर्दछ।
अपवादहरू डकर र भ्याग्रन्ट हुन्, किनकि तिनीहरूका मोड्युलहरूसँग अन्तरक्रियाहरू माथि उल्लिखित फाइलहरू बिना हुन सक्छ।

यो प्रत्यायोजित ड्राइभरलाई हाइलाइट गर्न लायक छ, किनकि यदि यो फाइलहरू सिर्जना गर्न र मेटाउनको लागि प्रयोग गरिन्छ भने, उदाहरणहरूको कन्फिगरेसनसँग मात्र काम वर्णन गरिएको छ, बाँकी ईन्जिनियरले वर्णन गर्नुपर्छ।

पूर्वनिर्धारित चालक डकर हो।

अब अभ्यासमा जानुहोस् र त्यहाँ थप सुविधाहरू विचार गर्नुहोस्।

सुरुवात

"हेलो संसार" को रूपमा, एक साधारण nginx स्थापना भूमिका परीक्षण गरौं। ड्राइभरको रूपमा डकर छनोट गरौं - मलाई लाग्छ कि तपाईं मध्ये धेरैले यसलाई स्थापना गर्नुभएको छ (र याद गर्नुहोस् कि डकर पूर्वनिर्धारित चालक हो)।

तयारी गर्नुहोस् virtualenv र यसमा स्थापना गर्नुहोस् molecule:

> pip install virtualenv
> virtualenv -p `which python2` venv
> source venv/bin/activate
> pip install molecule docker  # molecule установит ansible как зависимость; docker для драйвера

अर्को चरण नयाँ भूमिका प्रारम्भ गर्न हो।
नयाँ भूमिकाको प्रारम्भिकरण, साथै नयाँ लिपि, आदेश प्रयोग गरी गरिन्छ molecule init <params>:

> molecule init role -r nginx
--> Initializing new role nginx...
Initialized role in <path>/nginx successfully.
> cd nginx
> tree -L 1
.
├── README.md
├── defaults
├── handlers
├── meta
├── molecule
├── tasks
└── vars

6 directories, 1 file

यो एक विशिष्ट उत्तरदायी भूमिका बाहिर निस्कियो। यसबाहेक, CLI अणुहरूसँग सबै अन्तरक्रियाहरू भूमिकाको मूलबाट बनाइन्छ।

रोल डाइरेक्टरीमा के छ हेरौं:

> tree molecule/default/
molecule/default/
├── Dockerfile.j2  # Jinja-шаблон для Dockerfile
├── INSTALL.rst.   # Немного информации об установке зависимостей сценария
├── molecule.yml   # Файл конфигурации
├── playbook.yml   # Плейбук запуска роли
└── tests          # Директория с тестами стадии verify
    └── test_default.py

1 directory, 6 files

कन्फिगरेसन विश्लेषण गरौं molecule/default/molecule.yml (केवल डकर छवि बदल्नुहोस्):

---
dependency:
  name: galaxy
driver:
  name: docker
lint:
  name: yamllint
platforms:
  - name: instance
    image: centos:7
provisioner:
  name: ansible
  lint:
    name: ansible-lint
scenario:
  name: default
verifier:
  name: testinfra
  lint:
    name: flake8

निर्भरता

यो खण्डले निर्भरताको स्रोतको वर्णन गर्दछ।

Вариантые :ы: आकाशगंगा, giltar, खोल।

शेल केवल एक कमाण्ड शेल हो जुन ग्यालेक्सी र गिल्टले तपाईंको आवश्यकताहरू पूरा गर्दैन भने प्रयोग गरिन्छ।

म यहाँ लामो समय बस्ने छैन, यो मा वर्णन पर्याप्त छ कागजात.

चालक

चालकको नाम। हाम्रो डकर हो।

लिन्ट

लिन्टर यमल्लिन्ट हो।

कन्फिगरेसनको यस भागमा उपयोगी विकल्पहरू yamllint को लागि कन्फिगरेसन फाइल निर्दिष्ट गर्ने क्षमता हो, वातावरण चर फर्वार्ड गर्नुहोस्, वा linter असक्षम गर्नुहोस्:

lint:
  name: yamllint
  options:
    config-file: foo/bar
  env:
    FOO: bar
  enabled: False

प्लेटफार्महरू

उदाहरणहरूको कन्फिगरेसन वर्णन गर्दछ।
चालकको रूपमा डकरको अवस्थामा, अणु यस खण्डमा दोहोर्याइएको छ, र सूचीको प्रत्येक तत्व उपलब्ध छ। Dockerfile.j2 एक चर रूपमा item.

आवश्यक पर्ने चालकको अवस्थामा create.yml и destroy.yml, खण्ड तिनीहरूलाई रूपमा उपलब्ध छ molecule_yml.platforms, र यसको पुनरावृत्ति पहिले नै यी फाइलहरूमा वर्णन गरिएको छ।

चूंकि अणुले उत्तरदायी मोड्युलहरूलाई उदाहरणहरूको नियन्त्रण प्रदान गर्दछ, सम्भावित सेटिङहरूको सूची पनि त्यहाँ खोज्नुपर्छ। डकरको लागि, उदाहरणका लागि, मोड्युल प्रयोग गरिन्छ docker_container_module। अन्य ड्राइभरहरूमा कुन मोड्युलहरू प्रयोग गरिन्छ, फेला पार्न सकिन्छ कागजात.

साथै विभिन्न चालकहरूको प्रयोगको उदाहरणहरू पाउन सकिन्छ अणु आफैंको परीक्षणमा.

यहाँ प्रतिस्थापन गर्नुहोस् centos:7 मा ubuntu.

प्रावधानकर्ता

"आपूर्तिकर्ता" - उदाहरणहरू व्यवस्थापन गर्ने एक संस्था। अणुको मामलामा, यो उत्तरदायी छ, अरूको लागि समर्थन योजनाबद्ध छैन, त्यसैले यो खण्डलाई चेतावनीको साथ उत्तरदायी विस्तारित कन्फिगरेसन भन्न सकिन्छ।
यहाँ तपाईले धेरै चीजहरू निर्दिष्ट गर्न सक्नुहुन्छ, म मुख्य बुँदाहरू हाइलाइट गर्नेछु, मेरो विचारमा:

• प्लेबुकहरू: तपाइँ निश्चित चरणहरूमा कुन प्लेबुकहरू प्रयोग गरिनु पर्छ निर्दिष्ट गर्न सक्नुहुन्छ।

provisioner:
  name: ansible
  playbooks:
    create: create.yml
    destroy: ../default/destroy.yml
    converge: playbook.yml
    side_effect: side_effect.yml
    cleanup: cleanup.yml

• config_options: उत्तरदायी कन्फिगरेसन

provisioner:
  name: ansible
  config_options:
    defaults:
      fact_caching: jsonfile
    ssh_connection:
      scp_if_ssh: True

• जडान_विकल्पहरू: विकल्प जडानहरू

provisioner:
  name: ansible  
  connection_options:
    ansible_ssh_common_args: "-o 'UserKnownHostsFile=/dev/null' -o 'ForwardAgent=yes'"

• विकल्पहरू: उत्तरदायी विकल्प र वातावरण चर

provisioner:
  name: ansible  
  options:
    vvv: true
    diff: true
  env:
    FOO: BAR

परिदृश्य

लिपि अनुक्रमहरूको नाम र विवरण।
तपाइँ कुञ्जी थपेर कुनै पनि आदेशको पूर्वनिर्धारित कार्य म्याट्रिक्स परिवर्तन गर्न सक्नुहुन्छ <command>_sequence र हामीलाई चाहिने चरणहरूको सूची परिभाषित गरेर यसको मूल्यको रूपमा।
मानौं हामी प्लेबुक रन आदेश चलाउँदा कार्यहरूको अनुक्रम परिवर्तन गर्न चाहन्छौं: molecule converge

# изначально:
# - dependency
# - create
# - prepare
# - converge
scenario:
  name: default
  converge_sequence:
    - create
    - converge

जाँच

परीक्षणको लागि एक रूपरेखा र यसमा एक लिन्टर सेट अप गर्दै। पूर्वनिर्धारित linter छ testinfra и flake8। सम्भावित विकल्पहरू माथिको जस्तै छन्:

verifier:
  name: testinfra
  additional_files_or_dirs:
    - ../path/to/test_1.py
    - ../path/to/test_2.py
    - ../path/to/directory/*
  options:
    n: 1
  enabled: False
  env:
    FOO: bar
  lint:
    name: flake8
    options:
      benchmark: True
    enabled: False
    env:
      FOO: bar

हाम्रो भूमिकामा फर्कौं। फाइल सम्पादन गरौं tasks/main.yml यस प्रकार को:

---
- name: Install nginx
  apt:
    name: nginx
    state: present

- name: Start nginx
  service:
    name: nginx
    state: started

र परीक्षणहरू थप्नुहोस् molecule/default/tests/test_default.py

def test_nginx_is_installed(host):
    nginx = host.package("nginx")
    assert nginx.is_installed

def test_nginx_running_and_enabled(host):
    nginx = host.service("nginx")
    assert nginx.is_running
    assert nginx.is_enabled

def test_nginx_config(host):
    host.run("nginx -t")

सकियो, यो चलाउन मात्र बाँकी छ (भूमिकाको मूलबाट, म तपाईंलाई सम्झाउन चाहन्छु):

> molecule test

स्पोइलर मुनि लामो निकास:

--> Validating schema <path>/nginx/molecule/default/molecule.yml.
Validation completed successfully.
--> Test matrix

└── default
    ├── lint
    ├── destroy
    ├── dependency
    ├── syntax
    ├── create
    ├── prepare
    ├── converge
    ├── idempotence
    ├── side_effect
    ├── verify
    └── destroy

--> Scenario: 'default'
--> Action: 'lint'
--> Executing Yamllint on files found in <path>/nginx/...
Lint completed successfully.
--> Executing Flake8 on files found in <path>/nginx/molecule/default/tests/...
Lint completed successfully.
--> Executing Ansible Lint on <path>/nginx/molecule/default/playbook.yml...
Lint completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=1    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'dependency'
Skipping, missing the requirements file.
--> Scenario: 'default'
--> Action: 'syntax'

    playbook: <path>/nginx/molecule/default/playbook.yml

--> Scenario: 'default'
--> Action: 'create'

    PLAY [Create] ******************************************************************

    TASK [Log into a Docker registry] **********************************************
    skipping: [localhost] => (item=None)

    TASK [Create Dockerfiles from image names] *************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Discover local Docker images] ********************************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Build an Ansible compatible image] ***************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Create docker network(s)] ************************************************

    TASK [Create molecule instance(s)] *********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) creation to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    PLAY RECAP *********************************************************************
    localhost                  : ok=5    changed=4    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'prepare'
Skipping, prepare playbook not configured.
--> Scenario: 'default'
--> Action: 'converge'

    PLAY [Converge] ****************************************************************

    TASK [Gathering Facts] *********************************************************
    ok: [instance]

    TASK [nginx : Install nginx] ***************************************************
    changed: [instance]

    TASK [nginx : Start nginx] *****************************************************
    changed: [instance]

    PLAY RECAP *********************************************************************
    instance                   : ok=3    changed=2    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'idempotence'
Idempotence completed successfully.
--> Scenario: 'default'
--> Action: 'side_effect'
Skipping, side effect playbook not configured.
--> Scenario: 'default'
--> Action: 'verify'
--> Executing Testinfra tests found in <path>/nginx/molecule/default/tests/...
    ============================= test session starts ==============================
    platform darwin -- Python 2.7.15, pytest-4.3.0, py-1.8.0, pluggy-0.9.0
    rootdir: <path>/nginx/molecule/default, inifile:
    plugins: testinfra-1.16.0
collected 4 items

    tests/test_default.py ....                                               [100%]

    ========================== 4 passed in 27.23 seconds ===========================
Verifier completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=2    unreachable=0    failed=0

हाम्रो साधारण भूमिका बिना समस्या परीक्षण गरियो।
यो काम को समयमा समस्या छ भने सम्झना लायक छ molecule test, त्यसपछि यदि तपाईंले पूर्वनिर्धारित अनुक्रम परिवर्तन गर्नुभएन भने, अणुले उदाहरण मेटाउनेछ।

निम्न आदेशहरू डिबगिङका लागि उपयोगी छन्:

> molecule --debug <command> # debug info. При обычном запуске Молекула скрывает логи.
> molecule converge          # Оставляет инстанс после прогона тестируемой роли.
> molecule login             # Зайти в созданный инстанс.
> molecule --help            # Полный список команд.

विद्यमान भूमिका

अवस्थित भूमिकामा नयाँ स्क्रिप्ट थप्नु हो भूमिका निर्देशिकाबाट निम्न आदेशहरु संग:

# полный список доступных параметров
> molecule init scenarion --help
# создание нового сценария
> molecule init scenario -r <role_name> -s <scenario_name>

यदि यो भूमिकामा पहिलो परिदृश्य हो, त्यसपछि प्यारामिटर -s मेटाउन सकिन्छ किनकि यसले स्क्रिप्ट सिर्जना गर्नेछ default.

निष्कर्षमा

तपाईंले देख्न सक्नुहुने रूपमा, अणु धेरै जटिल छैन, र तपाईंको आफ्नै टेम्प्लेटहरू प्रयोग गरेर, नयाँ स्क्रिप्ट प्रयोग गरेर उदाहरण सिर्जना र प्लेबुकहरू मेटाउने चरहरू सम्पादन गर्न कम गर्न सकिन्छ। अणु CI प्रणालीहरूसँग सहज रूपमा एकीकृत हुन्छ, जसले तपाईंलाई प्लेबुकहरूको म्यानुअल परीक्षणको लागि समय घटाएर विकासको गति बढाउन अनुमति दिन्छ।

तपाईको ध्यानाकर्सनको लागि धन्यवाद। यदि तपाईंसँग उत्तरदायी भूमिकाहरू परीक्षण गर्ने अनुभव छ, र यो अणुसँग सम्बन्धित छैन भने, हामीलाई टिप्पणीहरूमा यसको बारेमा बताउनुहोस्!

स्रोत: www.habr.com