सभी को नमस्कार!

मैं एक होटल बुकिंग सेवा के लिए DevOps इंजीनियर के रूप में काम करता हूँ। ओस्ट्रोवोक.रु. इस लेख में, मैं उत्तरदायी भूमिकाओं के परीक्षण में हमारे अनुभव के बारे में बात करना चाहता हूँ।

Ostrovok.ru पर हम कॉन्फ़िगरेशन प्रबंधक के रूप में ansible का उपयोग करते हैं। हाल ही में हमें भूमिकाओं का परीक्षण करने की आवश्यकता महसूस हुई, लेकिन, जैसा कि यह निकला, इसके लिए कई उपकरण नहीं हैं - सबसे लोकप्रिय, शायद, अणु ढांचा है, इसलिए हमने इसका उपयोग करने का निर्णय लिया। लेकिन यह पता चला कि उनका दस्तावेज़ कई नुकसानों के बारे में चुप है। हमें रूसी में पर्याप्त विस्तृत मार्गदर्शिका नहीं मिल सकी, इसलिए हमने यह लेख लिखने का निर्णय लिया।

अणु

अणु - उपयुक्त भूमिकाओं का परीक्षण करने में मदद करने के लिए एक रूपरेखा।

सरलीकृत विवरण: अणु आपके द्वारा निर्दिष्ट प्लेटफ़ॉर्म (क्लाउड, वर्चुअल मशीन, कंटेनर) पर एक उदाहरण बनाता है; अधिक जानकारी के लिए, अनुभाग देखें चालक), उस पर अपनी भूमिका चलाता है, फिर परीक्षण चलाता है और उदाहरण हटा देता है। किसी एक चरण पर विफलता की स्थिति में, अणु आपको इसके बारे में सूचित करेगा।

अब और विस्तार से।

सिद्धांत का एक छोटा सा

अणु की दो प्रमुख संस्थाओं पर विचार करें: परिदृश्य और चालक।

परिदृश्य

स्क्रिप्ट में यह वर्णन होता है कि क्या, कहाँ, कैसे और किस क्रम में प्रदर्शन किया जाएगा। एक भूमिका में कई स्क्रिप्ट हो सकती हैं, और प्रत्येक पथ के साथ एक निर्देशिका है <role>/molecule/<scenario>, जिसमें परीक्षण के लिए आवश्यक क्रियाओं का विवरण शामिल है। एक स्क्रिप्ट होनी चाहिए default, जो कि यदि आप किसी अणु के साथ भूमिका आरंभ करते हैं तो स्वचालित रूप से बनाया जाएगा। निम्नलिखित स्क्रिप्ट के नाम आप पर निर्भर हैं।

किसी स्क्रिप्ट में परीक्षण क्रियाओं के अनुक्रम को कहा जाता है मैट्रिक्स, और डिफ़ॉल्ट रूप से यह इस प्रकार है:

(चरणों को लेबल किया गया है ?, यदि उपयोगकर्ता द्वारा निर्दिष्ट नहीं किया गया है तो डिफ़ॉल्ट रूप से छोड़ दिया जाता है)

• lint - रनिंग लिंटर। डिफ़ॉल्ट रूप से yamllint и flake8,
• destroy - अणु के अंतिम लॉन्च से उदाहरण हटाना (यदि कोई हो),
• dependency? - परीक्षण की गई भूमिका की उत्तरदायी निर्भरता स्थापित करना,
• syntax - उपयोग कर भूमिका के सिंटैक्स की जाँच करना ansible-playbook --syntax-check,
• create - एक उदाहरण बनाना,
• prepare? - उदाहरण तैयार करना; उदाहरण के लिए Python2 की जाँच/इंस्टॉलेशन
• converge - परीक्षण की जा रही प्लेबुक का लॉन्च,
• idempotence - निष्क्रियता परीक्षण के लिए प्लेबुक को पुनः चलाएँ,
• side_effect? - कार्य सीधे भूमिका से संबंधित नहीं हैं, लेकिन परीक्षणों के लिए आवश्यक हैं,
• verify - परिणामी कॉन्फ़िगरेशन का उपयोग करके परीक्षण चलाना testinfra(गलती करना) /goss/inspec,
• cleanup? - (नए संस्करणों में) - मोटे तौर पर कहें तो, अणु से प्रभावित बाहरी बुनियादी ढांचे की "सफाई",
• destroy - एक उदाहरण हटाना.

यह क्रम अधिकांश मामलों को कवर करता है, लेकिन यदि आवश्यक हो तो इसे बदला जा सकता है।

उपरोक्त प्रत्येक चरण को अलग-अलग उपयोग करके चलाया जा सकता है molecule <command>. लेकिन आपको यह समझना चाहिए कि ऐसे प्रत्येक cli कमांड के लिए क्रियाओं का अपना क्रम हो सकता है, जिसे आप चलाकर पता लगा सकते हैं molecule matrix <command>. उदाहरण के लिए, कमांड चलाते समय converge (परीक्षण के तहत प्लेबुक चलाने पर), निम्नलिखित क्रियाएं निष्पादित की जाएंगी:

$ molecule matrix converge
...
└── default         # название сценария
    ├── dependency  # установка зависимостей
    ├── create      # создание инстанса
    ├── prepare     # преднастройка инстанса
    └── converge    # прогон плейбука

इन क्रियाओं का क्रम संपादित किया जा सकता है। यदि सूची में से कुछ पहले ही किया जा चुका है, तो उसे छोड़ दिया जाएगा। वर्तमान स्थिति, साथ ही उदाहरणों का विन्यास, अणु निर्देशिका में संग्रहीत होता है $TMPDIR/molecule/<role>/<scenario>.

के साथ चरण जोड़ें ? आप Ansible प्लेबुक प्रारूप में वांछित क्रियाओं का वर्णन कर सकते हैं, और चरण के अनुसार फ़ाइल का नाम बना सकते हैं: prepare.yml/side_effect.yml. अपेक्षा करें कि ये फ़ाइलें अणु स्क्रिप्ट फ़ोल्डर में होंगी।

चालक

ड्राइवर एक इकाई है जहां परीक्षण उदाहरण बनाए जाते हैं।
मानक ड्राइवरों की सूची जिनके लिए मॉलिक्यूल के पास तैयार टेम्पलेट हैं: Azure, Docker, EC2, GCE, LXC, LXD, OpenStack, Vagrant, Delegated।

ज्यादातर मामलों में, टेम्प्लेट फ़ाइलें होती हैं create.yml и destroy.yml स्क्रिप्ट फ़ोल्डर में जो क्रमशः किसी इंस्टेंस के निर्माण और विलोपन का वर्णन करता है।
अपवाद डॉकर और वैग्रांट हैं, क्योंकि उनके मॉड्यूल के साथ बातचीत उपरोक्त फ़ाइलों के बिना हो सकती है।

यह प्रत्यायोजित ड्राइवर को उजागर करने के लायक है, क्योंकि यदि इसका उपयोग किया जाता है, तो केवल इंस्टेंस कॉन्फ़िगरेशन के साथ काम को इंस्टेंस निर्माण और विलोपन फ़ाइलों में वर्णित किया गया है; बाकी को इंजीनियर द्वारा वर्णित किया जाना चाहिए।

डिफ़ॉल्ट ड्राइवर डॉकर है.

अब चलिए अभ्यास की ओर बढ़ते हैं और वहां की अन्य विशेषताओं पर विचार करते हैं।

प्रारंभ करना

"हैलो वर्ल्ड" के रूप में, आइए एक सरल nginx इंस्टालेशन भूमिका का परीक्षण करें। आइए ड्राइवर के रूप में डॉकर चुनें - मुझे लगता है कि आप में से अधिकांश ने इसे इंस्टॉल कर लिया है (और याद रखें कि डॉकर डिफ़ॉल्ट ड्राइवर है)।

आइए तैयारी करें virtualenv और इसे इसमें इंस्टॉल करें molecule:

> pip install virtualenv
> virtualenv -p `which python2` venv
> source venv/bin/activate
> pip install molecule docker  # molecule установит ansible как зависимость; docker для драйвера

अगला कदम एक नई भूमिका आरंभ करना है।
एक नई भूमिका, साथ ही एक नई स्क्रिप्ट का आरंभीकरण कमांड का उपयोग करके किया जाता है molecule init <params>:

> molecule init role -r nginx
--> Initializing new role nginx...
Initialized role in <path>/nginx successfully.
> cd nginx
> tree -L 1
.
├── README.md
├── defaults
├── handlers
├── meta
├── molecule
├── tasks
└── vars

6 directories, 1 file

यह एक विशिष्ट उत्तरदायी-भूमिका निकली। इसके अलावा, सीएलआई अणुओं के साथ सभी इंटरैक्शन भूमिका की जड़ से बने होते हैं।

आइए देखें कि भूमिका निर्देशिका में क्या है:

> tree molecule/default/
molecule/default/
├── Dockerfile.j2  # Jinja-шаблон для Dockerfile
├── INSTALL.rst.   # Немного информации об установке зависимостей сценария
├── molecule.yml   # Файл конфигурации
├── playbook.yml   # Плейбук запуска роли
└── tests          # Директория с тестами стадии verify
    └── test_default.py

1 directory, 6 files

आइए कॉन्फ़िगरेशन का विश्लेषण करें molecule/default/molecule.yml (हम केवल डॉकर छवि को बदल देंगे):

---
dependency:
  name: galaxy
driver:
  name: docker
lint:
  name: yamllint
platforms:
  - name: instance
    image: centos:7
provisioner:
  name: ansible
  lint:
    name: ansible-lint
scenario:
  name: default
verifier:
  name: testinfra
  lint:
    name: flake8

निर्भरता

यह खंड निर्भरता के स्रोत का वर्णन करता है।

संभावित विकल्प: आकाशगंगा, लागू होता है, शंख।

शेल केवल एक कमांड शेल है जिसका उपयोग उस स्थिति में किया जाता है जब गैलेक्सी और गिल्ट आपकी आवश्यकताओं को पूरा नहीं करते हैं।

मैं यहां अधिक समय तक नहीं रुकूंगा, इसका पर्याप्त वर्णन किया गया है प्रलेखन.

ड्राइवर

ड्राइवर का नाम. हमारा डॉकर है.

रिबन

यमलिन्ट का उपयोग लिंटर के रूप में किया जाता है।

कॉन्फ़िगरेशन के इस भाग में उपयोगी विकल्प yamllint के लिए कॉन्फ़िगरेशन फ़ाइल निर्दिष्ट करने, पर्यावरण चर को आगे बढ़ाने या लिंटर को अक्षम करने की क्षमता है:

lint:
  name: yamllint
  options:
    config-file: foo/bar
  env:
    FOO: bar
  enabled: False

प्लेटफार्मों

उदाहरणों के विन्यास का वर्णन करता है।
ड्राइवर के रूप में डॉकर के मामले में, अणु इस खंड पर पुनरावृत्त होता है, और सूची का प्रत्येक तत्व इसमें उपलब्ध है Dockerfile.j2 एक चर के रूप में item.

जिसमें ड्राइवर के मामले में create.yml и destroy.yml, अनुभाग उनमें उपलब्ध है molecule_yml.platforms, और इसके पुनरावृत्तियों का वर्णन इन फ़ाइलों में पहले से ही किया गया है।

चूंकि अणु, उत्तरदायी मॉड्यूल को उदाहरणों का नियंत्रण प्रदान करता है, इसलिए संभावित सेटिंग्स की सूची भी वहां देखी जानी चाहिए। उदाहरण के लिए, डॉकर के लिए मॉड्यूल का उपयोग किया जाता है docker_container_module. अन्य ड्राइवरों में कौन से मॉड्यूल का उपयोग किया जाता है, यह यहां पाया जा सकता है प्रलेखन.

साथ ही विभिन्न ड्राइवरों के उपयोग के उदाहरण भी मिल सकते हैं अणु के परीक्षण में ही.

आइए यहां बदलें सेंटोस:7 पर ubuntu.

प्रावधानकर्ता

"प्रदाता" वह इकाई है जो उदाहरणों का प्रबंधन करती है। अणु के मामले में, यह उत्तरदायी है; दूसरों के लिए समर्थन की योजना नहीं बनाई गई है, इसलिए आरक्षण के साथ इस अनुभाग को विस्तारित उत्तरदायी कॉन्फ़िगरेशन कहा जा सकता है।
आप यहां बहुत कुछ बता सकते हैं, लेकिन मेरी राय में, मैं मुख्य बिंदुओं पर प्रकाश डालूंगा:

• playbooks: आप निर्दिष्ट कर सकते हैं कि कुछ चरणों में कौन सी प्लेबुक का उपयोग किया जाना चाहिए।

provisioner:
  name: ansible
  playbooks:
    create: create.yml
    destroy: ../default/destroy.yml
    converge: playbook.yml
    side_effect: side_effect.yml
    cleanup: cleanup.yml

• config_options: ansible config

provisioner:
  name: ansible
  config_options:
    defaults:
      fact_caching: jsonfile
    ssh_connection:
      scp_if_ssh: True

• कनेक्शन_विकल्प: विकल्प संबंध

provisioner:
  name: ansible  
  connection_options:
    ansible_ssh_common_args: "-o 'UserKnownHostsFile=/dev/null' -o 'ForwardAgent=yes'"

• विकल्पों: उत्तरीय विकल्प और पर्यावरण चर

provisioner:
  name: ansible  
  options:
    vvv: true
    diff: true
  env:
    FOO: BAR

परिदृश्य

स्क्रिप्ट अनुक्रमों का नाम और विवरण.
आप कुंजी जोड़कर किसी भी कमांड के डिफ़ॉल्ट एक्शन मैट्रिक्स को बदल सकते हैं <command>_sequence और इसके लिए एक मूल्य के रूप में, हमें आवश्यक चरणों की सूची को परिभाषित करना होगा।
मान लीजिए कि हम प्लेबुक रन कमांड चलाते समय क्रियाओं का क्रम बदलना चाहते हैं: molecule converge

# изначально:
# - dependency
# - create
# - prepare
# - converge
scenario:
  name: default
  converge_sequence:
    - create
    - converge

सत्यापनकर्ता

परीक्षणों के लिए एक ढाँचा और उसके लिए एक लिंटर स्थापित करना। डिफ़ॉल्ट लिंटर है testinfra и flake8. संभावित विकल्प उपरोक्त के समान हैं:

verifier:
  name: testinfra
  additional_files_or_dirs:
    - ../path/to/test_1.py
    - ../path/to/test_2.py
    - ../path/to/directory/*
  options:
    n: 1
  enabled: False
  env:
    FOO: bar
  lint:
    name: flake8
    options:
      benchmark: True
    enabled: False
    env:
      FOO: bar

आइए अपनी भूमिका पर वापस लौटें। आइए फ़ाइल को संपादित करें tasks/main.yml इस फॉर्म के लिए:

---
- name: Install nginx
  apt:
    name: nginx
    state: present

- name: Start nginx
  service:
    name: nginx
    state: started

और इसमें परीक्षण जोड़ें molecule/default/tests/test_default.py

def test_nginx_is_installed(host):
    nginx = host.package("nginx")
    assert nginx.is_installed

def test_nginx_running_and_enabled(host):
    nginx = host.service("nginx")
    assert nginx.is_running
    assert nginx.is_enabled

def test_nginx_config(host):
    host.run("nginx -t")

हो गया, बस भागना बाकी है (भूमिका के मूल से, मैं आपको याद दिला दूं):

> molecule test

स्पॉइलर के नीचे लंबा निकास:

--> Validating schema <path>/nginx/molecule/default/molecule.yml.
Validation completed successfully.
--> Test matrix

└── default
    ├── lint
    ├── destroy
    ├── dependency
    ├── syntax
    ├── create
    ├── prepare
    ├── converge
    ├── idempotence
    ├── side_effect
    ├── verify
    └── destroy

--> Scenario: 'default'
--> Action: 'lint'
--> Executing Yamllint on files found in <path>/nginx/...
Lint completed successfully.
--> Executing Flake8 on files found in <path>/nginx/molecule/default/tests/...
Lint completed successfully.
--> Executing Ansible Lint on <path>/nginx/molecule/default/playbook.yml...
Lint completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=1    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'dependency'
Skipping, missing the requirements file.
--> Scenario: 'default'
--> Action: 'syntax'

    playbook: <path>/nginx/molecule/default/playbook.yml

--> Scenario: 'default'
--> Action: 'create'

    PLAY [Create] ******************************************************************

    TASK [Log into a Docker registry] **********************************************
    skipping: [localhost] => (item=None)

    TASK [Create Dockerfiles from image names] *************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Discover local Docker images] ********************************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Build an Ansible compatible image] ***************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Create docker network(s)] ************************************************

    TASK [Create molecule instance(s)] *********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) creation to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    PLAY RECAP *********************************************************************
    localhost                  : ok=5    changed=4    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'prepare'
Skipping, prepare playbook not configured.
--> Scenario: 'default'
--> Action: 'converge'

    PLAY [Converge] ****************************************************************

    TASK [Gathering Facts] *********************************************************
    ok: [instance]

    TASK [nginx : Install nginx] ***************************************************
    changed: [instance]

    TASK [nginx : Start nginx] *****************************************************
    changed: [instance]

    PLAY RECAP *********************************************************************
    instance                   : ok=3    changed=2    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'idempotence'
Idempotence completed successfully.
--> Scenario: 'default'
--> Action: 'side_effect'
Skipping, side effect playbook not configured.
--> Scenario: 'default'
--> Action: 'verify'
--> Executing Testinfra tests found in <path>/nginx/molecule/default/tests/...
    ============================= test session starts ==============================
    platform darwin -- Python 2.7.15, pytest-4.3.0, py-1.8.0, pluggy-0.9.0
    rootdir: <path>/nginx/molecule/default, inifile:
    plugins: testinfra-1.16.0
collected 4 items

    tests/test_default.py ....                                               [100%]

    ========================== 4 passed in 27.23 seconds ===========================
Verifier completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=2    unreachable=0    failed=0

हमारी सरल भूमिका का परीक्षण बिना किसी समस्या के किया गया।
यह याद रखने योग्य है कि यदि ऑपरेशन के दौरान समस्याएं उत्पन्न होती हैं molecule test, तो यदि आपने मानक अनुक्रम नहीं बदला है, तो अणु उदाहरण हटा देगा।

डिबगिंग के लिए निम्नलिखित कमांड उपयोगी हैं:

> molecule --debug <command> # debug info. При обычном запуске Молекула скрывает логи.
> molecule converge          # Оставляет инстанс после прогона тестируемой роли.
> molecule login             # Зайти в созданный инстанс.
> molecule --help            # Полный список команд.

मौजूदा भूमिका

मौजूदा भूमिका में एक नई स्क्रिप्ट जोड़ने से होता है भूमिका निर्देशिका से निम्नलिखित आदेशों के साथ:

# полный список доступных параметров
> molecule init scenarion --help
# создание нового сценария
> molecule init scenario -r <role_name> -s <scenario_name>

यदि यह भूमिका में पहला परिदृश्य है, तो पैरामीटर -s छोड़ा जा सकता है क्योंकि एक स्क्रिप्ट बनाई जाएगी default.

निष्कर्ष

जैसा कि आप देख सकते हैं, अणु बहुत जटिल नहीं है, और अपने स्वयं के टेम्पलेट्स का उपयोग करते समय, आप उदाहरणों को बनाने और हटाने के लिए प्लेबुक में संपादन चर के लिए एक नई स्क्रिप्ट की तैनाती को कम कर सकते हैं। अणु सीआई सिस्टम के साथ सहजता से एकीकृत होता है, जो आपको प्लेबुक के मैन्युअल परीक्षण के समय को कम करके विकास की गति बढ़ाने की अनुमति देता है।

आपके ध्यान देने के लिए धन्यवाद! यदि आपके पास उत्तरदायी भूमिकाओं के परीक्षण में अनुभव है, और यह अणु से संबंधित नहीं है, तो हमें टिप्पणियों में इसके बारे में बताएं!

स्रोत: www.habr.com