હેલો દરેક!

હું હોટેલ બુકિંગ સેવામાં DevOps એન્જિનિયર તરીકે કામ કરું છું. Ostrovok.ru. આ લેખમાં, હું જવાબદાર ભૂમિકાઓનું પરીક્ષણ કરવાના અમારા અનુભવ વિશે વાત કરવા માંગુ છું.

Ostrovok.ru પર, અમે રૂપરેખાંકન મેનેજર તરીકે અન્સિબલનો ઉપયોગ કરીએ છીએ. તાજેતરમાં, અમે ભૂમિકાઓનું પરીક્ષણ કરવાની જરૂરિયાત પર આવ્યા, પરંતુ તે બહાર આવ્યું તેમ, આ માટે ઘણા બધા સાધનો નથી - સૌથી વધુ લોકપ્રિય, કદાચ, મોલેક્યુલ ફ્રેમવર્ક છે, તેથી અમે તેનો ઉપયોગ કરવાનું નક્કી કર્યું. પરંતુ તે બહાર આવ્યું છે કે તેના દસ્તાવેજીકરણ ઘણા મુશ્કેલીઓ વિશે મૌન છે. અમને રશિયનમાં પૂરતું વિગતવાર મેન્યુઅલ મળી શક્યું નથી, તેથી અમે આ લેખ લખવાનું નક્કી કર્યું.

અણુ

પરમાણુ - જવાબદાર ભૂમિકાઓનું પરીક્ષણ કરવામાં મદદ કરવા માટેનું માળખું.

સરળ વર્ણન: તમે સ્પષ્ટ કરો છો તે પ્લેટફોર્મ પર પરમાણુ એક દાખલો બનાવે છે (ક્લાઉડ, વર્ચ્યુઅલ મશીન, કન્ટેનર; વધુ વિગતો માટે, વિભાગ જુઓ ડ્રાઈવર), તેના પર તમારી ભૂમિકા ચલાવે છે, પછી પરીક્ષણો ચલાવે છે અને દાખલાને કાઢી નાખે છે. એક પગલામાં નિષ્ફળતાના કિસ્સામાં, અણુ તમને તેના વિશે જાણ કરશે.

હવે વધુ.

સિદ્ધાંત એક બીટ

પરમાણુની બે મુખ્ય સંસ્થાઓનો વિચાર કરો: દૃશ્ય અને ડ્રાઇવર.

પરિદ્દશ્ય

સ્ક્રિપ્ટમાં શું, ક્યાં, કેવી રીતે અને કયા ક્રમમાં કરવામાં આવશે તેનું વર્ણન છે. એક ભૂમિકામાં ઘણી સ્ક્રિપ્ટો હોઈ શકે છે, અને દરેક પાથ સાથેની ડિરેક્ટરી છે <role>/molecule/<scenario>, જેમાં પરીક્ષણ માટે જરૂરી ક્રિયાઓનું વર્ણન છે. સ્ક્રિપ્ટ શામેલ હોવી આવશ્યક છે default, જે આપમેળે બનાવવામાં આવશે જો તમે પરમાણુ સાથે ભૂમિકા શરૂ કરો છો. નીચેની સ્ક્રિપ્ટોના નામ તમારા પર છે.

સ્ક્રિપ્ટમાં પરીક્ષણ ક્રિયાઓનો ક્રમ કહેવામાં આવે છે મેટ્રિક્સ, અને મૂળભૂત રીતે તે છે:

(પગલાઓ લેબલ કરેલા ?, જો વપરાશકર્તા દ્વારા ઉલ્લેખિત ન હોય તો મૂળભૂત રીતે છોડવામાં આવે છે)

• lint - ચાલી રહેલ લીંટર્સ. મૂળભૂત રીતે વપરાય છે yamllint и flake8,
• destroy - પરમાણુના છેલ્લા પ્રક્ષેપણમાંથી દાખલાઓ કાઢી નાખવું (જો કોઈ હોય તો),
• dependency? - પરીક્ષણ કરેલ ભૂમિકાની જવાબદાર નિર્ભરતાની સ્થાપના,
• syntax - નો ઉપયોગ કરીને ભૂમિકાની વાક્યરચના તપાસો ansible-playbook --syntax-check,
• create - એક દાખલો બનાવવો,
• prepare? - દાખલાની તૈયારી; દા.ત. python2 ચેક/ઇન્સ્ટોલ કરો
• converge - પરીક્ષણ કરવામાં આવી રહેલી પ્લેબુકનું લોન્ચિંગ,
• idempotence - આઇડમ્પોટેન્સી ટેસ્ટ માટે પ્લેબુક ફરી શરૂ કરી રહ્યા છીએ,
• side_effect? - ક્રિયાઓ સીધી ભૂમિકા સાથે સંબંધિત નથી, પરંતુ પરીક્ષણો માટે જરૂરી છે,
• verify - નો ઉપયોગ કરીને પરિણામી રૂપરેખાંકનના પરીક્ષણો ચાલી રહ્યા છે testinfra(મૂળભૂત) /goss/inspec,
• cleanup? - (નવા સંસ્કરણોમાં) - આશરે કહીએ તો, પરમાણુ દ્વારા અસરગ્રસ્ત બાહ્ય માળખાને "સફાઈ" કરવી,
• destroy - એક દાખલો કાઢી નાખવું.

આ ક્રમ મોટાભાગના કેસોને આવરી લે છે, પરંતુ જો જરૂરી હોય તો બદલી શકાય છે.

ઉપરોક્ત દરેક પગલાં સાથે અલગથી ચલાવી શકાય છે molecule <command>. પરંતુ તે સમજવું જોઈએ કે આવા દરેક ક્લિ-કમાન્ડ માટે ક્રિયાઓનો પોતાનો ક્રમ હોઈ શકે છે, જે તમે એક્ઝેક્યુટ કરીને શોધી શકો છો. molecule matrix <command>. ઉદાહરણ તરીકે, આદેશ ચલાવતી વખતે converge (પરીક્ષણ હેઠળ પ્લેબુક ચલાવવું), નીચેની ક્રિયાઓ કરવામાં આવશે:

$ molecule matrix converge
...
└── default         # название сценария
    ├── dependency  # установка зависимостей
    ├── create      # создание инстанса
    ├── prepare     # преднастройка инстанса
    └── converge    # прогон плейбука

આ ક્રિયાઓનો ક્રમ સંપાદિત કરી શકાય છે. જો સૂચિમાંથી કંઈક પહેલેથી જ કરવામાં આવ્યું હોય, તો તે છોડવામાં આવશે. વર્તમાન સ્થિતિ, તેમજ ઉદાહરણોની રૂપરેખા, ડિરેક્ટરીમાં પરમાણુ સ્ટોર કરે છે $TMPDIR/molecule/<role>/<scenario>.

સાથે પગલાંઓ ઉમેરો ? તમે જવાબી-પ્લેબુક ફોર્મેટમાં ઇચ્છિત ક્રિયાઓનું વર્ણન કરી શકો છો અને સ્ટેપ પ્રમાણે ફાઇલનું નામ બનાવી શકો છો: prepare.yml/side_effect.yml. આ ફાઇલોની અપેક્ષા રાખો આ પરમાણુ સ્ક્રિપ્ટ ફોલ્ડરમાં હશે.

ડ્રાઈવર

ડ્રાઇવર એ એક એવી એન્ટિટી છે જ્યાં પરીક્ષણ દાખલાઓ બનાવવામાં આવે છે.
પ્રમાણભૂત ડ્રાઇવરોની સૂચિ કે જેના માટે મોલેક્યુલ પાસે નમૂનાઓ તૈયાર છે તે નીચે મુજબ છે: Azure, Docker, EC2, GCE, LXC, LXD, OpenStack, Vagrant, Delegated.

મોટા ભાગના કિસ્સાઓમાં, નમૂનાઓ ફાઇલો છે create.yml и destroy.yml સ્ક્રિપ્ટ ફોલ્ડરમાં કે જે અનુક્રમે દાખલા બનાવવા અને કાઢી નાખવાનું વર્ણન કરે છે.
અપવાદો ડોકર અને વેગ્રન્ટ છે, કારણ કે તેમના મોડ્યુલો સાથેની ક્રિયાપ્રતિક્રિયાઓ ઉપરોક્ત ફાઇલો વિના થઈ શકે છે.

ડેલિગેટેડ ડ્રાઇવરને હાઇલાઇટ કરવા યોગ્ય છે, કારણ કે જો તેનો ઉપયોગ ફાઇલોમાં દાખલા બનાવવા અને કાઢી નાખવા માટે કરવામાં આવે છે, તો ફક્ત દાખલાઓના રૂપરેખાંકન સાથે જ કાર્ય વર્ણવવામાં આવે છે, બાકીનું એન્જિનિયર દ્વારા વર્ણન કરવું જોઈએ.

મૂળભૂત ડ્રાઈવર ડોકર છે.

હવે ચાલો પ્રેક્ટિસ તરફ આગળ વધીએ અને ત્યાંની વધુ સુવિધાઓ ધ્યાનમાં લઈએ.

પ્રારંભ

"હેલો વર્લ્ડ" તરીકે, ચાલો એક સરળ nginx ઇન્સ્ટોલેશન રોલનું પરીક્ષણ કરીએ. ચાલો ડોકરને ડ્રાઈવર તરીકે પસંદ કરીએ - મને લાગે છે કે તમારામાંથી મોટાભાગના લોકોએ તેને ઈન્સ્ટોલ કર્યું છે (અને યાદ રાખો કે ડોકર એ ડિફોલ્ટ ડ્રાઈવર છે).

ચાલો તૈયારી કરીએ virtualenv અને તેમાં ઇન્સ્ટોલ કરો molecule:

> pip install virtualenv
> virtualenv -p `which python2` venv
> source venv/bin/activate
> pip install molecule docker  # molecule установит ansible как зависимость; docker для драйвера

આગળનું પગલું નવી ભૂમિકાની શરૂઆત કરવાનું છે.
આદેશનો ઉપયોગ કરીને નવી ભૂમિકા, તેમજ નવી સ્ક્રિપ્ટની શરૂઆત કરવામાં આવે છે molecule init <params>:

> molecule init role -r nginx
--> Initializing new role nginx...
Initialized role in <path>/nginx successfully.
> cd nginx
> tree -L 1
.
├── README.md
├── defaults
├── handlers
├── meta
├── molecule
├── tasks
└── vars

6 directories, 1 file

તે એક લાક્ષણિક જવાબી ભૂમિકા બહાર આવ્યું. આગળ, CLI અણુઓ સાથેની તમામ ક્રિયાપ્રતિક્રિયાઓ ભૂમિકાના મૂળમાંથી બનાવવામાં આવે છે.

ચાલો જોઈએ કે રોલ ડિરેક્ટરીમાં શું છે:

> tree molecule/default/
molecule/default/
├── Dockerfile.j2  # Jinja-шаблон для Dockerfile
├── INSTALL.rst.   # Немного информации об установке зависимостей сценария
├── molecule.yml   # Файл конфигурации
├── playbook.yml   # Плейбук запуска роли
└── tests          # Директория с тестами стадии verify
    └── test_default.py

1 directory, 6 files

ચાલો રૂપરેખાનું વિશ્લેષણ કરીએ molecule/default/molecule.yml (માત્ર ડોકર છબી બદલો):

---
dependency:
  name: galaxy
driver:
  name: docker
lint:
  name: yamllint
platforms:
  - name: instance
    image: centos:7
provisioner:
  name: ansible
  lint:
    name: ansible-lint
scenario:
  name: default
verifier:
  name: testinfra
  lint:
    name: flake8

અવલંબન

આ વિભાગ નિર્ભરતાના સ્ત્રોતનું વર્ણન કરે છે.

સંભવિત વિકલ્પો: આકાશગંગા, લાગુ પડે છે, શેલ.

શેલ એ ફક્ત એક કમાન્ડ શેલ છે જેનો ઉપયોગ ગેલેક્સી અને ગિલ્ટ તમારી જરૂરિયાતોને આવરી લેતા નથી તેવા કિસ્સામાં થાય છે.

હું અહીં લાંબા સમય સુધી રહીશ નહીં, તે પૂરતું વર્ણવેલ છે દસ્તાવેજીકરણ.

ડ્રાઈવર

ડ્રાઇવરનું નામ. અમારું ડોકર છે.

લિન્ટ

લિંટર એટલે યમલિંટ.

રૂપરેખાના આ ભાગમાં ઉપયોગી વિકલ્પો yamllint માટે રૂપરેખાંકન ફાઈલનો ઉલ્લેખ કરવાની ક્ષમતા છે, પર્યાવરણ ચલોને આગળ ધપાવવાની અથવા linter ને નિષ્ક્રિય કરવાની ક્ષમતા છે:

lint:
  name: yamllint
  options:
    config-file: foo/bar
  env:
    FOO: bar
  enabled: False

પ્લેટફોર્મ

દાખલાઓના રૂપરેખાંકનનું વર્ણન કરે છે.
ડ્રાઇવર તરીકે ડોકરના કિસ્સામાં, પરમાણુ આ વિભાગ પર પુનરાવર્તિત થાય છે, અને સૂચિનું દરેક તત્વ ઉપલબ્ધ છે Dockerfile.j2 ચલ તરીકે item.

ડ્રાઇવરના કિસ્સામાં જે જરૂરી છે create.yml и destroy.yml, વિભાગ તેમનામાં ઉપલબ્ધ છે molecule_yml.platforms, અને તેના પર પુનરાવૃત્તિઓ પહેલેથી જ આ ફાઇલોમાં વર્ણવેલ છે.

કારણ કે પરમાણુ પ્રતિભાવશીલ મોડ્યુલોને ઉદાહરણોનું નિયંત્રણ પૂરું પાડે છે, સંભવિત સેટિંગ્સની સૂચિ પણ ત્યાં જોવી જોઈએ. ડોકર માટે, ઉદાહરણ તરીકે, મોડ્યુલનો ઉપયોગ થાય છે docker_container_module. અન્ય ડ્રાઇવરોમાં કયા મોડ્યુલોનો ઉપયોગ થાય છે તે શોધી શકાય છે દસ્તાવેજીકરણ.

તેમજ વિવિધ ડ્રાઇવરોના ઉપયોગના ઉદાહરણો મળી શકે છે પરમાણુના જ પરીક્ષણોમાં.

અહીં બદલો centos:7 પર ઉબુન્ટુ.

જોગવાઈ કરનાર

"સપ્લાયર" - એક એન્ટિટી જે દાખલાઓનું સંચાલન કરે છે. પરમાણુના કિસ્સામાં, આ જવાબદાર છે, અન્ય લોકો માટે સમર્થનનું આયોજન નથી, તેથી આ વિભાગને ચેતવણી સાથે જવાબદાર વિસ્તૃત રૂપરેખાંકન કહી શકાય.
અહીં તમે ઘણી બધી વસ્તુઓનો ઉલ્લેખ કરી શકો છો, હું મારા મતે મુખ્ય મુદ્દાઓને પ્રકાશિત કરીશ:

• પ્લેબુક્સ: તમે ચોક્કસ તબક્કામાં કઈ પ્લેબુકનો ઉપયોગ થવો જોઈએ તે સ્પષ્ટ કરી શકો છો.

provisioner:
  name: ansible
  playbooks:
    create: create.yml
    destroy: ../default/destroy.yml
    converge: playbook.yml
    side_effect: side_effect.yml
    cleanup: cleanup.yml

• config_options: જવાબદાર રૂપરેખા

provisioner:
  name: ansible
  config_options:
    defaults:
      fact_caching: jsonfile
    ssh_connection:
      scp_if_ssh: True

• જોડાણ_વિકલ્પો: વિકલ્પો જોડાણો

provisioner:
  name: ansible  
  connection_options:
    ansible_ssh_common_args: "-o 'UserKnownHostsFile=/dev/null' -o 'ForwardAgent=yes'"

• વિકલ્પો: જવાબ આપવા યોગ્ય વિકલ્પો અને પર્યાવરણ ચલો

provisioner:
  name: ansible  
  options:
    vvv: true
    diff: true
  env:
    FOO: BAR

દૃશ્ય

સ્ક્રિપ્ટ સિક્વન્સનું નામ અને વર્ણન.
તમે કી ઉમેરીને કોઈપણ આદેશના ડિફોલ્ટ એક્શન મેટ્રિક્સને બદલી શકો છો <command>_sequence અને અમને જરૂરી પગલાંઓની સૂચિને વ્યાખ્યાયિત કરીને તેના મૂલ્ય તરીકે.
ચાલો કહીએ કે પ્લેબુક રન કમાન્ડ ચલાવતી વખતે આપણે ક્રિયાઓનો ક્રમ બદલવા માંગીએ છીએ: molecule converge

# изначально:
# - dependency
# - create
# - prepare
# - converge
scenario:
  name: default
  converge_sequence:
    - create
    - converge

ચકાસણી કરનાર

પરીક્ષણો માટે એક માળખું અને તેના માટે એક લિંટર સેટ કરવું. ડિફૉલ્ટ લિંટર છે testinfra и flake8. સંભવિત વિકલ્પો ઉપરોક્ત સમાન છે:

verifier:
  name: testinfra
  additional_files_or_dirs:
    - ../path/to/test_1.py
    - ../path/to/test_2.py
    - ../path/to/directory/*
  options:
    n: 1
  enabled: False
  env:
    FOO: bar
  lint:
    name: flake8
    options:
      benchmark: True
    enabled: False
    env:
      FOO: bar

ચાલો આપણી ભૂમિકા પર પાછા ફરીએ. ચાલો ફાઈલ એડિટ કરીએ tasks/main.yml આ પ્રકાર માટે:

---
- name: Install nginx
  apt:
    name: nginx
    state: present

- name: Start nginx
  service:
    name: nginx
    state: started

અને તેમાં પરીક્ષણો ઉમેરો molecule/default/tests/test_default.py

def test_nginx_is_installed(host):
    nginx = host.package("nginx")
    assert nginx.is_installed

def test_nginx_running_and_enabled(host):
    nginx = host.service("nginx")
    assert nginx.is_running
    assert nginx.is_enabled

def test_nginx_config(host):
    host.run("nginx -t")

થઈ ગયું, તે માત્ર ચલાવવા માટે જ રહે છે (ભૂમિકાના મૂળમાંથી, હું તમને યાદ કરાવું છું):

> molecule test

સ્પોઇલર હેઠળ લાંબી એક્ઝોસ્ટ:

--> Validating schema <path>/nginx/molecule/default/molecule.yml.
Validation completed successfully.
--> Test matrix

└── default
    ├── lint
    ├── destroy
    ├── dependency
    ├── syntax
    ├── create
    ├── prepare
    ├── converge
    ├── idempotence
    ├── side_effect
    ├── verify
    └── destroy

--> Scenario: 'default'
--> Action: 'lint'
--> Executing Yamllint on files found in <path>/nginx/...
Lint completed successfully.
--> Executing Flake8 on files found in <path>/nginx/molecule/default/tests/...
Lint completed successfully.
--> Executing Ansible Lint on <path>/nginx/molecule/default/playbook.yml...
Lint completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=1    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'dependency'
Skipping, missing the requirements file.
--> Scenario: 'default'
--> Action: 'syntax'

    playbook: <path>/nginx/molecule/default/playbook.yml

--> Scenario: 'default'
--> Action: 'create'

    PLAY [Create] ******************************************************************

    TASK [Log into a Docker registry] **********************************************
    skipping: [localhost] => (item=None)

    TASK [Create Dockerfiles from image names] *************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Discover local Docker images] ********************************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Build an Ansible compatible image] ***************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Create docker network(s)] ************************************************

    TASK [Create molecule instance(s)] *********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) creation to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    PLAY RECAP *********************************************************************
    localhost                  : ok=5    changed=4    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'prepare'
Skipping, prepare playbook not configured.
--> Scenario: 'default'
--> Action: 'converge'

    PLAY [Converge] ****************************************************************

    TASK [Gathering Facts] *********************************************************
    ok: [instance]

    TASK [nginx : Install nginx] ***************************************************
    changed: [instance]

    TASK [nginx : Start nginx] *****************************************************
    changed: [instance]

    PLAY RECAP *********************************************************************
    instance                   : ok=3    changed=2    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'idempotence'
Idempotence completed successfully.
--> Scenario: 'default'
--> Action: 'side_effect'
Skipping, side effect playbook not configured.
--> Scenario: 'default'
--> Action: 'verify'
--> Executing Testinfra tests found in <path>/nginx/molecule/default/tests/...
    ============================= test session starts ==============================
    platform darwin -- Python 2.7.15, pytest-4.3.0, py-1.8.0, pluggy-0.9.0
    rootdir: <path>/nginx/molecule/default, inifile:
    plugins: testinfra-1.16.0
collected 4 items

    tests/test_default.py ....                                               [100%]

    ========================== 4 passed in 27.23 seconds ===========================
Verifier completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=2    unreachable=0    failed=0

અમારી સરળ ભૂમિકાનું પરીક્ષણ સમસ્યાઓ વિના કરવામાં આવ્યું હતું.
તે યાદ રાખવું યોગ્ય છે કે જો કામ દરમિયાન સમસ્યાઓ હોય molecule test, પછી જો તમે ડિફૉલ્ટ ક્રમ બદલ્યો નથી, તો મોલેક્યુલ દાખલાને કાઢી નાખશે.

નીચેના આદેશો ડીબગીંગ માટે ઉપયોગી છે:

> molecule --debug <command> # debug info. При обычном запуске Молекула скрывает логи.
> molecule converge          # Оставляет инстанс после прогона тестируемой роли.
> molecule login             # Зайти в созданный инстанс.
> molecule --help            # Полный список команд.

હાલની ભૂમિકા

હાલની ભૂમિકામાં નવી સ્ક્રિપ્ટ ઉમેરવાનું છે ભૂમિકા નિર્દેશિકામાંથી નીચેના આદેશો સાથે:

# полный список доступных параметров
> molecule init scenarion --help
# создание нового сценария
> molecule init scenario -r <role_name> -s <scenario_name>

જો આ ભૂમિકામાં પ્રથમ દૃશ્ય છે, તો પરિમાણ -s અવગણી શકાય છે કારણ કે તે સ્ક્રિપ્ટ બનાવશે default.

નિષ્કર્ષ

જેમ તમે જોઈ શકો છો, પરમાણુ બહુ જટિલ નથી, અને તમારા પોતાના નમૂનાઓનો ઉપયોગ કરીને, નવી સ્ક્રિપ્ટનો ઉપયોગ કરીને દાખલા બનાવટ અને પ્લેબુક કાઢી નાખવામાં ચલોને સંપાદિત કરવા માટે ઘટાડી શકાય છે. પરમાણુ સીઆઈ સિસ્ટમ્સ સાથે એકીકૃત રીતે સંકલિત થાય છે, જે તમને પ્લેબુકના મેન્યુઅલ પરીક્ષણ માટેનો સમય ઘટાડીને વિકાસની ઝડપ વધારવા માટે પરવાનગી આપે છે.

તમારા ધ્યાન બદલ આભાર. જો તમને જવાબદાર ભૂમિકાઓનું પરીક્ષણ કરવાનો અનુભવ હોય, અને તે પરમાણુ સાથે સંબંધિત નથી, તો અમને ટિપ્પણીઓમાં તેના વિશે જણાવો!

સોર્સ: www.habr.com