Mitogen으로 Ansible 속도 향상

책임감있는 가장 인기있는 것 중 하나가되었습니다 시스템 구성 관리. 후에 Red Hat에서 구매했습니다. 2015년에는 숫자 프로젝트 참가자 수천 개가 넘었고 Ansible은 아마도 가장 많이 사용되는 배포 및 오케스트레이션 시스템이 되었습니다. 다양한 응용 분야가 매우 인상적입니다.

Ansible은 원격 호스트에 대한 SSH 연결을 통해 작동합니다. SSH 세션을 열고 로그인한 후 네트워크를 통해 Python 코드를 복사하고 별도의 임시 파일에 씁니다. 그런 다음 원격 시스템에서 이 파일을 실행합니다. 이 전체 작업 순서는 상당히 길고 지루하므로 이를 최적화하는 다양한 방법이 있습니다.

이러한 방법 중 하나는 SSH 파이프라인 이를 통해 매번 새 세션을 여는 대신 하나의 SSH 세션을 사용하여 명령을 실행할 수 있으므로 많은 시간을 절약할 수 있습니다. (그냥 끄는 걸 기억하세요 requiretty sudo 설정 /etc/sudoers 원격 시스템의 파일)

Ansible을 오버클러킹하는 새로운 방법은 다음과 같은 Python 라이브러리입니다. 미토겐. 아직 들어보지 못한 사람이 있다면 그 기능에 대해 간략하게 설명하겠습니다. 이를 통해 원격 시스템에서 Python 코드를 빠르게 실행할 수 있으며 Ansible은 사용 사례 중 하나일 뿐입니다. Mitogen은 원격 시스템에서 UNIX 파이프를 사용하고 zlib로 압축되고 pickle로 직렬화된 Python 코드를 전송합니다. 이렇게 하면 작업을 더 빨리 완료하고 트래픽을 절약할 수 있습니다. 더 자세한 설명이 궁금하시다면 해당 페이지를 읽어보시는 것이 가장 좋습니다. "작동 방식". 하지만 오늘은 라이브러리가 Ansible과 어떻게 작동하는지에만 집중하겠습니다.

특정 상황에서 Mitogen은 Ansible 코드 속도를 여러 번 높이고 트래픽 소비를 크게 줄일 수 있습니다. 가장 인기 있는 사용 사례를 확인하고 이것이 우리에게 얼마나 도움이 되는지 살펴보겠습니다.

저는 원격 시스템에서 구성 파일 생성, 패키지 설치, 원격 시스템 간 파일 복사 등의 용도로 Ansible을 가장 많이 사용합니다. 아마도 다른 예가 있을 수도 있습니다. 댓글을 작성하세요.

가자!

Ansible의 Mitogen 구성은 매우 간단합니다.
Mitogen 라이브러리를 설치합니다.

pip install mitogen

이제 두 가지 동등한 방법이 있습니다. ansible.cfg 구성 파일에서 옵션을 구성하거나 필요한 환경 변수를 설정하는 것입니다.

설치된 Mitogen의 경로가 다음과 같다고 가정해 보겠습니다. /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. 그 다음에:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

또는

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Mitogen이 있거나 없는 Ansible을 virtualenv에 설치해 보겠습니다.

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Mitogen 0.2.7은 Ansible 2.8에서 작동하지 않습니다(2019년 XNUMX월 기준).

별칭 만들기:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

이제 원격 시스템에서 파일을 생성하는 플레이북을 실행해 보겠습니다.

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

그리고 Mitogen을 사용하거나 사용하지 않고 실행하여 10개의 파일을 생성해 보겠습니다.

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

2배의 개선이 보입니다. 20, 30, ..., 100개의 파일을 확인해 보겠습니다.

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

그 결과 실행 속도가 10배 이상 빨라졌습니다!
이제 다양한 시나리오를 시도해보고 모든 것이 얼마나 빨리 작동하는지 살펴보겠습니다.

• 로컬 호스트에서 원격 호스트로 파일을 복사하는 스크립트(모듈 사용) copy):
  

• 다음을 사용하여 원격 호스트에 파일을 생성하는 스크립트 copy 기준 치수:
  

• 원격 호스트에서 로컬 호스트로 파일을 다운로드하는 시나리오:
  

여러 개의 원격 시스템을 사용하여 시나리오를 시도해 보겠습니다(예: 원격 호스트에 파일을 복사하는 시나리오).

보시다시피 Mitogen은 이러한 시나리오에서 시간과 트래픽을 모두 절약합니다. 그러나 병목 현상이 Ansible에 있는 것이 아니라 예를 들어 디스크나 네트워크의 I/O 또는 다른 곳에 있는 경우 Mitogen이 도움을 줄 것이라고 기대하기는 어렵습니다.

pip를 사용하여 yum/dnf 및 Python 모듈이 포함된 패키지를 설치하는 스크립트를 시도해 보겠습니다. 네트워크 결함에 의존하지 않도록 패키지가 캐시되었습니다.

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Mitogen을 사용하면 12초가 소요됩니다. 이는 Mitogen을 사용하지 않을 때와 동일합니다.
페이지 Ansible 페이지용 Mitogen 다른 벤치마크와 테스트를 볼 수 있습니다. 페이지에 다음과 같이 나와 있습니다.

Mitogen은 모듈이 실행 중일 때 모듈 속도를 높일 수 없습니다. 이 모듈을 가능한 한 빨리 실행할 수만 있습니다.

따라서 배포 시 병목 현상을 찾는 것이 중요하며, 이것이 Ansible 때문인 경우 Mitogen은 이를 해결하고 플레이북 실행 속도를 크게 높이는 데 도움을 줄 것입니다.

출처 : habr.com