Ускоряем Ansible с помощью Mitogen

Ansible стал одним из самых популярных Configuration Management систем. После того как был куплен Red Hat в 2015 году число участников проекта превысило тысячи и Ansible стал наверное самым используемой системой развертывания и оркестрации. Его широкие области применения очень впечатляют.

Ansible работает через SSH соединения к удаленным хостам. Он открывает SSH сессию, делает логин, копирует код на Python по сети и записывает его в отдельный временный файл. После этого он запускает этот файл на удаленной машине. Вся эта последовательность операций довольно долгая и нудная, поэтому существуют различные способы ее оптимизировать.

Одним из этих способов является SSH pipelines который позволяет использовать одну SSH сессию для исполнения инструкций, а не открывать каждый раз новую сессию, что может экономить нам много времени. (Только не забывайте отключить requiretty настройку для sudo в вашем /etc/sudoers файле на удаленной машине)

Новым способом «разогнать» Ansible является библиотека python по имени Mitogen. если кто-то о ней не слышал — то вкратце опишу ее функциональность. Она позволяет быстрое исполнение кода python на удаленной машине и Ansible это только один из примеров использования. Mitogen использует UNIX pipe на удаленной машине и передает код python сжатый zlib и сериализованный с помощью pickle. Это помогает выполнять его быстрее и экономит трафик. Если вы заинтересованы в более детальном объяснении, лучше всего прочитать об этом на странице «How it works». Но сегодня мы сфокусируемся только на работе библиотеки с Ansible.

Mitogen в определенных обстоятельствах может ускорить ваш Ansible код в несколько раз и значительно уменьшить расход трафика. Давайте проверим самые популярные примеры использования и посмотрим насколько нам это помогает.

Я больше всего использую Ansible для: создания файлов конфигурации на удаленной машине, установка пакетов, копирование файлов на удаленную машину и обратно. Возможно у вас есть другие примеры — напишите в комментариях.

Поехали!

Конфигурация Mitogen для Ansible очень проста:
Устанавливаем Mitogen библиотеку:

pip install mitogen

Теперь есть два равнозначных способа — или настроить опции в конфигурационном файле ansible.cfg, или установить нужные переменные окружения.

Предположим что путь к установленному Mitogen будет /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Тогда:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

или

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Установим Ansible в virtualenv, с Mitogen и без нее:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Обратите внимание что Mitogen 0.2.7 не работает с Ansible 2.8 (на май 2019)

Делаем aliases:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Теперь попробуем запустить playbook создающий файлы на удаленной машине:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

И запустим с Mitogen и без нее для создания 10 файлов:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null
real    0m2.603s
user    0m1.152s
sys     0m0.096s
time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null
real    0m5.908s
user    0m1.745s
sys     0m0.643s

Мы видим улучшение в 2 раза. Давайте проверим для 20, 30, …, 100 файлов:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null
real    0m51.775s
user    0m8.039s
sys     0m6.305s
time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null
real    0m4.331s
user    0m1.903s
sys     0m0.197s

В итоге мы ускорили исполнение более чем в 10 раз!
Теперь попробуем различные сценарии и посмотрим насколько у нас быстрее все работает:

• Сценарий копирования файлов на удаленный хост с локального (с модулем copy):
  

• Сценарий создания файлов на удаленном хосте с copy модулем:
  

• Сценарий с загрузкой файлов с удаленного хоста на локальный:
  

Попробуем сценарий с несколькими (3) удаленными машинами, например сценарий с копированием файлов на удаленный хост:

Как видно Mitogen экономит нам как время так и трафик в этих сценариях. Но если «бутылочное горлышко» не в Ansible, а например в I/O диска или сети, или где либо еще, тогда трудно ожидать что Mitogen нам поможет.

Давайте попробуем сценарий с установкой пакетов с yum/dnf и модулей python с помощью pip. Пакеты были закешированы чтобы не зависеть от глюков в сети:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present
    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

С Mitogen это взяло 12 секунд, как и без него.
На странице Mitogen for Ansible page вы можете посмотреть другие бенчмарки и тесты. Как утверждается на странице:

Mitogen не может ускорить модуль когда он исполняется. Он может только сделать исполнение этого модуля настолько быстрым насколько это возможно.

Поэтому важно найти ваши узкие места в развертывании и если они из-за Ansible, то Mitogen поможет вам решить их и значительно ускорить исполнение ваших playbooks.