Ansible: миграция RTFM 2.9 — монтирование EBS и настройка NGINX на Bastion

Предыдущий пост серии — Ansible: миграция RTFM 2.8 – logrotate, unattended-upgrades и Let’s Encrypt для Bastion хоста.

Сейчас Bastion запущен и настроен, сегодня надо выполнить настройку NGINX.

Как и прежние посты этой серии — это скорее заметки для себя по выполненным обновлениям плюс примеры настроек и действий.

План таков:

1. обновить роль common и добавить монтирование диска для Bastion с данными для NGINX
2. обновить nginx роль для копирования и использования конфигов из этого каталога

Ссылки на коммиты файлов, которые получились в результате написания этого поста:

• hosts
• rtfm-blog-ansible-bastion-provision.yml
• roles/nginx/templates/nginx.conf
• roles/common/tasks/main.yml

По первому пункту: к Bastion во время создания окружения подключается EBS раздел, который будет содержать конфиги виртуалхостов.

Сейчас этот раздел пустой — ещё ничего не делалось:

/dev/xvdb — вот он.

Вообще хочется на Bastion использовать OpenBSD — люблю я *BSD ещё со времён FreeBSD 6.1, но пока закончить бы с настройкой вообще, а потом уже просто (угу…) обновить роли. Пока на всех хостах будет Debian.

Создание раздела на /dev/xvdb

Начнём с диска.

Создаём раздел:

Проверям:

Создаём файловую систему:

Добавляем каталог /data (сейчас вручную, потом это будет выполняться Ansible):

Монтируем раздел:

Проверяем, пока тут ничего:

Ручная настройка NGINX

Создаём каталог для конфигов NGINX:

Перемещаем файл настроек виртуалхоста

Обновляем /etc/nginx/nginx.conf, добавляем этот каталог:

...
        gzip on;
        gzip_disable "msie6";

        include /etc/nginx/conf.d/*.conf;
        include /data/data-nginx.d/*.conf;
}

Проверяем, перечитываем конфиги:

Проверяем доступность хоста:

Ansible — разделение хостов

Теперь надо всё это вынести в роли Ansible.

Со времени последнего поста файл hosts немного изменился — добавился DB хост и команда для SSH для доступа к нему через Bastion хост (см. пост Ansible: подключение в приватную сеть через Bastion хост):

[rtfm-bastion-dev]
dev.rtfm.co.ua

[rtfm-db-dev]
db.dev.rtfm.co.ua

[rtfm-db-dev:vars]
ansible_ssh_common_args='-o ProxyCommand="ssh -W %h:%p -q admin@dev.rtfm.co.ua -i {{ host_key }}"'

Теперь пора разделить задачи — часть будет выполняться на всех (logrotate, junattended-upgrades, common), часть — только на Bastion, DB или Services.

Сейчас в Jenkins это выполняется через --limit — --limit=${ansibleHostLimit} (скрипт полностью тут>>>):

...
sh "set +x && ansible-playbook --limit=${ansibleHostLimit} --extra-vars api_key=${AMPLIFY_API_KEY} --private-key=credentials/${ansiblePemFile} ${ansiblePlaybookFile}"
...

Наверно лучше будет сделать отдельные плейбуки для каждого из трёх хостов: в --limit будет передаваться Dev или Production, а в переменной ${ansiblePlaybookFile} — плейбук для Bastion, DB или Services.

Т.е., для выполнения на Dev Bastion — команда будет выглядеть так:

А для Production Bastion — так:

Dev и Prod будут иметь в hosts свои переменные.

И заодно переименуем файл плейбука:

Переменные хостов и монтирование диска

Что бы Ansbile монтировал определённый раздел — в hosts добавим переменную data_volume_id для хоста rtfm-bastion-dev, в которой укажем раздел:

[rtfm-bastion-dev]
dev.rtfm.co.ua

[rtfm-bastion-dev:vars]
data_volume_id="/dev/xvdb1"
...

Каталог для монтирования у всех хостов будет один — /data, поэтому добавим блок [all:vars] в котором определим путь:

[all:vars]
data_volume_mount_path="/data"
...

Монтирование раздела можно добавить в роль common, выносим её в начало списка плейбука rtfm-blog-ansible-bastion-provision.yml:

- hosts: all
  become:
    true
  roles:
    - role: common
#    - role: thefinn93.letsencrypt
#      letsencrypt_email: notify@domain.kiev.ua
#      letsencrypt_cert_domains: 
#        - "{{ inventory_hostname }}"
#      letsencrypt_webroot_path: /var/www/html/
#      letsencrypt_renewal_command_args: '--renew-hook "systemctl restart nginx"'
    - role: nginx
    - role: amplify
...

(с Let’s Encrypt пока не придумал, что делать, т.к. домен будет не один и светить их все в репозитории не хочется — пусть будет закомментирован)

Обновляем роль common, в файл tasks/main.yml добавляем монтирование диска:

- name: Mount data-volume "{{ data_volume_id }}" to "{{ data_volume_mount_path }}"
  mount:
    path: "{{ data_volume_mount_path }}"
    src: "{{ data_volume_id }}"
    state: mounted
    fstype: ext4
...

Проверяем синтаксис:

На Dev хосте создадим тестовый файлик:

Отмонтируем раздел:

Запускаем выполнение:

Проверяем на хосте:

ОК, всё работает.

Обновление Jenkins

Что бы не забыть — сразу обновим Jenkins.

Сейчас задача одна, называется rtfm-blog-dev-ansible-provision — переименуем в rtfm-blog-bastion-dev-ansible-provision.

Затем обновим ANSIBLE_HOST_LIMIT со старого значения rtfm-dev на rtfm-bastion-dev (как в обновлённом hosts), и обновим имя файла плейбука с rtfm-blog-ansible-provision.yml на rtfm-blog-ansible-bastion-provision.yml:

Наверно — можно сейчас запушить все изменения.

Просмотреть лог красиво можно так:

(нагуглено тут>>>)

Пушим:

И проверяем билд:

Создание каталога /data и обновление роли nginx

Сейчас всё работает, т.к. сервер и каталог уже есть.

Если удалить стек и запустить создание всего с нуля — билд упадёт, т.к. каталога /data на сервере не будет.

На Dev хосте проверяем права на каталог:

Добавляем его создание в ту же роль common, перед монтированием диска:

- name: Create "{{ data_volume_mount_path }}" directory
  file:
    path: "{{ data_volume_mount_path }}"
    state: directory
    mode: 0755
    recurse: yes

- name: Mount data-volume "{{ data_volume_id }}" to "{{ data_volume_mount_path }}"
  mount:
...

В роли nginx меняем путь копирования файлов.

Сейчас задача выглядит так:

...
- name: Add NGINX {{ inventory_hostname }} virtualhost config
  template:
    src=templates/virtualhosts/{{ inventory_hostname }}.conf
    dest=/etc/nginx/conf.d/{{ inventory_hostname }}.conf
...

Меняем dest с  /etc/nginx/conf.d/ на {{ data_volume_mount_path }}/data-nginx.d/:

...
- name: Add NGINX {{ inventory_hostname }} virtualhost config
  template:
    src=templates/virtualhosts/{{ inventory_hostname }}.conf
    dest={{ data_volume_mount_path }}/data-nginx.d/{{ inventory_hostname }}.conf
...

Проверяем:

(!810 — повторить из history команд)

Обновляем шаблон roles/nginx/templates/nginx.conf:

...
        include /etc/nginx/conf.d/*.conf;
        include {{ data_volume_mount_path }}/data-nginx.d/*.conf;
}

Запускаем:

Проверяем:

Ну — вроде всё…

Для полной проверки — удаляем весь CloudFormation стек:

Создаём его заново из Jenkins задачи:

И повторяем Ansible provision:

Проверяем:

Готово — на сегодня хватит 🙂

Что ещё надо сделать на Bastion:

1. Let’s Encrypt
2. exim config
3. hostname config
4. before-after reboot notify
5. .bashrc, .vimrc
6. dnsutils
7. simple-backup