Prometheus: получить общее количество процессов на сервере и process-exporter

Начали у нас на бекенде размножаться процессы.

Причина сейчас не важна, интересно другое: захотелось собирать метрики по общему количеству процессов на хостах, но, внезапно — node-exporter такого не умеет: у него есть только метрики node_procs_running и node_procs_blocked, а хочется видеть количество процессов и в Sleep, и в Zombie.

Используем вместо него process-exporter.

Запускаем для проверки вручную:

Проверяем метрики:

Окей — в целом метрики идут, но нет тех, что нам нужны, а нужны нам РНР — значит используем селектор.

Создаём конфиг:

process_names:
  - comm:
    - php

Запускаем:

Проверяем:

Вот и оно.

Отлично.

Хотя — а почему тут по нулям?

А, не, всё OK — 8 в Sleep:

namedprocess_namegroup_states{groupname=»php»,state=»Sleeping»} 8

Осталось добавить его в Ansible.

Создаём шаблон конфига — roles/prometheus-client/templates/process-exporter.yml.j2, используя {%raw%}...{% endraw %}:

process_names:
  - name: "{% raw %}{{.Comm}}{% endraw %}"
    comm:
    - php

В roles/prometheus-client/tasks/main.yml добавляем его копирование на сервера:

...
- name: "Copy process-exporter config file"
  template:
    src: "templates/process-exporter.yml.j2"
    dest: "{{ prometheus_client_home }}/process-exporter.yml"
...

В Docker Compose файл, который запускает все експортеры — добавляем новый экспортер и монтирование каталога /proc и файла настроек:

...
  process_exporter:
    privileged: true
    image: ncabatoff/process-exporter
    volumes:
      - /opt/prometheus-client/process-exporter.yml:/config/process-exporter.yml
      - /proc:/host/proc
    command:
      - '-config.path=/config/process-exporter.yml'
      - '--procfs=/host/proc'
    ports:
    - 9256:9256
...

Добавляем сбор метрик с этого експортёра в самом Prometheus, roles/prometheus-client/templates/prometheus-app-client-conf.yml.j2:

...
  - job_name: 'process_exporter'
    static_configs:
      - targets:
        - 'localhost:9256'
...

Деплоим, проверяем:

Отлично.

И в самом Prometheus:

Готово.

Осталось добавить алерты, например в Ansible-шаблоне тестовый алерт будет может так:

...
- name: ProcessExplorer.rules

  rules:

  - alert: PHPProcessesTotalInfo
    expr: namedprocess_namegroup_num_procs > 1
    for: 1s
    labels:
      severity: info
    annotations:
      summary: 'PHP processes number alert!'
      description: "App host: {% raw %}{{ $labels.host }}{% endraw %}\nProcesses count: {% raw %}{{ $value | humanize }}{% endraw %} during last 10 minutes!"
...

Деплоим, проверяем снова:

Готово.