Prometheus: мониторинг – введение, установка, запуск, примеры

Prometheus – open-source система мониторинга, изначально разработанная в SoundCloud в 2012, публичный релиз состоялся в 2015.

Сам Prometheus написан большей частью на Go, компоненты связываются по HTTP.

Для визуализации имеет собственные графики, но может работать с системами типа Grafana (о ней позже, тоже будем применять).

Данные хранит локально, в собственной TSDB базе, индексы хранятся в LevelDB. Подробнее – тут>>>.

Метрики представляют собой time series данные – каждая состоит из имени метрики, временной метки и пары «ключ — значение». Больше деталей – тут>>>.

Компоненты

• сам сервер Prometheus
• клиентские библиотеки
• push gateway для работы с кратковременными процессами (когда сервис работает слишком мало времени, что бы Prometheus имел возможность выполнять к нему запросы для получения метрик)
• exporters для сбора метрик из сторонних сервисом (и таких экспортёров – миллион, и имя им легион)
• alertmanager – менеджер уведомлений (умеет Slack, почту и т.д.)

В целом архитектура самого Prometheus выглядит примерно так:

Больше – в документации.

Пробный запуск

Самый просто способ увидеть Prometheus в действии – запустить Docker контейнер.

Выполняем docker run -p 9090:9090 prom/prometheus:

И открываем дашборд на localhost:9090:

Пример графика метрики времени выполнения проверок:

Другие примеры запуска – в документации тут>>>.

Сначала запустим Prometheus локально, в будущем – будем разворачивать и обновлять с помощью Ansbile, например – William-Yeh/ansible-prometheus (ну – по крайней мере так планируется на данный момент).

Запуск Prometheus

Запуск Docker контейнера – это хорошо, но посмотреть на Prometheus “изнутри” – нужно.

Загружаем архив со страницы загрузок:

Содержимое каталога:

• prometheus – исполняемый файл сервера
• prometheus.yml – файл настроек, полная документация тут>>>

Есть и Prometheus CLI – но пока не пользовался им.

Файл настроек по умолчанию умеет мониторить сам Prometheus.

Помощь – стандартно, через --help:

Например – там есть параметр для указания директории для данных:

...
      --storage.tsdb.path="data/"  
                                 Base path for metrics storage.
...

Запускаем, посмотрим:

Появился каталог с данными:

Просмотреть метрики по умолчанию можно открыв http://localhost:9090/metrics:

Примеры

Добавление targets

Не будем отходить далеко от Getting started – продолжим с добавления локальных таргетов для мониторинга.

Клонируем тестовые клиенты:

Запускаем три клиента:

Каждый начинает отдавать набор метрик:

Теперь – добавим их в Prometheus.

Редактируем prometheus.yml, добавляем новые таргеты:

...
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ['localhost:9090']

  - job_name:       'example-random'

    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 5s

    static_configs:
      - targets: ['localhost:8080', 'localhost:8081']
        labels:
          group: 'production'

      - targets: ['localhost:8082']
        labels:
          group: 'canary'

Перезапускам Prometheus, проверяем:

Отлично!

Одна нода Down, т.к. конфиг копировал из документации, а ноды у себя запускал на портах 8081-8083. ОК, работает, идём дальше.

Фильтры и запросы Promeheus

Отфильтруем запросы в графиках.

Если перейти в графики и выбрать, например, go_gc_duration_seconds_count – будут отображены метрики от всех таргетов:

Используем язык запросов Prometheus.

Обновляем выражение в строке консоли. В примере файла настроек выше мы добавили три таргета в две группы – два таргета в production, один – в canaris.

Сделаем выборку по production, форматируем запрос:

go_gc_duration_seconds_count{group="production",job="example-random"}

Жмём Execute:

ОК, работает. Очень удобно.

Еднственный момент – в группе production добавлено два таргета, а в графике выводится только один – потому что второй в Down.

Запускаем ещё один random таргет, проверяем снова:

Обновляем страницу:

Замечательно.

Exporters

Теперь для примера – добавим Node exporter, что бы промониторить ресурсы локального сервера (вообще-то – рабочего ноутбука, на котором сейчас запущен Prometheus).

Качаем со страницы загрузок:

Список коллекторов (т.е. метрик, которые будет отдавать експортёр) есть в README.

Запускаем:

Собственно – повторяем те же дейсвия.

Проверим доступные метрики:

Отдаёт – все замечательно.

Редактируем prometheus.yml, добавляем новый таргет:

...
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ['localhost:9090']

  - job_name:       'example-random'

    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 5s

    static_configs:
      - targets: ['localhost:8080', 'localhost:8081']
        labels:
          group: 'production'

      - targets: ['localhost:8082']
        labels:
          group: 'canary'

  - job_name: "node_local" 
    scrape_interval: "5s" 
    static_configs: 
    - targets: ['localhost:9100'] 
      labels: 
        group: 'local'

Запускаем, проверяем таргеты:

Графики:

Всё работает.

Итоги

Prometheus потрогал первый раз. Весьма понравился как возможностями, так и удобством настройки и запуска.

Всё легко запускается в Docker, все настройки в файлах – отлично.

Далее – добавлю к нему Grafana, посмотрю на мониторинг уже Docker контейнеров, отдельных приложений (типа NodeJS) и начнём внедрять.

Ссылки по теме

Сайт проекта

Checking if SSH is responding with Prometheus

How To Use Prometheus to Monitor Your Ubuntu 14.04 Server

How to Use Prometheus to Monitor Your CentOS 7 Server

Prometheus Monitoring With Grafana

Initial experiences with the Prometheus monitoring system

Мониторинг сервисов с Prometheus

Prometheus — практическое использование

Мониторинг докер-хостов, контейнеров и контейнерных служб

Monitoring with Prometheus, Grafana & Docker Part 1