Prometheus — open-source система мониторинга, изначально разработанная в в 2012, публичный релиз состоялся в 2015.
Сам Prometheus написан большей частью на Go, компоненты связываются по HTTP.
Для визуализации имеет собственные графики, но может работать с системами типа (о ней позже, тоже будем применять).
Данные хранит локально, в собственной базе, индексы хранятся в . Подробнее — .
Метрики представляют собой данные — каждая состоит из имени метрики, временной метки и пары «ключ — значение». Больше деталей — .
Содержание
Компоненты
сам
для работы с кратковременными процессами (когда сервис работает слишком мало времени, что бы Prometheus имел возможность выполнять к нему запросы для получения метрик)
для сбора метрик из сторонних сервисом (и таких экспортёров — миллион, и имя им легион)
— менеджер уведомлений (умеет Slack, почту и т.д.)
В целом архитектура самого Prometheus выглядит примерно так:
Больше — в .
Пробный запуск
Самый просто способ увидеть Prometheus в действии — запустить Docker контейнер.
Выполняем docker run -p 9090:9090 prom/prometheus:
time="2017-09-18T09:02:34Z" level=info msg="Listening on :9090" source="web.go:259"
...
И открываем дашборд на :
Пример графика метрики времени выполнения проверок:
Другие примеры запуска — в документации .
Сначала запустим Prometheus локально, в будущем — будем разворачивать и обновлять с помощью Ansbile, например — /(ну — по крайней мере так планируется на данный момент).
Запуск Prometheus
Запуск Docker контейнера — это хорошо, но посмотреть на Prometheus «изнутри» — нужно.
HELP go_gc_duration_seconds A summary of the GC invocation durations.
TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0
HELP go_goroutines Number of goroutines that currently exist.
Теперь — добавим их в Prometheus.
Редактируем prometheus.yml, добавляем новые таргеты:
...
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: 'prometheus'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['localhost:9090']
- job_name: 'example-random'
# Override the global default and scrape targets from this job every 5 seconds.
scrape_interval: 5s
static_configs:
- targets: ['localhost:8080', 'localhost:8081']
labels:
group: 'production'
- targets: ['localhost:8082']
labels:
group: 'canary'
Перезапускам Prometheus, проверяем:
Отлично!
Одна нода Down, т.к. конфиг копировал из документации, а ноды у себя запускал на портах 8081-8083. ОК, работает, идём дальше.
Фильтры и запросы Promeheus
Отфильтруем запросы в графиках.
Если перейти в графики и выбрать, например, go_gc_duration_seconds_count — будут отображены метрики от всех таргетов:
Используем Prometheus.
Обновляем выражение в строке консоли. В примере файла настроек выше мы добавили три таргета в две группы — два таргета в production, один — в canaris.
Сделаем выборку по production, форматируем запрос:
INFO[0000] Listening on :9100 source="node_exporter.go:186"
Отдаёт — все замечательно.
Редактируем prometheus.yml, добавляем новый таргет:
...
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: 'prometheus'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['localhost:9090']
- job_name: 'example-random'
# Override the global default and scrape targets from this job every 5 seconds.
scrape_interval: 5s
static_configs:
- targets: ['localhost:8080', 'localhost:8081']
labels:
group: 'production'
- targets: ['localhost:8082']
labels:
group: 'canary'
- job_name: "node_local"
scrape_interval: "5s"
static_configs:
- targets: ['localhost:9100']
labels:
group: 'local'
Запускаем, проверяем таргеты:
Графики:
Всё работает.
Итоги
Prometheus потрогал первый раз. Весьма понравился как возможностями, так и удобством настройки и запуска.
Всё легко запускается в Docker, все настройки в файлах — отлично.
Далее — добавлю к нему Grafana, посмотрю на мониторинг уже Docker контейнеров, отдельных приложений (типа NodeJS) и начнём внедрять.
Prometheus — open-source система мониторинга, изначально разработанная в в 2012, публичный релиз состоялся в 2015.
Больше — в .
Используем Prometheus.
