Сейчас в Prometehus мы собираем метрики из AWS CLoudWatch с помощью CloudWatch exporter от самого AWS, см. Prometheus: CloudWatch exporter — сбор метрик из AWS и графики в Grafana, однако, у него есть несколько недостатков:
- написан на Java, тяжёлый — грузит хост мониторнига
- не подтягивает теги
- использует для получения метрик
- умеет собирать метрики только из одного региона — для нескольких регионов потребутеся запускать несколько експортёров
Что бы избавиться от этих проблем — используем вместо него .
AWS CloudWatch — недостатки
Tags
Первое, что крайне неудобно — это отсутствие тегов в метриках, собираемых дефолтным експортёром.
Например, Application Load Balancer возвращается в таком виде:
Тогда как у самого ALB тегов намного больше:
И сейчас в Grafana нет никакой возможности эти теги использовать для выборки.
GetMetricStatistics vs GetMetricData
Второй нюанс — это то, как експортер собирает метрики, т.к. он использует AWS API .
Два года тому была открыта issue — но воз и ныне там.
Проблема заключается в том, что при на каждую метрику выполняется отдельный API-запрос.
Т.е., если у вас 100 ЕС2-инстансов, и у каждого 10 метрик — то cloudwatch-exporter будет выполнять 1000 запросов каждые 60 секунд, что в результате выливается в приличные деньги:
В отличии от AWS cloudwatch-exporter, в yet-another-cloudwatch-exporter используется запрос , который позволяет получить до 500 метрик при выполнении единого запроса.
Запуск yet-another-cloudwatch-exporter
Попробуем получить данные.
Создаём файл с данными доступа к AWS, назовём его alb-cred:
[default] aws_region = us-east-2 aws_access_key_id = AKI***D4Q aws_secret_access_key = QUC***BTI
Либо можно использовать AWS EC2 Instance Profile, но в его политику надо добавить разрешения на выполенние таких вызовов:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "CloudWatchExporterPolicy",
"Effect": "Allow",
"Action": [
"tag:GetResources",
"cloudwatch:ListTagsForResource",
"cloudwatch:GetMetricData",
"cloudwatch:ListMetrics"
],
"Resource": "*"
}
]
}
Создаём файл настроек самого експортёра:
discovery:
jobs:
- regions:
- us-east-2
type: elb
enableMetricData: true
metrics:
- name: ActiveConnectionCount
statistics:
- Sum
period: 300
length: 600
Запускаем его:
И пробуем метрики:
Теперь видим все теги.
Настройка yet-another-cloudwatch-exporter
exportedTagsOnMetrics
Список тегов, которые експортер будет получать вместе с метриками может быть ограничен exportedTagsOnMetrics.
Например — оставим только теги:
discovery:
exportedTagsOnMetrics:
alb:
- Name
- kubernetes.io/service-name
- ingress.k8s.aws/cluster
- kubernetes.io/namespace
...
SeacrhTags
Также, можно граничить список ресурсов, с которых будем собирать метрики (аналог в експортёре от AWS).
Например, ограничим выбор кластером «bttrm-eks-prod-1» — приводим файл к виду:
discovery:
exportedTagsOnMetrics:
alb:
- Name
- kubernetes.io/service-name
- ingress.k8s.aws/cluster
- kubernetes.io/namespace
jobs:
- type: alb
regions:
- us-east-2
searchTags:
- Key: ingress.k8s.aws/cluster
Value: bttrm-eks-prod-1
metrics:
- name: UnHealthyHostCount
statistics: [Maximum]
period: 60
length: 600
- name: ActiveConnectionCount
statistics: [Sum]
period: 300
length: 600
Проверяем:
Теперь получаем метрики только с одного кластера, и только нужными нам тегами.
Запуск в Prometheus
У нас весь стек мониторинга запускается из Docker Compose — добавляем туда новый ексопртёр:
...
yace-clouwatch-exporter:
image: quay.io/invisionag/yet-another-cloudwatch-exporter:v0.19.1-alpha
networks:
- prometheus
ports:
- 5000:5000
volumes:
- /etc/prometheus/prometheus-yace-cloudwatch-exporter.yaml:/tmp/config.yml:ro
restart: unless-stopped
Обновляем конфиг самого Prometheus — добавляем новый таргет:
...
scrape_configs:
- job_name: 'yace-clouwatch-exporter'
metrics_path: '/metrics'
static_configs:
- targets: ['yace-clouwatch-exporter:5000']
...
Проверяем таргет:
И метрики:
Графики в Grafana
И теперь можем использовать эти метрики в Grafana с выборкой по, например, окружению — dev, stage, prod (см. Grafana: создание dashboard):
А $env формируется из нашей лейблы ekscluster, которая добавляется ко всем ресурсам во время создания кластера из CloudFormation (см. AWS Elastic Kubernetes Service: автоматизация создания кластера, часть 1 — CloudFormation):
Готово.
