Архив метки: monitoring

Kubernetes: мониторинг стоимости кластера – Kubernetes Resource Report и Kubecost

23 января 2023
 

 Очень полезное дело – мониторить то, насколько эффективно используется кластер, особенно, если приложения деплоятся девелоперами, которые не сильно вникают в requests, и устанавливают завышенные значения “про запас”. Запас, конечно, нужен – но и просто так реквестить ресурсы идея плохая. К примеру, у вас есть WorkerNode у которой 4 vCPU (4.000 milicpu) и 16 GB RAM,… Читать далее »

Grafana Loki: алерты с Ruler и labels из логов

15 декабря 2022
 

 Пока пост по архитектуре и запуску Loki ещё в черновиках – посмотрим, как в Loki создавать алерты, за которые отвечает сервис ruler. Документация по алертам в Loki – Rules and the Ruler. Идея простая: создаём файл с алертами в Prometheus-like формате подключаем его к ruler ruler парсит логи по заданным в конфиге выражениям, и пушит… Читать далее »

PostgreSQL: запуск в Kubernetes з PostgreSQL Operator и мониторинг с Prometheus

5 октября 2022
 

  Итак, Друид мы запустили. Apache Druid: обзор, запуск в Kubernetes и мониторинг с Prometheus . Пока что в дефолтном виде, то есть в роли сторейджа для метаданных используется локальная база Apache Derby . Дальше будем переключать Друид на PostgreSQL, еще позже – убирать оттуда ZooKeeper. Ну а для начала – запустим кластер PostgreSQL в Kubernetes, добавим PostgreSQL Exporter для Promethues и настроим сбор… Читать далее »

AWS: VPC Flow Logs – описание и пример с CloudWatch Logs Insights

9 июня 2022
 

 AWS VPC Flow Logs позволяет логгировать инфомрацию о трафике между сетевыми интерфейсами в VPC. Далее, эти логи могут быть сохранены в AWS S3 или отправлены в AWS CloudWatch Logs, при этом включение логгирования трафика никак не виляет на производительность работы сетевого интерфейса. Кратко рассмотрим основные понятия, доступные настройки и настроим Flow Logs для VPC с… Читать далее »

Prometheus: мониторинг AWS Load Balancer Controller Controller в AWS EKS

10 декабря 2021
 

 “Внезапно”, но AWS ALB Controller умеет в метрики для Prometheus. Используем стандартный URI /metrics. Для начала – проверим, что метрики в поде есть. Находим под: [simterm] $ kk -n kube-system get pod | grep aws aws-load-balancer-controller-7bdcf75789-wk4bt 1/1 Running 0 41h [/simterm] Пробрасываем на него порт: [simterm] $ kk port-forward -n kube-system pods/aws-load-balancer-controller-7bdcf75789-wk4bt 8080:8080 Forwarding from… Читать далее »

Prometheus: Recording Rules и теги – разделяем алерты в Slack

26 ноября 2021
 

 С 2018 года используем Opsgenie, который получает алерты от Prometheus, CloudWatch и Uptrends, которые потом через Slack-интеграцию отправляет нам в Slack. Интеграции Slack на данный момент выглядят так: В каждой из них настроен фильтр по уровню важности, например интеграция P1, P2 > Slack #devops-alarms-warning: Но есть проблема: так как каналы получаются общие, то все алерты… Читать далее »

AWS: Trusted Advisor, часть 2 – алерты CloudWatch и уведомления в Slack

25 ноября 2021
 

 В продолжение темы по работе с AWS TrustedAdvisor – рассмотрим настройку отправки уведомлений и обновление данных в Trusted Advisor. Начало – AWS: Trusted Advisor, часть 1 – обзор возможностей. Что бы настроить уведомления – используем метрики Trusted Advisor, которые он шлёт в CloudWatch, см. список на странице Trusted Advisor metrics and dimensions. Далее, CloudWatch будет… Читать далее »

Prometheus: prometheus_replica и дублирование метрик

4 августа 2021
 

 После запуска Prometheus в виде трёх подов, см. Prometheus: ошибки «federation failed: broken pipe» и «Received SIGTERM, exiting gracefully» — постоянные рестарты – метрики начали дублироваться: Одна метрика получена от инстанса prometheus_replica=”prometheus-prometheus-prometheus-oper-prometheus-1″, вторая – от prometheus_replica=”prometheus-prometheus-prometheus-oper-prometheus-2″, так как запущено три пода: [simterm] $ kubectl -n monitoring get pod | grep oper-prometheus prometheus-prometheus-prometheus-oper-prometheus-0 3/3 Running 1… Читать далее »

AWS: WAF WebACL логи и Logz.io

21 июля 2021
 

 Продолжаем разбираться с AWS WAF. В посте AWS: обзор и настройка Web Application Firewall и его мониторинга ознакомились с основными компонентами, настроили ACL и Rules, подключили базовый мониторинг. Там же настроили сбор логов WAF в AWS Kinesis, теперь хочется их увидеть в Logz.io, пока недоступен CloudWatch Logs. В этом посте ещё раз настроим отправку логов… Читать далее »

AWS: CloudTrail – обзор и интеграция с CloudWatch и Opsgenie

16 июня 2021
 

 AWS CloudTrail явлется сервисом для аудита событий в AWS-аккаунте и включен в каждом аккаунте по-умолчанию. В него записываются события обо всех событиях в аккаунте, которые были сделаны пользователем, ролью или сервисом AWS через AWS Console, AWS CLI или AWS SDK. Записывает API-вызовы, логины в систему, события сервисов и является незаменимым инструментом для обеспечения безопасности AWS-аккаунта.… Читать далее »