Архів категорії: Monitoring

Моніторинг серверів, мереж та обладнання

Prometheus: GitHub Exporter – пишемо власний експортер для GitHub API

1 Червня 2023
 

 Прийшла досить цікава задачка – побудувати в Grafana дашборду, в якій би відображався статус процессу розробки, а саме – перформанс, тобто ефективність наших DevOps-процесів. Потрібно це тому, что ми намагаємось побудувати “true continuous deployment”, щоб код автоматично потрапляв у Production, і нам важливо бачити як саме проходить процес розробки. Загалом для оцінки ефективності процессу розробки… Читати далі »

Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail

20 Травня 2023
 

 Збирати логи у Grafana Loki з Kubernetes дуже просто – запускаємо Promtail у DaemonSet, йому вказуємо читати всі дані з /var/logs – і готово (насправді взагалі нічого не вказуємо – з Helm-чарту все працює з коробки). А от як бути з CloudWatch Logs? На новому проекті маємо купу AWS Lambda, API Gateways і т.д, і… Читати далі »

Prometheus: запуск Pushgateway у Kubernetes з Helm та Terraform

28 Квітня 2023
 

 Маємо на проекті багато AWS Lambda функцій, з яких девелопери хочуть мати можливість відправляти метрики до нашого Prometheus, щоб додати власних алертів та графіків у Grafana. Для цього у функціях використовується бібліотека Prometheus, яка дозволяє ці метрики створювати (див. Prometheus: створення Custom Prometheus Exporter на Python), але ж ми не маємо змоги нормально отримати ці… Читати далі »

GitLab: моніторинг – Prometheus, метрики, та Grafana dashboard

11 Березня 2023
 

 Отже, продовжуємо нашу подорож з міграцією GitLab до себе в Kubernetes. Див. попередні частини: GitLab: компоненти, архітектура, інфраструктура та запуск з Helm-чарту в Minikube GitLab: Helm-чарт values, залежності та деплой у Kubernetes з AWS S3 GitLab: міграція даних з GitLab cloud та процес backup-restore у self-hosted версії в Kubernetes В цілому – все працює, і… Читати далі »

Prometheus: створення Custom Prometheus Exporter на Python

18 Лютого 2023
 

 У Прометеуса є багато готових до використання експортерів, але інколи може з’явитися потреба у зборі своїх власних метрик. Для цього Прометеус надає клієнтські бібліотеки, які можемо використати для генерації метрик з потрібними лейблами. Експортер можна включити прямо в код вашого додатку, або можна запускати окремим сервісом, який буде звертатися до якогось вашого сервісу і отримувати… Читати далі »

Kubernetes: моніторинг вартості кластеру – Kubernetes Resource Report та Kubecost

23 Січня 2023
 

  Дуже правильне діло – моніторити, наскільки ефективно використовується кластер, особливо, якщо ресурси деплояться розробниками, які не сильно вникають у requests, і встановлюють завищені значення “про запас”. Запас, звичайно, потрібен, але й просто так реквестити ресурси ідеї погана. Наприклад, у вас є WorkerNode з 4 vCPU (4000 milicpu) та 16 ГБ оперативної пам’яті, і ви… Читати далі »

Grafana Loki: можливості LogQL для роботи з логами та створення метрик для алертів

30 Грудня 2022
 

 Добре – Loki запускати навчились – Grafana Loki: архітектура та запуск в Kubernetes з AWS S3 storage та boltdb-shipper, як налаштовувати алерти теж розібрались – Grafana Loki: алерти з Ruler та labels з логів. Тепер час розібратися з тим, що взагалі ми можемо робити в Loki використовуючи її LogQL. Підготовка Далі для прикладів будемо використовувати два… Читати далі »

Grafana Loki: алерти з Ruler та labels з логів

28 Грудня 2022
 

 Загальну інформацію по Grafana Loki див. у Grafana Loki: архітектура та запуск в Kubernetes з AWS S3 storage та boltdb-shipper. Серед інших сервісів, які складають собою Loki, є окремий сервіс ruler, який відповідає за роботу з алертами, які можно генерити прямо з логів. Ідея дуже проста: створюємо файл з алертами в  Prometheus-like форматі підключаємо його… Читати далі »

Grafana Loki: архітектура та запуск в Kubernetes з AWS S3 storage та boltdb-shipper

25 Грудня 2022
 

  Останній раз працював з Loki коли вона була ще в Beta, і виглядала вона тоді набагато простіше, ніж зараз. У новому проекті системи логування немає взагалі, а так як у нас усі люблять Grafana-стек – то вирішили і для логів підняти Loki. Правда мені думалося, що все буде набагато простіше. Виявилося – ні. Багато… Читати далі »

Prometheus: моніторинг ендпоінтів в Kubernetes з blackbox-exporter

10 Грудня 2022
 

 Про blackbox-exporter я вже колись писав, див. Prometheus: Alertmanager и blackbox-exporter – проверка срока действия SSL и нотификация в Slack, але там було чисто про моніторинг SSL-сертіфікатів, та й було то давно, та й сетапилось все без Кубернетісу та Хельму. Цього разу трохи детальніше про його сетап і можливості. Отже, blackbox-exporter – це експортер, який… Читати далі »