Архів категорії: Monitoring

Моніторинг серверів, мереж та обладнання

Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail
0 (0)

20 Травня 2023

Збирати логи у Grafana Loki з Kubernetes дуже просто – запускаємо Promtail у DaemonSet, йому вказуємо читати всі дані з /var/logs – і готово (насправді взагалі нічого не вказуємо – з Helm-чарту все працює з коробки). А от як бути з CloudWatch Logs? На новому проекті маємо купу AWS Lambda, API Gateways і т.д, і… Read More: Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail0… »

Loading

Prometheus: запуск Pushgateway у Kubernetes з Helm та Terraform
0 (0)

28 Квітня 2023

Маємо на проекті багато AWS Lambda функцій, з яких девелопери хочуть мати можливість відправляти метрики до нашого Prometheus, щоб додати власних алертів та графіків у Grafana. Для цього у функціях використовується бібліотека Prometheus, яка дозволяє ці метрики створювати (див. Prometheus: створення Custom Prometheus Exporter на Python), але ж ми не маємо змоги нормально отримати ці… Read More: Prometheus: запуск Pushgateway у Kubernetes з Helm та Terraform0 (0) »

Loading

GitLab: моніторинг – Prometheus, метрики, та Grafana dashboard
0 (0)

11 Березня 2023

Отже, продовжуємо нашу подорож з міграцією GitLab до себе в Kubernetes. Див. попередні частини: GitLab: компоненти, архітектура, інфраструктура та запуск з Helm-чарту в Minikube GitLab: Helm-чарт values, залежності та деплой у Kubernetes з AWS S3 GitLab: міграція даних з GitLab cloud та процес backup-restore у self-hosted версії в Kubernetes В цілому – все працює, і… Read More: GitLab: моніторинг – Prometheus, метрики, та Grafana dashboard0 (0) »

Loading

Prometheus: створення Custom Prometheus Exporter на Python
0 (0)

18 Лютого 2023

У Прометеуса є багато готових до використання експортерів, але інколи може з’явитися потреба у зборі своїх власних метрик. Для цього Прометеус надає клієнтські бібліотеки, які можемо використати для генерації метрик з потрібними лейблами. Експортер можна включити прямо в код вашого додатку, або можна запускати окремим сервісом, який буде звертатися до якогось вашого сервісу і отримувати… Read More: Prometheus: створення Custom Prometheus Exporter на Python0 (0) »

Loading

Kubernetes: моніторинг вартості кластеру – Kubernetes Resource Report та Kubecost
0 (0)

23 Січня 2023

Дуже правильне діло – моніторити, наскільки ефективно використовується кластер, особливо, якщо ресурси деплояться розробниками, які не сильно вникають у requests, і встановлюють завищені значення “про запас”. Запас, звичайно, потрібен, але й просто так реквестити ресурси ідеї погана. Наприклад, у вас є WorkerNode з 4 vCPU (4000 milicpu) та 16 ГБ оперативної пам’яті, і ви створюєте… Read More: Kubernetes: моніторинг вартості кластеру – Kubernetes Resource Report та Kubecost0… »

Loading

Grafana Loki: можливості LogQL для роботи з логами та створення метрик для алертів
0 (0)

30 Грудня 2022

Добре – Loki запускати навчились – Grafana Loki: архітектура та запуск в Kubernetes з AWS S3 storage та boltdb-shipper, як налаштовувати алерти теж розібрались – Grafana Loki: алерти з Ruler та labels з логів. Тепер час розібратися з тим, що взагалі ми можемо робити в Loki використовуючи її LogQL. Підготовка Далі для прикладів будемо використовувати два… Read More: Grafana Loki: можливості LogQL для роботи з логами та створення… »

Loading

Grafana Loki: алерти з Ruler та labels з логів
0 (0)

28 Грудня 2022

Загальну інформацію по Grafana Loki див. у Grafana Loki: архітектура та запуск в Kubernetes з AWS S3 storage та boltdb-shipper. Серед інших сервісів, які складають собою Loki, є окремий сервіс ruler, який відповідає за роботу з алертами, які можно генерити прямо з логів. Ідея дуже проста: створюємо файл з алертами в  Prometheus-like форматі підключаємо його… Read More: Grafana Loki: алерти з Ruler та labels з логів0 (0) »

Loading

Grafana Loki: архітектура та запуск в Kubernetes з AWS S3 storage та boltdb-shipper
0 (0)

25 Грудня 2022

Останній раз працював з Loki коли вона була ще в Beta, і виглядала вона тоді набагато простіше, ніж зараз. У новому проекті системи логування немає взагалі, а так як у нас усі люблять Grafana-стек – то вирішили і для логів підняти Loki. Правда мені думалося, що все буде набагато простіше. Виявилося – ні. Багато змінилося,… Read More: Grafana Loki: архітектура та запуск в Kubernetes з AWS S3… »

Loading

Prometheus: моніторинг ендпоінтів в Kubernetes з blackbox-exporter
0 (0)

10 Грудня 2022

Про blackbox-exporter я вже колись писав, див. Prometheus: Alertmanager и blackbox-exporter – проверка срока действия SSL и нотификация в Slack, але там було чисто про моніторинг SSL-сертіфікатів, та й було то давно, та й сетапилось все без Кубернетісу та Хельму. Цього разу трохи детальніше про його сетап і можливості. Отже, blackbox-exporter – це експортер, який… Read More: Prometheus: моніторинг ендпоінтів в Kubernetes з blackbox-exporter0 (0) »

Loading

PostgreSQL: запуск в Kubernetes з PostgreSQL Operator та моніторинг з Prometheus
0 (0)

21 Вересня 2022

Отже, Друід ми запустили – див. Apache Druid: огляд, запуск в Kubernetes та моніторинг з Prometheus. Поки що в дефолтному вигляді, тобто в ролі сторейджа для метаданих використовується локальна база Apache Derby. Далі будемо переключати Друід на PostgreSQL, ще згодом – прибирати звідти ZooKeeper. Ну а для початку – запустимо кластер PostgreSQL в Kubernetes, додамо… Read More: PostgreSQL: запуск в Kubernetes з PostgreSQL Operator та моніторинг з… »

Loading