AWS: Cost Explorer — проверка расходов на примере CloudWatch Logs

Автор: | 09/07/2021
 

Данный пост — не полноценный обзор возможностей Cost Explorer (а их много), но больше просто пример того, как с его помощью можно отследить расходы.

В данном случае, вернувшись из отпуска обратил внимание, что за август существенно выросли расходы на CloudWatch — до 50 долларов в день (входит в Others на графике):

 

Что бы узнать, на что именно расходуем деньги — в Filters выбираем CloudWatch, а в Group by включаем Usage type:

И видим, что существенно выросло DataProcessing-Bytes, что сразу наводит на мысль об CloudWatch Logs.

Проверим — переключаем Group by на API Operation:

И видим, что — вау! из 50 долларов в день 40 тратится только на то, что бы записывать события в CloudWatch Logs! Имя операции PutLogEvents говорит само за себя.

Окей, теперь осталось узнать какая именно Log Group больше всего генерит трафика.

Переходим в CloudWatch Metrics, выбираем LogsLog Groups Metrics:

Выбираем все IncomingBytes, и видим график активности всех log group:

В топе у нас Aurora кластер, в котором включены general log для мониторинга логинов в систему, один EKS кластер — Dev, на котором много чего происходит, и группа cloudtrail-bttrm-management-events, в которую пишет события CloudTrail, см. AWS: CloudTrail — обзор и интеграция с CloudWatch и Opsgenie.

Собственно, осталось только подтюнить настройки логгирования этих сервисов.

Для CloudTrail можно отключить сбор данных о Write-операциях, т.к. мы не стали создавать метрики, основанные на этих событиях, плюс добавить исключения для активности KMS и некоторых операциях в RDS:

И отключить все или часть логов для EKS кластера:

Готово.