Одним прекрасным утром девелоперы пожаловались, что не создаются AWS LoadBalancer из Ingress нашего Dev-кластера Kubernetes (AWS EKS).
Балансеры создаются через AWS ALB Controller, см. AWS Elastic Kubernetes Service: запуск ALB Ingress controller.
Сама ошибка в лога контроллера выглядела так:
E0304 07:12:38.595113 1 controller.go:217] kubebuilder/controller «msg»=»Reconciler error» «error»=»no object matching key \»test-namespace/test-ingress\» in local store» «controller»=»alb-ingress-controller» «request»={«Namespace»:»test-namespace»,»Name»:»test-ingress»}
E0304 07:12:39.610204 1 controller.go:217] kubebuilder/controller «msg»=»Reconciler error» «error»=»failed to build LoadBalancer configuration due to failed to get AWS tags. Error: InvalidSignatureException: Signature not yet current: 20210304T071239Z is still later than 20210304T071056Z (20210304T070556Z + 5 min.)\n\tstatus code: 400, request id: 0ee08317-ca50-4b20-b136-49e6dda2b4ff» «controller»=»alb-ingress-controller» «request»={«Namespace»:»test-namespace»,»Name»:»test-ingress»}
Сам текст «20210304T071239Z is still later than 20210304T071056Z» подсказало направление мысли, а быстрое гугление по запросу «InvalidSignatureException: Signature not yet current» привело к этому треду в Github Issues, где обсуждается AWS SDK и проблема с синхронизацией времени.
Пробуем просто пересоздать под с ALB Controller — по идее, после рестарта он начнёт правильно отсчитывать время, и всё заработает.
Находим деплоймент контроллера:
[simterm]
$ kk -n kube-system get deploy NAME READY UP-TO-DATE AVAILABLE AGE alb-ingress-controller 1/1 1 1 96d
[/simterm]
Скейлим в ноль:
[simterm]
$ kk -n kube-system scale deploy alb-ingress-controller --replicas=0 deployment.apps/alb-ingress-controller scaled
[/simterm]
Обратно в 1 под:
[simterm]
$ kk -n kube-system scale deploy alb-ingress-controller --replicas=1 deployment.apps/alb-ingress-controller scaled
[/simterm]
Проверяем под:
[simterm]
$ kk -n kube-system get pod | grep alb alb-ingress-controller-7bd97f99bb-bzzdm 1/1 Running 0 4s
[/simterm]
Пересоздаём тестовый Ingress:
[simterm]
$ kk -n test-namespace get ingress NAME CLASS HOSTS ADDRESS PORTS AGE test-ingress <none> * aadca942-testnamespace-tes-***.us-east-2.elb.amazonaws.com 80 4m53s
[/simterm]
Всё заработало.
Позже нашёл ещё один пост на эту тему — идея с рестартом пода была правильной, см. Solving «Signature not yet current» Error When Using AWS in Docker.
