Имеется приложение в Kubernetes.

Деплоится из Helm-чарта.

При очередном деплое – новые поды не стартуют, а сам деплой падает со стандартной ошибкой “Upgrade “CHARTNAME” failed: timed out waiting for the condition“:

wait.go:225: [debug] Deployment is not ready: eks-dev-1-community-api-ns/community-api. 0 out of 3 expected pods are ready
upgrade.go:367: [debug] warning: Upgrade “community-api” failed: timed out waiting for the condition
upgrade.go:385: [debug] Upgrade failed and atomic is set, rolling back to last successful release

Проблема возникает на этапе запуска InitContainer для выполнения SQL-миграций. Сами миграции запускаются не лучшим образом, но – как есть.

Собственно ниже – подебажим запуск таких контейнеров, и зафиксим ошибку.

InitContainer – Init:1/2

Проверяем статус подов:

Статус пода “Init:1/2” – один из двух Init-конейнеров в поде не отработал.

Проверяем state пода:

PodInitializing – под ждёт Init-контейнер.

В деплойменте проверим, какие Init-контейнеры должны запуститься:

...
  initContainers:
  - name: git-clone
    image: projectname/git-cloner
...
    command: ['sh', '-c', '/opt/git/git.sh']
...
  - name: init-migration
    image: fufuhu/sql-migrate:latest
    command: ['sh', '-c', 'while [ ! -d /git/db/migrations ]; do sleep 2; done && sleep 2; /bin/sql-migrate up -config=/config/config.yaml -env=main']
...

Проверяем события:

Хорошо – контейнеры создавались и запускались.

Kubernetes Pod: .status.initContainerStatuses

С помощью --template '{{.status.initContainerStatuses}}' проверим статусы Init-контейнеров в поде:

Тут два контейнера – git-clone, который свою задачу “выполнил” (reason:Completed), и второй контейнер – init-migration, который в статусе running.

Смотрим их логи.

Если просто попробовать посмотреть логи пода – то kubectl сообщит, что:

Поэтому – указываем контейнер явно. Первым запускается git-clone, указываем его через -c git-clone:

Собственно – всё понятно: git-clone попытался склонировать репозиторий, не смог, но завершил работу с кодом 0 (name:git-clone ready:true restartCount:0 [...] exitCode:0 в выводе .status.initContainerStatuses), после чего запустился контенер для запуска миграций баз данных, но он отработать не может, так как файлов миграции нет – и он висит.

Проверяем скрипт Гита, который указан в деплойменте – command: ['sh', '-c', '/opt/git/git.sh'] – и используется в нашем контейнере git-clone для клонирования репозитория:

А ошибка у нас выглядела:

ERROR: Repository not found. fatal: Could not read from remote repository. Please make sure you have the correct access rights and the repository exists.

Пробуем склонировать репозиторий со своим ключём:

Всё работает, репозиторий и бранч есть.

Проверяем секрет – есть ли сам ключ id_rsa в Kubernetes Secrets:

...
        env:
        - name: SSH_PRIVATE_KEY
          valueFrom:
            secretKeyRef:
              name: git-ssh-key
              key: id_rsa
...

Да, есть, вроде всё ОК.

Попробуем с ним скачать – получаем сам ключ из содержимого поля id_rsa, сохраняем его в файл key.rsa:

И пробуем применить его:

Проблема ясна – Deploy Key в Github репозитории не подходит.

Обновляем его в секретах, передеплоиваем, проверяем:

И поды запустились:

Готово.