Имеется приложение в Kubernetes.

Деплоится из Helm-чарта.

При очередном деплое — новые поды не стартуют, а сам деплой падает со стандартной ошибкой «Upgrade «CHARTNAME» failed: timed out waiting for the condition«:

wait.go:225: [debug] Deployment is not ready: eks-dev-1-community-api-ns/community-api. 0 out of 3 expected pods are ready
upgrade.go:367: [debug] warning: Upgrade «community-api» failed: timed out waiting for the condition
upgrade.go:385: [debug] Upgrade failed and atomic is set, rolling back to last successful release

Проблема возникает на этапе запуска InitContainer для выполнения SQL-миграций. Сами миграции запускаются не лучшим образом, но — как есть.

Собственно ниже — подебажим запуск таких контейнеров, и зафиксим ошибку.

InitContainer — Init:1/2

Проверяем статус подов:

Статус пода «Init:1/2» — один из двух Init-конейнеров в поде не отработал.

Проверяем state пода:

PodInitializing — под ждёт Init-контейнер.

В деплойменте проверим, какие Init-контейнеры должны запуститься:

...
  initContainers:
  - name: git-clone
    image: projectname/git-cloner
...
    command: ['sh', '-c', '/opt/git/git.sh']
...
  - name: init-migration
    image: fufuhu/sql-migrate:latest
    command: ['sh', '-c', 'while [ ! -d /git/db/migrations ]; do sleep 2; done && sleep 2; /bin/sql-migrate up -config=/config/config.yaml -env=main']
...

Проверяем события:

Хорошо — контейнеры создавались и запускались.

Kubernetes Pod: .status.initContainerStatuses

С помощью --template '{{.status.initContainerStatuses}}' проверим статусы Init-контейнеров в поде:

Тут два контейнера — git-clone, который свою задачу «выполнил» (reason:Completed), и второй контейнер — init-migration, который в статусе running.

Смотрим их логи.

Если просто попробовать посмотреть логи пода — то kubectl сообщит, что:

Поэтому — указываем контейнер явно. Первым запускается git-clone, указываем его через -c git-clone:

Собственно — всё понятно: git-clone попытался склонировать репозиторий, не смог, но завершил работу с кодом 0 (name:git-clone ready:true restartCount:0 [...] exitCode:0 в выводе .status.initContainerStatuses), после чего запустился контенер для запуска миграций баз данных, но он отработать не может, так как файлов миграции нет — и он висит.

Проверяем скрипт Гита, который указан в деплойменте — command: ['sh', '-c', '/opt/git/git.sh'] — и используется в нашем контейнере git-clone для клонирования репозитория:

А ошибка у нас выглядела:

ERROR: Repository not found. fatal: Could not read from remote repository. Please make sure you have the correct access rights and the repository exists.

Пробуем склонировать репозиторий со своим ключём:

Всё работает, репозиторий и бранч есть.

Проверяем секрет — есть ли сам ключ id_rsa в Kubernetes Secrets:

...
        env:
        - name: SSH_PRIVATE_KEY
          valueFrom:
            secretKeyRef:
              name: git-ssh-key
              key: id_rsa
...

Да, есть, вроде всё ОК.

Попробуем с ним скачать — получаем сам ключ из содержимого поля id_rsa, сохраняем его в файл key.rsa:

И пробуем применить его:

Проблема ясна — Deploy Key в Github репозитории не подходит.

Обновляем его в секретах, передеплоиваем, проверяем:

И поды запустились:

Готово.