Docker: private registry в AWS [China] с S3 storage

Задача: поднять CI инфрастуктуру для проекта в Китае.

Будет состоять и одного EC2 инстанса с дополнительным разделом для workspaces Jenkins‘а (что-то вроде такого — Azure: Azure Resource Manager provisioning и Jenkins в Docker), и S3 корзиной для хранилища образов Docker registry сервера.

Для запуска Docker registry надо выполнить:

1. запустить инстанс
2. создать корзину
3. запустить registry на localhost
4. настроить SSL и внешний домен
5. настроить авторизацию
6. добавить файл настроек registry
7. добавить compose для запуска

Запуск Jenkins будет в следующем посте, т.к. этот и так получился достаточно длинным (UPD: Docker: AWS [China] – Jenkins в Docker).

Подготовка

Т.к. работать из Киева в Китай порой нереально из-за скорости — я из Киева подключаюсь к инстансу в Китае, и уже оттуда выполняю все действия.

Устанавливаем AWS CLI:

Настраиваем:

Проверяем:

Запускаем инстанс, в котором будут жить Jenkins и Docker registry:

Задаём теги:

Проверяем:

Получаем новый EIP:

Подключаем его к EC2:

Проверяем:

Подключаемся:

Обновляем пакеты и устанавливаем Docker:

Ох, это же Китай… Идём пить чай. Много чая.

Добавляем пользователя в группу docker:

Устанавливаем Docker Compose.

Находим последнюю версию тут>>>:

На самом деле — таким образом Compose в Китае установить достаточно сложно:

Поэтому — качаем его на рабочую машину, а потом scp на инстанс в Китай.

На инстансе — проверяем архитектуру:

На рабочей машинке — выкачиваем Compose и копируем его в Китай:

И на инстансе — перемещаем исполняемый файл:

Установка Docker registry

S3 для registry storage

Для registry — нам потребуются S3 корзина для хранения образов и SSL сертификат. Запуск Docker registry описан тут>>>.

Создаём корзину:

Создаём файл политик доступа:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": "*",
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:ListBucketMultipartUploads"
      ],
      "Resource": "arn:aws:s3:::tag-registry"
    },
    {
      "Effect": "Allow",
      "Principal": "*",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject",
        "s3:ListMultipartUploadParts",
        "s3:AbortMultipartUpload"
      ],
      "Resource": "arn:aws:s3:::tag-registry/*"
    }
  ]
}

Подключаем его к корзине:

Упс.

Ошибка вызвана Китаем:

«Resource»: «arn:aws:s3:::tag-registry/*»

Для китайского AWS ресурс указывается через aws-cn:

«Resource»: «arn:aws-cn:s3:::tag-registry/*»

Обновляем, подключаем.

Запуск Docker registry

Сейчас можно проверить работу registry.

Запускаем его.

Команда выглядит так:

docker run -d -p 5000:5000 \
-e "REGISTRY_STORAGE=s3" \
-e "REGISTRY_STORAGE_S3_REGION=us-east-1"\
-e "REGISTRY_STORAGE_S3_BUCKET=******"\ 
-e "REGISTRY_STORAGE_S3_ACCESSKEY=******"\ 
-e "REGISTRY_STORAGE_S3_SECRETKEY=******"\ 
registry:2

Выполняем:

Проверяем:

*лять.

ОК — ошибка возникает из-за пустой корзины, как говорится тут>>>.

Загружаем в неё файл и пробуем ещё раз:

Ссу*а! 🙂

Решение — тут>>>.

Загружаем:

Проверяем registry:

Добавляем в него образ:

Проверяем содержимое корзины:

SSL

Следующим шагом — требуется добавить SSL сертификат, что бы Docker registry работал через внешний домен.

Используем Let’s Encrypt.

Устанавливаем его:

Получаем сертификат:

Перезапускаем registry уже с этим сертификатом:

Тегаем, пушим образ Ubuntu в репозиторий:

Так…

Логи:

time=»2017-06-21T16:00:45Z» level=error msg=»response completed with error» err.code=unknown err.detail=»s3aws: NoCredentialProviders: no valid providers in chain. Deprecated. \n\tFor verbose messaging see aws.Config.CredentialsChainVerboseErrors»

curl?

«NoCredentialProviders» — ОК, пробуем добавить данные доступа AWS:

Проверяем:

Проверяем:

Работает, отлично.

HTTP авторизация

Останавливаем registry, создаём каталог для файла htpasswd и сам файл с пользователем и паролем:

Запускаем, добавив переменные REGISTRY_AUTH, REGISTRY_AUTH_HTPASSWD_REALM и REGISTRY_AUTH_HTPASSWD_PATH, монтируем папку auth в контейнер:

Пробуем push без авторизации:

Ошибка в логе выглядит так:

54.***.***.251 — — [22/Jun/2017:08:50:29 +0000] «GET /v2/ HTTP/1.1» 401 87 «» «docker/17.05.0-ce go/go1.7.5 git-commit/89658be kernel/4.4.0-64-generic os/linux arch/amd64 UpstreamClient(Docker-Client/17.05.0-ce \\(linux\\))»
time=»2017-06-22T08:51:26Z» level=warning msg=»error authorizing context: basic authentication challenge for realm \»Registry Realm\»: invalid authorization credential»

Авторизируемся:

Пушим:

Готово.

Docker registry config.yml

Часть параметров, которые сейчас указываются аргументами к docker run будут в docker-compose.yml файле, часть — в файле config.yml.

config.yml есть в контейнере по умолчанию:

Что бы переодпределить или добавить параметры — создаём свой файл настроек, и монтируем его в контейнер.

Создаём файл:

version: 0.1
log:
  fields:
    service: registry
storage:
  s3:
    accesskey: AKI***L5A
    secretkey: OtN***7Cb
    region: cn-north-1
    bucket: tag-registry
http:
  addr: :5000
  headers:
    X-Content-Type-Options: [nosniff]
health:
  storagedriver:
    enabled: true
    interval: 10s
    threshold: 3

Запускаем, убрав переменные для storage (который уже определён в config.yml):

Проверяем:

Работает.

Больше про конфигурацию — тут>>>. Надо будет ещё добавить очистку корзины, что-то вроде такого>>>.

Docker compose для Docker registry

Создаём файл, в котором указываем все каталоги для монтирования в контейнер и переменные для SSL:

registry:
  restart: always
  image: registry:2
  ports:
    - 5000:5000
  environment:
    REGISTRY_HTTP_TLS_CERTIFICATE: /certs/fullchain1.pem
    REGISTRY_HTTP_TLS_KEY: /certs/privkey1.pem
    REGISTRY_AUTH: htpasswd
    REGISTRY_AUTH_HTPASSWD_PATH: /auth/htpasswd
    REGISTRY_AUTH_HTPASSWD_REALM: Registry Realm
  volumes:
    - /etc/letsencrypt/archive/registry.domain.cn:/certs
    - /home/ubuntu/auth:/auth
    - /home/ubuntu/conf/config.yml:/etc/docker/registry/config.yml

Запускаем:

Проверяем:

Пуш:

Всё работает.

Готово.