Docker: AWS [China] — Jenkins в Docker

Продолжение развёртывания CI инфрастуктуры в Китае. Начало тут>>>.

В предыдущей части — запустили Docker registry, теперь — нужен Jenkins, который будет собирать образы сервисов и пушить в это хранилище.

Для запуска Jenkins потребуется:

1. создать EBS для Jenkins workspaces и подключить к EC2
2. создать EBS для Docker образов
3. запустить и проверить Jenkins
4. проверить Docker билды в Jenkins
5. подготовить Docker Compose файл для его запуска в дальнейшем

Подготовка EC2 и EBS для Jenkins

EC2 уже есть. Добавляем к нему Elastic Block Storage, в той же Availability Zone, что и EC2:

Создаём EBS:

Добавляем теги:

Подключаем его к EC2.

Проверяем имеющиеся разделы:

Подключаем:

На интансе проверяем:

Создаём новый раздел на устройстве xvdb:

Проверяем:

Создаём файловую систему:

Создаём точку монтирования, монтируем раздел:

Обновляем /etc/fstab, добавляем монтирование при старте машины.

Находим UUID раздела:

Редактируем /etc/fstab (с nofail опцией):

Готово.

EBS для Docker образов

Немного забегая наперёд — сразу добавим раздел для образов Docker.

Создаём EBS аналогично разделу для Jenkins:

Создаём файл для настройки Docker engine:

В котором указываем каталог:

{
  "graph": "/docker/"
}

Перезапускаем docker:

Проверяем:

Запуск Jenkins

Сначала запустим его вручную, через docker run, потом — добавим Docker Compose файл.

Т.к. это Китай со своими весёлостями в плане скорости — сначала сделем просто pull (через китайское зеркало DockerHub pull вообще не прошёл, падал на одном и том же слое с ошибкой 500):

Пробуем запустить:

Проверяем пользователя каталога /jenkins:

Проверяем пользователя в контейнере:

Находим пользователя с UID 1000 на хосте:

Меняем владельца каталога /jenkins и запускаем:

Отлично — Jenkins стартует.

Docker билд в Jenkins

Что бы использовать Docker в Jenkins-контейнере — можно замапить исполняемый файл докера в сам контейнер:

Но так могут вылезти ошибки вроде такой:

docker: error while loading shared libraries: libltdl.so.7: cannot open shared object file: No such file or directory

Или возможны проблемы с доступом к /var/run/docker/sock:

Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post http://%2Fvar%2Frun%2Fdocker.sock/v1.29/build?buildargs=%7B%7D&cachefrom=%5B%5D&cgroupparent=&cpuperiod=0&cpuquota=0&cpusetcpus=&cpusetmems=&cpushares=0&dockerfile=Dockerfile&labels=%7B%7D&memory=0&memswap=0&networkmode=default&rm=1&shmsize=0&t=registry.domain.cn%3A5000%2Fubuntu%3A20&target=&ulimits=null: dial unix /var/run/docker.sock: connect: permission denied

Другой подход — собрать свой образ Jenkins с установленным в нём Docker.

Создаём Dockerfile:

FROM jenkins
 
USER root
RUN curl https://get.docker.com/ | bash
RUN usermod -aG docker jenkins

USER jenkins

Собираем:

Запускаем:

Проверяем билд в самом контейнере:

Работает.

Проверка Docker билда в Jenkins

Запускаем Jenkins контейнер:

Создаём тестовую джобу:

Создаём скрипт:

def dockerBuild () {

    stage ('Docker build') {

        def appimage = docker.build("ubuntu:${env.BUILD_NUMBER}")
    }
}

node {
    dockerBuild()
}

Запускаем:

ОК — билд работает.

Билд и пуш в Docker registry

Следующим шагом — проверяем работу Jenkins и Docker registry из предыдущей части.

В Credentials — добавляем данные доступа к созданному ранее registry:

Обновляем билд скрипт:

def dockerBuild () {

    stage ('Docker build') {

        docker.withRegistry('https://registry.domain.cn:5000', 'tagcndockerregistry'){      
            def img = docker.build("ubuntu:${env.BUILD_NUMBER}")
                img.push()
        }
    }
}

node {
    
    dockerBuild()
}

Запускаем билд, проверяем:

…
[DockerTestJob] Running shell script
+ docker build -t registry.domain.cn:5000/ubuntu:15 .
Sending build context to Docker daemon 2.048kB

Step 1/1 : FROM ubuntu
—> d355ed3537e9
Successfully built d355ed3537e9
Successfully tagged registry.domain.cn:5000/ubuntu:15
[Pipeline] dockerFingerprintFrom
[Pipeline] sh
[DockerTestJob] Running shell script
+ docker tag —force=true registry.domain.cn:5000/ubuntu:15 registry.domain.cn:5000/ubuntu:15
unknown flag: —force
See ‘docker tag —help’.
+ docker tag registry.domain.cn:5000/ubuntu:15 registry.domain.cn:5000/ubuntu:15
[Pipeline] sh
[DockerTestJob] Running shell script
+ docker push registry.domain.cn:5000/ubuntu:15
The push refers to a repository [registry.domain.cn:5000/ubuntu]
0566c118947e: Preparing
…
15: digest: sha256:a0ee7647e24c8494f1cf6b94f1a3cd127f423268293c25d924fbe18fd82db5a4 size: 1357
…
[Pipeline] End of Pipeline
Finished: SUCCESS

Проверяем сам образ:

Готово.

Docker Compose для Jenkins в Docker

Последний шаг — добавить Docker Compose файл для запуска Jenkins.

Билдим Jenkins с нормальным именем:

Пушим:

Создаём Compose:

version: '3'

services:
  jenkins:
    image: "registry.domain.cn:5000/testjenk:1"
    restart: "always"
    ports:
      - "80:8080"
    volumes:
     - /jenkins/:/jenkins
     - /var/run/docker.sock:/var/run/docker.sock
    environment:
     - JENKINS_HOME=/jenkins
  maven:
    image: "maven:3.3.9-jdk-8"
  packer:
    image: "hashicorp/packer:light"
  terraform:
    image: "hashicorp/terraform:light"
  aws-cli:
    image: "fstab/aws-cli"

Запускаем:

Проверяем:

Готово.