AWS: миграция RTFM 2.1 — CloudFormation для EC2 c Jenkins

Задача — развернуть CloudFromation стек с одним EC2 интансом и примонтировать Elastic Block Store (EBS) с данными Jenkins.

Потом с помощью Ansible — установить там Docker и запустить Jenkins.

Подготовка

Сначала — вручную создадим EBS, который будет хранить данные Jenkins и далее будет подключаться к создаваемому EC2 интансу.

Создаём именованный профиль AWS CLI для RTFM:

EBS

Создаём EBS раздел.

Тип раздела — стандартный Magnetic (standard), ибо дешёво и сердито — для Jenkins достаточно.

Стоимость EBS разделов — тут>>>, описание — тут>>>.

Создаём с помощью create-volume:

Elastic IP (EIP) будет добавляться во время создания стека, что бы не тратить деньги, когда стек будет удаляться (держать Jenkins запущенным постоянно я не планирую, ибо деньги — проще обновить IN A запись домена при обновлении стека и EIP).

Домены со временем тоже планируется вынести в AWS Route 53, пока управление — через панель регистратора.

Key pair

Создаём ключ для доступа с помощью create-key-pair, сохраняем в файл ~/.ssh/rtfm_jenkins.pem:

Права:

CloudFormation

Теперь приступаем к созданию шаблона.

Шаблон очень простой:

1. Security Group
2. EC2
3. подключить к нему созданный выше EBS

Примеры шаблонов для создания EC2 есть тут>>> и тут>>>.

AMI ID

Находим Debian AMI ID с помощью describe-images:

Создание шаблона

Теперь — создаём шаблон.

Сначала — параметры:

• InstanceType: тип инстанса, по умолчанию самый мелкий — t2.nano, типы инстансов смотрим тут>>>
• JenkinsAMIID: AMI ID Debian 9, который нашли выше
• KeyName: ключ, созданный ранее
• HomeAllowLocation: домашний IP, откуда разрешён доступ, позже можно будет добавить ещё один, для доступа с рабочей сети, передавать будем через параметры при создании стека

Ресурсы:

• EC2Instance: параметры EC2
• InstanceSecurityGroup: описание Security Group

Собственно — это всё, что требуется для минимального стека с EC2.

Полностью шаблон выглядит так:

{
  "AWSTemplateFormatVersion" : "2010-09-09",

  "Description" : "AWS CloudFormation Template EC2",

  "Parameters" : {

    "InstanceType": {
      "Description": "Jenkins EC2 instance type",
      "Type": "String",
      "Default": "t2.nano",
      "AllowedValues": [
        "t2.nano",
        "t2.micro",
        "t2.small"
      ],
      "ConstraintDescription": "Must be a valid EC2 instance type."
    },

    "AMIID": {
      "Description": "Debian AMI ID",
      "Type": "String",
      "Default": "ami-cc5aa0b5"
    },

    "KeyName": {
      "Description": "Name of an existing EC2 KeyPair to enable SSH access to the instance",
      "Type": "AWS::EC2::KeyPair::KeyName",
      "ConstraintDescription": "must be the name of an existing EC2 KeyPair.",
      "Default": "rtfm_jenkins"
    },

    "HomeAllowLocation": {
      "Description": "The IP address range that can be used to SSH to the EC2 instances",
      "Type": "String",
      "MinLength": "9",
      "MaxLength": "18",
      "AllowedPattern": "(\\d{1,3})\\.(\\d{1,3})\\.(\\d{1,3})\\.(\\d{1,3})/(\\d{1,2})",
      "ConstraintDescription": "must be a valid IP CIDR range of the form x.x.x.x/x."
    }
  },

  "Resources" : {
    "EC2Instance" : {
      "Type" : "AWS::EC2::Instance",
      "Properties" : {
        "Tags" : [
          {
            "Key" : "Name", "Value" : "rtfm_jenkins"
          }
        ],
        "InstanceType" : { "Ref" : "InstanceType" },
        "SecurityGroups" : [
          {
            "Ref" : "InstanceSecurityGroup"
          }
        ],
        "KeyName" : { "Ref" : "KeyName" },
        "ImageId" : { "Ref" : "AMIID"  }
      }
    },

    "InstanceSecurityGroup" : {
      "Type" : "AWS::EC2::SecurityGroup",
      "Properties" : {
        "Tags" : [
          {
            "Key" : "Name", "Value" : "rtfm_jenkins"
          }
        ],
        "GroupDescription" : "Enable SSH access via port 22",
        "SecurityGroupIngress" : [

          {
            "IpProtocol" : "tcp",
            "FromPort" : "22",
            "ToPort" : "22",
            "CidrIp" : { "Ref" : "HomeAllowLocation"}
          },

          {
            "IpProtocol" : "tcp",
            "FromPort" : "80",
            "ToPort" : "80",
            "CidrIp" : { "Ref" : "HomeAllowLocation"}
          },

          {
            "IpProtocol" : "tcp",
            "FromPort" : "443",
            "ToPort" : "443",
            "CidrIp" : { "Ref" : "HomeAllowLocation"}
          }

        ]
      }
    }
  },

  "Outputs" : {
    "InstanceId" : {
      "Description" : "InstanceId of the newly created EC2 instance",
      "Value" : { "Ref" : "EC2Instance" }
    },
    "AZ" : {
      "Description" : "Availability Zone of the newly created EC2 instance",
      "Value" : { "Fn::GetAtt" : [ "EC2Instance", "AvailabilityZone" ] }
    },
    "PublicDNS" : {
      "Description" : "Public DNSName of the newly created EC2 instance",
      "Value" : { "Fn::GetAtt" : [ "EC2Instance", "PublicDnsName" ] }
    },
    "PublicIP" : {
      "Description" : "Public IP address of the newly created EC2 instance",
      "Value" : { "Fn::GetAtt" : [ "EC2Instance", "PublicIp" ] }
    }
  }
}

validate-template

Проверяем шаблон с помощью validate-template:

create-stack

И создаём стек с помощью create-stack, передавая параметром IP:

Проверяем статус:

В консоли AWS:

update-stack

Надо было имя для EC и Security Group сразу задать, через теги…

Обновим шаблон, ресурс EC2Instance:

...
  "Resources" : {
    "EC2Instance" : {
      "Type" : "AWS::EC2::Instance",
      "Properties" : {
        "Tags" : [
          {
            "Key" : "Name", "Value" : "rtfm_jenkins"
          }
        ],
...

И InstanceSecurityGroup:

...
    "InstanceSecurityGroup" : {
      "Type" : "AWS::EC2::SecurityGroup",
      "Properties" : {
        "Tags" : [
          {
            "Key" : "Name", "Value" : "rtfm_jenkins"
          }
        ],
...

Выполняем update-stack:

Проверяем статус:

Проверяем инстанс:

Замечательно.

Attach EBS

Следующим шагом — добавим подключение созданного в самом начале EBS раздела.

Обновляем шаблон, в параметры добавляем ID EBS раздела:

...
    "JenkinsWorkspacesEBSID": {
      "Description": "Existing EBS volume with Jenkins worspaces",
      "Type": "String",
      "Default": "vol-0085149b3a0a45d0c"
    }
...

В ресурсах — обновляем EC2, добавляем в Property — Volume:

...
  "Resources" : {
    "EC2Instance" : {
      "Type" : "AWS::EC2::Instance",
      "Properties" : {
        "Tags" : [
          {
            "Key" : "Name", "Value" : "rtfm_jenkins"
          }
        ],
        "InstanceType" : { "Ref" : "InstanceType" },
        "SecurityGroups" : [
          {
            "Ref" : "InstanceSecurityGroup"
          }
        ],
        "KeyName" : { "Ref" : "KeyName" },
        "ImageId" : { "Ref" : "AMIID"  },
       "Volumes" : [
          {
           "VolumeId" : { "Ref" : "JenkinsWorkspacesEBSID" },
           "Device" : "/dev/xvdb"
          }
        ]
      }
    },
...

Проверяем шаблон:

Обновляем стек:

И апдейт падает с ошибкой «The volume ‘vol-0085149b3a0a45d0c’ is not in the same availability zone as instance ‘i-06cb3e0a8ce7a8e59’«.

ОК, забыл.

В параметры — добавляем Availability Zone:

...
    "JenkinsAvailabilityZone": {
      "Description": "AZ for Jenkins EC2, must be same as Workspaces EBS",
      "Type": "String",
      "Default": "eu-west-1a"
    }
...

В Properties ресурса EC2 — добавляем указание «AvailabilityZone«:

...
 "Resources" : {
    "EC2Instance" : {
      "Type" : "AWS::EC2::Instance",
      "Properties" : {
        "AvailabilityZone" : { "Ref" : "JenkinsAvailabilityZone" },
        "Tags" : [
          {
            "Key" : "Name", "Value" : "rtfm_jenkins"
          }
        ],
...

Обновляем:

В Консоли:

Проверяем разделы интанса:

Логинимся на сервер, проверяем разделы:

Jenkins

Дальше установка Jenkins будет выполнятся с помощью Ansbile — а сейчас выполним это руками, что бы иметь готовый EBS с worskpaces.

xvdb

Форматируем раздел xvdb.

Будьте осторожны с sfdisk — синтаксис немного… Неудобный.

Выглядит команда так:

sfdisk /dev/xvdb << EOF
;
EOF

Выполняем:

Проверяем:

Создаём файловую систему:

Монтируем /dev/xvdb1 в каталог /jenkins:

Docker

Устанавливаем Docker:

Проверяем:

Запуск Jenkins

Запускаем Docker контейнер с Jenkins, монтируем каталог /jenkins с хост-машины в каталог /jenkins контейнера, и указываем переменную JENKINS_HOME=/jenkins:

Собственно — всё.

Активируем Jenkins в UI:

Проверяем содержимое /dev/xvdb1:

Пересоздание стека

Для полноты картины — теперь можно всё удалить — и создать заново:

Проверяем состояние EBS:

Пересоздаём стек:

Подключаемся к новому инстансу, проверяем разделы:

Монтируем, проверяем данные:

Устанавливаем Docker:

Повторяем запуск Jenkins:

Всё на месте:

Готово.

Шаблон доступен в Github тут>>>.

Ссылки по теме

Собственно — все ссылки на этот же блог, ибо всё уже делалось ранее:

AWS: CloudFormation – создание шаблона для VPC, EC2, NAT и Internet Gateway

AWS: миграция RTFM, часть #1: ручное создание инфраструктуры – VPC, подсети, IGW, NAT GW, маршруты и EC2

AWS: миграция RTFM, часть #3: CloudFormation – инфрастуктура

AWS: смонтировать EBS к EC2

Docker: AWS [China] – Jenkins в Docker

Azure: Azure Resource Manager provisioning и Jenkins в Docker