Задача — развернуть CloudFromation стек с одним EC2 интансом и примонтировать (EBS) с данными Jenkins.
Потом с помощью Ansible — установить там Docker и запустить Jenkins.
Подготовка
Сначала — вручную создадим EBS, который будет хранить данные Jenkins и далее будет подключаться к создаваемому EC2 интансу.
Создаём именованный профиль AWS CLI для RTFM:
EBS
Создаём EBS раздел.
Тип раздела — стандартный Magnetic (standard), ибо дешёво и сердито — для Jenkins достаточно.
Стоимость EBS разделов — , описание — .
Создаём с помощью :
(EIP) будет добавляться во время создания стека, что бы не тратить деньги, когда стек будет удаляться (держать Jenkins запущенным постоянно я не планирую, ибо деньги — проще обновить IN A запись домена при обновлении стека и EIP).
Домены со временем тоже планируется вынести в AWS , пока управление — через панель регистратора.
Key pair
Создаём ключ для доступа с помощью , сохраняем в файл ~/.ssh/rtfm_jenkins.pem:
Права:
CloudFormation
Теперь приступаем к созданию шаблона.
Шаблон очень простой:
- Security Group
- EC2
- подключить к нему созданный выше EBS
Примеры шаблонов для создания EC2 есть и .
AMI ID
Находим Debian ID с помощью :
Создание шаблона
Теперь — создаём шаблон.
Сначала — параметры:
- InstanceType: тип инстанса, по умолчанию самый мелкий —
t2.nano, типы инстансов смотрим - JenkinsAMIID: AMI ID Debian 9, который нашли выше
- KeyName: ключ, созданный ранее
- HomeAllowLocation: домашний IP, откуда разрешён доступ, позже можно будет добавить ещё один, для доступа с рабочей сети, передавать будем через параметры при создании стека
Ресурсы:
- EC2Instance: параметры EC2
- InstanceSecurityGroup: описание Security Group
Собственно — это всё, что требуется для минимального стека с EC2.
Полностью шаблон выглядит так:
{
"AWSTemplateFormatVersion" : "2010-09-09",
"Description" : "AWS CloudFormation Template EC2",
"Parameters" : {
"InstanceType": {
"Description": "Jenkins EC2 instance type",
"Type": "String",
"Default": "t2.nano",
"AllowedValues": [
"t2.nano",
"t2.micro",
"t2.small"
],
"ConstraintDescription": "Must be a valid EC2 instance type."
},
"AMIID": {
"Description": "Debian AMI ID",
"Type": "String",
"Default": "ami-cc5aa0b5"
},
"KeyName": {
"Description": "Name of an existing EC2 KeyPair to enable SSH access to the instance",
"Type": "AWS::EC2::KeyPair::KeyName",
"ConstraintDescription": "must be the name of an existing EC2 KeyPair.",
"Default": "rtfm_jenkins"
},
"HomeAllowLocation": {
"Description": "The IP address range that can be used to SSH to the EC2 instances",
"Type": "String",
"MinLength": "9",
"MaxLength": "18",
"AllowedPattern": "(\\d{1,3})\\.(\\d{1,3})\\.(\\d{1,3})\\.(\\d{1,3})/(\\d{1,2})",
"ConstraintDescription": "must be a valid IP CIDR range of the form x.x.x.x/x."
}
},
"Resources" : {
"EC2Instance" : {
"Type" : "AWS::EC2::Instance",
"Properties" : {
"Tags" : [
{
"Key" : "Name", "Value" : "rtfm_jenkins"
}
],
"InstanceType" : { "Ref" : "InstanceType" },
"SecurityGroups" : [
{
"Ref" : "InstanceSecurityGroup"
}
],
"KeyName" : { "Ref" : "KeyName" },
"ImageId" : { "Ref" : "AMIID" }
}
},
"InstanceSecurityGroup" : {
"Type" : "AWS::EC2::SecurityGroup",
"Properties" : {
"Tags" : [
{
"Key" : "Name", "Value" : "rtfm_jenkins"
}
],
"GroupDescription" : "Enable SSH access via port 22",
"SecurityGroupIngress" : [
{
"IpProtocol" : "tcp",
"FromPort" : "22",
"ToPort" : "22",
"CidrIp" : { "Ref" : "HomeAllowLocation"}
},
{
"IpProtocol" : "tcp",
"FromPort" : "80",
"ToPort" : "80",
"CidrIp" : { "Ref" : "HomeAllowLocation"}
},
{
"IpProtocol" : "tcp",
"FromPort" : "443",
"ToPort" : "443",
"CidrIp" : { "Ref" : "HomeAllowLocation"}
}
]
}
}
},
"Outputs" : {
"InstanceId" : {
"Description" : "InstanceId of the newly created EC2 instance",
"Value" : { "Ref" : "EC2Instance" }
},
"AZ" : {
"Description" : "Availability Zone of the newly created EC2 instance",
"Value" : { "Fn::GetAtt" : [ "EC2Instance", "AvailabilityZone" ] }
},
"PublicDNS" : {
"Description" : "Public DNSName of the newly created EC2 instance",
"Value" : { "Fn::GetAtt" : [ "EC2Instance", "PublicDnsName" ] }
},
"PublicIP" : {
"Description" : "Public IP address of the newly created EC2 instance",
"Value" : { "Fn::GetAtt" : [ "EC2Instance", "PublicIp" ] }
}
}
}
validate-template
Проверяем шаблон с помощью :
create-stack
И создаём стек с помощью , передавая параметром IP:
Проверяем статус:
В консоли AWS:
update-stack
Надо было имя для EC и Security Group сразу задать, через теги…
Обновим шаблон, ресурс EC2Instance:
...
"Resources" : {
"EC2Instance" : {
"Type" : "AWS::EC2::Instance",
"Properties" : {
"Tags" : [
{
"Key" : "Name", "Value" : "rtfm_jenkins"
}
],
...
И InstanceSecurityGroup:
...
"InstanceSecurityGroup" : {
"Type" : "AWS::EC2::SecurityGroup",
"Properties" : {
"Tags" : [
{
"Key" : "Name", "Value" : "rtfm_jenkins"
}
],
...
Выполняем :
Проверяем статус:
Проверяем инстанс:
Замечательно.
Attach EBS
Следующим шагом — добавим подключение созданного в самом начале EBS раздела.
Обновляем шаблон, в параметры добавляем ID EBS раздела:
...
"JenkinsWorkspacesEBSID": {
"Description": "Existing EBS volume with Jenkins worspaces",
"Type": "String",
"Default": "vol-0085149b3a0a45d0c"
}
...
В ресурсах — обновляем EC2, добавляем в Property — :
...
"Resources" : {
"EC2Instance" : {
"Type" : "AWS::EC2::Instance",
"Properties" : {
"Tags" : [
{
"Key" : "Name", "Value" : "rtfm_jenkins"
}
],
"InstanceType" : { "Ref" : "InstanceType" },
"SecurityGroups" : [
{
"Ref" : "InstanceSecurityGroup"
}
],
"KeyName" : { "Ref" : "KeyName" },
"ImageId" : { "Ref" : "AMIID" },
"Volumes" : [
{
"VolumeId" : { "Ref" : "JenkinsWorkspacesEBSID" },
"Device" : "/dev/xvdb"
}
]
}
},
...
Проверяем шаблон:
Обновляем стек:
И апдейт падает с ошибкой «The volume ‘vol-0085149b3a0a45d0c’ is not in the same availability zone as instance ‘i-06cb3e0a8ce7a8e59’«.
ОК, забыл.
В параметры — добавляем :
...
"JenkinsAvailabilityZone": {
"Description": "AZ for Jenkins EC2, must be same as Workspaces EBS",
"Type": "String",
"Default": "eu-west-1a"
}
...
В Properties ресурса EC2 — добавляем указание ««:
...
"Resources" : {
"EC2Instance" : {
"Type" : "AWS::EC2::Instance",
"Properties" : {
"AvailabilityZone" : { "Ref" : "JenkinsAvailabilityZone" },
"Tags" : [
{
"Key" : "Name", "Value" : "rtfm_jenkins"
}
],
...
Обновляем:
В Консоли:
Проверяем разделы интанса:
Логинимся на сервер, проверяем разделы:
Jenkins
Дальше установка Jenkins будет выполнятся с помощью Ansbile — а сейчас выполним это руками, что бы иметь готовый EBS с worskpaces.
xvdb
Форматируем раздел xvdb.
Будьте осторожны с — синтаксис немного… Неудобный.
Выглядит команда так:
sfdisk /dev/xvdb << EOF ; EOF
Выполняем:
Проверяем:
Создаём файловую систему:
Монтируем /dev/xvdb1 в каталог /jenkins:
Docker
Устанавливаем Docker:
Проверяем:
Запуск Jenkins
Запускаем Docker контейнер с Jenkins, монтируем каталог /jenkins с хост-машины в каталог /jenkins контейнера, и указываем переменную JENKINS_HOME=/jenkins:
Собственно — всё.
Активируем Jenkins в UI:
Проверяем содержимое /dev/xvdb1:
Пересоздание стека
Для полноты картины — теперь можно всё удалить — и создать заново:
Проверяем состояние EBS:
Пересоздаём стек:
Подключаемся к новому инстансу, проверяем разделы:
Монтируем, проверяем данные:
Устанавливаем Docker:
Повторяем запуск Jenkins:
Всё на месте:
Готово.
Шаблон доступен в Github .
Ссылки по теме
Собственно — все ссылки на этот же блог, ибо всё уже делалось ранее:
AWS: CloudFormation – создание шаблона для VPC, EC2, NAT и Internet Gateway
AWS: миграция RTFM, часть #3: CloudFormation – инфрастуктура
Docker: AWS [China] – Jenkins в Docker
Azure: Azure Resource Manager provisioning и Jenkins в Docker