AWS: миграция RTFM, часть #3: CloudFormation — инфрастуктура

Автор: | 26/09/2016
Нет комментариев
 

aws-logo-square-02Напомню — описывается процесс создания инфрастуктуры для миграции RTFM — два EC2 (Bastion и Zeus) в VPC, приватная и публичная сети, NAT-gateway.

Первая часть: AWS: миграция RTFM, часть #1: ручное создание инфраструктуры – VPC, подсети, IGW, NAT GW, маршруты и EC2.

Вторая часть: AWS: миграция RTFM, часть #2: ручное создание инфраструктуры – AIM, S3, RDS и EBS.

В этой части — возьмём CloudFormation шаблон из поста AWS: CloudFormation – создание шаблона для VPC, EC2, NAT и Internet Gateway — пару ресурсов удалим, пару параметров добавим.

Сейчас создадим шаблон для сети, а шаблоны для создания и провижена всяких EC2/RDS etc — потом сделаем вложенными, что бы потом можно будет подключать их в основной по мере готовности/необходимости.

Аналогичный пост — AWS: CloudFormation – создание шаблона для VPC, EC2, NAT и Internet Gateway.

Шаблон, получившийся в результате написания этого поста — доступен тут>>>.

Подготовка шаблона

Копируем старый шаблон:

[simterm]

$ mkdir ~/Work/RTFM/rtfm/12615
$ cp ./Work/RTFM/rtfm/11990/vpc_ec2_nat_private_public_subnets.template ~/Work/RTFM/rtfm/12615/rtfm_migrate_p3.template

[/simterm]

Добавим несколько параметров.

Добавим возможность указать AMI-ID (без mapping):

...
    "BastionAMIid": {
      "Description" : "OpenBSD AMI ID for the StackRegion",
      "Type" : "String",
      "Default":  "ami-170b6064"
    },

    "ZeusAMIid": {
      "Description" : "CoreOS AMI ID for the StackRegion",
      "Type" : "String",
      "Default":  "ami-068bfe75"
    },
...

Так же обновим подсети — 12.*/24 вместо 11.*/24:

...
    "VPCCidrBlock" : {
...
      "Default": "12.0.0.0/16",
...
    "PubNetCIDR": {
...      "Default": "12.0.1.0/24",
    "PrivNetCIDR": {
...
      "Default": "12.0.2.0/24",
...

И пробуем со всем этим завестись.

[simterm]

$ cd Work/RTFM/rtfm/12615/
$ aws cloudformation create-stack --stack-name VPConly1 --template-body file://rtfm_migrate_p3.template
{
    "StackId": "arn:aws:cloudformation:eu-west-1:264418146286:stack/VPConly1/c995de90-83cf-11e6-bc28-50fae9b818d2"
}

[/simterm]

Структура шаблона

Вспомним стуктуру шаблона:

  • Parameters
    • StackRegion: регион для создания стека;
    • BastionAMIid: AMI ID для OpenBSD на Bastion;
    • ZeusAMIid: AMI ID для CoreOS на Zeus;
    • VPCCidrBlock: сеть для VPC (/16);
    • SSHLocation: сеть, из которой доступен SSH;
    • PubNetCIDR: публичная подсеть в VPC (/24);
    • PrivNetCIDR: приватная подсеть в VPC (/24);
    • InstanceType: тип инстанса (t2.nano);
  • Resources
    • VPC:
      • тип ресурса: AWS::EC2::VPC
      • используемые параметры:
        • «CidrBlock» : { «Ref» : «VPCCidrBlock» }
        • «Tags»: { «Ref» : «AWS::StackId»}
    • MasterSecurityGroup:
      • тип ресурса: AWS::EC2::SecurityGroup
      • используемые параметры:
        • «VpcId» : { «Ref»: «VPC»}
        • «SecurityGroupIngress»: { «Ref» : «SSHLocation»}
    • NodesSecurityGroup:
      • тип ресурса: AWS::EC2::SecurityGroup
      • используемые параметры:
        • «VpcId» : { «Ref» : «VPC» }
    • PubSubnet:
      • тип ресурса: AWS::EC2::Subnet
      • используемые параметры:
        • VpcId»: { «Ref»: «VPC»}
        • «CidrBlock»: { «Ref»: «PubNetCIDR»}
        • «AvailabilityZone»: { «Fn::Select» : [ «0», { «Fn::GetAZs» : «» } ]}
    • PrivSubnet:
      • тип ресурса: AWS::EC2::Subnet
      • используемые параметры:
        • VpcId»: { «Ref»: «VPC»}
        • «CidrBlock»: { «Ref»: «PrivNetCIDR»},
        • «AvailabilityZone»: { «Fn::Select» : [ «0», { «Fn::GetAZs» : «» } ]}
    • PubNetIGW:
      • тип ресурса: AWS::EC2::InternetGateway
    • AttachGateway:
      • тип ресурса: AWS::EC2::VPCGatewayAttachment
      • используемые параметры:
        • «VpcId»: { «Ref»: «VPC» }
        • «InternetGatewayId»: { «Ref»: «PubNetIGW» }
    • NatEIP:
      • тип ресурса: AWS::EC2::NatGateway
      • используемые параметры:
        • «AllocationId» : { «Fn::GetAtt» : [«NatEIP», «AllocationId»]}
        • «SubnetId» : { «Ref»: «PubSubnet»}
    • NatGW:
      • тип ресурса: AWS::EC2::NatGateway
    • PublicRouteTable:
      • тип ресурса: AWS::EC2::RouteTable
      • используемые параметры:
        • «AllocationId» : { «Fn::GetAtt» : [«NatEIP», «AllocationId»]}
        • «SubnetId» : { «Ref»: «PubSubnet»}
    • PrivateRouteTable:
      • тип ресурса: AWS::EC2::RouteTable
      • используемые параметры:
        • «VpcId»: { «Ref»: «VPC» }
    • PublicRoute:
      • тип ресурса: AWS::EC2::Route
      • используемые параметры:
        • «RouteTableId»: { «Ref»: «PublicRouteTable» },
        • «GatewayId»: { «Ref»: «PubNetIGW» }
    • PrivateRoute:
      • тип ресурса: AWS::EC2::Route
      • используемые параметры:
        • «RouteTableId»: { «Ref»: «PrivateRouteTable» }
        • «NatGatewayId»: { «Ref»: «NatGW» }
    • PublicRouteAssociate:
      • тип ресурса: AWS::EC2::SubnetRouteTableAssociation
      • используемые параметры:
        • «RouteTableId» : { «Ref»: «PublicRouteTable»}
        • «SubnetId» : { «Ref»: «PubSubnet»}
    • PrivateRouteAssociate:
      • тип ресурса: AWS::EC2::SubnetRouteTableAssociation
      • используемые параметры:
        • «RouteTableId» : { «Ref»: «PrivateRouteTable»},
        • «SubnetId» : { «Ref»: «PrivSubnet»}
    • SwarmMaster0EIP:
      • тип ресурса: AWS::EC2::EIP
      • используемые параметры:
        • «Properties» : { «Domain» : «vpc» }
    • SwarmMaster0:
      • тип ресурса: AWS::EC2::Instance
      • используемые параметры:
        • «Tags» : [ {«Key» : «Name», «Value» : «SwarmMaster0» } ],
        • «InstanceType» : { «Ref» : «InstanceType» }
        • «ImageId» : «ami-a7412ad4» (сейчас указан явно, переделаем через параметры ,которые определили выше)
        • «AvailabilityZone»: { «Fn::Select» : [ «0», { «Fn::GetAZs» : «» } ]}
        • «KeyName»: «my-cluster» (тоже надо вынести в параметры)
        • «SubnetId»: {«Ref»: «PubSubnet»}
        • «GroupSet»: [ {«Ref»: «MasterSecurityGroup»} ]
    • SwarmMaster0AssociateEIP:
      • тип ресурса: AWS::EC2::EIPAssociation
      • используемые параметры:
        • «EIP»: { «Ref»: «SwarmMaster0EIP»},
        • «InstanceId»: { «Ref»: «SwarmMaster0»}
    • SwarmMaster1EIP: удалить
    • SwarmMaster1: удалить
    • SwarmMaster1AssociateEIP: удалить
    • SwarmNode0:
      • тип ресурса:  AWS::EC2::Instance
      • используемые параметры:
        • «Tags» : [ {«Key» : «Name», «Value» : «SwarmNode0» } ]
        • «InstanceType» : { «Ref» : «InstanceType» }
        • «ImageId» : «ami-a7412ad4» (в параметры)
        • «AvailabilityZone»: { «Fn::Select» : [ «0», { «Fn::GetAZs» : «» } ]}
        • «KeyName»: «my-cluster» (в параметры)
        • «SubnetId»: {«Ref»: «PrivSubnet»}
        • «GroupSet»: [ {«Ref»: «NodesSecurityGroup»} ]
    • SwarmNode1: удалить
    • Consul0: удалить
  • Outputs
    • «Value» : { «Fn::GetAtt» : [«VPC», «CidrBlock»] }

Обновление шаблона

Удаляем ресурсы: SwarmMaster1EIP, SwarmMaster1, SwarmMaster1AssociateEIP, SwarmNode1, Consul0.

Проверяем:

[simterm]

$ aws cloudformation validate-template --template-body file://rtfm_migrate_p3.template
{
    "Description": "AWS CloudFormation Template Docker Swarm cluster in VPC", 
    "Parameters": [
        {
            "DefaultValue": "ami-170b6064", 
...

[/simterm]

Вроде ОК, удаляем первый стек, создаём новый:

[simterm]

$ aws cloudformation delete-stack --stack-name VPConly1
$ aws cloudformation create-stack --stack-name MigrateP3 --template-body file://rtfm_migrate_p3.template
{
    "StackId": "arn:aws:cloudformation:eu-west-1:264418146286:stack/MigrateP3/f1019220-83da-11e6-a465-500c426596d2"
}

[/simterm]

Stack Update

Следующим шагом — переименовываем всё 🙂

Общая идея — всё, что касается SwarmMaster0 — становится Bastion, всё касаемо SwarmNode0 — в Zeus. SwarmMaster1, SwarmNode1 и Consul0 — уже удалены:

  1. MasterSecurityGroup > BastionSecurityGroup
  2. NodesSecurityGroup > ZeusSecurityGroup
  3. SwarmMaster0EIP > BastionEIP
  4. SwarmMaster0 > BastionEC2
  5. SwarmMaster0AssociateEIP > BastionAssociateEIP
  6. SwarmNode0 > ZeusEC2

Используем Update Stack:

[simterm]

$ aws cloudformation update-stack --stack-name MigrateP3 --template-body file://rtfm_migrate_p3.template
{
    "StackId": "arn:aws:cloudformation:eu-west-1:264418146286:stack/MigrateP3/f1019220-83da-11e6-a465-500c426596d2"
}

[/simterm]

Проверяем.

Создаются новые ресурсы:

rtfm_aws_migrate_p3

Удаляются старые:

rtfm_aws_migrate_p4

Или так:

[simterm]

$ aws cloudformation describe-stack-events --stack-name MigrateP3 --query 'StackEvents[*].{ResourceName:LogicalResourceId,Type:ResourceType,Status:ResourceStatus}'                                                       
[                                                                                                                                                                                                                                                                              
    {
        "Status": "UPDATE_COMPLETE",
        "ResourceName": "MigrateP3",
        "Type": "AWS::CloudFormation::Stack"
    },
    {
        "Status": "DELETE_COMPLETE",
        "ResourceName": "MasterSecurityGroup",
        "Type": "AWS::EC2::SecurityGroup"
    },
    {
        "Status": "DELETE_COMPLETE",
        "ResourceName": "SwarmMaster0EIP",
        "Type": "AWS::EC2::EIP"
    },
    {                                                                                                                                                                                                                                                                          
        "Status": "DELETE_IN_PROGRESS",
        "ResourceName": "MasterSecurityGroup",
        "Type": "AWS::EC2::SecurityGroup"
    },
    {
        "Status": "DELETE_IN_PROGRESS",
        "ResourceName": "SwarmMaster0EIP",
        "Type": "AWS::EC2::EIP"
    },
    {
...

[/simterm]

Готово:

rtfm_aws_migrate_p5

Теперь — добавим параметров.

Обновление параметров

Два новых параметра уже добавили в начале (BastionAMIid, ZeusAMIid).

Создадим новый — для указания ключа:

...
    "StackKeyName": {
      "Description" : "Existing key pair name to used with stack resources",
      "Type" : "String",
      "Default": "my-cluster"
    },
...

Далее — обновляем ресурсы.

Используем созданные ранее параметры. Из *подготовки* нам требуется изменить:

«ImageId» : «ami-a7412ad4»
«KeyName»: «my-cluster» (в параметры)

Добавляем параметр для ключа:

...

    "KeyName": {
      "Description" : "Name of an existing EC2 KeyPair to enable SSH access to the instance",
      "Type": "AWS::EC2::KeyPair::KeyName",
      "ConstraintDescription" : "must be the name of an existing EC2 KeyPair.",
      "Default":  "my-cluster"
    },
...

Редактируем ресурс BastionEC2:

...
    "BastionEC2": {
      "DependsOn" : "BastionEIP",
      "Type" : "AWS::EC2::Instance",
...
        "ImageId" : { "Ref" : "BastionAMIid"},
        "AvailabilityZone": { "Fn::Select" : [ "0", { "Fn::GetAZs" : "" } ]},
        "KeyName": { "Ref" : "KeyName" },
        ...
    },
...

Аналогично — ZeusEC2:

...
    "ZeusEC2": {
      "Type" : "AWS::EC2::Instance",
      "Properties" : {
        "Tags" : [ {"Key" : "Name", "Value" : "Zeus" } ],
        "InstanceType" : { "Ref" : "InstanceType" },
        "ImageId" : { "Ref" : "ZeusAMIid" },
        "AvailabilityZone": { "Fn::Select" : [ "0", { "Fn::GetAZs" : "" } ]},
        "KeyName": { "Ref" : "KeyName" },
...

Проверяем:

[simterm]

$ aws cloudformation validate-template --template-body file://rtfm_migrate_p3.template
{
    "Description": "AWS CloudFormation Template Docker Swarm cluster in VPC", 
    "Parameters": [
        {
            "DefaultValue": "ami-170b6064", 
            "NoEcho": false, 
            "Description": "OpenBSD AMI ID for the StackRegion", 
            "ParameterKey": "BastionAMIid"
        }, 
        {
...

[/simterm]

Обновляем стек:

[simterm]

$ aws cloudformation update-stack --stack-name MigrateP3 --template-body file://rtfm_migrate_p3.template

[/simterm]

Проверяем доступность инстансов.

Bastion должен быть достпен «снаружи»:

[simterm]

$ ssh [email protected] -i ~/.ssh/my-cluster.pem
The authenticity of host '52.18.160.157 (52.18.160.157)' can't be established.
ECDSA key fingerprint is 8c:77:df:71:4e:3c:8f:c5:0b:10:fe:39:72:15:b6:1f.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '52.18.160.157' (ECDSA) to the list of known hosts.
OpenBSD 6.0-current (GENERIC.MP) #2337: Mon Aug  8 16:15:11 MDT 2016

Welcome to OpenBSD: The proactively secure Unix-like operating system.

...

#

[/simterm]

И Zeus:

[simterm]

$ scp -i ~/.ssh/my-cluster.pem /home/setevoy/.ssh/my-cluster.pem [email protected]:/root
my-cluster.pem                                                                                                                                                                                                                               100% 1675     1.6KB/s   00:00
$ ssh [email protected] -i ~/.ssh/my-cluster.pem
Last login: Mon Sep 26 13:40:18 2016 from 194.105.145.45
OpenBSD 6.0-current (GENERIC.MP) #2337: Mon Aug  8 16:15:11 MDT 2016

Welcome to OpenBSD: The proactively secure Unix-like operating system.

...

# ssh [email protected] -i /root/my-cluster.pem "uname -a"                                                                                                                                                                                                                 
The authenticity of host '12.0.2.42 (12.0.2.42)' can't be established.
ECDSA key fingerprint is SHA256:kovFZFRr/11VrJnVQKqnGiBEdqFzMdykq0IafQDkfF4.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '12.0.2.42' (ECDSA) to the list of known hosts.
Linux ip-12-0-2-42.eu-west-1.compute.internal 4.6.3-coreos #2 SMP Fri Aug 5 04:51:16 UTC 2016 x86_64 Intel(R) Xeon(R) CPU E5-2676 v3 @ 2.40GHz GenuineIntel GNU/Linux

[/simterm]

Добавление тегов

Добавляем теги для создаваемых ресурсов:

  1. Name: имя ресурса;
  2. stack_name: для добавления всем ресурсам, создаваемым в этом стеке;
  3. rtfm_env: все ресурсы в рамках подготовки к миграции — будут со значением «migrate«.

Например:

...
"Type" : "AWS::EC2::VPC",
...
        "Tags" : [
          { "Key" : "Name", "Value" : "Migrate-VPC"},
          { "Key" : "stack_name", "Value" : { "Ref" : "AWS::StackName"} },
          { "Key" : "rtfm_env", "Value" : "migrate" }
        ]
...
"Type" : "AWS::EC2::SecurityGroup"
...
        "Tags" : [
          { "Key" : "Name", "Value" : "Migrate-BastionSecurityGroup"},
          { "Key" : "stack_name", "Value" : { "Ref" : "AWS::StackName"} },
          { "Key" : "rtfm_env", "Value" : "migrate" }
        ]
...

Повторяем для всех ресурсов, которые поддерживают теги, в данном шаблоне это будут: AWS::EC2::VPC, AWS::EC2::SecurityGroup, AWS::EC2::Subnet, AWS::EC2::InternetGateway, AWS::EC2::RouteTable, AWS::EC2::Instance.

Обновляем стек:

[simterm]

$ aws cloudformation validate-template --template-body file://rtfm_migrate_p3.template
$ aws cloudformation update-stack --stack-name MigrateP3 --template-body file://rtfm_migrate_p3.template
{
   "StackId": "arn:aws:cloudformation:eu-west-1:264418146286:stack/MigrateP3/a1548350-83f7-11e6-8f33-50a68645b236"
}

[/simterm]

Проверяем:

[simterm]

$ aws cloaws ec2 describe-instances --instance-ids  i-cea2b90f --query '[Reservations[*].Instances[*].Tags[*]]' --output text
Name    MigrateZeusEC2
aws:cloudformation:stack-id     arn:aws:cloudformation:eu-west-1:264418146286:stack/MigrateP3/a1548350-83f7-11e6-8f33-50a68645b236
aws:cloudformation:logical-id   ZeusEC2
aws:cloudformation:stack-name   MigrateP3
stack_name      MigrateP3
rtfm_env        migrate

rtfm_aws_migrate_p6

[/simterm]

Добавление outputs

Добавим немного больше информации в вывод после создания стека.

Текущий блок Outputs:

...
  "Outputs" : {
    "VPCCIDR" : {
      "Value" : { "Fn::GetAtt" : ["VPC", "CidrBlock"] },
      "Description" : "VPC CIDR IP addresses block"
    }
  }
...

Выведем:

  1. VPC — ID, блок IP
  2. Bastion —Intance ID, Public DNS, Public IP, Private IP
  3. Zeus — Intance ID, Private DNS, Private IP

Например, возвращаемые данные для EC2 можно найти тут>>>.

Public DNS для Bastion сейчас будет пустым, т.к. созданная VPC не назначет имена автоматом.

Добавляем:

...
  "Outputs" : {
    "VPCID" : {
      "Value" : { "Ref" : "VPC"},
      "Description" : "VPC ID"
    },
    "VPCCIDR" : {
      "Value" : { "Fn::GetAtt" : ["VPC", "CidrBlock"] },
      "Description" : "VPC CIDR IP addresses block"
    },
    "BastionID" : {
      "Value" : { "Ref" : "BastionEC2"},
      "Description": "Bastion EC2 instance ID"
    },
    "BastionPublicDNS" : {
      "Value" : { "Fn::GetAtt" : ["BastionEC2", "PublicDnsName"] },
      "Description": "Bastion public DNS name"
    },
    "BastionPublicIP" : {
      "Value" : { "Fn::GetAtt" : ["BastionEC2", "PublicIp"] },
      "Description": "Bastion public DNS IP address"
    },
    "BastionPrivateIP" : {
      "Value" : { "Fn::GetAtt" : ["BastionEC2", "PrivateIp"] },
      "Description": "Bastion private DNS IP address"
    },
    "ZeusID" : {
      "Value" : { "Ref" : "ZeusEC2" },
      "Description": "Zeus EC2 instance ID"
    },
    "ZeusPrivateDNS" : {
      "Value" : { "Fn::GetAtt" : ["ZeusEC2", "PrivateDnsName"] },
      "Description": "Zeus private DNS name "
    },
    "ZeusPrivateI" : {
      "Value" : { "Fn::GetAtt" : ["ZeusEC2", "PrivateIp"] },
      "Description": "Zeus private IP address"
    }
  }
...

Запускаем:

[simterm]

$ aws cloudformation update-stack --stack-name MigrateP3 --template-body file://rtfm_migrate_p3.template
{
    "StackId": "arn:aws:cloudformation:eu-west-1:264418146286:stack/MigrateP3/a1548350-83f7-11e6-8f33-50a68645b236"
}

[/simterm]

Проверяем:

[simterm]

$ aws cloudformation describe-stacks --stack-name MigrateP3 --query '[Stacks[*].Outputs[*]]' --output text
Bastion private DNS IP address  BastionPrivateIP        12.0.1.20
Bastion EC2 instance ID BastionID       i-cda2b90c
Zeus private IP address ZeusPrivateI    12.0.2.199
VPC ID  VPCID   vpc-bd53c1d9
VPC CIDR IP addresses block     VPCCIDR 12.0.0.0/16
Zeus private DNS name   ZeusPrivateDNS  ip-12-0-2-199.eu-west-1.compute.internal
Bastion public DNS name BastionPublicDNS
Zeus EC2 instance ID    ZeusID  i-cea2b90f
Bastion public DNS IP address   BastionPublicIP 52.211.232.8

[/simterm]

rtfm_aws_migrate_p7

Готово.

Почитать по теме:

19 Best Practices for Creating Amazon CloudFormation Templates

AWS CloudFormation Best Practices

Using Tags to Organize AWS Resources