Архив рубрики: Amazon web services

Amazon Web Services is a subsidiary of Amazon that provides on-demand cloud computing platforms to individuals, companies and governments, on a paid subscription basis.

AWS: Amazon Athena — serverless сервис аналитики, примеры

24 января 2018
 

 Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы. О сервисе — тут>>>. Документация — тут>>>. Начало работы — тут>>>. Видео — тут>>> (первая часть, знакомство с Athena), тут>>> (вторая часть — S3), тут>>> (третья… Читать далее »

Tableau: очистка места с tabadmin cleanup и обновление версии 10.2 до 10.5

14 января 2018
 

 Итак — воскресенье, тот единственный день в неделю, когда можно остановить наш production Tableau сервер. Задач на сегодня целых две: сейчас Tableau установлен на раздел с 128 ГБ места, из которых свободных осталось 3.9 (уже 13 — проекты почистили свои данные немного) — надо решить проблему с местом, используем tabadmin cleanup и вторая задача —… Читать далее »

Python: скрипт бекапа файлов и баз MySQL в AWS S3

3 января 2018
Python
 

 Задача — набросать скрипт, который умел бы создавать бекап нескольких сайтов и загружать их в AWS S3 корзину. Ниже описан процесс написания такого скрипта (или, скорее, уже даже «утилиты», т.к. имеются модули и файл настроек), без особых деталей по работе и реализации самих функций — больше информации о процессе создания утилиты, её структуре и логике… Читать далее »

Python: boto3 — примеры аутентификации и авторизации

2 января 2018
Python
 

 Полная документация — тут>>>. Основные способы авторизации, по очереди их выполнения: передача данных доступа методу boto.client() передача данных доступа параметрами при создании объекта Session() переменные окружения файл данных CLI ~/.aws/credentials файлы /etc/boto.cfg и ~/.boto Пишу скрипт бекапа (очередной 🙂 ), и очень хочется избежать передачи данных через файл настроек скрипта, поэтому основным вариантом для домашней… Читать далее »

Python: boto3 и скрипт обновления AWS Security Group

31 декабря 2017
Python
 

 Имеется VPN сервис, работающий в AWS на EC2, доступ к которому ограничен с помощью security group. Задача: набросать скрипт, который работал бы под Linux/Windows (VPN-ом пользуюсь не я один), который позволял бы быстро добавить запись с новым IP для доступа. Используем Python 3 и boto3.

AWS: SSL Certificate Manager, CloudFront, S3 static website хостинг и несколько доменов

14 декабря 2017
 

 AWS Certificate Manager (ACM) позволяет создавать и управлять SSL сертификатами для сайтов и приложений в AWS. С его помощью можно получить новый сертификат — или загрузить и использовать свой. Документация по ACM — тут>>>. Задача: создать хостинг статического сайта в AWS S3, отдавать контент через CDN CloudFront, получить SSL в AWS ACM для двух имён и… Читать далее »

Docker: запуск Jenkins в Docker и Docker private registry

23 ноября 2017
 

 Задача — развернуть Jenkins и Docker Private registry в Китае, на AWS. Аналогичные посты — тут>>> и тут>>>, только в этом посте всё собрано в одно целое и упорядочено. К EC2 будут подключены два EBS — один с данными Jenkins, второй — с данными Docker. Для Docker registry в качестве хранилища используем AWS S3. Далее в посте: создадим… Читать далее »

AWS: CloudFormation — шаблон для RDS PostgreSQL

27 октября 2017
 

 Задача — написать шаблон для развёртывания стека, в котором будут два AWS RDS PostgreSQL инстанса (Oscar и Grover). К инстансам необходимо обеспечить доступ из другого AWS региона, т.к. EC2 интанс с Tableau сервером находится (пока) в us-west-1 (N. California), а новые RDS сервера — в Ирландии (eu-west-1). Поэтому — подсети в VPC будут публичными, ограничение доступа будет реализовано… Читать далее »

Jenkins: миграция RTFM 2.6 – Jenkins Pipeline для Ansible

18 октября 2017
 

 В одном из предыдущих постов — Jenkins: миграция RTFM 2.4 – Jenkins Pipeline для CloudFormation RTFM стека — была добавлена задача в Jenkins для создания и апдейта AWS CloudFormation стека. Следующая задача — запускать Ansbile из Jenkins для настройки серверов в стеке. Далее создадим одну Ansbile роль с установкой NGINX, потом добавим задачу в Jenkins. PEM-ключи для… Читать далее »