Архив рубрики: Virtualization

In computing, virtualization refers to the act of creating a virtual version of something, including virtual computer hardware platforms, storage devices, and computer network resources.

AWS: Amazon Athena — serverless сервис аналитики, примеры

24 января 2018
 

 Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы. О сервисе — тут>>>. Документация — тут>>>. Начало работы — тут>>>. Видео — тут>>> (первая часть, знакомство с Athena), тут>>> (вторая часть — S3), тут>>> (третья… Читать далее »

Tableau: очистка места с tabadmin cleanup и обновление версии 10.2 до 10.5

14 января 2018
 

 Итак — воскресенье, тот единственный день в неделю, когда можно остановить наш production Tableau сервер. Задач на сегодня целых две: сейчас Tableau установлен на раздел с 128 ГБ места, из которых свободных осталось 3.9 (уже 13 — проекты почистили свои данные немного) — надо решить проблему с местом, используем tabadmin cleanup и вторая задача —… Читать далее »

Python: скрипт бекапа файлов и баз MySQL в AWS S3

3 января 2018
Python
 

 Задача — набросать скрипт, который умел бы создавать бекап нескольких сайтов и загружать их в AWS S3 корзину. Ниже описан процесс написания такого скрипта (или, скорее, уже даже «утилиты», т.к. имеются модули и файл настроек), без особых деталей по работе и реализации самих функций — больше информации о процессе создания утилиты, её структуре и логике… Читать далее »

Python: boto3 — примеры аутентификации и авторизации

2 января 2018
Python
 

 Полная документация — тут>>>. Основные способы авторизации, по очереди их выполнения: передача данных доступа методу boto.client() передача данных доступа параметрами при создании объекта Session() переменные окружения файл данных CLI ~/.aws/credentials файлы /etc/boto.cfg и ~/.boto Пишу скрипт бекапа (очередной 🙂 ), и очень хочется избежать передачи данных через файл настроек скрипта, поэтому основным вариантом для домашней… Читать далее »

Python: boto3 и скрипт обновления AWS Security Group

31 декабря 2017
Python
 

 Имеется VPN сервис, работающий в AWS на EC2, доступ к которому ограничен с помощью security group. Задача: набросать скрипт, который работал бы под Linux/Windows (VPN-ом пользуюсь не я один), который позволял бы быстро добавить запись с новым IP для доступа. Используем Python 3 и boto3.

Docker: Swarm — REPLICAS 0/1

28 декабря 2017
 

 Имеется приложение, в Docker Swarm. Окружение работает в MS Azure, четыре виртуальных машины/ноды — один Swarm-менеджер и три воркера. После очередного деплоя — не появляется ни одной реплики: [simterm] $ docker service ls ID NAME MODE REPLICAS IMAGE PORTS 7hcoo66khzzp jm_website_api_layer replicated 0/1 jm/jm-api-layer:v2.0.3 *:4004->4004/tcp mlejgw5pgen9 jm_website_proxy replicated 0/1 jm/jm-website-proxy:latest *:80->80/tcp,*:443->443/tcp jv9t1pk50ui3 jm_website_transform replicated 0/1… Читать далее »

AWS: SSL Certificate Manager, CloudFront, S3 static website хостинг и несколько доменов

14 декабря 2017
 

 AWS Certificate Manager (ACM) позволяет создавать и управлять SSL сертификатами для сайтов и приложений в AWS. С его помощью можно получить новый сертификат — или загрузить и использовать свой. Документация по ACM — тут>>>. Задача: создать хостинг статического сайта в AWS S3, отдавать контент через CDN CloudFront, получить SSL в AWS ACM для двух имён и… Читать далее »

Docker: запуск Jenkins в Docker и Docker private registry

23 ноября 2017
 

 Задача — развернуть Jenkins и Docker Private registry в Китае, на AWS. Аналогичные посты — тут>>> и тут>>>, только в этом посте всё собрано в одно целое и упорядочено. К EC2 будут подключены два EBS — один с данными Jenkins, второй — с данными Docker. Для Docker registry в качестве хранилища используем AWS S3. Далее в посте: создадим… Читать далее »

Docker: save и load — скопировать образ между хостами

22 ноября 2017
 

 Имеется Docker контейнер с Jenkins на EC2 в Китае, необходимо обновить версию Jenkins. Что бы не тянуть весь образ напрямую в Китай (скорость иногда падала до 3-4 кб/с) — можно скачать его на рабочую машину в Киеве, а потом скопировать архив в Китай с помощью scp. Используем docker save для создания архива с образом и docker… Читать далее »