Monthly Archives: October 2017

Linux: notify-send, DBus и crontab

10/31/2017
 

 Имеется скрипт для вывода уведомления на экран каждые N минут из поста Arch Linux: уведомления в Openbox с libnotify: #!/usr/bin/env bash notify-send ‘Hello, world!’ ‘Example.’ –icon=dialog-information Проблема в том, что по логам – он выполняется, но на экране сообщения не появляются. Что бы заставить его работать – надо указать nofity-send на текущий адрес файла сокета… Read More »

AWS: CloudFormation – шаблон для RDS PostgreSQL

10/27/2017
 

 Задача – написать шаблон для развёртывания стека, в котором будут два AWS RDS PostgreSQL инстанса (Oscar и Grover). К инстансам необходимо обеспечить доступ из другого AWS региона, т.к. EC2 интанс с Tableau сервером находится (пока) в us-west-1 (N. California), а новые RDS сервера – в Ирландии (eu-west-1). Поэтому – подсети в VPC будут публичными, ограничение доступа будет реализовано… Read More »

Pentaho DI: миграция базы MySQL в PostgreSQL

10/26/2017
 

 Задача – конвертировать базы MySQL в PostgreSQL. PostgreSQL будет в AWS RDS, пока используем локальный сервер. Установка PostgreSQL – тут>>>, Pentaho – тут>>>. MySQL Добавляем пользователя с доступом из нашей сети, сread only правами ко всем базам: Проверяем: Подключаемся с локальной машины – проверяем удалённый доступ: Проверяем размер базы данных, для теста возьмём marin_pb_v2_yahoo_49987: ОК –… Read More »

Pentaho DI: aka Kettle – установка на Linux

10/25/2017
 

 Pentaho Data Integration (PDI, ранее называвшаяся Kettle) – компонент для выполнения Extract, Transform and Load (ETL) задач. Обычно используется (и планировалась в проекте) для всякой бигдаты и аналитики, но кроме этого может применяться для конвертации различных данных. Задача на сейчас – конвертировать базы MySQL со старых серверов в PostgreSQL. Для проверки – надо установить PDI локально, попробовать… Read More »

Prometheus: Ansible, NGINX и Grafana dashboard

10/23/2017
 

 Продолжаем с Prometheus… Последней задачей было Azure: подключение volume – ARM, Ansible и данные Prometheus. Теперь – добавим Grafana для визуализации данных. Надо – обновить docker-compose файл, добавить запуск контейнера с Grafana, и в самой Grafana – настроить backend, что бы она получала данные с Prometheus сервера. Кроме того – надо обновить NGINX (в нём в блоге не… Read More »

SSH: подключение в приватную сеть через Bastion и немного про Multiplexing

10/21/2017
 

 Имеется сервер с доступом к порту 22 с домашнего IP – это будет rtfm-bastion. За ним, в приватной сети, есть сервер баз данных, доступ к которому разрешён только с bastion хоста – это будет rtfm-db. Задача: подключаться к серверу баз данных “напрямую”, без дополнительных команд на бастион-хосте (вообще это надо будет для Ansible, но можно… Read More »

PostgreSQL: установка на Linux

10/20/2017
 

 Документация – тут>>> и тут>>>. Доступ к AWS PostgreSQL RDS из нашей сети закрыт, надо установить PostgreSQL локально для проверки конвертации баз MySQL > PostgreSQL. Быстрая заметка по началу работы с сервером. Установка Устанавливаем на Arch Linux, для тестов: Задаём пароль пользователю postgres: Обновляем sudo через visudo: … postgres ALL=(ALL) NOPASSWD:ALL … Переключаемся под него: Базы данных будут… Read More »

Jenkins: миграция RTFM 2.6 – Jenkins Pipeline для Ansible

10/18/2017
 

 В одном из предыдущих постов – Jenkins: миграция RTFM 2.4 – Jenkins Pipeline для CloudFormation RTFM стека – была добавлена задача в Jenkins для создания и апдейта AWS CloudFormation стека. Следующая задача – запускать Ansbile из Jenkins для настройки серверов в стеке. Далее создадим одну Ansbile роль с установкой NGINX, потом добавим задачу в Jenkins. PEM-ключи для… Read More »

Arch Linux: чистим /var

10/18/2017
 

 Быстрая заметка по очистке /var на Arch Linux. Корневой раздел – 30 гиг, занято 26: # df -h / | grep root /dev/mapper/kubuntu_vg-root 30G 26G 2.3G 93% / (когда-то на ноуте была Kubuntu, потом мигрировал на Arch) Находим самые большие директории:

AWS: миграция RTFM 2.5 – настройка NAT на Bastion EC2 как замена NAT Gateway

10/16/2017
 

 Для доступа в Интернет из приватной сети AWS предоставляет две возможности – NAT Gateway и NAT инстансы. Сравнение между ними можно почитать тут>>>. Насколько я в курсе – NAT инстансы от AWS появились раньше, а NAT Gateway для VPC – году в 2015. До этого – требовалась ручная настройка NAT на своём инстансе в публичной… Read More »