Category Archives: RDBMS/NoSQL etc

RDBMS/NoSQL и другие сервера баз данных

AWS: CloudFormation – шаблон для RDS PostgreSQL

10/27/2017
 

 Задача – написать шаблон для развёртывания стека, в котором будут два AWS RDS PostgreSQL инстанса (Oscar и Grover). К инстансам необходимо обеспечить доступ из другого AWS региона, т.к. EC2 интанс с Tableau сервером находится (пока) в us-west-1 (N. California), а новые RDS сервера – в Ирландии (eu-west-1). Поэтому – подсети в VPC будут публичными, ограничение доступа будет реализовано… Read More »

Pentaho DI: миграция базы MySQL в PostgreSQL

10/26/2017
 

 Задача – конвертировать базы MySQL в PostgreSQL. PostgreSQL будет в AWS RDS, пока используем локальный сервер. Установка PostgreSQL – тут>>>, Pentaho – тут>>>. MySQL Добавляем пользователя с доступом из нашей сети, сread only правами ко всем базам: Проверяем: Подключаемся с локальной машины – проверяем удалённый доступ: Проверяем размер базы данных, для теста возьмём marin_pb_v2_yahoo_49987: ОК –… Read More »

PostgreSQL: установка на Linux

10/20/2017
 

 Документация – тут>>> и тут>>>. Доступ к AWS PostgreSQL RDS из нашей сети закрыт, надо установить PostgreSQL локально для проверки конвертации баз MySQL > PostgreSQL. Быстрая заметка по началу работы с сервером. Установка Устанавливаем на Arch Linux, для тестов: Задаём пароль пользователю postgres: Обновляем sudo через visudo: … postgres ALL=(ALL) NOPASSWD:ALL … Переключаемся под него: Базы данных будут… Read More »

AWS: IAM и bash скрипт бекапа MySQL/MariaDB баз в AWS S3

10/13/2017
 

 Задача – набросать скрипт для создания бекапов всех баз сервера БД и сохранять их в корзину. В общем – всё просто: бекапы делаем с помощью mysqldump, в S3 корзину пушим с помощью AWS CLI. Далее: создаём корзину для бекапов создаём пользователя с read-write политикой для доступа к этой корзине и сам скрипт Для простоты –… Read More »

MySQL/MariaDB: mysqlbinlog – примеры

10/10/2017
 

 Краткая заметка по работе с бинарными логами MySQL/MariaDB. Файлы логов: $ ls -l /var/log/mysql total 19616 -rw-rw—- 1 mysql adm 4284668 Nov 24 2016 mariadb-bin.000004 -rw-rw—- 1 mysql adm 15779518 Oct 4 16:14 mariadb-bin.000005 -rw-rw—- 1 mysql adm 68 Nov 24 2016 mariadb-bin.index -rw-rw—- 1 mysql adm 404 Oct 5 11:26 mariadb-general.log Для просмотра используем… Read More »

MySQL/MariaDB: like Petya ransomware для баз данных и ‘root’@’%’

10/06/2017
 

 Пришёл новый проект, начал вникать в имеющийся сетап, и… Просто ах!.. Удивляюсь. По порядку. Data Science проект, пачка MariaDB серверов, 11 штук, проверяю их. На каждом – от десяти до полутора сотен баз данных. Заодно – включаю general log, но на одном из серверов – вдруг нет баз вообще, кроме базы со странным именем PLEASE_READ:… Read More »

Viber: получить history в текстовом виде и скрипт бекапа

07/10/2017
 

 Как и Skype – Linux-клиент Viber хранит данные в локальной SQLite базе: $ ls -l ~/.ViberPC/38096***26/ | grep db -rw-r–r– 1 setevoy setevoy 38912 Jun 30 15:30 data.db -rw-r–r– 1 setevoy setevoy 32768 Jul 10 10:38 data.db-shm -rw-r–r– 1 setevoy setevoy 1048032 Jul 10 10:38 data.db-wal -rw-r–r– 1 setevoy setevoy 5072896 Jul 10 09:59 viber.db… Read More »

[UPD 25] Azure: почему никогда

03/06/2017
 

 Недели тому в ленте подписок на Хабрахабре мне попался пост>>> о том, что в рамках новой стратегии “Microsoft loves Linux” был открыт исходный код PowerShell и опубликованы пакеты для Ubuntu 14.04, Ubuntu 16.04, CentOS 7, и macOS 10.11, и даже есть “документация” (к документации и Microsoft вернёмся чуть позже) для запуска Docker-контейнера с PowerShell, которая, однако, приводит к ошибке… Read More »

AWS: запуск WordPress в ECS

01/12/2017
 

 Задача: запустить WordPress на AWS ECS. Создание кластера и общие сведения по AWS ECS есть тут>>>. Далее будет рассмотрено: создание кластера; создание EC2 интанса; добавление task definition; создание task; запуск задачи с WordPress. Кластер

AWS: RDS Aurora db.t2.medium vs t2.nano и MariaDB

12/13/2016
 

 Сравнение работы RTFM при использовании базы на AWS RDS Aurora db.t2.medium – и t2.nano с MariaDB 10.0. Причина поиска альтернативы AWS Aurora – простая: За 12 дней. Вынес базу временно, так как во время использования MariaDB на одном с web-сервером инстансе – Load Average у него временами поднималась до 5.0-6.0, причём большая часть времени уходила на Steal time (хороший… Read More »