Category Archives: RDBMS/NoSQL etc

RDBMS/NoSQL и другие сервера баз данных

MySQL: database error Disk full и purge binary logs

23 March 2018
 

 Упал блог, в логах NGINX видна ошибка: 2018/03/19 13:17:11 [error] 5992#5992: *3105079 FastCGI sent in stderr: “PHP message: WordPress database error Disk full (/tmp/#sql_7348_0.MAI); waiting for someone to free some space… (errno: 28 “No space left on device”) ОК, идём на сервер баз данных, проверяем место: А на диске всего 7.8 GB: Проверяем бинлоги MariaDB:… Read More »

MySQL/MariaDB: команды shell из консоли MySQL-клиента

19 March 2018
 

 MySQL CLI позволяет быстро выполнять команды из консоли с bash или другим shell, загружать sql-скрипты и так далее. Очень удобно, что бы не выходить из MySQL, если надо быстро выполнить команду. Например – выполнить команды ls из консоли MySQL: Так же из консоли MySQL можно быстро перейти в консоль системы и обратно: Или выпонить sql-скрипт:… Read More »

MySQL/MariaDB: настройка SSL

12 March 2018
 

 После авторизации клиента передача данных между клиентом и сервером MySQL/MariaDB происходим в открытом виде, т.е. plaintext. Если клиент и сервер расположены не на одном хосте и/или не в одной приватной сети – то данные, соответственно, можно перехватить и прочитать. Проверка plaintext Проверим это. Создаём тестовую базу: Добавляем пользователя с правами доступа с удалённого хоста: Задаём права… Read More »

AWS: RDS – Connection refused и StorageFull

2 March 2018
 

 Имеется AWS RDS инстанс PostgreSQL, который в какой-то момент перестал принимать подключения: $ psql –host=datascience-ops.cjonwt.us-west-2.rds.amazonaws.com –username=dsops –password –dbname=dsops Password for user dsops: psql: could not connect to server: Connection refused Is the server running on host “datascience-ops.cjonwt.us-west-2.rds.amazonaws.com” and accepting TCP/IP connections on port 5432? Проверяем статус: И в логах: Бекап сейчас выполнить тоже нельзя: Увеличим… Read More »

AWS: Amazon Athena – serverless сервис аналитики, примеры

24 January 2018
 

 Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы. О сервисе – тут>>>. Документация – тут>>>. Начало работы – тут>>>. Видео – тут>>> (первая часть, знакомство с Athena), тут>>> (вторая часть – S3), тут>>> (третья… Read More »

MariaDB: Table ‘mysql.user’ doesn’t exist

29 December 2017
 

 Есть локальный сервер MariaDB на рабочем ноуте с Arch Linux, для мелких тестовых баз. При попытке запуска – ошибка: $ sudo systemctl start mariadb Job for mariadb.service failed because the control process exited with error code. See “systemctl status mariadb.service” and “journalctl -xe” for details.

AWS: CloudFormation – шаблон для RDS PostgreSQL

27 October 2017
 

 Задача – написать шаблон для развёртывания стека, в котором будут два AWS RDS PostgreSQL инстанса (Oscar и Grover). К инстансам необходимо обеспечить доступ из другого AWS региона, т.к. EC2 интанс с Tableau сервером находится (пока) в us-west-1 (N. California), а новые RDS сервера – в Ирландии (eu-west-1). Поэтому – подсети в VPC будут публичными, ограничение доступа будет реализовано… Read More »

Pentaho DI: миграция базы MySQL в PostgreSQL

26 October 2017
 

 Задача – конвертировать базы MySQL в PostgreSQL. PostgreSQL будет в AWS RDS, пока используем локальный сервер. Установка PostgreSQL – тут>>>, Pentaho – тут>>>. MySQL Добавляем пользователя с доступом из нашей сети, сread only правами ко всем базам: Проверяем: Подключаемся с локальной машины – проверяем удалённый доступ: Проверяем размер базы данных, для теста возьмём marin_pb_v2_yahoo_49987: ОК –… Read More »

PostgreSQL: установка на Linux

20 October 2017
 

 Документация – тут>>> и тут>>>. Доступ к AWS PostgreSQL RDS из нашей сети закрыт, надо установить PostgreSQL локально для проверки конвертации баз MySQL > PostgreSQL. Быстрая заметка по началу работы с сервером. Установка Устанавливаем на Arch Linux, для тестов: Задаём пароль пользователю postgres: Обновляем sudo через visudo: … postgres ALL=(ALL) NOPASSWD:ALL … Переключаемся под него: Базы данных будут… Read More »

AWS: IAM и bash скрипт бекапа MySQL/MariaDB баз в AWS S3

13 October 2017
 

 Задача – набросать скрипт для создания бекапов всех баз сервера БД и сохранять их в корзину. В общем – всё просто: бекапы делаем с помощью mysqldump, в S3 корзину пушим с помощью AWS CLI. Далее: создаём корзину для бекапов создаём пользователя с read-write политикой для доступа к этой корзине и сам скрипт Для простоты –… Read More »