Category Archives: RDBMS/NoSQL etc

RDBMS/NoSQL и другие сервера баз данных

Memcached: установка, примеры

30 May 2018
 

 Memcached – ещё одна key:value система кеширования, аналогичная Redis. Основное ограничение и отличие – memcached не хранит данные постоянно, т.е. при рестарте сервера данные из памяти будут утеряны. Кратко её установка и примеры использования. Установка pacman На Arch Linux можно установить из репозитория с помощью pacman: Debian/Ubuntu – с помощью apt, заодно PHP и NGINX… Read More »

MariaDB: AWS RDS – Lost connection to MySQL Server During Query

29 May 2018
 

 При выполнении запроса из Tableau сервера – он завершается ошибкой: [MySQL][ODBC 5.3(w) Driver][mysqld-5.5.5-10.2.11-MariaDB]Lost connection to MySQL server during query Unable to create extract Решение – изменить параметр net_read_timeout. Переходим к RDS > Parameter groups, находим net_read_timeout: Выбираем параметр, жмём Edit parameters, задаём новое значение, например 60 секунд: Проверяем: При использовании CloudFormation – параметр можно передать… Read More »

Redis: установка, запуск, примеры

28 May 2018
 

 Redis – система хранения и обработки данных, написанная на C, которую можно использовать как базу данных, сервис кеширования и менеджер очередей. Обслуживаемые им данные хранятся в памяти (in-memory dataset), периодически синхронизируясь с данными на жестком диске, в зависимости от конфигурации Redis. Установка Redis Redis можно установить с помощью менеджера пакетов ОС, из исходников, либо запустить… Read More »

AWS: GDPR и RDS – миграция на encrypted RDS

17 May 2018
 

 Наверняка уже все слышали про General Data Protection Regulation (GDPR),  который вступит в силу 25-го мая 2018 года. Если нет, то в двух словах – это набор правил, которым должны соответствовать компании, которые собирают и хранят данные, в которых содержится информация о жителях Евросоюза (впрочем – США готовятся принять аналогичный документ). В первую очередь эти правила… Read More »

AWS: тестируем производительность NGINX, PHP-FMP и MariaDB локально и на разных хостах

16 May 2018
 

 В посте Ansible: миграция RTFM 2.11 – хост Services – установка PHP, PHP-FPM я закончил на том, что надо протестировать работу связки NGINX+PHP-FPM+MariaDB для WordPress при использовании AWS EFS для файлов сайта. Ниже результаты проверки при следующих вариантах использования NGINX + PHP-FPM: NGINX, PHP-FPM и MariaDB установлены локально, общаются через UNIX-сокет NGINX, PHP-FPM и MariaDB… Read More »

MySQL: database error Disk full и purge binary logs

23 March 2018
 

 Упал блог, в логах NGINX видна ошибка: 2018/03/19 13:17:11 [error] 5992#5992: *3105079 FastCGI sent in stderr: “PHP message: WordPress database error Disk full (/tmp/#sql_7348_0.MAI); waiting for someone to free some space… (errno: 28 “No space left on device”) ОК, идём на сервер баз данных, проверяем место: А на диске всего 7.8 GB: Проверяем бинлоги MariaDB:… Read More »

MySQL/MariaDB: команды shell из консоли MySQL-клиента

19 March 2018
 

 MySQL CLI позволяет быстро выполнять команды из консоли с bash или другим shell, загружать sql-скрипты и так далее. Очень удобно, что бы не выходить из MySQL, если надо быстро выполнить команду. Например – выполнить команды ls из консоли MySQL: Так же из консоли MySQL можно быстро перейти в консоль системы и обратно: Или выпонить sql-скрипт:… Read More »

MySQL/MariaDB: настройка SSL

12 March 2018
 

 После авторизации клиента передача данных между клиентом и сервером MySQL/MariaDB происходим в открытом виде, т.е. plaintext. Если клиент и сервер расположены не на одном хосте и/или не в одной приватной сети – то данные, соответственно, можно перехватить и прочитать. Проверка plaintext Проверим это. Создаём тестовую базу: Добавляем пользователя с правами доступа с удалённого хоста: Задаём права… Read More »

AWS: RDS – Connection refused и StorageFull

2 March 2018
 

 Имеется AWS RDS инстанс PostgreSQL, который в какой-то момент перестал принимать подключения: $ psql –host=datascience-ops.cjonwt.us-west-2.rds.amazonaws.com –username=dsops –password –dbname=dsops Password for user dsops: psql: could not connect to server: Connection refused Is the server running on host “datascience-ops.cjonwt.us-west-2.rds.amazonaws.com” and accepting TCP/IP connections on port 5432? Проверяем статус: И в логах: Бекап сейчас выполнить тоже нельзя: Увеличим… Read More »

AWS: Amazon Athena – serverless сервис аналитики, примеры

24 January 2018
 

 Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы. О сервисе – тут>>>. Документация – тут>>>. Начало работы – тут>>>. Видео – тут>>> (первая часть, знакомство с Athena), тут>>> (вторая часть – S3), тут>>> (третья… Read More »