Архив рубрики: Databases

A NoSQL database provides a mechanism for storage and retrieval of data that is modeled in means other than the tabular relations used in relational databases.
A relational database management system is a database management system based on the relational model of data.

AWS: Redshift — быстрый запуск кластера и подключение из SQL-workbench

18 октября 2019
 

 Наши дата-аналитики наконец-то решились потрогать AWS Redshift вместо MariaDB RDS. Соответственно задача — поднять Proof of Concept кластер Redshift в AWS. Сейчас сделаем быстро, без вникания и рассмотрения деталей, если решение таки пойдёт в Production — то поразбираемся с нюансами. На данный момент нас интересует только выбор типа нод для кластера — Dense Storage или… Читать далее »

Vertica: установка и запуск кластера на AWS EC2

10 октября 2019
 

 Vertica — сервер баз данных для аналитиков, рассчитанный на большие объёмы данных. Задача на сейчас — запустить Proof of Concept инстанс Vertica на AWS EC2, что бы посмотреть как она вообще сетапится и дать потестить дата-аналитикам. Обладает достаточно неплохой документацией. AWS Проверяем список инстансов, на которых можно запустить Vertica тут>>>. Находим AMI: Используем минимальный инстанс… Читать далее »

PostgreSQL: FATAL: Peer authentication failed for user «name»

11 сентября 2019
 

 Небольшая заметка «для себя» по настройке удалённого доступа и дампам в PostgreSQL. Переехал к нам ЕС2 с другого аккаунта с одним из сайтов. При попытке подключиться к PostgreSQL, который работает на этой машинке — получаем ошибку «FATAL: Peer authentication failed for user «name»«. Причём и при подключении локально — и удалённо. PostgreSQL remote login enable… Читать далее »

Redis: основные параметры конфигурации и тюнинг производительности

5 сентября 2019
 

 В процессе настройки Redis  в роли кеширующего сервиса для приложения — набросался такой вот пост. Рассмотрим основные параметры конфигурации Redis, их значения, как они и на что они влияют, и на какие из них стоит обратить внимание. Местами совсем кратко, но везде со ссылками. Начать, пожалуй, стоит с утилиты redis-benchmark. Устанавливается вместе с сами Redis,… Читать далее »

SonarQube: Unrecoverable indexation failures и Elasticsearch «Disk watermark exceeded»

29 августа 2019
 

 Есть SonarQube, запускается из Jenkins-джоб. См. SonarQube: запуск в Docker и вызов из Jenkins Pipeline. SonarQube из Jenkins запускается, задачи проходят, но в самом SonarQube возникает ошибка: java.lang.IllegalStateException: Unrecoverable indexation failures: 1 errors among 1 requests at org.sonar.server.es.IndexingListener$1.onFinish(IndexingListener.java:39) at org.sonar.server.es.BulkIndexer.stop(BulkIndexer.java:122) … Логи SonarQube: Aug 29 12:30:26 jenkins-production docker-compose[12591]: sonarqube_1  | 2019.08.29 09:30:26 ERROR web[][o.s.s.es.BulkIndexer] index… Читать далее »

Redis: fork — Cannot allocate memory, Linux, виртуальная память и vm.overcommit_memory

27 августа 2019
 

 Cейчас настраиваю Redis как кеширующий сервис приложения, и среди прочего встал вопрос — надо ли включать vm.overcommit_memory в 1, или нет? Вопрос достаточно старый, см. История, но вот докопаться до сути, упорядочить и привести в читабельный вид удалось только сейчас. Проблема заключается в том, что официальная документация и практически все гайды/HowTo-шки по Redis достаточно легкомысленно… Читать далее »

AWS RDS: SQLSTATE[22001] — Data too long for column в MariaDB 10.2

8 августа 2019
 

 Имеется PHP-приложение с бекендом AWS RDS MariaDB. На версии 10.0 работало нормально, но после миграции на 10.2 — в логах начали появляться ошибки: PDOException: SQLSTATE[22001]: String data, right truncated: 1406 Data too long for column ‘name’ at row 1 in /data/projects/projectname/vendor/yiisoft/yii2/db/Command.php:1290 Вариант первый — это просто сменить тип колонки с VARCHAR на LONGTEXT, например так:… Читать далее »

AWS: MariaDB RDS — kill: You are not owner of thread

14 мая 2019
 

 Имеется AWS RDS с MariaDB. Ошибка и решение не специфичны ни для AWS RDS, ни для MariaDB. При попытке убить процесс — RDS сообщает, что: Решение — использовать процедуру mysql.rds_kill(): Вызываем её: Для Azure MySQL имеется аналогичная процедура mysql.az_kill(). Готово.

TestRail: сброс пароля admin

13 мая 2019
 

 Имеется установленный TestRail, к которому потеряли пароля админа, а опция Reset Password сообщает, что «Email sending failed» — хотя почта настроена, и работает — пользователи письма получают. Лог /var/www/testrail.example.com/logs/log-2019-05-13.php ничего внятного не сообщает, поэтому поступим проще — обновим пароль прямо в базе данных. Создаём бекап базы: Подключаемся к серверу, находим базу данных TestRail: Пользователи и… Читать далее »

Redis: репликация, часть 4 — написание Ansible роли

15 апреля 2019
 

 В продолжение постов о создании Redis репликации и использования Redis Sentinel для его мониторинга. Предыдущие части: Redis: репликация, часть 1 — обзор. Replication vs Sharding. Sentinel vs Cluster. Топология Redis Redis: репликация, часть 2 — Master-Slave репликация, и Redis Sentinel Redis: репликация, часть 3 — redis-py и работа с Redis Sentinel из Python Следующая задача… Читать далее »