Архив метки: databases

Redis: Master-Slave репликация и запуск в Kubernetes

23 сентября 2020
 

 Задача — запустить Redis в Kubernetes. Используем Master-Slave репликацию и Sentinel для мониторинга и failover. См. Redis: репликация, часть 2 — Master-Slave репликация, и Redis Sentinel. Redis cluster vs Redis replication См. Redis: репликация, часть 1 — обзор. Replication vs Sharding. Sentinel vs Cluster. Топология Redis и Choose between Redis Helm Chart and Redis Cluster… Читать далее »

MySQL: mysqldbcompare — сравнение двух баз

9 сентября 2020
 

 В качестве проложения поста AWS: Database Migration Service, часть 1 — обзор и пример миграции self-hosted MariaDB в AWS Aurora RDS — описание утилиты mysqldbcompare, которая предназначена для сравнения двух баз данных. См. документацию тут>>>. Установка На Arch Linux можно установить из AUR: Либо скачать и установить вручную. Загружаем архив: Пробуем установить: Добавляем Python-модуль configparser: И… Читать далее »

AWS: Database Migration Service, часть 2 — нет AUTO_INCREMENT и индексов. Фиксы для «foreign key constraint fails» и логов CloudWatch

31 августа 2020
 

 Продолжение поста AWS: Database Migration Service — обзор и пример миграции self-hosted MariaDB в AWS Aurora RDS. И всё было хорошо, пока мы не запустили первые тесты, которые начали отваливаться с ошибками: [2020-08-28 17:13:02] local.ERROR: SQLSTATE[HY000]: General error: 1364 Field ‘id’ doesn’t have a default value Начинаем проверять таблицы, и видим, что поле ID потеряло… Читать далее »

AWS: Database Migration Service, часть 1 — обзор и пример миграции self-hosted MariaDB в AWS Aurora RDS

27 августа 2020
 

 В общем-то — продолжение эпопеи с миграцией приложения из Digital Ocean в Amazon Web Services. В посте Kubernetes: нагрузочное тестирование и high-load тюнинг — проблемы и решения мы тестировали работу самого приложения в Kubernetes, следующая задача — перенести базу данных. Сейчас база данных проекта находится в Digital Ocean, на обычном дроплете с Linux и MariaDB.… Читать далее »

Neo4j: запуск в Kubernetes

5 августа 2020
 

 В предыдущем посте — Neo4j: graph database — запуск в Docker и примеры работы с Cypher QL — мы запустили Neo4j в Docker, и познакомлись с его архитекторой и языком запросов CQL. Следующая задача — запустить сервер баз данных в Kubernetes. Используем Neo4j Community Edition, запускать будем в виде одного инстанса (т.к. поддержка кластеризации только… Читать далее »

Neo4j: graph database — запуск в Docker и примеры работы с Cypher QL

28 июля 2020
 

 В отличии от традиционной RDMS (Relational Database Management System — реляционная база данных), у которой в первую очередь играют роли данные, в Graph Database связи между данными имеют большее значение, и выделены в отдельные объекты, что даёт лучшую производительность, особенно при больших объёмах данных с множеством взаимосвязанных объектов, и делает управление такой базой более гибким.… Читать далее »

AWS: Redshift — быстрый запуск кластера и подключение из SQL-workbench

18 октября 2019
 

 Наши дата-аналитики наконец-то решились потрогать AWS Redshift вместо MariaDB RDS. Соответственно задача — поднять Proof of Concept кластер Redshift в AWS. Сейчас сделаем быстро, без вникания и рассмотрения деталей, если решение таки пойдёт в Production — то поразбираемся с нюансами. На данный момент нас интересует только выбор типа нод для кластера — Dense Storage или… Читать далее »

Vertica: установка и запуск кластера на AWS EC2

10 октября 2019
 

 Vertica — сервер баз данных для аналитиков, рассчитанный на большие объёмы данных. Задача на сейчас — запустить Proof of Concept инстанс Vertica на AWS EC2, что бы посмотреть как она вообще сетапится и дать потестить дата-аналитикам. Обладает достаточно неплохой документацией. AWS Проверяем список инстансов, на которых можно запустить Vertica тут>>>. Находим AMI: Используем минимальный инстанс… Читать далее »

PostgreSQL: FATAL: Peer authentication failed for user «name»

11 сентября 2019
 

 Небольшая заметка «для себя» по настройке удалённого доступа и дампам в PostgreSQL. Переехал к нам ЕС2 с другого аккаунта с одним из сайтов. При попытке подключиться к PostgreSQL, который работает на этой машинке — получаем ошибку «FATAL: Peer authentication failed for user «name»«. Причём и при подключении локально — и удалённо. PostgreSQL remote login enable… Читать далее »

Redis: основные параметры конфигурации и тюнинг производительности

5 сентября 2019
 

 В процессе настройки Redis  в роли кеширующего сервиса для приложения — набросался такой вот пост. Рассмотрим основные параметры конфигурации Redis, их значения, как они и на что они влияют, и на какие из них стоит обратить внимание. Местами совсем кратко, но везде со ссылками. Начать, пожалуй, стоит с утилиты redis-benchmark. Устанавливается вместе с сами Redis,… Читать далее »