Архив метки: databases

Apache Druid: PostgreSQL в роли metadata storage и замена ZooKeeper на Kubernetes extensions

5 октября 2022
 

  Продолжим серию постов об Apache Druid. В первой части разобрались с Друидом – его архитектурой и мониторингом, во второй части – развернули кластер PostgreSQL и настроили его мониторинг. Следующие задачи: переключить Druid на использование PostgreSQL в роли metadata storage вместо Apache Derby и убрать из схемы Apache ZooKeeper , а вместо него подключить  druid-kubernetes-extensions Начнём с PostgreSQL. Настройки Apache Druid с PostgreSQL См. раздел PostgreSQL Metadata… Читать далее »

PostgreSQL: запуск в Kubernetes з PostgreSQL Operator и мониторинг с Prometheus

5 октября 2022
 

  Итак, Друид мы запустили. Apache Druid: обзор, запуск в Kubernetes и мониторинг с Prometheus . Пока что в дефолтном виде, то есть в роли сторейджа для метаданных используется локальная база Apache Derby . Дальше будем переключать Друид на PostgreSQL, еще позже – убирать оттуда ZooKeeper. Ну а для начала – запустим кластер PostgreSQL в Kubernetes, добавим PostgreSQL Exporter для Promethues и настроим сбор… Читать далее »

Apache Druid: обзор, запуск в Kubernetes и мониторинг с Prometheus

14 сентября 2022
 

 Apache Druid – колоночная база данных, ориентированная на работу с большими объемами данных, сочетающая в себе возможности и преимущества Time-Series Database, Data Warehouse и поисковой системы. Общая задача – настроить мониторинг кластера Druid в Kubernetes, для чего сначала посмотрим что это вообще такое и как оно всё работает, а затем запустим Друид и потрогаем его… Читать далее »

AWS: RDS Proxy – обзор, запуск, тестирование

11 декабря 2021
 

 AWS RDS Proxy – сервис от AWS, позволяющий разгрузить сервера баз данных AWS RDS, в первую очередь за счёт переиспользования существующих подключений вместо открытия новых для выполнения запросов от клиентов. Кроме того, RDS Proxy улучшает failover при переключении упавшего инстанса на резервный, например – когда AWS RDS Aurora выполняет переключение read-replica на роль master, если… Читать далее »

Tableau: установка Tableau Bridge для доступа к базам данных в приватных сетях

9 августа 2021
 

 Для доступа к серверам баз данных, к которым нет доступа из мира (а так и должно быть – доступ только внутри VPC) Tableau предлагает использовать Tableau Bridge. Идея заключается в том, что мы устанавливаем Bridge внутри сети, из которой есть доступ к базам данных, а затем в datasource настраиваем доступ к базе как Private access.… Читать далее »

Redis: Master-Slave репликация и запуск в Kubernetes

23 сентября 2020
 

 Задача – запустить Redis в Kubernetes. Используем Master-Slave репликацию и Sentinel для мониторинга и failover. См. Redis: репликация, часть 2 — Master-Slave репликация, и Redis Sentinel. Redis cluster vs Redis replication См. Redis: репликация, часть 1 — обзор. Replication vs Sharding. Sentinel vs Cluster. Топология Redis и Choose between Redis Helm Chart and Redis Cluster… Читать далее »

MySQL: mysqldbcompare – сравнение двух баз

9 сентября 2020
 

 В качестве проложения поста AWS: Database Migration Service, часть 1 — обзор и пример миграции self-hosted MariaDB в AWS Aurora RDS – описание утилиты mysqldbcompare, которая предназначена для сравнения двух баз данных. См. документацию тут>>>. Установка На Arch Linux можно установить из AUR: [simterm] $ yay -S mysql-utilities [/simterm] Либо скачать и установить вручную. Загружаем архив:… Читать далее »

AWS: Database Migration Service, часть 2 – нет AUTO_INCREMENT и индексов. Фиксы для “foreign key constraint fails” и логов CloudWatch

31 августа 2020
 

 Продолжение поста AWS: Database Migration Service — обзор и пример миграции self-hosted MariaDB в AWS Aurora RDS. И всё было хорошо, пока мы не запустили первые тесты, которые начали отваливаться с ошибками: [2020-08-28 17:13:02] local.ERROR: SQLSTATE[HY000]: General error: 1364 Field ‘id’ doesn’t have a default value Начинаем проверять таблицы, и видим, что поле ID потеряло… Читать далее »

AWS: Database Migration Service, часть 1 – обзор и пример миграции self-hosted MariaDB в AWS Aurora RDS

27 августа 2020
 

 В общем-то – продолжение эпопеи с миграцией приложения из Digital Ocean в Amazon Web Services. В посте Kubernetes: нагрузочное тестирование и high-load тюнинг — проблемы и решения мы тестировали работу самого приложения в Kubernetes, следующая задача – перенести базу данных. Сейчас база данных проекта находится в Digital Ocean, на обычном дроплете с Linux и MariaDB.… Читать далее »

Neo4j: запуск в Kubernetes

5 августа 2020
 

 В предыдущем посте – Neo4j: graph database — запуск в Docker и примеры работы с Cypher QL – мы запустили Neo4j в Docker, и познакомлись с его архитекторой и языком запросов CQL. Следующая задача – запустить сервер баз данных в Kubernetes. Используем Neo4j Community Edition, запускать будем в виде одного инстанса (т.к. поддержка кластеризации только… Читать далее »