З’явився цей пост в принципі випадково. Прилетів мені один з дефолтних алертів VictoriaMetrics, які створюються під час деплою Helm-чарту victoria-metrics-k8s-stack: Думав написати коротенький пост типу “що таке Churn Rate і як його пофіксати”, але в результаті вийшло доволі глибоко зануритись в те, як взагалі VictoriaMetrics працює з даними – і це виявилось дуже цікавою темою.… Читати далі »
Отже, продовження попереднього посту InfluxDB: знайомство і основні можливості. Там познайомились з InfluxDB в цілому, тепер час будувати з ним реальні рішення. Що будемо робити – запустимо InfluxDB на Debian, налаштуємо NGINX, імпортуємо дані з Google Sheets в .csv, а потім мігруємо їх до InfluxDB та підключимо Grafana. І додатково трохи пограємось з Python Falsk… Читати далі »
Є в мене давня ідея self-monitoring, яку, сподіваюсь, я такі почну робити і про яку напишу окремо. Але суть її така сама, як і в етіх ваших моніторингах – збирати метрики, і відображати графіки. Почав під цю систему вибирати базу даних, і хоча там частота запису метрик невелика, 1 метрика на день, але хочу її… Читати далі »
Прийшла задачка підняти для проекту цікавий сервіс Arize Phoenix для моніторингу і тюнингу використання LLM. За сам сервіс багато не скажу, бо не користувався, але його запуск вийшов доволі цікавим. Що будемо робити – спочатку з Helm запустимо тестовий варіант, подивитись як воно взагалі виглядає, потім зробимо повноцінну автоматизацію – Terraform для всяких сікретів, Helm… Читати далі »
Дебажимо одну проблему з використанням пам’яті в Kubernetes Pods, і вирішили подивитись на пам’ять і кількість процесів на нодах. Сама проблема полягає в тому, що зазвичай Kubernetes Pod з Livekit споживає близько 2 гігабайт пам’яті, але іноді бувають спайки до 10-11 гіг, через що под вбивається: Що ми хочемо визначити: це один процес починає стільки… Читати далі »
Продовжуємо нашу подорож з AWS OpenSearch Service. Що ми маємо – це маленький кластер AWS OpenSearch Service, 3 трьома data nodes, використовується в ролі vector store для AWS Bedrock Knowledge Bases. Попередні частини: AWS: знайомство з OpenSearch Service в ролі vector store AWS: створення OpenSearch Service cluster та налаштування аутентифікації і авторизації Terraform: створення AWS… Читати далі »
В першій частині розібрались з основами AWS OpenSearch Service взагалі, і з типами інстансів для Data Nodes – AWS: знайомство з OpenSearch Service в ролі vector store. В другій – з доступами, AWS: створення OpenSearch Service cluster та налаштування аутентифікації і авторизації. Тепер напишемо Terraform code для створення кластера, юзерів та індексів. Створювати кластер будемо… Читати далі »
В Terraform ephemeral resources та write-only arguments з’явились давно, ще у версії 1.10, але не було нагоди про них написати детальніше. Основна ідея їх – не залишати “слідів” в state-файлі, що особливо корисно для паролів або токенів, бо дані існують тільки під час виконання apply самого Terraform в його пам’яті. Втім, для їх використання є… Читати далі »
В попередній частині – AWS: знайомство з OpenSearch Service в ролі vector store – подивились на AWS OpenSearch Service взагалі, трохи розібрались з тим, як в ньому організовані дані, що таке shards та nodes, і які нам власне типи інстансів для data nodes треба. Наступний крок – створити кластер і подивитись на аутентифікацію, яка, як на… Читати далі »
Ми зараз використовуємо AWS OpenSearch Service як vector store для нашого RAG з AWS Bedrock Knowledge Base. Про RAG і Bedrock детальніше поговоримо іншим разом, а сьогодні давайте подивимось на AWS OpenSearch Service. Власне, задача – мігрувати наш AWS OpenSearch Service Serverless на Managed, в першу чергу через (сюрпрайз) питання вартості – бо з Serverless… Читати далі »