Архів теґу: monitoring

Kubernetes: “детектив” з OOM Killer, Linux cgroups та cAdvisor container_memory
0 (0)

29 Жовтня 2026

Спіймали стандартну помилку з OOM Killer в Kubernetes, думав швиденько гляну – але якось “раптом” вийшов непоганий такий матеріал. Що особливо непогано – що дуже давно не копався сам в таких штуках, як Linux OOM Killer та cgroups, типи пам’яті та Kubernetes limits – а тому було прям приємно знов поринути в цей чудовий світ… Read More: Kubernetes: “детектив” з OOM Killer, Linux cgroups та cAdvisor container_memory0… »

Loading

LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
0 (0)

9 Вересня 2026

Ми зараз налаштовуємо власний hardware сервер, на якому хочемо покрутити self-hosted моделі. Але відразу переключати трафік клієнтів на них не можна – бо спочатку треба глянути, як ці self-hosted LLMs взагалі будуть працювати. Тому загальна ідея зараз – продовжувати слати трафік до основного провайдеру, OpenAI та моделей 5.6, а паралельно налаштувати такий собі “hidden traffic… Read More: LiteLLM: Custom Callback для traffic mirroring та OTel tracing до… »

Loading

llama.cpp: метрики та моніторинг з VictoriaMetrics
0 (0)

21 Серпня 2026

Є у нас сервер, на якому будемо запускати self-hosted LLM. Довго вибирали на чому саме запускати моделі – vLLM, SGLang, або llama.cpp, і врешті-решт зупинились саме на llama.cpp – принаймні на даний момент. В пості NixOS: знайомство, установка пакетів та конфігурація системи як раз описана установка Node Exporter на NixOS, де у нас будуть запускатись… Read More: llama.cpp: метрики та моніторинг з VictoriaMetrics0 (0) »

Loading

LiteLLM: метрики, traces та дебаг exception_class=”ValueError”
0 (0)

12 Серпня 2026

Виникла на днях цікава ситуація з LiteLLM, коли з одного боку метрики показують, що було багато помилок “від провайдера”, а з іншого – в трейсах і алертах помилка була тільки один раз. Довелось трохи покопатись і розібратись з деякими нюансами того, як LiteLLM взагалі рахує метрики і що вона дійсно пише в метрики і трейси.… Read More: LiteLLM: метрики, traces та дебаг exception_class=”ValueError”0 (0) »

Loading

NixOS: знайомство, установка пакетів та конфігурація системи
5 (4)

5 Серпня 2026

З’явився у нас новий інстанс, hardware server, на якому будуть наші self-hosted LLM. На сервері буде NixOS – вибір не мій, але система цікава, давно про неї чув – і зараз є чудова нагода з нею познайомитись. Що треба зробити особисто мені – це поки що тільки налаштувати моніторинг: стандартні CPU/RAM/диски, метрики NVIDIA і пізніше… Read More: NixOS: знайомство, установка пакетів та конфігурація системи5 (4) »

Loading

LiteLLM: моніторинг з VictoriaMetrics – алерти та Grafana
0 (0)

17 Липня 2026

Це друга частина матеріалу про моніторинг LiteLLM – у попередній ми розібрали загальну інтеграцію з VictoriaStack, а також подивилися, які метрики й трейси отримуємо від LiteLLM (див. LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack). Тепер перейдемо до практичної частини – що відстежувати та як це можна організувати. Втім, хоча LiteLLM у нас уже працює… Read More: LiteLLM: моніторинг з VictoriaMetrics – алерти та Grafana0 (0) »

Loading

LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack
0 (0)

9 Липня 2026

Третя частина по запуску LiteLLM – AI Gateway або LLM Proxy, і нарешті добираємось до моніторингу. В першій частині знайомились з LiteLLM в цілому (див. LiteLLM: AI Gateway для LLM – overview можливостей), в другій – запустили в Kubernetes і підключили VictoriaTraces та VictoriaMetrics для збору трейсів метрик (див. LiteLLM: AI Gateway в Kubernetes та… Read More: LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack0 (0) »

Loading

Claude Code: моніторинг з OpenTelemetry та VictoriaMetrics
5 (1)

18 Червня 2026

Поки роблю LiteLLM (див. LiteLLM: AI Gateway для LLM – overview можливостей), то з’явилась ідея окрім сервісів типу нашого Backend API – помоніторити і Claude Code девелоперів. Чисто інтересу заради – аби побачити що там взагалі є і хто як використовує нашу Anthropic Organization, бо у багатьох там підписка за 200 баксів, яку оплачує проект … Read More: Claude Code: моніторинг з OpenTelemetry та VictoriaMetrics5 (1) »

Loading

LiteLLM: AI Gateway для LLM – overview можливостей
0 (0)

4 Червня 2026

В попередніх постах по OpenTelemetry і VictoriaTraces (див. OpenTelemetry: OTel Collectors в Kubernetes та інтеграція з VictoriaMetrics stack  та VictoriaTraces: Tracing, Observability та OpenTelemetry) розбирали загальні концепції того, що таке observability та як працювати з трейсами. Але взагалі на проекті ця тема з’явилась коли ми зрозуміли, що використання LLM стає важливою частиною нашого продукту –… Read More: LiteLLM: AI Gateway для LLM – overview можливостей0 (0) »

Loading

VictoriaTraces: Tracing, Observability та OpenTelemetry
5 (2)

19 Травня 2026

На проекті потроху доросли до того, що пора вже мати повноцінний трейсінг – аби побудувати реальний observability, а не просто моніторинг. Колись давно робив аналогічне з Jaeger – монстр, і десь він так в чорнетках 2019 чи 2020 року і залишився, ну а так як зараз у нас весь стек VictoriaMetrics – сама VictoriaMetrics для… Read More: VictoriaTraces: Tracing, Observability та OpenTelemetry5 (2) »

Loading