Архів теґу: observability

LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох провайдерів
0 (0)

21 Серпня 2026

Готуємось до запуску self-hosted LLM, і на етапі тестування загальна ідея така, що будемо слати запити від клієнтів одночасно і до “дефолтної production моделі” типу GPT-5.6 – і до моделі на нашому власному сервері. А після отримання відповідей – будемо виконувати порівняння з Phoenix чи Opik, і потроху тюнити наші “власні” модельки. Всі запити у… Read More: LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох… »

Loading

LiteLLM: метрики, traces та дебаг exception_class=”ValueError”
0 (0)

12 Серпня 2026

Виникла на днях цікава ситуація з LiteLLM, коли з одного боку метрики показують, що було багато помилок “від провайдера”, а з іншого – в трейсах і алертах помилка була тільки один раз. Довелось трохи покопатись і розібратись з деякими нюансами того, як LiteLLM взагалі рахує метрики і що вона дійсно пише в метрики і трейси.… Read More: LiteLLM: метрики, traces та дебаг exception_class=”ValueError”0 (0) »

Loading

LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack
0 (0)

9 Липня 2026

Третя частина по запуску LiteLLM – AI Gateway або LLM Proxy, і нарешті добираємось до моніторингу. В першій частині знайомились з LiteLLM в цілому (див. LiteLLM: AI Gateway для LLM – overview можливостей), в другій – запустили в Kubernetes і підключили VictoriaTraces та VictoriaMetrics для збору трейсів метрик (див. LiteLLM: AI Gateway в Kubernetes та… Read More: LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack0 (0) »

Loading

VictoriaTraces: Tracing, Observability та OpenTelemetry
5 (2)

19 Травня 2026

На проекті потроху доросли до того, що пора вже мати повноцінний трейсінг – аби побудувати реальний observability, а не просто моніторинг. Колись давно робив аналогічне з Jaeger – монстр, і десь він так в чорнетках 2019 чи 2020 року і залишився, ну а так як зараз у нас весь стек VictoriaMetrics – сама VictoriaMetrics для… Read More: VictoriaTraces: Tracing, Observability та OpenTelemetry5 (2) »

Loading

OpenTelemetry: OTel Collectors в Kubernetes та інтеграція з VictoriaMetrics stack
5 (3)

16 Травня 2026

Сьогодні поговоримо про те, як запустити OpenTelemetry в Kubernetes та інтегрувати його з VictoriaMetrics stack – VictoriaMetrics для метрик, VictoriaLogs для логів, та VictoriaTraces для трейсів. Взагалі-то цей пост не планувався взагалі, а коли все ж з’явилась його чорнетка – то він мав бути третім в серії, але врешті-решт вирішив зробити його першим. Вже після… Read More: OpenTelemetry: OTel Collectors в Kubernetes та інтеграція з VictoriaMetrics stack5… »

Loading