Архів теґу: VictoriaTraces

LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics
0 (0)

16 Вересня 2026

Трапився доволі цікавий випадок відносно моніторингу вартості LLM через LiteLLM при кількох провайдерах. Що маємо: LiteLLM: AI Gateway, всі наші сервіси працюють через нього, він проксює запити до провайдерів, генерує метрики і трейси, контролює доступи, витрати тощо OpenAI та OpenRouter: зараз два основних провайдери, на які LiteLLM передає запити частина клієнтів (наших сервісів) працюють через… Read More: LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics0 (0) »

Loading

LiteLLM: Custom Callback та LLM Evaluations з Judge LLM
0 (0)

11 Вересня 2026

Коротко про те, що взагалі робимо зараз на проекті: у нас є окремий hardware сервер (hostname == “Matrix”), на якому з llama.cpp запускаємо свої self-hosted моделі. В нашому Kubernetes є LiteLLM AI Gateway для наших клієнтів – Backend API і інших сервісів проекту. Клієнти відправляють запити до OpenAI/Anthropic/OpenRouter до LiteLLM, а LiteLLM передає їх до… Read More: LiteLLM: Custom Callback та LLM Evaluations з Judge LLM0 (0) »

Loading

LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
0 (0)

9 Вересня 2026

Ми зараз налаштовуємо власний hardware сервер, на якому хочемо покрутити self-hosted моделі. Але відразу переключати трафік клієнтів на них не можна – бо спочатку треба глянути, як ці self-hosted LLMs взагалі будуть працювати. Тому загальна ідея зараз – продовжувати слати трафік до основного провайдеру, OpenAI та моделей 5.6, а паралельно налаштувати такий собі “hidden traffic… Read More: LiteLLM: Custom Callback для traffic mirroring та OTel tracing до… »

Loading

LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох провайдерів
0 (0)

21 Серпня 2026

Готуємось до запуску self-hosted LLM, і на етапі тестування загальна ідея така, що будемо слати запити від клієнтів одночасно і до “дефолтної production моделі” типу GPT-5.6 – і до моделі на нашому власному сервері. А після отримання відповідей – будемо виконувати порівняння з Phoenix чи Opik, і потроху тюнити наші “власні” модельки. Всі запити у… Read More: LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох… »

Loading

LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack
0 (0)

9 Липня 2026

Третя частина по запуску LiteLLM – AI Gateway або LLM Proxy, і нарешті добираємось до моніторингу. В першій частині знайомились з LiteLLM в цілому (див. LiteLLM: AI Gateway для LLM – overview можливостей), в другій – запустили в Kubernetes і підключили VictoriaTraces та VictoriaMetrics для збору трейсів метрик (див. LiteLLM: AI Gateway в Kubernetes та… Read More: LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack0 (0) »

Loading

LiteLLM: AI Gateway для LLM – overview можливостей
0 (0)

4 Червня 2026

В попередніх постах по OpenTelemetry і VictoriaTraces (див. OpenTelemetry: OTel Collectors в Kubernetes та інтеграція з VictoriaMetrics stack  та VictoriaTraces: Tracing, Observability та OpenTelemetry) розбирали загальні концепції того, що таке observability та як працювати з трейсами. Але взагалі на проекті ця тема з’явилась коли ми зрозуміли, що використання LLM стає важливою частиною нашого продукту –… Read More: LiteLLM: AI Gateway для LLM – overview можливостей0 (0) »

Loading

VictoriaTraces: Recording Rules, метрики та алерти з trace spans
0 (0)

22 Травня 2026

VictoriaTraces – як і VictoriaLogs – підтримує Recording Rules (див. VictoriaMetrics: Recording Rules для логів AWS Load Balancer) для трейсів, бо по факту трейси – це ті ж самі логи, просто інакше структуровані. А раз є Recording Rules – то ми можемо з логів створювати метрики для алертів та Grafana dashboards. Хоча насправді це не… Read More: VictoriaTraces: Recording Rules, метрики та алерти з trace spans0 (0) »

Loading

VictoriaTraces: Tracing, Observability та OpenTelemetry
5 (2)

19 Травня 2026

На проекті потроху доросли до того, що пора вже мати повноцінний трейсінг – аби побудувати реальний observability, а не просто моніторинг. Колись давно робив аналогічне з Jaeger – монстр, і десь він так в чорнетках 2019 чи 2020 року і залишився, ну а так як зараз у нас весь стек VictoriaMetrics – сама VictoriaMetrics для… Read More: VictoriaTraces: Tracing, Observability та OpenTelemetry5 (2) »

Loading