Архів за місяць: Вересень 2026

AI: контроль витрат LLM з LiteLLM Budgets та OpenAI Limits
0 (0)

24 Вересня 2026

Головна ціль, для якої ми на проекті запроваджували LiteLLM AI Gateway (див. LiteLLM: AI Gateway для LLM – overview можливостей) – це контроль доступів і витрат, бо зараз ми не можемо включити автопоповнювання нашого акаунту в OpenAI або OpenRouter: наш стартап в стадії розробки і експериментів, девелопери активно використовують AI-агентів для роботи – можуть щось… Read More: AI: контроль витрат LLM з LiteLLM Budgets та OpenAI Limits0… »

Loading

LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics
0 (0)

16 Вересня 2026

Трапився доволі цікавий випадок відносно моніторингу вартості LLM через LiteLLM при кількох провайдерах. Що маємо: LiteLLM: AI Gateway, всі наші сервіси працюють через нього, він проксює запити до провайдерів, генерує метрики і трейси, контролює доступи, витрати тощо OpenAI та OpenRouter: зараз два основних провайдери, на які LiteLLM передає запити частина клієнтів (наших сервісів) працюють через… Read More: LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics0 (0) »

Loading

LiteLLM: Custom Callback та LLM Evaluations з Judge LLM
0 (0)

11 Вересня 2026

Коротко про те, що взагалі робимо зараз на проекті: у нас є окремий hardware сервер (hostname == “Matrix”), на якому з llama.cpp запускаємо свої self-hosted моделі. В нашому Kubernetes є LiteLLM AI Gateway для наших клієнтів – Backend API і інших сервісів проекту. Клієнти відправляють запити до OpenAI/Anthropic/OpenRouter до LiteLLM, а LiteLLM передає їх до… Read More: LiteLLM: Custom Callback та LLM Evaluations з Judge LLM0 (0) »

Loading

LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
0 (0)

9 Вересня 2026

Ми зараз налаштовуємо власний hardware сервер, на якому хочемо покрутити self-hosted моделі. Але відразу переключати трафік клієнтів на них не можна – бо спочатку треба глянути, як ці self-hosted LLMs взагалі будуть працювати. Тому загальна ідея зараз – продовжувати слати трафік до основного провайдеру, OpenAI та моделей 5.6, а паралельно налаштувати такий собі “hidden traffic… Read More: LiteLLM: Custom Callback для traffic mirroring та OTel tracing до… »

Loading