LiteLLM: Custom Callback та LLM Evaluations з Judge LLM0 (0)
11 Вересня 2026
Коротко про те, що взагалі робимо зараз на проекті: у нас є окремий hardware сервер (hostname == “Matrix”), на якому з llama.cpp запускаємо свої self-hosted моделі. В нашому Kubernetes є LiteLLM AI Gateway для наших клієнтів – Backend API і інших сервісів проекту. Клієнти відправляють запити до OpenAI/Anthropic/OpenRouter до LiteLLM, а LiteLLM передає їх до… Read More: LiteLLM: Custom Callback та LLM Evaluations з Judge LLM0 (0) »
