Архів теґу: LLM

LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
0 (0)

9 Вересня 2026

Ми зараз налаштовуємо власний hardware сервер, на якому хочемо покрутити self-hosted моделі. Але відразу переключати трафік клієнтів на них не можна – бо спочатку треба глянути, як ці self-hosted LLMs взагалі будуть працювати. Тому загальна ідея зараз – продовжувати слати трафік до основного провайдеру, OpenAI та моделей 5.6, а паралельно налаштувати такий собі “hidden traffic… Read More: LiteLLM: Custom Callback для traffic mirroring та OTel tracing до… »

Loading

LiteLLM: AI Gateway для LLM – overview можливостей
0 (0)

4 Червня 2026

В попередніх постах по OpenTelemetry і VictoriaTraces (див. OpenTelemetry: OTel Collectors в Kubernetes та інтеграція з VictoriaMetrics stack  та VictoriaTraces: Tracing, Observability та OpenTelemetry) розбирали загальні концепції того, що таке observability та як працювати з трейсами. Але взагалі на проекті ця тема з’явилась коли ми зрозуміли, що використання LLM стає важливою частиною нашого продукту –… Read More: LiteLLM: AI Gateway для LLM – overview можливостей0 (0) »

Loading

AI: знайомство з Ollama для локального запуску LLM
0 (0)

31 Травня 2025

Дуже хочеться покрутити якісь LLM локально, бо це дасть змогу краще зрозуміти нюанси їхньої роботи Це як знайомитись з AWS до цього не мавши справу з хоча б VirutalBox – робота з AWS Console чи AWS API не дасть розуміння того, що відбувається під капотом. До того ж локальна модель – це безкоштовно, дасть змогу… Read More: AI: знайомство з Ollama для локального запуску LLM0 (0) »

Loading