LiteLLM: Custom Callback та LLM Evaluations з Judge LLM
0 (0)

11 Вересня 2026

Коротко про те, що взагалі робимо зараз на проекті: у нас є окремий hardware сервер (hostname == “Matrix”), на якому з llama.cpp запускаємо свої self-hosted моделі. В нашому Kubernetes є LiteLLM AI Gateway для наших клієнтів – Backend API і інших сервісів проекту. Клієнти відправляють запити до OpenAI/Anthropic/OpenRouter до LiteLLM, а LiteLLM передає їх до… Read More: LiteLLM: Custom Callback та LLM Evaluations з Judge LLM0 (0) »

Loading

LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
0 (0)

9 Вересня 2026

Ми зараз налаштовуємо власний hardware сервер, на якому хочемо покрутити self-hosted моделі. Але відразу переключати трафік клієнтів на них не можна – бо спочатку треба глянути, як ці self-hosted LLMs взагалі будуть працювати. Тому загальна ідея зараз – продовжувати слати трафік до основного провайдеру, OpenAI та моделей 5.6, а паралельно налаштувати такий собі “hidden traffic… Read More: LiteLLM: Custom Callback для traffic mirroring та OTel tracing до… »

Loading

LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох провайдерів
0 (0)

21 Серпня 2026

Готуємось до запуску self-hosted LLM, і на етапі тестування загальна ідея така, що будемо слати запити від клієнтів одночасно і до “дефолтної production моделі” типу GPT-5.6 – і до моделі на нашому власному сервері. А після отримання відповідей – будемо виконувати порівняння з Phoenix чи Opik, і потроху тюнити наші “власні” модельки. Всі запити у… Read More: LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох… »

Loading

llama.cpp: метрики та моніторинг з VictoriaMetrics
0 (0)

21 Серпня 2026

Є у нас сервер, на якому будемо запускати self-hosted LLM. Довго вибирали на чому саме запускати моделі – vLLM, SGLang, або llama.cpp, і врешті-решт зупинились саме на llama.cpp – принаймні на даний момент. В пості NixOS: знайомство, установка пакетів та конфігурація системи як раз описана установка Node Exporter на NixOS, де у нас будуть запускатись… Read More: llama.cpp: метрики та моніторинг з VictoriaMetrics0 (0) »

Loading

Ubuntu: установка NGINX та TLS-сертифікат з Let’s Encrypt та AWS Route53
0 (0)

17 Серпня 2026

Є сервер з Ubuntu, на якому запущений один з наших сервісів. Сам сервіс ще в стадії Proof of Concept, тому в Kubernetes не переносимо – але ганяти трафік plain-text, тим більш коли це запити до AI Agents з реквестами та відповідями – ідея так собі. Тому є задача додати NGINX як проксі до сервісів в… Read More: Ubuntu: установка NGINX та TLS-сертифікат з Let’s Encrypt та AWS… »

Loading

LiteLLM: метрики, traces та дебаг exception_class=”ValueError”
0 (0)

12 Серпня 2026

Виникла на днях цікава ситуація з LiteLLM, коли з одного боку метрики показують, що було багато помилок “від провайдера”, а з іншого – в трейсах і алертах помилка була тільки один раз. Довелось трохи покопатись і розібратись з деякими нюансами того, як LiteLLM взагалі рахує метрики і що вона дійсно пише в метрики і трейси.… Read More: LiteLLM: метрики, traces та дебаг exception_class=”ValueError”0 (0) »

Loading

NixOS: знайомство, установка пакетів та конфігурація системи
5 (4)

5 Серпня 2026

З’явився у нас новий інстанс, hardware server, на якому будуть наші self-hosted LLM. На сервері буде NixOS – вибір не мій, але система цікава, давно про неї чув – і зараз є чудова нагода з нею познайомитись. Що треба зробити особисто мені – це поки що тільки налаштувати моніторинг: стандартні CPU/RAM/диски, метрики NVIDIA і пізніше… Read More: NixOS: знайомство, установка пакетів та конфігурація системи5 (4) »

Loading

LiteLLM: OpenRouter та налаштування Fallbacks
0 (0)

31 Липня 2026

OpenRouter на днях анонсував 50% знижки на OpenAI, і вирішили спробувати його. Переключення будемо робити на LiteLLM, на яку вже йдуть запити від всіх наших сервісів – тому переключення буде доволі простим. До OpenRouter в LiteLLM налаштуємо fallbacks напряму до OpenAI – на ті випадки, коли реквести до OpenRouter фейляться. Підключення OpenRouter до LiteLLM Взагалі… Read More: LiteLLM: OpenRouter та налаштування Fallbacks0 (0) »

Loading

MongoDB: запуск в Kubernetes з MongoDB Operator та MongoDBCommunity CRD
0 (0)

24 Липня 2026

В продовження попереднього посту Valkey: запуск в Kubernetes – Helm, monitoring, ACL – там підняли Valkey/Redis, тепер треба додати MongoDB. Робиться для нашого нового сервісу, який ще в експерементальній/PoC фазі, але скоріш за все піде в продакшен, тому сетап такий собі “недо-production” – робимо з розрахунком на те, що потім це все діло будемо повноцінно… Read More: MongoDB: запуск в Kubernetes з MongoDB Operator та MongoDBCommunity CRD0… »

Loading

Valkey: запуск в Kubernetes – Helm, monitoring, ACL
0 (0)

22 Липня 2026

Запускаємо новий сервіс для проекту, і цьому сервісу треба підняти Redis та MongoDB. Сама “технічна задача” виглядає приблизно так: Redis: task queue + some other stuff (e.g. we stream the agent response from LLM to Redis, and if the user is connected on a websocket – then we stream data from the Redis to user)… Read More: Valkey: запуск в Kubernetes – Helm, monitoring, ACL0 (0) »

Loading