Підготовка до зими 2026-2027: “And So It Begins” – готуємось до зими і блекаутів
5 (2)

8 Жовтня 2026

“And So It Begins” – The Lord of the Rings. “Let the games begin!” – The Hunger Games. Дуже в тему 🙂 Настав час трохи оновити записи про те, як я готувався до чергового “сезону блекаутів”. Змін за останні пару років доволі багато і є цікаві новинки, ну і заодно розказати що є взагалі. Попередні… Read More: Підготовка до зими 2026-2027: “And So It Begins” – готуємось… »

Loading

LiteLLM: PostgreSQL Failed Requests, AWS RDS та “ручний дебаг”
0 (0)

7 Жовтня 2026

Трохи нестандартний вийшов матеріал 🙂 Нестандартний в тому плані, що він насправді якраз “стандартний” – стандартний в тому, як схожі пости писались раніше, в часи мамонтів – ще до LLM і AI-агентів: сьогодні дебажив одну проблему, і вирішив робити це без використання AI взагалі, чисто в “ручному режимі” – з гуглінгом і читанням документації. Надихнув… Read More: LiteLLM: PostgreSQL Failed Requests, AWS RDS та “ручний дебаг”0 (0) »

Loading

AI: LLM, агенти, робота і ми – інженери. Особисті думки.
5 (2)

30 Вересня 2026

Дуже рандомний текст. Не планувався взагалі, і в цьому блозі не так багато таких записів – але іноді “в голові щьолкає” (поки ще є чому) і формується думка, яку хочеться висловити у вигляді такого тексту, зберігти її. “Агентська розробка – х*єта”. Точніше – не так. Розробка з ШІ-агентами – це круто. Це швидко, це –… Read More: AI: LLM, агенти, робота і ми – інженери. Особисті думки.5… »

Loading

AI: контроль витрат LLM з LiteLLM Budgets та OpenAI Limits
0 (0)

24 Вересня 2026

Головна ціль, для якої ми на проекті запроваджували LiteLLM AI Gateway (див. LiteLLM: AI Gateway для LLM – overview можливостей) – це контроль доступів і витрат, бо зараз ми не можемо включити автопоповнювання нашого акаунту в OpenAI або OpenRouter: наш стартап в стадії розробки і експериментів, девелопери активно використовують AI-агентів для роботи – можуть щось… Read More: AI: контроль витрат LLM з LiteLLM Budgets та OpenAI Limits0… »

Loading

LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics
0 (0)

16 Вересня 2026

Трапився доволі цікавий випадок відносно моніторингу вартості LLM через LiteLLM при кількох провайдерах. Що маємо: LiteLLM: AI Gateway, всі наші сервіси працюють через нього, він проксює запити до провайдерів, генерує метрики і трейси, контролює доступи, витрати тощо OpenAI та OpenRouter: зараз два основних провайдери, на які LiteLLM передає запити частина клієнтів (наших сервісів) працюють через… Read More: LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics0 (0) »

Loading

LiteLLM: Custom Callback та LLM Evaluations з Judge LLM
0 (0)

11 Вересня 2026

Коротко про те, що взагалі робимо зараз на проекті: у нас є окремий hardware сервер (hostname == “Matrix”), на якому з llama.cpp запускаємо свої self-hosted моделі. В нашому Kubernetes є LiteLLM AI Gateway для наших клієнтів – Backend API і інших сервісів проекту. Клієнти відправляють запити до OpenAI/Anthropic/OpenRouter до LiteLLM, а LiteLLM передає їх до… Read More: LiteLLM: Custom Callback та LLM Evaluations з Judge LLM0 (0) »

Loading

LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
0 (0)

9 Вересня 2026

Ми зараз налаштовуємо власний hardware сервер, на якому хочемо покрутити self-hosted моделі. Але відразу переключати трафік клієнтів на них не можна – бо спочатку треба глянути, як ці self-hosted LLMs взагалі будуть працювати. Тому загальна ідея зараз – продовжувати слати трафік до основного провайдеру, OpenAI та моделей 5.6, а паралельно налаштувати такий собі “hidden traffic… Read More: LiteLLM: Custom Callback для traffic mirroring та OTel tracing до… »

Loading

LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох провайдерів
0 (0)

21 Серпня 2026

Готуємось до запуску self-hosted LLM, і на етапі тестування загальна ідея така, що будемо слати запити від клієнтів одночасно і до “дефолтної production моделі” типу GPT-5.6 – і до моделі на нашому власному сервері. А після отримання відповідей – будемо виконувати порівняння з Phoenix чи Opik, і потроху тюнити наші “власні” модельки. Всі запити у… Read More: LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох… »

Loading

llama.cpp: метрики та моніторинг з VictoriaMetrics
0 (0)

21 Серпня 2026

Є у нас сервер, на якому будемо запускати self-hosted LLM. Довго вибирали на чому саме запускати моделі – vLLM, SGLang, або llama.cpp, і врешті-решт зупинились саме на llama.cpp – принаймні на даний момент. В пості NixOS: знайомство, установка пакетів та конфігурація системи як раз описана установка Node Exporter на NixOS, де у нас будуть запускатись… Read More: llama.cpp: метрики та моніторинг з VictoriaMetrics0 (0) »

Loading

Ubuntu: установка NGINX та TLS-сертифікат з Let’s Encrypt та AWS Route53
0 (0)

17 Серпня 2026

Є сервер з Ubuntu, на якому запущений один з наших сервісів. Сам сервіс ще в стадії Proof of Concept, тому в Kubernetes не переносимо – але ганяти трафік plain-text, тим більш коли це запити до AI Agents з реквестами та відповідями – ідея так собі. Тому є задача додати NGINX як проксі до сервісів в… Read More: Ubuntu: установка NGINX та TLS-сертифікат з Let’s Encrypt та AWS… »

Loading