NixOS: знайомство, установка пакетів та конфігурація системи
5 (2)

5 Серпня 2026

З’явився у нас новий інстанс, hardware server, на якому будуть наші self-hosted LLM. На сервері буде NixOS – вибір не мій, але система цікава, давно про неї чув – і зараз є чудова нагода з нею познайомитись. Що треба зробити особисто мені – це поки що тільки налаштувати моніторинг: стандартні CPU/RAM/диски, метрики NVIDIA і пізніше… Read More: NixOS: знайомство, установка пакетів та конфігурація системи5 (2) »

Loading

LiteLLM: OpenRouter та налаштування Fallbacks
0 (0)

31 Липня 2026

OpenRouter на днях анонсував 50% знижки на OpenAI, і вирішили спробувати його. Переключення будемо робити на LiteLLM, на яку вже йдуть запити від всіх наших сервісів – тому переключення буде доволі простим. До OpenRouter в LiteLLM налаштуємо fallbacks напряму до OpenAI – на ті випадки, коли реквести до OpenRouter фейляться. Підключення OpenRouter до LiteLLM Взагалі… Read More: LiteLLM: OpenRouter та налаштування Fallbacks0 (0) »

Loading

MongoDB: запуск в Kubernetes з MongoDB Operator та MongoDBCommunity CRD
0 (0)

24 Липня 2026

В продовження попереднього посту Valkey: запуск в Kubernetes – Helm, monitoring, ACL – там підняли Valkey/Redis, тепер треба додати MongoDB. Робиться для нашого нового сервісу, який ще в експерементальній/PoC фазі, але скоріш за все піде в продакшен, тому сетап такий собі “недо-production” – робимо з розрахунком на те, що потім це все діло будемо повноцінно… Read More: MongoDB: запуск в Kubernetes з MongoDB Operator та MongoDBCommunity CRD0… »

Loading

Valkey: запуск в Kubernetes – Helm, monitoring, ACL
0 (0)

22 Липня 2026

Запускаємо новий сервіс для проекту, і цьому сервісу треба підняти Redis та MongoDB. Сама “технічна задача” виглядає приблизно так: Redis: task queue + some other stuff (e.g. we stream the agent response from LLM to Redis, and if the user is connected on a websocket – then we stream data from the Redis to user)… Read More: Valkey: запуск в Kubernetes – Helm, monitoring, ACL0 (0) »

Loading

LiteLLM: моніторинг з VictoriaMetrics – алерти та Grafana
0 (0)

17 Липня 2026

Це друга частина матеріалу про моніторинг LiteLLM – у попередній ми розібрали загальну інтеграцію з VictoriaStack, а також подивилися, які метрики й трейси отримуємо від LiteLLM (див. LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack). Тепер перейдемо до практичної частини – що відстежувати та як це можна організувати. Втім, хоча LiteLLM у нас уже працює… Read More: LiteLLM: моніторинг з VictoriaMetrics – алерти та Grafana0 (0) »

Loading

LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack
0 (0)

9 Липня 2026

Третя частина по запуску LiteLLM – AI Gateway або LLM Proxy, і нарешті добираємось до моніторингу. В першій частині знайомились з LiteLLM в цілому (див. LiteLLM: AI Gateway для LLM – overview можливостей), в другій – запустили в Kubernetes і підключили VictoriaTraces та VictoriaMetrics для збору трейсів метрик (див. LiteLLM: AI Gateway в Kubernetes та… Read More: LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack0 (0) »

Loading

LiteLLM: AI Gateway в Kubernetes та метрики до VictoriaMetrics
5 (1)

26 Червня 2026

В першій частині – LiteLLM: AI Gateway для LLM – overview можливостей знайомились з можливостями LiteLLM взагалі – тепер можна запускати в Kubernetes і підключати клієнтів. Заодно перевіримо інтеграцію із вже існуючим стеком моніторингу – поки тільки метрики до VictoriaMetrics. Логи в VictoriaLogs будуть по дефолту, а VictoriaTraces вже підключимо в наступній частині – хоча… Read More: LiteLLM: AI Gateway в Kubernetes та метрики до VictoriaMetrics5 (1) »

Loading

Claude Code: моніторинг з OpenTelemetry та VictoriaMetrics
5 (1)

18 Червня 2026

Поки роблю LiteLLM (див. LiteLLM: AI Gateway для LLM – overview можливостей), то з’явилась ідея окрім сервісів типу нашого Backend API – помоніторити і Claude Code девелоперів. Чисто інтересу заради – аби побачити що там взагалі є і хто як використовує нашу Anthropic Organization, бо у багатьох там підписка за 200 баксів, яку оплачує проект … Read More: Claude Code: моніторинг з OpenTelemetry та VictoriaMetrics5 (1) »

Loading

LiteLLM: AI Gateway для LLM – overview можливостей
0 (0)

4 Червня 2026

В попередніх постах по OpenTelemetry і VictoriaTraces (див. OpenTelemetry: OTel Collectors в Kubernetes та інтеграція з VictoriaMetrics stack  та VictoriaTraces: Tracing, Observability та OpenTelemetry) розбирали загальні концепції того, що таке observability та як працювати з трейсами. Але взагалі на проекті ця тема з’явилась коли ми зрозуміли, що використання LLM стає важливою частиною нашого продукту –… Read More: LiteLLM: AI Gateway для LLM – overview можливостей0 (0) »

Loading

MikroTik: Users Management, права доступа та SSH
5 (2)

23 Травня 2026

Пора вже записати собі про MikroTik та Users Management – бо пост давно в чернетках лежить, ну і заодно і налаштувати аутентифікацію SSH з ключами. Але пройдемось по основним концептам та налаштуванням Authentication, Authorization, Accounting в MikroTik – групи, політики та юзери. Що є і що треба зробити: роутер MikroTik RB4011 треба створити нового root… Read More: MikroTik: Users Management, права доступа та SSH5 (2) »

Loading