DevOps&SRE Library

databow

A command-line tool for querying databases

https://github.com/columnar-tech/databow

Как ноутбук Toshiba вырос в домашний распределённый кластер с дата-центром на несколько квартир? И что стало с ИИ-агентом, который положил прод (спойлер: повышен до автономной системы управления)? Нам вот интересно. И об этом расскажут на юбилейном митапе Deckhouse User Community. А ещё вы узнаете о программе поддержки контрибьюторов и о том, как в ней участвовать. Короче, идём. Кто с нами? Регистрация тут.

When failover isn't safe: Building high-availability PostgreSQL on Kubernetes

Gamedays are one of the most effective ways we proactively uncover gaps in our systems and processes. At Datadog, we regularly run a variety of gamedays to intentionally stress our platforms and learn how our systems and teams respond under real-world conditions. These exercises help us surface hidden vulnerabilities, strengthen our operational readiness, and continually raise the bar for our infrastructure. During one such gameday, a simulated zonal failure introduced targeted disruptions in an availability zone on a staging environment by inducing network latency, which exposed a weakness in our PostgreSQL architecture. Several of our Kubernetes-based PostgreSQL clusters had primary or writer nodes running in the affected availability zone. As network latency spiked, those primaries could no longer communicate reliably with their replicas. Replication lag quickly grew, writes stalled, and applications began serving stale data. Because no replica was sufficiently up to date, failover wasn’t safe and the clusters were effectively stuck. We rely on PostgreSQL as the backend database for many Datadog products, and this architecture has served us well under normal conditions. But the gameday revealed an uncomfortable truth: In the face of certain network failures, our setup prioritized availability over durability in ways that left us with no safe recovery path. In practice, this meant the primary continued accepting writes even while replication to replicas was delayed due to elevated network latency. The system remained writable, but replication lag continued to grow, and replicas drifted further behind the primary. As a result, failover candidates could no longer be promoted safely without risking data loss. We were left with only one viable option: wait for latency to subside and for replicas to catch up. We set out to fix this failure mode. Our goal was to make failover both automatic and safe, without compromising PostgreSQL’s performance characteristics more than necessary. To do this, we rearchitected our PostgreSQL deployment to use synchronous replication for failover candidates, coordinated by Patroni, an open source high-availability manager. In this post, we’ll walk through how we redesigned our Kubernetes-based PostgreSQL clusters for failover safety, how we balanced durability against latency, and what we learned while validating this approach through benchmarking and failure testing.

https://www.datadoghq.com/blog/engineering/postgresql-ha-kubernetes

🔥24 июня в 20.00 мск. приглашаем на открытый урок: "Отказоустойчивый и высоко-доступный кластер RabbitMQ" На вебинаре разберём практические подходы к созданию отказоустойчивой и высоко-доступной очереди сообщений для высоконагруженных систем. 📌 Что будет: — Запуск и настройка кластера: Quorum Queues и Mirrored Queues (синхронная репликация) — Синхронизация очередей и обеспечение согласованности — Dead Letter Queue + правильные настройки durability — Гарантии доставки для Producer: баланс между надёжностью и производительностью — Asynchronous cluster-to-cluster message routing: Exchange Federation и Shovels 🎯 После вебинара вы сможете: — Самостоятельно развернуть отказоустойчивый кластер RabbitMQ — Настраивать Quorum Queues и Mirrored Queues под разные сценарии — Правильно работать с Dead Letter Queues и гарантиями доставки — Организовывать межкластерное взаимодействие сообщений — Проектировать надёжные асинхронные коммуникации в микросервисной архитектуре 👉 Регистрация открыта: https://vk.cc/cYY8lL Вебинар приурочен к старту курса «Высоконагруженные системы: архитектура и масштабирование». 🎁При покупке курса вы получите в подарок мини-курс по Kafka, который поможет подготовиться к собеседованию в бигтех Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzquvUUgy

Sitar-agent: Building a reliable dynamic configuration sidecar at scale

How Airbnb built a Kubernetes sidecar to deliver dynamic configuration reliably at scale.

https://medium.com/airbnb-engineering/sitar-agent-building-a-reliable-dynamic-configuration-sidecar-at-scale-b7e00c152068

Сколько облаков нужно компании? Обычно всё начинается с одного. Потом появляются отдельные сервисы, резервные мощности, требования по отказоустойчивости, безопасности, импортозамещению — и внезапно инфраструктура оказывается разбросана по нескольким площадкам. В этот момент возникает вопрос: как всем этим управлять без зоопарка инструментов и десятка подрядчиков? RCloud by 3data — мультиоблачная платформа, которая помогает объединить облачные и инфраструктурные сервисы в одной среде. Подходит для миграции в облако, построения гибридной инфраструктуры, резервирования критичных систем и масштабирования ресурсов. Что особенно интересно: — инженеры помогают проектировать архитектуру под реальные требования бизнеса, а не просто выдают виртуальные машины; — можно комбинировать разные инфраструктурные сценарии в рамках одной платформы; — вопросы решаются с техническими специалистами, которые понимают разницу между «не работает» и «горит прод уже сейчас». А ещё команда RCloud ведёт канал, где разбирает темы облачной инфраструктуры, ИБ, отказоустойчивости и практические кейсы из мира Enterprise IT. Если тема облаков, гибридной инфраструктуры и эксплуатации сервисов вам близка — рекомендуем заглянуть.

How we reduced core unit boot time from hours to minutes

We investigated why firmware updates were causing our core servers to take four hours to reboot.

https://blog.cloudflare.com/optimizing-core-unit-boot-time

Что, если «Следствие вели…» снимали бы в офисном сеттинге в IT-компании? Мы могли бы об этом только фантазировать, если бы… Авито взял и не снял свой выпуск с Леонидом Каневским 🔥 Мы ещё не успели посмотреть: планируем оставить на вечер. Говорят, легенда тру-крайма там расследует внезапный рост ошибок 404 на endpoint аватарок (реальный кейс команды AvitoTech, кстати!). Смотрим, чтобы услышать будущие легендарные цитаты... ну и чтобы в вашей команде такого не случилось! 📱 YouTube 📱 Rutube 📱 VK Видео

In incidents, swarming is a feature, not a bug

Spontaneous swarming of responders might seem like a nuisance that breaks our tidy mental models of incident response, but it's actually very powerful.

https://greatcircle.com/blog/2026/03/24/swarming-is-a-feature

Monitor LLM routing with the Kubernetes Inference Extension

If you serve LLMs on Kubernetes without inference-aware routing, your load balancer is likely wasting inference capacity. Generic HTTP traffic management blindly routes requests, assuming the backends in your cluster are interchangeable. But your model-serving backends are stateful and unevenly prepared to handle any given request. As a result, requests are often routed to the backend that’s not the one best suited to respond. Migrating to Gateway API gives you a more capable foundation for traffic management and opens the door to inference-aware routing. The Kubernetes Gateway API’s Inference Extension routes requests based on backend serving state, which tends to make better use of cluster capacity and reduce request latency. In this post, we’ll look at how the Inference Extension works, the routing strategies it enables, and the signals you can use to monitor whether inference-aware routing is behaving as intended in production.

https://www.datadoghq.com/blog/llm-routing-kubernetes-inference-extension/

Life is too short for a slow terminal

Practically all of my work happens inside a terminal. Git, kubectl, tmux, ssh'ing into a server, open practically the entire day. Something I use that much has to be fast. Any lag in opening a new tab, typing a character or hitting tab for a completion is something I feel hundreds of times a day. It's death by a thousand cuts.

https://mijndertstuij.nl/posts/life-is-too-short-for-a-slow-terminal

pg_durable

Long-running, fault-tolerant SQL functions for teams that already keep their state in Postgres and want to stop stitching together cron jobs, workers, queues, and status tables to make background work reliable. Define the workflow in SQL, let pg_durable checkpoint each step, and resume after crashes, restarts, or failed steps. Durable execution is now a standard industry pattern, and pg_durable brings it inside Postgres with no extra service infrastructure required. Part of our mission to bring compute close to data.

https://github.com/microsoft/pg_durable

zeroserve

Zero-config, fast io_uring-based HTTPS server. zeroserve serves a website packaged as a tarball, and handles hot-reload via SIGHUP.

https://github.com/losfair/zeroserve

herdr

agent multiplexer that lives in your terminal.

https://github.com/ogulcancelik/herdr

sem

sem is a semantic version control tool that works on top of Git. It parses your code with tree-sitter, extracts every function, class, and method as an entity, and diffs at the entity level instead of lines. This means you see "function blahh was modified" instead of "lines x-y changed."

https://github.com/Ataraxy-Labs/sem

redis-operator

A Golang-based Redis operator that will make/oversee Redis standalone, cluster, replication, and sentinel mode setup on top of Kubernetes. It can create Redis setups with best practices on Cloud as well as the bare metal environment. Also, it provides an in-built monitoring capability using redis-exporter.

https://github.com/OT-CONTAINER-KIT/redis-operator

Fixing ISR Revalidation Across Kubernetes Replicas

The fix took us down a rabbit hole of Next.js caching internals, Kubernetes networking, and a Redis Pub/Sub setup.

https://strapi.io/blog/fixing-isr-revalidation-across-kubernetes-replicas-on-strapi

SRE: Secrets Management in Kubernetes

Base64 is a reversible encoding, not a security mechanism.

https://segfaultpw.substack.com/p/sre-secrets-management-in-kubernetes

I setup Kubermatic SecureGuard before it even existed

Kubermatic just released SecureGuard — an open-source secrets management platform built on OpenBao and External Secrets Operator.

https://dmuix.medium.com/i-setup-kubermatic-secureguard-before-it-even-existed-03137e825c3a

Инвестируй лето в свое будущее 🚀 ИТ-холдинг Т1 открыл набор в ИТ-лагерь — оплачиваемую стажерскую программу для студентов, где за 2,5 месяца можно погрузиться в работу над реальным ИТ-проектом и получить опыт командной разработки. Можно участвовать без опыта и из любой точки страны! Что тебя ждет: 🔷 реальные бизнес-задачи; 🔷 работа в команде при поддержке экспертов Т1; 🔷 мастер-классы и обмен опытом; 🔷 защита проекта в финале проекта. Какие направления можно выбрать: 🔘 фронтенд-разработка (React); 🔘 бэкэнд-разработка (Java); 🔘 системный анализ; 🔘 ручное тестирование; 🔘 прикладное администрирование (DevOps). Лето может стать не просто каникулами, а стартом в ИТ вместе с Т1. ➡ Присоединяйся! Прием заявок до 30 июня. Старт — в июле. Реклама. Рекламодатель АО "Т1" , 18+ ИНН: 9714075174 erid: 2SDnjdvx8xr