DevOps&SRE Library

How We Rebuilt Our Vault Architecture with Raft, Snapshots, and DR

Managing secrets at scale is not just about security — it’s about availability, resilience, and cost efficiency. At BioCatch, we use HashiCorp Vault to manage secrets in our Kubernetes environment, but our initial setup left room for improvements. Here’s how we redesigned our Vault architecture using Raft storage, Kubernetes automation, and snapshot-based disaster recovery — resulting in a system that is highly available, cost-effective, and production-ready.

https://medium.com/@BioCatchTechBlog/how-we-rebuilt-our-vault-architecture-with-raft-snapshots-and-dr-b6789ea5fa28

Battle for Resources or the SSA Path to Kubernetes Diplomacy

In the world of Kubernetes, resource management is more than just creating, deleting, or updating objects. It's an intricate dance involving numerous tools, operators, and users. As our infrastructure grows, it becomes increasingly challenging to maintain control, necessitating the adoption of more advanced and sophisticated resource management and control systems and approaches. In this article, I will not delve into the basic methods of creating resources, as that is a rather trivial task. Instead, I would like to share my experience in optimizing resource update paths, which have proven to be immensely valuable in managing resources within large and complex Kubernetes clusters, as well as during the development of operators.

https://hackernoon.com/battle-for-resources-or-the-ssa-path-to-kubernetes-diplomacy

Understanding and Fixing CPU Limits in Kubernetes

Are your Kubernetes applications inexplicably slowing down, even when your nodes seem to have plenty of CPU to spare? You might be experiencing CPU throttling. I recently watched an excellent CNCF video by Dave Chiluk, an engineer at Indeed. This article has some of my takeaways from the video.

https://www.kubeblog.com/blog/understanding-and-fixing-cpu-limits-in-kubernetes

Tuning Linux Swap for Kubernetes: A Deep Dive

The Kubernetes NodeSwap feature, likely to graduate to stable in the upcoming Kubernetes v1.34 release, allows swap usage: a significant shift from the conventional practice of disabling swap for performance predictability. This article focuses exclusively on tuning swap on Linux nodes, diving into the critical Linux kernel parameters that govern swap behavior and how they influence workload performance, swap utilization, and eviction mechanisms.

https://kubernetes.io/blog/2025/08/19/tuning-linux-swap-for-kubernetes-a-deep-dive

🔍Тестовое собеседование с Head of DevOps уже завтра 4 августа(уже завтра!) в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle DevOps-разработчика. Как это будет: 📂 Александр Хренников, Head of DevOps в KTS с опытом 14+ лет, будет задавать реальные вопросы и задачи разработчику-добровольцу 📂 Александр будет комментировать каждый ответ респондента, чтобы дать понять, чего от вас ожидает собеседующий на интервью 📂 В конце можно будет задать любой вопрос Александру Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для DevOps-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы. Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_devops_bot Реклама. О рекламодателе.

How I find and fix Kubernetes Exit Codes and Misconfigurations for free

Kubernetes is powerful, but troubleshooting issues in a live cluster can be painful. In a complex deployment, critical warning signs often hide in thousands of log lines and events. What if we could surface these reliability issues before they take applications down?

https://prequel.hashnode.dev/how-i-find-and-fix-kubernetes-exit-codes-and-misconfigurations-for-free

Каждый запуск программ в Linux проходит через границу между пользовательским пространством и ядром. ❕ Обычно это скрыто от разработчика, но именно там становится понятно, как система читает файлы, управляет процессами и возвращает результат приложению. 📆 10 августа в 20:00 МСК приглашаем вас на открытый урок, где мы разберём, как программы взаимодействуют с ядром Linux и что происходит при системном вызове. Поговорим: ➖ о user space и kernel space; ➖ механизме syscalls; ➖ переходе в режим ядра; ➖ обработке вызовов и анализе через strace. 😳 Вы увидите, что происходит под капотом при запуске программы и обращении к ресурсам ОС. Открытый урок проходит в преддверии старта курса «Разработка ядра Linux». Зарегистрируйтесь, если хотите понимать Linux глубже пользовательского уровня и сделать первый шаг к разработке под ядро: https://vk.cc/d09SkD Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvfVsqU

Seamless Istio upgrades at scale

Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have upgraded Istio a total of 14 times. This blog post will explore how the Service Mesh team at Airbnb safely upgrades Istio while maintaining high availability.

https://medium.com/airbnb-engineering/seamless-istio-upgrades-at-scale-bcb0e49c5cf8

Kubernetes Networking from Packets to Pods

Kubernetes networking doesn't have to be a black box. This guide breaks it down, starting from the fundamentals of Linux networking and container isolation. We then dive into the complete Kubernetes model, explaining everything from Pod IPs and CNI plugins to Services, NetworkPolicy, and Ingress, providing a clear end-to-end map of how connectivity works in your cluster.

https://www.lucavallin.com/blog/kubernetes-networking-from-packets-to-pods

k3s-cluster-maintenance

A modular Ansible role and playbook that performs automated operating system patching and system maintenance on K3s cluster nodes with zero-downtime semantics.

https://github.com/sudo-kraken/k3s-cluster-maintenance

Sveltos

Sveltos is a Kubernetes add-on controller. It deploys and manages add-ons and applications across many clusters using label-based matching. Sveltos does not compete with GitOps controllers like ArgoCD or Flux. Instead, it extends their capabilities. A GitOps controller monitors a repository and syncs manifests. In contrast, Sveltos takes these manifests and applies them across the entire fleet. Its configurations are cluster-agnostic; they do not reference a specific cluster. Instead, they target clusters by labels, which means when a new cluster joins the fleet, it requires no configuration changes, only the right labels. One configuration can serve any number of clusters that meet the defined criteria.

https://github.com/projectsveltos

ingress2gateway

Ingress2gateway helps translate Ingress and provider-specific resources (CRDs) to Gateway API resources. Ingress2gateway is managed by the Gateway API SIG-Network subproject.

https://github.com/kubernetes-sigs/ingress2gateway

offlog

A free, open-source, local-first task manager.

https://github.com/hrach-gevorgyan/offlog

ORAS — OCI Registry As Storage

ORAS is the de facto tool for working with OCI Artifacts. It provides CLI and client libraries to distribute artifacts across OCI-compliant registries.

https://oras.land

Сегодня можно и отвлечься: у сисадминов профессиональный праздник На слёте сисадминов, куда их собирают раз в год, записали интервью — спросили, что в работе любят больше всего и как справляются со стрессом. В ответах узнали пару своих инцидентов. Ещё один рабочий способ снизить градус: в Яндекс 360 управление людьми и доступами живёт в одной админке, без прыжков между панелями.

Build your own Managed Kubernetes Service on Proxmox with CAPI

Cluster API (CAPI) is an open-source Kubernetes sub-project. Its goal is to bring Kubernetes-style, declarative APIs and controllers to the problem of bootstrapping, configuring, upgrading and operating entire Kubernetes clusters, treating clusters themselves as first-class Kubernetes resources rather than as external, manually-provisioned infrastructure.

https://itnext.io/build-your-own-managed-kubernetes-service-on-proxmox-with-capi-8d9786644818

How We Manage a 80M users Infrastructure with a 5-Person Team Part 1 — Introduction to Yubo’s Infrastructure : Overview and Philosophy: https://medium.com/yubo-tech/how-we-manage-a-80m-users-infrastructure-with-a-5-person-team-part-1-introduction-to-yubos-d452103e6f0d Part 2 — Our Team Structure and Roles: Data Engineers, DevOps, and Security: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-2-our-team-structure-and-ce73b8d5bba4 Part 3: Data Engineering at Scale and Database Self-Service: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-3-data-engineering-at-scale-572d863598b0 Part 4: Automation at Scale: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-4-automation-at-scale-944d86d5fd7f Part 5: Cloud native MLOps: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-5-cloud-native-mlops-332232f93aeb

Migrating from F5 NGINX Ingress Controller to the F5 NGINX Gateway Fabric

The Kubernetes ecosystem is undergoing a significant transformation in how it handles networking, shifting from traditional Ingress API and annotations to the more advanced Gateway API.

https://blog.nginx.org/blog/migrating-from-nic-to-ngf

Модуль ядра Linux — это точка входа в системную разработку Здесь уже недостаточно знать команды ОС, важно понимать архитектуру ядра, сборку, загрузку и отладку на низком уровне. 🔔 3 августа в 20:00 МСК приглашаем вас на открытый урок, где мы разберём, зачем нужны модули ядра, как они встраиваются в работу операционной системы и какую роль играют в расширении её возможностей. На занятии вы: - узнаете, как создать собственный модуль, собрать его, запустить и отладить с помощью буфера сообщений ядра dmesg. - получите практические инструкции, с которых можно начать разработку под ядро Linux. Открытый урок проходит в преддверии старта курса «Разработка ядра Linux». Зарегистрируйтесь, если хотите сделать первый уверенный шаг от обычной работы с Linux к системному программированию: https://vk.cc/d01rJq Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvY8GGz

GPU Starvation in Kubernetes: How Dynamic MIG Partitioning Saved Our GPU Budget

In Kubernetes clusters, GPUs are expensive. Really expensive. And when your data science team is fighting over GPU resources like it’s Black Friday at Best Buy, you know something’s broken. That was the challenge I faced a few years ago. I implemented this solution back then, and though it’s been a while, I thought now would be a great time to share the experience. We had a k8s cluster with 8 NVIDIA A100 GPUs, and our data scientists were… unhappy. Small model training jobs waited hours for GPU access while large distributed training jobs hogged entire GPUs at 30% utilization. The culprit? GPU allocation granularity. Kubernetes treats GPUs as atomic resources, you either get a whole GPU or nothing. There’s no middle ground. I needed to fix this. And the solution wasn’t what I expected.

https://medium.com/@nscharan1/gpu-starvation-in-kubernetes-how-dynamic-mig-partitioning-saved-our-gpu-budget-d242d6e56581